Može li se ChatGPT trenirati koristeći samo 3000 GPU-a?

Istraživači iz Nacionalnog laboratorija Oak Ridge uspjeli su trenirati veliki jezični model (LLM) veličine ChatGPT-a koristeći samo 3.072 od ukupno 37.888 GPU-a na Frontier superračunalu. Tim je objavio istraživački rad u kojem su opisali kako su postigli ovaj značajan uspjeh i s kakvim su se izazovima suočili.

Frontier superračunalo opremljeno je s 9.472 Epyc 7A53 CPU-a i 37.888 Radeon Instinct GPU-a. Međutim, za trening jednog LLM-a s 1 trilijun parametara koristili su samo 3.072 GPU-a, dok su za drugi LLM, sa 175 milijardi parametara, koristili 1.024 GPU-a. Ključni izazov prilikom treniranja tako velikih modela bio je zahtjev za ogromnom količinom memorije – najmanje 14 TB. To je zahtijevalo upotrebu više MI250X GPU-a s 64 GB VRAM-a. Međutim, to je otvorilo problem paralelizma: kada se koristi više GPU-a, potrebno je optimizirati komunikaciju među njima kako bi se osigurala učinkovita upotreba resursa. U suprotnom, dodatna procesorska snaga može biti izgubljena.Rad detaljno opisuje kako su inženjeri optimizirali procese korištenjem okvira poput Megatron-DeepSpeeda i FSDP-a, prilagođavajući ih specifično za Frontier. Na kraju, rezultati su impresivni, postignuta je 100% efikasnost u skaliranju, što znači da je dodavanje više GPU-a povećalo učinkovitost proporcionalno povećanju opterećenja.

S druge strane, “snažna učinkovitost skaliranja” za LLM od 175 milijardi parametara iznosila je nešto nižih 89%, dok je za LLM od 1 trilijuna parametara iznosila 87%. Ova vrsta skalabilnosti odnosi se na dodavanje procesora bez promjene veličine radnog opterećenja, što često dovodi do smanjenja efikasnosti prema Amdahlovom zakonu. Ipak, obzirom na broj korištenih GPU-a, i 87% je vrlo dobar rezultat.Tim je, međutim, ukazao na izazove u postizanju takve efikasnosti na Frontieru, ističući potrebu za daljnjim radom na optimizaciji performansi obuke na AMD GPU-ima, gdje je ROCm platforma manje razvijena u odnosu na Nvidijin CUDA ekosustav. Ovi napori pomoći će razvoju i drugih softverskih rješenja izvan Nvidia okruženja.

Unatoč ovim izazovima, Frontier ostaje najbrže superračunalo na svijetu, a sav njegov hardver dolazi od AMD-a. Aurora, drugo najbrže superračunalo, koristi Intelov hardver, uključujući GPU-e, iako je trenutno samo polovica tog hardvera u upotrebi. Nvidia GPU pokreće treće najbrže superračunalo, Eagle. Ako AMD i Intel žele zadržati svoje pozicije, morat će se uhvatiti u koštac s naprednim softverskim rješenjima koje Nvidia nudi.

Hoće li fraza “proguglat ću” postati stvar prošlosti? Sve više mladih ljudi više ne koristi Google za pretraživanje interneta, već se okreće TikToku i Instagramu kako bi došli do informacija.

Godinama je Google držao više od 90% udjela na tržištu pretraživača, s nevjerojatnih 85,1 milijardi posjeta godišnje. Google je postao gotovo sinonim za pretraživanje, a fraza “Idem na Google” postala je dio svakodnevnog govora. No, čini se da korištenje Googlea za traženje informacija polako odlazi u povijest.

Nedavna istraživanja pokazuju da mladi ljudi više ne koriste Google kao glagol, već jednostavno kažu “tražiti”, npr. “Kako mogu riješiti problem nakon pretraživanja?”. Ova promjena može ukazivati na generacijske razlike.

Prema izvješću “Business Insidera”, analitičar Mark Shmulik primijetio je da “Google više nije glagol” i da “mladi koriste ‘search’ umjesto ‘Google’.” Na prvi pogled to se može činiti kao mala promjena, no ona odražava dublje razlike u načinu na koji različite generacije koriste internet. Generacija Z, rođena između 1997. i 2012., odrastala je uz mobilne telefone i aplikacije, umjesto da koriste računala i pretraživače poput prethodnih generacija. Danas mladi najčešće traže informacije putem platformi poput TikToka i Instagrama. Na primjer, ako žele provjeriti recenzije restorana, neće koristiti Google, već će otvoriti TikTok ili Instagram kako bi pogledali iskustva korisnika. Kada žele kupiti proizvod, pregledavaju preporuke influencera i izravno kliknu na brend ili aplikaciju za e-trgovinu.

Istraživanja provedena posljednjih godina pokazuju slične rezultate. Prema anketi koju je 2022. godine provela tvrtka za marketinšku tehnologiju SOCi, Instagram je najpopularnija platforma za pretraživanje među mladima od 18 do 24 godine, dok su TikTok i Google na drugom i trećem mjestu. Google je svjestan ove promjene. Tvrtka je otkrila da 40% mladih korisnika koristi TikTok ili Instagram za traženje restorana umjesto njegovih usluga poput Google

Nedavno su istraživači u području mrežne sigurnosti otkrili novi zlonamjerni softver koji cilja korisnike macOS-a. Ovaj malware, nazvan “Cthulhu Stealer”, specifično je dizajniran za krađu raznih korisničkih podataka, uključujući lozinke sustava i pristupne podatke kripto novčanika.

“Cthulhu Stealer” se prvi put pojavio krajem 2023. godine, a prodaje se na ilegalnom tržištu po cijeni od 500 dolara mjesečno. Ovaj malware može biti distribuiran putem Apple Disk Image (DMG) datoteka i može ciljati računala s x86_64 i Arm arhitekturom.

Tara Gould, istraživačica u tvrtki Cado Security, otkrila je da se “Cthulhu Stealer” često skriva iza lažnih verzija legitimnih softverskih aplikacija, poput CleanMyMac, Grand Theft Auto IV, i Adobe GenP. Posebno je zanimljivo da je Adobe GenP alat otvorenog koda koji se koristi za ilegalnu aktivaciju Adobe aplikacija, zaobilazeći potrebu za serijskim brojem. Kada korisnik zaobiđe ugrađenu sigurnosnu značajku macOS-a Gatekeeper, malware traži administratorske privilegije, nakon čega korisnik unosi lozinku sustava. To omogućuje zlonamjernom softveru pristup osjetljivim podacima, uključujući kriptirane lozinke. Posebno su pogođeni korisnici MetaMaska, popularnog kripto novčanika, čije su lozinke također meta napada.

Oprez je nužan prilikom preuzimanja softvera s neprovjerenih izvora, kako bi se izbjeglo moguće ugrožavanje sigurnosti sustava i osjetljivih podataka.

Microsoft je potvrdio da će primijeniti WebUI 2.0 na postavke preglednika Edge, što bi trebalo značajno poboljšati performanse. Ove informacije su objavljene kao dio ažuriranja na Microsoft 365 karti puta, pod ID-om značajke “419809”.

Microsoft kontinuirano radi na poboljšanju performansi svog preglednika. U svibnju ove godine, tvrtka je objavila statistiku koja pokazuje da je korisničko sučelje “Browser Essentials” 42% brže, a performanse su čak 76% bolje na sustavima s nižim specifikacijama, poput uređaja bez SSD-a i s manje od 8 GB RAM-a.

Microsoft Edge dobio VPN značajke

Microsoft Edge u najnovijoj verziji ponovno ojačava sigurnost

Microsoft Edge uvodi automatsku HTTPS funkciju prebacivanja

S implementacijom WebUI 2.0, Microsoft želi riješiti probleme s kašnjenjem u korisničkom sučelju, posebno uzrokovanim sporim JavaScript renderiranjem. Cilj je učiniti korisničko sučelje izuzetno brzim, iskorištavajući prednosti JavaScripta. Ova nadogradnja nije neočekivana, budući da je Microsoft ranije najavio proces prijelaza Edgeovih korisničkih komponenti na WebUI 2.0. Stoga možemo očekivati još sličnih poboljšanja u narednim mjesecima, kako se Edge prilagođava novim tehnološkim mogućnostima.

Pojavile su se nove informacije o tome na čemu je Tango Gameworks radio kad ga je Microsoft zatvorio ranije ove godine. Kasnije ga je kupio i revitalizirao Krafton. Maria Park, šefica korporativnog razvoja u Kraftonu, rekla je u intervjuu za GamesIndustry.biz da je Tango radio na igri Hi-Fi Rush 2 kad je stigla vijest o zatvaranju matične tvrtke. Ne samo to, već je tim imao šest mjeseci staru verziju igre koju su pokazali Kraftonu dok su pregovarali o dogovoru. Izvještaji su već otkrili da je Tango predstavio nastavak, ali nije bilo jasno je li u to vrijeme bio u razvoju.

Park je objasnila da je rad na nastavku za sada stavljen na čekanje dok ne prođe akvizicija IP-a, ali novi Kraftonov Tango nastavit će razvoj nakon toga. “Nećemo žuriti na tržište samo da isporučimo nastavak. Želimo biti sigurni da nastavak zapravo nadmašuje očekivanja zajednice,” rekla je Park. Tim iz Tanga također je radio na obljetničkom sadržaju za The Evil Within. Ovaj duhovni nasljednik Resident Evila, koji je također predvodio osnivač Tanga Shinji Mikami, objavljen je 14. listopada 2014. Serija je često zanemarena, ali sadrži nevjerojatnu atmosferu i jedinstvenu mješavinu gameplay žanrova od survival horora do istraživanja svijeta. Nastavak, The Evil Within 2, slavi svoju sedmu obljetnicu 13. listopada. Međutim, Park je ponovila da tvrtka stječe samo prava na Hi-Fi Rush, a ne na ostale Tango-ove IP-ove. The Evil Within i Ghostwire: Tokyo ostaju kod Microsofta.

Ovo je bila poruka Kraftona otkako su najavili da su kupili studio. “Bilo bi sjajno dobiti sve IP-ove,” rekla je Park. “Znajući smjer Microsofta s prodajom IP-a, nismo htjeli previše forsirati ovu akviziciju, pa smo prvenstveno razgovarali o Hi-Fi Rush jer bi to zakompliciralo proces i produžilo cijeli pregovarački postupak.”

Microsoft je neceremonijalno zatvorio Tango, uz Arkane Austin, Alpha Dog Studios, i internu podršku studiju Roundhouse Games, u svibnju kako bi se fokusirao na “prioritetiziranje naslova s visokim utjecajem i daljnje investiranje u Bethesda-in portfelj blockbuster igara i voljenih svjetova,” prema voditelju Xbox Game Studios, Mattu Bootyju. Ovi bivši Bethesda studiji postali su Xbox studiji nakon što je Microsoft kupio Bethesda-inu matičnu tvrtku ZeniMax Media 2021. Sudbina Hi-Fi Rush bila je od posebnog interesa jer je igra izdana 2023. godine uz kritičke pohvale i visok broj igrača zahvaljujući Xbox Game Pass-u. Nedavno je dodana i na PlayStation 5.

Nekoliko korisnika AMD-ovih X670E matičnih ploča navodno se suočava s problemima s performansama prilikom korištenja PCIe Gen 5 i Gen 4 SSD-ova. Umjesto izuzetno brzih brzina čitanja i pisanja koje PCIe Gen 5 obećava, korisnici su primijetili da njihovi SSD-ovi rade na brzinama Gen 1. Problem se čini raširenim jer su pogođene i Asus i MSI X670E matične ploče. Čudno je da AMD-ove B650, B650E ili čak X670 matične ploče nisu pogođene. Pad performansi nije jedini problem, jer su neki korisnici također prijavili probleme s pokretanjem sustava Windows, gdje sustav ne prepoznaje ili ne pokreće PCIe Gen 5 SSD-ove. Prema proizvođaču memorije i SSD-ova Crucial, problem nije u AMD-ovom X670E čipsetu.

Problem leži u načinu na koji je AMD dizajnirao PCI-Express I/O na X670E platformi, posebno na PCIe Gen 5 M.2 NVMe sučeljima povezanim s procesorom. Izjava je kasnije uklonjena, ali Wccftech ju je arhivirao. Tvrtka također predlaže korisnicima da prebace svoje pogone u M.2 Gen 4 utor povezan izravno s X670E čipsetom i pričekaju da proizvođači matičnih ploča objave novi BIOS firmware. Prema nekim forumskim objavama, korištenje X670E matičnih ploča s grafičkom karticom u prvom utoru također je dovelo do sličnih problema. Prebacivanje na PCIe Gen 4 brzine ili korištenje Gen 4 SSD-a riješilo je problem, što ih je navelo da vjeruju da je problem u Gen 5 SSD-ovima. Međutim, nakon testiranja različitih Gen 5 pogona različitih proizvođača, otkrili su da problem i dalje postoji, što sugerira da je problem možda u kompatibilnosti matične ploče. Još nema službene izjave od AMD-a ili velikih proizvođača matičnih ploča o PCIe Gen 5 problemima s performansama.

Međutim, prema izvješćima korisnika, ažuriranja firmwarea redovito se objavljuju, što može značiti da proizvođači rade na rješenju problema. AMD je naglasio važnost PCIe Gen 5 u svojoj budućoj ekosferi visokih performansi, uključujući nove X870 i X870E matične ploče za Ryzen 9000 seriju. Očekuje se da će ažuriranja od strane AMD-a i trećih proizvođača matičnih ploča poboljšati kompatibilnost i performanse PCIe Gen 5 SSD-ova na X670E pločama. Postavlja se pitanje, isplati li se uložiti u PCIe Gen 5 SSD u ovom trenutku, s obzirom na trenutne probleme s X670E matičnim pločama.

Iako ovi SSD-ovi nude teoretske brzinske prednosti koje nadmašuju Gen 4 pogone, u stvarnosti većina korisnika neće primijetiti veliku razliku u svakodnevnim zadacima, posebno ako SSD ne radi punom brzinom zbog ograničenja matične ploče. Za sada, korištenje PCIe Gen 4 SSD-a možda je sigurniji izbor za korisnike koji žele pouzdane performanse bez rizika od problema s pokretanjem ili smanjenih brzina. Gen 4 SSD-ovi još uvijek nude izvrsne brzine čitanja/pisanja (do 7 GB/s) i više su nego sposobni nositi se s zahtjevnim zadacima poput igranja, uređivanja videa ili obrade podataka.

Nvidia, koja izrađuje neke od najtraženijih GPU-ova u AI industriji, najavila je da je izdala open-source veliki jezični model (LLM) koji navodno radi na razini vodećih vlasničkih modela od OpenAI-a, Anthropic-a, Meta-e i Google-a. Tvrtka je predstavila svoju novu NVLM 1.0 obitelj u nedavno objavljenom radu, a predvodi ju model NVLM-D-72B sa 72 milijarde parametara.

“Predstavljamo NVLM 1.0, obitelj multimodalnih LLM-a vrhunske klase koji postižu najnovije rezultate u zadacima povezanim s vizijom i jezikom, rivalizirajući vodećim vlasničkim modelima (npr. GPT-4o) i modelima otvorenog pristupa,” napisali su istraživači. Nova obitelj modela već je sposobna za “produkcijsku multimodalnost”, s izvanrednim performansama u raznim zadacima koji uključuju viziju i jezik, uz poboljšane tekstualne odgovore u usporedbi s osnovnim LLM-om na kojem je obitelj NVLM bazirana. “Kako bismo to postigli, izradili smo i integrirali visokokvalitetni tekstualni skup podataka u multimodalni trening, uz značajnu količinu podataka iz matematike i logičkog zaključivanja, što je dovelo do poboljšanih sposobnosti u matematici i kodiranju preko modaliteta,” objasnili su istraživači. Rezultat je LLM koji jednako lako može objasniti zašto je neki meme smiješan kao što može riješiti složene matematičke jednadžbe, korak po korak”.

Nvidia je također uspjela povećati točnost modela samo za tekst za 4,3 bodova u prosjeku na uobičajenim industrijskim mjerilima, zahvaljujući svom multimodalnom stilu treninga. Nvidia ozbiljno pristupa osiguravanju da ovaj model zadovoljava najnoviju definiciju “otvorenog koda” od strane Inicijative za otvoreni kod, ne samo tako što je učinila svoje težine treniranja dostupnima za javni pregled, već je i obećala da će uskoro objaviti izvorni kod modela. Ovo predstavlja jasan odmak od postupaka rivala poput OpenAI-a i Google-a, koji čuvaju detalje o težinama treniranja i izvorni kod svojih LLM-ova. Na taj način, Nvidia je pozicionirala obitelj NVLM-a da ne konkurira izravno ChatGPT-4o i Gemini 1.5 Pro, već da služi kao temelj za razvojne programere trećih strana koji žele izgraditi vlastite chatbotove i AI aplikacije.

Prema gotovo svim izvješćima, Intel se sprema objaviti svoju 15. generaciju Core procesoa kodnog imena Arrow Lake za nekoliko tjedana. Nova generacija, koja će se natjecati za mjesto među najboljim procesorima, koristit će novi LGA 1851 socket, a redizajnirani paket mogao bi predstavljati problem kada je u pitanju hlađenje CPU-a. Prema poznatom overclocking stručnjaku i YouTuberu der8aueru, najtoplija točka na Arrow Lake CPU-ovima je “prilično više prema sjeveru”, što znači da je najtopliji dio CPU-a smješten na vrhu paketa.

Različite lokacije toplih točaka nisu ništa novo, ali to je nešto na što će tvrtke za hlađenje morati obratiti pozornost kako bi postigli najbolje performanse. LGA 1851 socket je navodno iste veličine kao LGA 1700 socket, što znači da bi većina postojećih hladnjaka za CPU trebala raditi s novim socketom, osim novog mehanizma za montažu. Prethodni Intelovi CPU-ovi koriste monolitni dizajn, što znači da je topla točka smještena u blizini središta čipa. Arrow Lake spaja različite čipove zajedno, slično kao i AMD-ovi noviji Ryzen procesori. To je premjestilo tzv. “compute tile”, najtopliji dio čipa, prema vrhu paketa. Nadajmo se da taj pomak neće značajno utjecati na performanse hlađenja postojećih hladnjaka.

Integrirani toplinski razvodnik (IHS), montažni blok za CPU i termalna pasta zajednički rade kako bi stvorili čvrstu vezu između CPU-a i hladnjaka i što više raspodijelili toplinu. Ipak, der8auer kaže da je “za idealno hlađenje potrebna promjena centra hlađenja kako bi se suprotstavilo toploj točki. Također, rotacija bloka za 180 stupnjeva pogoršala bi performanse.” Za korisnike koji žele maksimalno iskoristiti svoj hardver putem overclockanja, pomicanje tople točke čini veliku razliku. Der8auer kaže da bi prilagođeni vodeni blok s ulaznim priključkom na sjeveru čipa i izlaznim priključkom na jugu bio idealan.

Za redovne korisnike, možda neće biti velike razlike u performansama. To će zapravo ovisiti o tome koliko topline CPU generira. Kao što smo vidjeli kod Core i9-14900K i Core i9-13900K, najnoviji Intelovi glavni modeli zahtijevaju mnogo snage za hlađenje. Čak i uz snažan all-in-one (AIO) tekući hladnjak, Intelove najnoviji modeli mogu dosegnuti 90 stupnjeva Celzija (ili više) pod punim opterećenjem. Ako Arrow Lake čipovi budu imali slične zahtjeve za snagom, orijentacija CPU hladnjaka mogla bi utjecati na performanse.

NVIDIA je već 20 godina neosporni lider na tržištu diskretnih GPU-ova (dGPU), ostavljajući malo prostora konkurenciji poput AMD-a i Intela. Prema najnovijim podacima prikupljenim od 3DCenter-a, NVIDIA-ina strategija i inovacije omogućili su joj dugogodišnju dominaciju na tržištu potrošačkih i profesionalnih grafičkih procesora.

Iako se NVIDIA danas često doživljava kao tvrtka usmjerena na umjetnu inteligenciju, njezini korijeni čvrsto su utemeljeni na tržištima potrošačkih i profesionalnih GPU-ova. Počevši s GeForce FX serijom, NVIDIA je počela graditi svoju dominaciju, koja je do danas ostala nepoljuljana.

AMD je u početku smanjio tržišni jaz s lansiranjem serije Radeon X100, no to je bila samo kratkotrajna prijetnja. NVIDIA je znatno povećala svoj tržišni udio tijekom procvata rudarenja kriptovaluta, posebno zbog velike potražnje za grafičkim procesorima serije GeForce RTX 30, čime je dodatno učvrstila svoje vodstvo.

NVIDIA GeForce RTX 5090 grafička kartica zahtijevati znatno više energije od prethodnih generacija

NVIDIA CUDA besprijekorno radi na AMD grafičkim procesorima pomoću alata SCALE

Nvidia kombinira svoje najbolje funkcije za gaming u jednu sveobuhvatnu aplikaciju

Iako NVIDIA dGPU-e smatra sekundarnim prioritetom, njezina dominacija na potrošačkom tržištu i dalje je vrlo izražena. AMD se trudi revitalizirati svoju Radeon liniju za igranje, a Intel planira ući na mainstream tržište, no izgleda da NVIDIA neće imati ozbiljnu konkurenciju u narednim godinama.

NVIDIA posluje u raznim industrijama, od umjetne inteligencije i robotike do potrošačkih grafičkih procesora, a njezin utjecaj je ključan za razvoj tih tržišta. Strategija osnivača tvrtke, Jensena Huanga, često se naziva “Jensenov trik”. S nadolazećim lansiranjem nove generacije rješenja za gaming entuzijaste, NVIDIA-ina dominacija na tržištu vjerojatno će se nastaviti.

Microsoft ulaže 4,3 milijarde eura u Italiju kako bi poboljšao svoju AI infrastrukturu i izgradio više podatkovnih centara. Tvrtka planira uspostaviti cloud regiju ItalyNorth, koja bi trebala postati jedan od najvećih Microsoftovih podatkovnih centara u Europi.

Ovaj podatkovni centar neće služiti samo Italiji i Europi, već će biti ključan i za regije Mediterana i Sjeverne Afrike. Ova investicija dio je šire Microsoftove strategije za jačanje globalne infrastrukture u oblaku, jer potražnja za AI i cloud uslugama i dalje raste u različitim industrijama.

Potpredsjednik Microsofta i predsjednik tvrtke, Brad Smith, sastao s talijanskom premijerkom Giorgiom Meloni u Rimu kako bi razgovarali o ovom ulaganju. Smithov posjet poklopio se s Meloninim sastankom s Larryjem Finkom, izvršnim direktorom BlackRock Inc., ranije tog tjedna. BlackRock i Microsoft također imaju zajednički fond od 30 milijardi dolara namijenjen ulaganju u podatkovne centre i lance opskrbe usmjerene na umjetnu inteligenciju, s time da će fond prvo ciljati američko tržište prije nego što se proširi na partnerske zemlje poput Italije.

AI aplikacije često zahtijevaju velike računalne resurse za obradu velikih skupova podataka i izvođenje složenih izračuna. Za to su potrebni namjenski podatkovni centri s odgovarajućim hardverom, a Microsoft, uz širenje u Italiji, također gradi nove centre u američkim državama Iowa, Virginia i Washington. Ostale velike tehnološke tvrtke poput Googlea i AWS-a također šire svoju globalnu infrastrukturu podatkovnih centara kako bi odgovorile na rastuće potrebe.

Microsoftovo širenje dolazi s predanošću korištenju 100% energije bez ugljika do 2025. godine. Nedavno je kompanija privukla pažnju kupnjom nuklearnog postrojenja Three Mile Island u Pennsylvaniji, u partnerstvu s Constellationom, kako bi osigurala energetsku neovisnost za svoje podatkovne centre u SAD-u. Ovaj dogovor omogućit će Microsoftu da do 35% energije dobiva iz nuklearnih izvora.

Nvidia također pokazuje interes za nuklearnu energiju kako bi zadovoljila svoje energetske potrebe. Izvršni direktor Jensen Huang izjavio je da je nuklearna energija odlična opcija za napajanje njihovih podatkovnih centara, uz druge izvore energije.