OCP Global Summit 2024. – San Jose – dan 1.

Četvrtu godinu za redom PCEkspert posjećuje jednu od najutjecajnijih konferencija modernog IT svijeta – OCP Global Summit koji se tradicionalno održava u Kaliforniji u San Joseu. Poslovično ugodno kalifornijsko vrijeme sredinom listopada te potpuno vedro osunčano jutro dalo je naslutiti da će ove godine OCP biti još bolji i posjećeniji.

Ta slutnja već  se obistinila jer obično potražimo parking u sklopu McEnery kongresnog centra, dok smo ove godine nemali Chevrolet Traverse morali ostaviti na javnom parkingu udaljenom skoro kilometar od ulaza u centar.

I zaista, ta slutnja se vrlo brzo obistinila, jer osim dvije overflow sobe, u glavnom prostoru zaista nije moglo stati više ljudi nego što ih je bilo.

Sve to potvrđeno je na uvodnom predavanju glavnog izvršnog direktora OCP-a gospodina Georgea Tchapariana, jer je prošlogodišnja posjećenost gotovo poduplana, i to sa 4.500 na preko 7.000 sudionika ove godine! Također, OCP zaista može ovaj događaj zvati globalnim, jer je ovogodišnja struktura po regijama takva da je APAC zastupljen s 33%, Amerike s 53% a EMEA s 14%. Nažalost, i dalje je vidljivo kako stari kontinent tehnološki kaska za ostatkom svijeta, pogotovo kada su u pitanju najnovije i najmodernije tehnologije. Ove godine program koji je najavljen impresivno je bogat, sa 440+ predavanja u 22 tracka, 100 izlagača, Inovativnim gradićem, čak tri kolocirana događaja, 3 FTI radionice i mnoštvom drugog sadržaja. Rast je zabilježen i u samom radu te participaciji unutar OCP-a, gdje trenutno postoji 400+ koorporativnih članica, 55+ startupova, 150+ projekata i procjena utjecaja na tržište od 74 milijardi dolara do 2028. godine. Ne previše iznenađujuće, i ove godine fokus je na AI-u, ali za razliku od prošle, gotovo da ni ne postoji predavanje koje nema AI barem u naslovu.

Ne čudi stoga da je sljedeći keynote došao iz Mete koja drma AI tržištem svojim LLama modelima, pa je tako gospodin Omar Baldonado, direktor inženjeringa mrežne infrastrukture, dao Metin osvrt na trenutne događaje. Sa preko 400M+ preuzimanja i 60k+ derivata LLama velikog jezičnog modela, Meta zaista predstavljam veliki utjecaj na tom tržištu. Predstavljen je novi hardver za zaključivanje (inference), Grand Teton Inference baziran na AMD MI300X čipovima. Taj prijelaz s prethodne generacije donosi duplo povećanje HBM memorije, 50% veću propusnost memorije a sve o istom energetskom trošku. Također je predstavljena i Catalina, najnoviji Metin rack baziran na nVidia GB200 chipovima; nVidia i dalje drzi primat u treningu LLM-ova i kako sada stvari stoje, to se u sljedećih nekoliko godina neće tako lako promijeniti. Catalina je OVR3 rack visoke snage s podrškom za čak 140kW električne energije. Čisto zbog perspektive, recimo da ovaj rack ima električki kapacitet omanje sela od 40 kućanstava. Naravno, nezaobilazne su bile i suradnje koje su spomenute, poput one između Mete i Microsofta na polju SAI (Switch Abstraction), OAM (Accelerator Modules) i NVMe SSD pohrane podataka. Iz svega toga iznikao je Mt. Diablo projekt, disagregirani power rack. Meta je također napravila i svoj prvi NIC ASIC, koristeći otvoreni modul Marvella i upstream Linux upravljačkih programa u kernel. Tu su također i dva mrežna preklopnika bazirana na Broadcom Tomahawk 5 odnosno Cisco G200 51.2T chipovima, kao i spine i leaf preklopnici bazirani na Broadcomovim J3-AI te RM3 ASIC.

Trenutačna kičma AI-a, nVidia, poslala je gospodina Iana Bucka, podpredsjednika Hyperscale i AI računalstva. Predstavljen je novi Blackwell (GB200 NVL72) rack s toliko impresivnim podatcima da ih je teško i napisati. Rack je ojačan s 45 kg dodatnog čelika, komponente unutra hladi protok od 5L vode u sekundi i slične impresivne brojke. Shodno tome, jasno je kako je Blackwell u punoj produkciji i integratori su počeli s implementacijama. Predstavljeni su i novi Spectrum-X switchevi kao i ConnectX-8 SuperNIC na OCP 3.0 sučelju.

U nastavku, gospodin Chris Petersen iz Astera Labsa, gospodin Nigel Alvares iz Marvella, gospodin TaekSang Song iz Samsunga pod moderatorskom palicom gospodina Jamesa Kellyja iz OCP-a imali su okrugli stol na temu Otvorenog, održivog AI-pokretanog podatkovnog centra, u kojemu su razmijenili mišljenja i argumente za takavm pristup, sa zajedničkim nazivnikom kako je to neminovna budućnost.

Sljedili su predstavnici Intela, AMD-a, Googlea i Microsofta sa svojim vizijama i dostignućima na poljima kojima se OCP bazi, ponovno s naglaskom na AI. OCP ide dalje, otvara se izložbeni prostor, te ćemo i sutra donijeti dašak novosti sa summita.

No, po ovogodišnjem povratku autoru redaka se napokon realizira dugogodišnji san RISC-V roundupa. Nakon prošlogodišnje akvizicije Mango-Pi pločice, Raspberry Pi Zero formata na RISC-V arhitekturi, ove godine donosimo još dva zanimljiva proizvoda. Ostavit ćemo samo slike, a recenzije očekujte do kraja mjeseca.