Nvidia H200 Tensor Core GPU postaje najmoćniji čip model za AI obuku i superračunala

· Sanja Ledinek

Nvidia H200 Tensor Core GPU postaje najmoćniji čip model za AI obuku i superračunala (1)

Nvidia je ponovno uzdrmala tržište novom generacijom H200 GPU čipa za obuku AI i superračunala.

H200 je u osnovi isti kao H100, koji također pripada Hopper arhitekturi. TSMC-ov 4nm proces, 80 milijardi tranzistora i NVLink 4 interkonekcija velike brzine od 900 GB u sekundi potpuno su naslijeđeni. Čak i visoka računalna snaga ostaje nepromijenjena. Na prvi pogled, podaci su i dalje poznati FP64 Vector 33.5TFlops i FP64 Tensor 66.9TFlops.

Ovaj put ima 141 GB memorije, što je povećanje od 76 posto u usporedbi s 80 GB H100. Što se tiče razloga zašto je memorija 141 GB, AnandTech je analizirao da je fizički kapacitet same HBM3e memorije 144 GB, koja se sastoji od šest setova s 24 GB. Iz razloga količine proizvodnje, Nvidia zadržava mali dio kao redundanciju kako bi poboljšala prinos.

Nvidia H200 Tensor Core GPU postaje najmoćniji čip model za AI obuku i superračunala (3)

Propusnost memorije također je povećana s 3,35 TB/s na 4,8 TB/s, što je oko 43 posto. Što to znači za AI? S podrškom za HBM3e, H200 može gotovo udvostručiti izvedbu zaključivanja od Llama-70B, a također ubrzava zaključivanje GPT-3 175B za punih 18 puta u usporedbi s A100 izdanim 2020. godine.

H200 je potpuno kompatibilan s H100 , što znači da dodavanje postojećem sustavu ne zahtijeva nikakve prilagodbe.

Nvidia H200 Tensor Core GPU postaje najmoćniji čip model za AI obuku i superračunala (4)

Za Nvidia AI grafičke kartice marža je ogromna, ali nikoga nije briga

VMware i NVIDIA surađuju oko AI i usluga u oblaku

Nvidia H200 Tensor Core GPU postaje najmoćniji čip model za AI obuku i superračunala (2)

Prema službenoj  NVIDIA najavi, Jülich Supercomputing Centre (JSC) u Njemačkoj koristit će super čip GH200 u superračunalu Jupiter. Broj uključenih čvorova GH200 dosegnuo je 24.000, a snaga je 18,2 megavata, što je ekvivalentno potrošnji više od 18.000 kilovat-sati električne energije po satu. Sustav bi trebao biti instaliran 2024. godine, a jednom kada bude uključen, postaje najveće superračunalo današnjice temeljeno na Hopperu. Jupiter će imati približno 93 (10^18) FLOPS-a AI računalne snage, 1E FLOPS-a FP64 brzine računanja, 1.2PB propusnosti po sekundi, 10.9PB LPDDR5X i još 2.2PB HBM3 memorije.

Nvidia H200 Tensor Core GPU postaje najmoćniji čip model za AI obuku i superračunala (5)

Očekuje se da će se isporuka sustava s H200 globalnih proizvođača poslužitelja i pružatelja usluga u oblaku početi u drugom kvartalu 2024. godine. Prvi pružatelji usluga u oblaku koji su implementirali H200 uključuju CoreWeave, Lambda, Vultr, AWS, Google Cloud, Microsoft Azure i Oracle.

Također u četvrtom tromjesečju 2024. bit će objavljen i B100 temeljen na sljedećoj generaciji Blackwell arhitekture. Detalji još uvijek nisu poznati, a grafikon nagovještava da će doći do eksponencijalnog rasta performansi.

DRUGE NOVOSTI