NVIDIA Blackwell nadmašila GB200 NVL72 u InferenceMAX testu s potencijalom 15x ROI
NVIDIA je objavila da je Blackwell pokazao značajnu prednost u InferenceMAX v1 testu, novom neovisnom mjerilu koje procjenjuje ukupne računalne performanse AI sustava u stvarnim scenarijima. Test je razvila SemiAnalysis, a uključuje mjerenje povrata ulaganja (ROI) u stvarnim AI radnim opterećenjima.
Prema rezultatima, sustav GB200 NVL72 s NVIDIA Grace Blackwell superčipovima može generirati do 75 milijuna dolara prihoda od DSR1 tokena uz ulaganje od 5 milijuna dolara, što odgovara 15-strukom povratu ulaganja. Kontinuirane optimizacije softvera, uključujući napredne TensorRT LLM v1.0 i nove metode paralelizacije, dodatno povećavaju performanse modela poput GPT-OSS-120B i Llama 3.3 70B, smanjujući latenciju i povećavajući propusnost.
Novi model GPT-OSS-120B-EAGLE3-V2 uvodi mehanizam Spekulativnog dekodiranja, koji omogućuje predviđanje više tokena istovremeno, što povećava propusnost po korisniku 3x i brzinu po GPU-u sa 6.000 na 30.000 bajtova. U testovima s intenzivnim AI modelima Blackwell B200 postiže 10.000 TPS ukupno i 50 TPS po korisniku, što je četiri puta brže od NVIDIA H200. Učinkovitost sustava donosi i izravnu financijsku korist: cijena po milijun tokena smanjena je do 15 puta u usporedbi s H200, dok je energetska učinkovitost po tokenu povećana 10 puta. Ovi rezultati potvrđuju da arhitektura nove generacije Blackwell značajno povećava ROI u primjeni AI modela u velikim razmjerima.
