Za Nvidia AI grafičke kartice marža je ogromna, ali nikoga nije briga
ChatGPT je sustav umjetne inteligencije koji je osvojio svijet od lansiranja krajem prošle godine. Međutim, postoji još nešto što je uzburkalo tehnološku industriju. To je grafički procesor (GPU) za obuku velikih jezičnih modela, nazvan po računalnoj znanstvenici Grace Hopper.
Službeno je poznat kao H100 Tensor Core GPU, koji je razvila Nvidia. Najbrži je za razmišljanje i obuku velikih modela, s računalnom snagom potrebnom za rukovanje milijardama izlaznih parametara za oblikovanje. Može se primijeniti na različite scenarije umjetne inteligencije, kao što su AI chatbotovi, analitika podataka, računalstvo visokih performansi itd. Također se može upariti s Nvidia AI Enterprise softverskim paketom kako bi se tvrtkama pružila end-to-end infrastruktura spremna za AI.
Izuzetno je to skup maleni čip. Prosječna maloprodajna cijena kreće se između 25.000 i 30.000 dolara, dok je cijena komponenti, uključujući GPU i ostale elemente, samo 3.320 dolara. Ove podatke iznio je novinar Tae Kim iz Barrona, koji se oslanjao na analizu konzultantske tvrtke Raymond James. Međutim, vrijedi uzeti u obzir da ovaj trošak ne uključuje značajne troškove razvoja, plaće inženjera, proizvodnju i logistiku. Primjerice, prema Glassdooru, anonimnoj platformi za ocjenjivanje, prosječna plaća hardverskog inženjera u NVIDIA-i doseže 202.000 dolara godišnje, a razvoj čipova poput H100 vjerojatno će zahtijevati tisuće stručnjaka na toj razini.
PROČITAJTE JOŠ
NVIDIA ACE: Gen AI za NPC-ove debitira na Computexu
Nvidia lansira svoj prvi sustav certificiranja namijenjen popularizaciji AI
NVIDIA RAD-TTS AI pretvara tekst u glas
Unatoč visokoj marži, potražnja za H100 akceleratorima nastavlja rasti i Nvidia je navodno puna narudžbi do 2024. godine, kada bi trebala lansirati sljedeću generaciju, nazvanu GH200. Prema Business Insideru, čip traži niz velikih tehnoloških tvrtki, dok Saudijska Arabija i Ujedinjeni Arapski Emirati (UAE) otimaju se za njegovo posjedovanje. Prema ljudima koji su upoznati s tim pitanjem, kupili su najmanje 3000 H100 preko Sveučilišta za znanost i tehnologiju kralja Abdullaha, javne istraživačke ustanove. UAE je također osigurao da će dobiti tisuće čipova u pokušaju da unaprijede svoje AI ambicije.
Također se pokazalo da se internetski divovi poput Baidua, ByteDancea, Tencenta i Alibabe natječu za kupnju Nvidijinih čipova visokih performansi, s kombiniranim narudžbama vrijednim čak 5 milijardi dolara.
Treba spomenuti da su američke sankcije usmjerene na blokiranje izvoza Nvidijinih vrhunskih čipova u Kinu pomogle u stvaranju podzemnog tržišta i dodatno povećale potražnju. U travnju je Elon Musk kupio oko 10.000 GPU čipova kao dio svojih napora usmjerenih na umjetnu inteligenciju da pretvori X u super aplikaciju. Kasnije je također najavio svoju vlastitu AI tvrtku pod nazivom xAI, kako bi se natjecao s OpenAI-jem (tvrtkom koja je stvorila ChatGPT). Također u sektoru startupa, gdje je umjetna inteligencija globalni trend, nedostatak ponude GPU čipova natjerao je fondove rizičnog kapitala sa snažnim financijskim potencijalom da se zabrinu zbog rizika propasti startupa u koje ulažu.
