Nvidia je izdala LLM otvorenog koda
Nvidia, koja izrađuje neke od najtraženijih GPU-ova u AI industriji, najavila je da je izdala open-source veliki jezični model (LLM) koji navodno radi na razini vodećih vlasničkih modela od OpenAI-a, Anthropic-a, Meta-e i Google-a. Tvrtka je predstavila svoju novu NVLM 1.0 obitelj u nedavno objavljenom radu, a predvodi ju model NVLM-D-72B sa 72 milijarde parametara.
“Predstavljamo NVLM 1.0, obitelj multimodalnih LLM-a vrhunske klase koji postižu najnovije rezultate u zadacima povezanim s vizijom i jezikom, rivalizirajući vodećim vlasničkim modelima (npr. GPT-4o) i modelima otvorenog pristupa,” napisali su istraživači. Nova obitelj modela već je sposobna za “produkcijsku multimodalnost”, s izvanrednim performansama u raznim zadacima koji uključuju viziju i jezik, uz poboljšane tekstualne odgovore u usporedbi s osnovnim LLM-om na kojem je obitelj NVLM bazirana. “Kako bismo to postigli, izradili smo i integrirali visokokvalitetni tekstualni skup podataka u multimodalni trening, uz značajnu količinu podataka iz matematike i logičkog zaključivanja, što je dovelo do poboljšanih sposobnosti u matematici i kodiranju preko modaliteta,” objasnili su istraživači. Rezultat je LLM koji jednako lako može objasniti zašto je neki meme smiješan kao što može riješiti složene matematičke jednadžbe, korak po korak”.
Nvidia je također uspjela povećati točnost modela samo za tekst za 4,3 bodova u prosjeku na uobičajenim industrijskim mjerilima, zahvaljujući svom multimodalnom stilu treninga. Nvidia ozbiljno pristupa osiguravanju da ovaj model zadovoljava najnoviju definiciju “otvorenog koda” od strane Inicijative za otvoreni kod, ne samo tako što je učinila svoje težine treniranja dostupnima za javni pregled, već je i obećala da će uskoro objaviti izvorni kod modela. Ovo predstavlja jasan odmak od postupaka rivala poput OpenAI-a i Google-a, koji čuvaju detalje o težinama treniranja i izvorni kod svojih LLM-ova. Na taj način, Nvidia je pozicionirala obitelj NVLM-a da ne konkurira izravno ChatGPT-4o i Gemini 1.5 Pro, već da služi kao temelj za razvojne programere trećih strana koji žele izgraditi vlastite chatbotove i AI aplikacije.
