Meta razvila AI čipove isključivo za internu upotrebu
Meta je u tišini razvijala prilagođene čipove posebno dizajnirane za pokretanje modela umjetne inteligencije i videoigara. Za razliku od Alphabeta i Microsofta koji prodaje usluge računalstva u oblaku, Meta će ih koristiti za vlastite potrebe.
Prvi od razvijenih čipova nazvan Meta Training and Inference Accelerator (MTIA) namijenjen je “zaključivanju” pomoću AI modela koji su već obučeni kako bi pomogao Metinim algoritmima za preporuke koji određuju koji se sadržaj i oglasi pojavljuju u korisničkom feedu. Procesor je proizveden korištenjem 7-nanometarskog procesa Taiwan Semiconductora i troši samo 25 vata što je puno manje od čipova proizvođača poput NVIDIA-e.
Drugi razvijeni čip nazvan je Scalable Video Processor (MSVP) za obradu i prijenos videa uz smanjenje potrošnje energije. Ovaj procesor osobito im je bitan zbog potrebe obrade i isporuke 4 milijarde videa dnevno. Potpredsjednik inženjeringa Mete rekao je da novi čipovi bi trebali dobro raditi s softverom PyTorch, koji je postao jedan od najčešćih alata za programere trećih strana koji koriste za izradu AI aplikacija.
Osim toga razvili su generativnog AI programerskog pomoćnika za programere tvrtke kako bi se pojednostavio razvoj softvera i operacije. Sličan je GitHub Copilot alatu koji je Microsoft lansirao 2021. uz pomoć AI startupa OpenAI. Meta također objavljuje da je superračunalo tvrtke Research SuperCluster (“RSC”) ušlo u svoju drugu i posljednju fazu. Ovo računalo ima 16.000 Nvidia A100 Gpu-a za treniranje svog LLaMA velikog jezičnog modela i drugih tehnika.
PROČITAJTE JOŠ
Tehnološki divovi formiraju Metaverse Standard Forum
Mozilla i Meta surađuju na novoj tehnologiji oglašavanja za očuvanje privatnosti
Prema Meti, jezični model LLaMA sadrži 65 milijardi parametara i obučava se pomoću 1,4 trilijuna tokena (podataka koji se koriste za treniranje). Kompanije kao što su OpenAI i Google nisu objavile slične metrike za svoje velike jezične modele, ali procurio je podatak da Googleov model PaLM 2 koristi 3,6 trilijuna tokena i sadrži 340 milijarde parametara.
