OGLAS

Kako Google prilagođava TPU arhitekturu specifičnim radnim opterećenjima

·

Googleova najava novih akceleratora TPU 8tx i TPU 8i Max označava važan tehnički pomak u razvoju specijalizirane infrastrukture za umjetnu inteligenciju. Umjesto projektiranja jednoga monolitnog čipa opće namjene koji bi nastojao pokriti sve zahtjeve tržišta, Google širi svoju osmu generaciju Tensor Processing Unit (TPU) arhitekture u modularnu matricu usko profiliranih sustava.

Takav pristup izravno rješava dva ključna izazova modernih poslovnih primjena u oblaku: striktne regulatorne zahtjeve za zaštitom podataka i efikasnu obradu izuzetno velikih kontekstualnih prozora pri zaključivanju.  

Hardverski zaštićeno povjerljivo računalstvo s AMD procesorima  

U sektorima poput bankarstva, zdravstva i državnih institucija, primarna prepreka za prihvaćanje javnog oblaka jest rizik od curenja osjetljivih informacija tijekom njihove obrade u radnoj memoriji. Kod tradicionalne obrade u oblaku podaci se prije izvođenja matematičkih operacija na neuronskoj mreži moraju dešifrirati, što otvara potencijalne sigurnosne ranjivosti pri neovlaštenom pristupu na razini sustava.

Model TPU 8tx rješava taj problem integracijom hardverski podržane enkripcije duž cijelog računarskog puta. Zamjenom standardnih procesora u host sustavu petom generacijom procesora AMD EPYC, ovaj čip stvara izoliranu hardversku enklavu. Utezima modela i ulaznim korisničkim podacima upravlja se u šifriranom stanju u svim fazama obrade — od prvog učitavanja, preko izračuna, pa sve do generiranja konačnih rezultata zaključivanja — čime se postiže potpun suverenitet podataka i usklađenost s najstrožim propisima o privatnosti.  

Ubrzanje za AI agente i obradu masivnih kontekstualnih prozora 

 Sve veća zastupljenost autonomnih AI agenata koji samostalno donose odluke u više koraka stvara potrebu za analizom ogromnih količina informacija u jednom zahtjevu. Ti radni zadaci često zahtijevaju da model odjednom obradi milijune tokena koji obuhvaćaju izvorne kodne baze softverskih projekata, opsežne pravne arhive ili kompleksnu znanstvenu literaturu. To stvara iznimno opterećenje na sistemsku memoriju i zahtijeva visoku propusnost radnih resursa. 

Google je čip TPU 8i Max optimizirao upravo za takva opterećenja spajanjem dvaju čipova na jedinstveno interposer pakiranje. Takva arhitektura udvostručuje dostupnu računalnu snagu, lokalni SRAM i propusnost visoko-propusne memorije (HBM) u usporedbi sa standardnim modelom TPU 8i.

Zahvaljujući tome, sustav omogućuje analizu masivnog konteksta unutar pojedinačnog upita bez pada brzine ili gubitka točnosti, a visoka gustoća pakiranja u poslužiteljskim ormarima smanjuje potrebu za distribucijom zahtjeva kroz prevelik broj mrežnih čvorova.  

Kompletirana matrica osme generacije TPU sustava

Predstavljanjem ovih dvaju derivata, Googleova obitelj TPU procesora osme generacije oblikovana je kao zaokruženi portfelj od četiri namjenska sustava. Model TPU 8t ostaje primarno usmjeren na predtreniranje masivnih modela na razini velikih klastera, dok je standardni TPU 8i namijenjen svakodnevnom zaključivanju uz izuzetno nisku latenciju.

Novi TPU 8tx preuzima ulogu sigurnog sustava za povjerljivo računalstvo, a TPU 8i Max rješava problem uskih grla u memoriji pri radu s dugim tekstualnim i kodnim ulazima.   Razvoj novih modela potvrđuje širi trend u industriji u kojem se fokus razvoja hardvera pomiče s jednostavnog povećanja dimenzija pojedinačnih procesora prema razvoju usko prilagođenih sistemskih arhitektura. Prilagodbom hardverskih resursa konkretnim scenarijima uporabe, organizacije ostvaruju veću efikasnost pri obradi kompleksnih podataka u oblaku te učinkovitiji povrat ulaganja u AI infrastrukturu.

OGLAS