NPU u odnosu na CPU/GPU: Tko je najbolji izbor za AI računalstvo? Jesu li procesori neuronskih mreža doista vrijedni cijene?

Ako do sada niste čuli za procesorske jedinice neuronskih mreža (NPU), vjerojatno ste propustili ogroman AI marketing Intela, AMD-a i Qualcomma tijekom protekle godine.

Tijekom proteklih 12 mjeseci, ovi (ko)procesori usmjereni na umjetnu inteligenciju reklamirani su kao sljedeća bitna nadogradnja – ona koju svi trebaju kako bi izvukli maksimum iz umjetne inteligencije. No, je li to doista samo marketinška pompa ili NPU-ovi doista mogu isporučiti transformativnu vrijednost koju obećavaju?

Što je NPU?

NPU je specijalizirani procesor u sustavu na čipu (SoC) dizajniran za rukovanje zadacima specifičnim za umjetnu inteligenciju, a neke od njih mogu biti suzbijanje pozadinske buke, poboljšanje videa u stvarnom vremenu i osnovne generativne AI funkcije. Tvrtke, uključujući VPU u Intelovom Meteor Lakeu, AMD-ovom Ryzen AI i Qualcommovom Hexagon AI procesorima, ugradile su NPU-ove u svoje čipove, tvrdeći da će revolucionirati računalno iskustvo čineći uređaje pametnijima i učinkovitijima. Ideja je rasteretiti radna opterećenja umjetne inteligencije s CPU-a i GPU-a radi uštede energije, teoretski poboljšavajući trajanje baterije i pružajući bržu obradu umjetne inteligencije na čipu. No, jesu li ti procesori omogućeni umjetnom inteligencijom doista ometajući ili zauzimaju dragocjeni prostor za čipove koji bi se mogao koristiti za zadovoljavanje stvarnih potreba korisnika?

Istina iza prednosti NPU-a

Iako je istina da NPU-ovi poboljšavaju učinkovitost, posebno u mobilnim uređajima gdje je trajanje baterije kritično, njihov utjecaj na prijenosna računala s već jakim trajanjem baterije teško je dokazati. Zadaci kojima se bavi NPU uglavnom su nišni i imaju ograničen utjecaj na opće korisničko iskustvo. Ako puno koristite glasovne naredbe ili se uvelike oslanjate na poboljšanja videopoziva, NPU može uštedjeti nešto energije baterije. Ali za većinu korisnika, u ovom trenutku to je lijepo imati, a ne bitna značajka. CPU-i i GPU-ovi već godinama mogu adekvatno upravljati ovim funkcijama, a iako NPU može malo smanjiti potrošnju energije, ova inovacija više se odnosi na inkrementalno povećanje učinkovitosti nego na isporuku značajnih novih značajki.

Uzmimo za primjer Intelov Meteor Lake VPU. Reklamira se kao rješenje za zadatke umjetne inteligencije na uređaju, kao što su zamućenje pozadine i uklanjanje šuma za videopozive – zadaci koji su se prethodno učinkovito rješavali s CPU-ima i GPU-ima. Glavna prednost je malo povećanje energetske učinkovitosti, što, iako korisno, nije istaknuto kada se uzme u obzir cjelokupno računalno iskustvo. AMD-ov Ryzen AI ima sličan pristup, povećavajući učinkovitost bez pružanja revolucionarnih značajki. Qualcommovi Hexagon procesori iskorištavaju prednosti njegovih mobilnih uređaja i donose slične mogućnosti prijenosnim računalima, ali ne proširuju značajno raspon aplikacija za većinu korisnika.

Mit o TOPS-u

Kada raspravljaju o NPU-ima, dobavljači često naglašavaju TOPS kao metriku učinka. Intelova nadolazeća platforma Lunar Lake ima NPU od 48 TOPS-a, AMD-ova Ryzen AI 300 serija može doseći 55 TOPS-a, a Qualcommov Snapdragon X Elite dolazi s NPU-om od 45 TOPS-a. Čini se da ove brojke imaju puno značenja za stvarne korisnike. Međutim, TOPS (Tera Operations per Second) je teoretska mjera performansi u idealnim laboratorijskim uvjetima. Izračunava se na temelju broja jedinica za množenje-akumuliranje plus (MAC) i učestalosti rada, ali se ne mora nužno pretvoriti u stvarne dobitke performansi u svakodnevnoj uporabi. Za prosječnog korisnika ove su brojke besmislene kao i teoretske konjske snage automobila koji nikada neće voziti najvećom brzinom.

Kompromis: iskorištenost prostora na čipovima

Uključivanje NPU-a troši dragocjeni prostor na čipu koji se može koristiti za poboljšanje općenito korisnih značajki, uključujući CPU jezgre ili mogućnosti GPU-a. U slučaju AMD-ovog mobilnog SoC-a Ryzen AI 300 temeljenog na Zen 5, NPU zauzima oko 10-15% prostora čipa – što je značajan postotak. Ako se ovaj prostor iskoristi za dodavanje više CPU jezgri, korisnici mogu doživjeti značajna poboljšanja u višenitnim aplikacijama, od čega će imati koristi programeri, kreatori sadržaja i vrhunski korisnici. Alternativno, proširena integracija GPU može pružiti bolje grafičke performanse, značajku koju će igrači i profesionalci koji koriste grafički intenzivne aplikacije cijeniti. S obzirom na to da su GPU-ovi tradicionalno bili hardver izbora za radna opterećenja umjetne inteligencije, poboljšanje mogućnosti GPU-a može ubiti dvije muhe jednim udarcem.

Je li NPU doista jamstvo budućnosti?

Proizvođači reklamiraju NPU-ove kao nužnost za prijenosna računala spremna za budućnost u svijetu vođenom umjetnom inteligencijom. Međutim, s obzirom na brzi razvoj umjetne inteligencije, teško je predvidjeti koje će hardverske značajke ostati relevantne. Iako NPU-ovi nude neke prednosti za određene AI zadatke, većina korisnika vjerojatno neće primijetiti njihovu odsutnost. Većina svakodnevnih računalnih zadataka, kao što su pregledavanje weba, uređivanje dokumenata i potrošnja medijskih sadržaja, ne zahtijeva optimizaciju temeljenu na umjetnoj inteligenciji. Čak i za povremene korisnike AI značajki, CPU i GPU obično su dovoljni za rješavanje ovih radnih opterećenja, samo malo više troše energiju. Obećanje NPU-a više se odnosi na potencijalne primjene u budućnosti nego na očite koristi za prosječnog potrošača u sadašnjosti.

Trik ili prava inovacija?

Iako AI ima mnoge praktične primjene, kao što su govor u tekst i alati za prevođenje u stvarnom vremenu, čini se da je prerano za uključivanje NPU-a u prijenosna računala. Čini se da je tehnologija pronalaženje rješenja problema, vođena više marketinškim taktikama nego stvarnim potrebama korisnika. Sve dok aplikacije umjetne inteligencije ne postanu sastavni dio svakodnevnog računalstva, NPU-ovi mogu ostati pretjerana značajka, a ne nužna komponenta. U isto vrijeme, potrošači mogu imati više koristi od poboljšanja performansi obrade, grafičkih mogućnosti i ukupnih performansi sustava – poboljšanja koja pružaju jasne prednosti u stvarnom vremenu. U ovom trenutku, NPU je zanimljiv razvoj, ali za većinu korisnika to možda nije inovacija koja mijenja igru za koju tvrdi da jest.

Proizvođači računala žele promovirati hardver s NPU-om, možda zato što prijenosna računala s umjetnom inteligencijom mogu povećati prosječnu prodajnu cijenu za oko 5 do 10 posto.