Što je NPU? Kako je TOPS pokazatelj brzine?
Postoje CPU-i, postoje GPU-ovi, a u protekloj godini svaka tehnološka tvrtka govorila je o NPU-u (Neural-network Processing Unit). Zašto cijela tehnološka industrija hvali prednosti neuronskih procesorskih jedinica. Sve je to zbog ludila oko umjetne inteligencije. Svatko želi dio AI kolača. Google je spomenuo riječ “AI” više od 120 puta na I/O konferenciji za programere, pokazujući beskrajne mogućnosti novih AI aplikacija i pomoćnika koji su gotovo hipnotizirali izlagače. Na konferenciji Build, Microsoft je uložio sve u svoje novo računalo Copilot+ temeljeno na ARM-u, koje koristi Qualcomm Snapdragon X Elite i X Plus. Bez obzira na CPU, oba će NPU-u pružiti 45 TOPS-a (trilijuna operacija u sekundi). Što to znači? Pa, novo računalo bi trebalo moći podržavati AI na uređaju.
Ako ste ove godine kupili novo prijenosno računalo s Intel Core Ultra čipom i veselite se umjetnoj inteligenciji na svom uređaju, vjerojatno ste malo uznemireni zbog onoga što slijedi. Microsoft kaže da samo računala Copilot+ mogu koristiti značajke temeljene na umjetnoj inteligenciji kao što je Recall “zbog čipova koji ih pokreću”. Međutim, pojavile su se neke kontroverze kada je poznati leaker Albacore tvrdio da mogu pokrenuti Recall na drugom računalu temeljenom na ARM64 bez oslanjanja na NPU.
Objašnjenje NPU-a i TOPS-a
CPU, ili “središnja procesorska jedinica”, u biti je “mozak” računala, koji obavlja većinu korisničkih zadataka. GPU-ovi ili “grafičke procesorske jedinice” specijaliziraniji su za obradu zadataka koji zahtijevaju velike podatke, poput crtanja 3D objekata ili igranja videoigara. GPU može biti zasebna jedinica unutar računala ili integrirana u sam CPU.
U tom smislu, NPU je po svojoj specijalizaciji bliži GPU-u, ali nećete pronaći zasebni neuronski procesor izvan središnje ili grafičke procesorske jedinice, barem za sada. To je procesor posebno dizajniran za rukovanje matematičkim izračunima specifičnim za algoritme strojnog učenja. Ti se zadaci obrađuju “paralelno”, što znači da zahtjeve rastavlja na manje zadatke i zatim ih istovremeno obrađuje. Posebno je dizajniran za rukovanje ogromnim zahtjevima neuronskih mreža bez korištenja bilo kakvih drugih sistemskih procesora.
Standard za mjerenje brzine NPU-a je Tera Operations Per Second (TOPS), što znači “jedan trilijun operacija u sekundi”. Trenutno je to jedini način da velike tehnološke tvrtke međusobno uspoređuju snagu neuronske obrade. To je također vrlo pojednostavljen način za usporedbu brzina obrade. CPU-i i GPU-ovi nude mnogo različitih točaka usporedbe, od broja i vrste jezgri do općih frekvencijskih brzina ili teraflopa, a čak ni to ne dotiče složenost uključenu u arhitekturu čipova. Qualcomm objašnjava da je TOPS jednostavno jednostavna matematička jednadžba koja kombinira brzinu i točnost neuronskog procesora.
Unatoč tome, sve ove podjele procesora nisu uklesane u kamen. Postoji i koncept koji se zove GPNPU, koji je u osnovi kombinacija GPU i NPU mogućnosti. Uskoro ćemo morati razlikovati mala računala koja podržavaju umjetnu inteligenciju od velikih računala koja mogu podnijeti stotine ili čak tisuće TOPS-a.
NPU-ovi su godinama prisutni na mobilnim telefonima i računalima
Mnogo prije nego što je većina ljudi ili tvrtki marila, mobilni telefoni su koristili NPU. Google je govorio o NPU-u i AI značajkama još u danima Pixela 2. Huawei i Asus debitirali su s NPU-ima na telefonima kao što su Mate 10 2017. i ZenPhone 5 2018. U to su vrijeme dvije tvrtke pokušale promovirati AI mogućnosti ovih uređaja, iako su kupci i recenzije bili mnogo skeptičniji prema njihovim mogućnostima nego danas. Zapravo, NPU je danas mnogo moćniji nego što je bio prije šest ili osam godina, ali ako ne obraćate pažnju, možda ste previdjeli neuronsku procesorsku snagu većine ovih uređaja.
Mnogo prije 2023. računalni čipovi već su bili opremljeni neuronskim procesorima. Na primjer, Appleovi procesori M-serije (vlasnički čipovi temeljeni na ARC-u) već podržavaju neuronske funkcije još 2020. godine. M1 čip ima 11 TOPS, a M2 i M3 imaju 15.8, odnosno 19 TOPS. Tek se novi iPad Pro 4 s čipom M2024 Apple odlučio pohvaliti brzinom od 38 TOPS svog najnovijeg Neural Enginea. Dakle, koje iPad Pro AI aplikacije stvarno iskorištavaju ovu novu značajku? Ne puno, da budem iskren.
Trenutna opsjednutost NPU-om dijelom je hardverska, a dijelom hype
Ideja koja stoji iza NPU-a je da bi trebao moći pokretati AI programe, bilo da se radi o AI umjetničkom generatoru ili chatbotu, bez usporavanja računala. Problem je u tome što svi trenutno tražimo taj pravi AI program koji može iskoristiti prednosti poboljšanih mogućnosti umjetne inteligencije. Ono što smo naučili od velikih proizvođača čipova tijekom prošle godine je da proizvođači hardvera osjećaju da po prvi put nadmašuju softverske zahtjeve. Dugo se događalo suprotno. Proizvođači softvera pomiču granice potrošačkog hardvera, prisiljavajući proizvođače čipova da ih sustignu.
Ali od 2023. vidjeli smo samo nekoliko rubnih AI aplikacija koje se mogu izvoditi na uređajima. Nedavno smo vidjeli tvrtke koje uspoređuju svoj NPU koristeći Riffusion, model AI glazbenog generatora, koristeći titlove u stvarnom vremenu u postojećim aplikacijama kao što su Audacity ili na OBS Studiju. Naravno, možete pronaći neke aplikacije koje pokreću chatbotove na vašem uređaju, ali slabiji, manje nijansirani LLM nije tako ubojit kao ubojita aplikacija koja tjera sve da trče za najnovijim pametnim telefonom ili “AI računalom”.
Umjesto toga, na Pixel telefonima možemo koristiti samo relativno jednostavne aplikacije poput Gemini Nanoa Samsungove AI značajke, koje su nekoć bile ekskluzivne za Galaxy S24, prenesene su na starije telefone i uskoro bi trebale biti dostupne u nosivim uređajima tvrtke. Nismo usporedili brzinu ovih AI značajki na starijim uređajima, ali pokazuje da su stariji uređaji još 2021. već imali dovoljno neuronske procesorske snage.
