Triježnjenje u oblaku: Kompanije masovno režu AI proračune nakon što je naplata po tokenu otkrila stvarne troškove

Kako primjećuje Financial Times, na tržištu generativne umjetne inteligencije upravo se događaju tektonske strukturne promjene. Korporativni klijenti prisiljeni su iz korijena redefinirati svoj pristup financiranju AI projekata. Kompleksna agencijska rješenja i integracije dramatično podižu operativne troškove, zbog čega tvrtke sada puno opreznije i promišljenije plaćaju za implementaciju umjetne inteligencije.

Ovaj val triježnjenja uvelike su potaknule nove poslovne politike AI pionira poput OpenAI-a i Anthropica. Analizirajući vlastitu profitabilnost, ovi su tech divovi shvatili da su zapravo dugoročno subvencionirali mnoge klijente pružajući im praktički neograničen pristup golemim računalnim resursima kroz fiksne pretplate. Mnogi poslovni korisnici troše toliko tokena da njihove troškove fiksne naknade jednostavno ne mogu pokriti.

Prijelaz na model proporcionalnog plaćanja za stvarno potrošene računalne resurse (pay-per-token) užasnuo je menadžment mnogih kompanija. Primjerice, nakon prelaska na naplatu po potrošenim tokenima, Workato, relativno mali developer softvera, već je prvog dana doživio sedmerostruki skok troškova prema svom AI provideru. Uprava tvrtke morala je hitno reagirati pa analizu i rezanje AI troškova sada provodi čak dvaput tjedno.

Generalno gledajući, taktika korisnika AI sustava danas se svodi na strogo ograničavanje korištenja skupih komercijalnih alata trećih strana i grozničavo traženje jeftinijih alternativa. U mnogim slučajevima te alternative postaju stabilni open-source AI modeli implementirani na vlastitoj, lokalnoj infrastrukturi (on-premise) ili pak znatno pristupačniji sustavi kineskih developera. Kada je riječ o udaljenom pristupu (API), kineska rješenja uspijevaju biti osjetno jeftinija, ponajprije zbog nižih cijena električne energije u Kini. Rezultat toga je da su od početka ove godine kineski AI modeli premašili američke po ukupnom volumenu potrošnje tokena.

Neke su tvrtke uvele rigorozne maksimume potrošnje za AI alate trećih strana po glavi zaposlenika. Primjerice, Uber je taj iznos ograničio na najviše 1500 dolara mjesečno po radnom mjestu. Ovi proračuni trpe ogroman pritisak prvenstveno zbog evolucije načina korištenja AI-ja: korisnici masovno prelaze s jednostavnih tekstualnih interakcija s chatbotovima na kompleksne sustave s više autonomnih AI agenata. Pojedina organizacija danas može imati aktivirano od 10 pa sve do 10.000 agenata po zaposleniku, a svi oni neprekidno vrte upite u pozadini i troše tokene koje na kraju mjeseca treba platiti.

Analitičari Goldman Sachsa predviđaju da će potrošnja AI tokena do 2030. godine skočiti čak 24 puta, što će samo po sebi dodatno pogoršati globalnu nestašicu naprednih čipova u sljedećih 18 mjeseci. Čak su i tech giganti poput Amazona (AWS), koji upravljaju vlastitom, masovnom računalnom infrastrukturom, počeli detaljno nadzirati učinkovitost trošenja resursa. Ovaj cloud div počeo je strogo suzbijati lažne demonstracije intenzivnih AI aktivnosti od strane pojedinih zaposlenika, koji su simuliranjem visoke potrošnje htjeli menadžmentu dokazati svoju stopostotnu predanost trendu “općeg uranjanja u AI”. Meta je u travnju ove godine bila prisiljena povući sličan potez i uvesti strože interne kontrole. Činjenica je da čak i giganti poput Amazona i Mete u nekim segmentima ovise o vanjskim pružateljima usluga kao što je Anthropic, čiji se napredni modeli moraju plaćati po punim komercijalnim cijenama.

Kako bi odgovorio na ove izazove, Microsoft je pokrenuo novu uslugu za klijente koji žele optimizirati svoje AI proračune, omogućujući im pametno i dinamično usmjeravanje upita (smart routing). Ako se određeni zadatak može uspješno riješiti jeftinijim i manjim modelom, sustav ga automatski dodjeljuje njemu, umjesto da ga šalje na najskuplju rutu prema najmoćnijem LLM-u. Pri ručnom postavljanju arhitekture, tvrtke sve češće svjesno biraju starije i jeftinije generacije modela.

Ipak, unutar kompanija uvijek postoji skupina naprednih korisnika i inženjera kojima stalno nedostaje računalne snage za rješavanje kompleksnih operativnih problema. Zbog svega toga, javnim dioničkim društvima postaje sve teže opravdati stalni rast AI troškova pred investitorima i dioničarima koji traže jasne dokaze o povratu investicije (ROI).