OGLAS

Skrivena cijena autonomnog kodiranja: Zašto tradicionalno brojanje tokena uništava budžete za umjetnu inteligenciju

·

Integracija naprednih AI agenata u procese razvoja softvera otvara ozbiljan ekonomski izazov za moderne tehnološke tvrtke. Za razliku od klasičnih, jednokratnih upita chatbotovima, autonomni AI agenti izvršavaju dugotrajne nizove složenih zadataka — od arhitektonskog planiranja i generiranja izvornog koda do automatiziranog testiranja i ispravljanja grešaka. Takav iterativni rad rezultira potrošnjom tokena koja je i do 50 puta veća od uobičajene, što operativne troškove dovodi do neodrživih razmjera.

Prvi ozbiljni znakovi financijske nestabilnosti već potresaju industriju. Prema izvješću MIT Technology Reviewa, kompanija Uber navodno je iscrpila cjelokupni godišnji proračun namijenjen umjetnoj inteligenciji već u prva četiri mjeseca ove godine, ponajviše zbog masovne implementacije alata poput Claude Codea. Analitička kuća Gartner ujedno upozorava na zabrinjavajuću prognozu po kojoj bi trošak generiranja programskih tokena mogao premašiti prosječnu plaću inženjera do 2028. godine, što bi organizacije moglo prisiliti na uvođenje restriktivnih ograničenja pristupa.

Zamka metrike po tokenu i potreba za novim modelom vrednovanja

Pokušaji rješavanja problema uvođenjem kvota i restrikcija korištenja često polučuju kontraefekt jer guše inovacije i usporavaju razvojne timove. Osnovni problem leži u činjenici da naplata temeljna na cijeni po tokenu mjeri isključivo sirovu potrošnju računalnih resursa, a ne stvarne poslovne rezultate. U taj trošak uračunavaju se i neuspješne iteracije, ponavljajuće ispravke i besmislene programske petlje.

Kako bi spriječile financijske gubitke, tvrtke moraju promijeniti način upravljanja resursima te prijeći s metrike cijene po tokenu na cijenu po uspješnom zahtjevu za integraciju. Taj se pokazatelj računa kao ukupna investicija u umjetnu inteligenciju podijeljena s brojem linija ili promjena koda koje su uspješno provjerene i integrirane u glavni projekt.

Pametno upravljanje opterećenjem i hibridna infrastruktura

Učinkovitija strategija optimizacije troškova oslanja se na dinamičko raspoređivanje računalne snage i prelazak na hibridne modele:

  • Sustavi pametnih pristupnika (Gateway): Umjesto korištenja najskupljih modela za svaki zadatak, ulazni zahtjevi automatski se usmjeravaju na temelju svoje složenosti, osjetljivosti podataka i potreba za brzinom. Složene arhitektonske zadaće prepuštaju se naprednim zatvorenim modelima, dok se rutinski poslovi usmjeravaju na isplativije modele otvorenog koda.
  • Lokalna infrastruktura i zaštita podataka: Oslanjanje isključivo na vanjske računalne usluge dugoročno je preskupo, a nosi i sigurnosne rizike za vlasnički izvorni kod. Razvoj vlastite infrastrukture za rutinske procese smanjuje ovisnost o vanjskim dobavljačima.

Dobar primjer takve prakse jest kompanija HPE, čija je hibridna platforma za distribuciju radnog opterećenja na vlastitoj infrastrukturi (HPE Private Cloud AI) uspjela smanjiti godišnje troškove tokena za 30 do 50 posto, uz istodobno osiguravanje potpune kontrole nad osjetljivim poslovnim podacima.

OGLAS