OpenAI je objavio četiri ažuriranja koja programerima omogućuju izgradnju responzivnije umjetne inteligencije

OpenAI je ranije najavio četiri ažuriranja na događaju DevDay, uključujući API u stvarnom vremenu, fino podešavanje Visiona, destilaciju modela i predmemoriranje upita. Ažuriranja su osmišljena kako bi poboljšala korisničko iskustvo korištenja usluga umjetne inteligencije razvijenih putem tehničkih resursa OpenAI-ja.
Iako nisu najavljeni novi modeli umjetne inteligencije, ažurirani tehnički resursi osmišljeni su kako bi programerima omogućili poboljšanje interaktivnog iskustva umjetne inteligencije i optimizaciju za računalne mogućnosti.

Instant API

Među njima, API u stvarnom vremenu značajno poboljšava učinkovitost semantičkog razumijevanja umjetne inteligencije i interakcije, omogućujući korisnicima da se bliže osjećaju kao da razgovaraju s pravim sugovornikom. Speak, platforma za učenje engleskog jezika u suradnji s OpenAI-jem, najavila je usvajanje ovog API-ja za novu funkciju igranja uloga u stvarnom vremenu, dok Wanderlust, usluga planiranja putovanja, također koristi ovaj API za poboljšanje interaktivnog korisničkog iskustva.

OpenAI je objasnio da tradicionalna operacija uključuje razumijevanje korisnikovog značenja kroz sustav, pretvaranje relevantnog sadržaja u tekst kako bi sustav obradio izračun, a zatim pretvorbu tekstualnog sadržaja rezultata izračuna u glasovnu reprodukciju. API u stvarnom vremenu može izravno izračunati zvuk putem GPT-4o modela i reflektirati rezultat izračuna, čime se ubrzava i poboljšava učinkovitost usluge umjetne inteligencije. Trenutno, API podržava 6 glasovnih stilova, a naglašava da se razlikuje od verzije koju nudi usluga ChatGPT, uzimajući u obzir pitanja autorskih prava i privatnosti, te nije otvoren za korištenje prilagođenih stilova dijaloga trećih strana. Instant API dostupan je u javnom beta obliku i naplaćuje se po cijeni od 5 USD za 1 milijun ulaznih tokena, 20 USD za 1 milijun izlaznih tokena, 100 USD za 1 milijun ulaznih audio tokena i 200 USD za 1 milijun izlaznih audio tokena. Uz obradu tekstualnog i audio sadržaja, OpenAI će također proširiti podršku za slikovni i video sadržaj u API-ju, olakšavajući programerima izradu aplikacija putem Pythona i Node.js.

Vizualno fino podešavanje

Mogućnosti vizualnog finog podešavanja za aplikacije računalnog vida omogućuju programerima da GPT-4o pruže prilagođene slikovne podatke, čime se omogućuje analizu sadržaja na način koji zadovoljava specifične potrebe. Grab, najveća internetska usluga prijevoza u jugoistočnoj Aziji, koristila je ovu značajku za poboljšanje točnosti pozicioniranja svoje karte usluga. Na primjer, unosom 100 skupova podataka, točnost pozicioniranja na karti može se povećati za 20%, omogućujući vozačima da točnije znaju ograničenje brzine trenutne ceste, čime se smanjuje rizik od prekoračenja brzine.

Model destilacije

Funkcija destilacije modela omogućuje programerima da “poboljšaju” veći AI model u manji model za izvanmrežnu upotrebu na uređaju ili da ga učinkovitije izvode.Iako su modeli umjetne inteligencije velikih razmjera precizniji i višemodularni, suočavaju se s izazovima kada se koriste na terminalnim uređajima zbog velikog broja parametara, što dovodi do veće cijene i sporijeg odziva. Destilacijom manjeg modela koji uči iz većeg modela, on može zadržati karakteristike manjeg modela koji zauzima manje računalnih resursa, a brži je i ima istu točnost kao veliki model, uz relativno nisku cijenu.

Predmemoriranje uputa

Što se tiče predmemorije uputa, ona je uglavnom namijenjena privremenom pohranjivanju uputa koje je izvršio AI model. Kada postoji potreba za pristupom istim ili sličnim uputama, sadržaj se može obraditi unaprijed, čime se ubrzava vrijeme reakcije i smanjuju operativni troškovi AI modela.

Osim toga, potpuno automatizirani dizajn ove značajke znači da programeri ne moraju ručno postavljati koje će se upute pohranjivati ili prilagođavati način rada, što može ubrzati izvršavanje AI usluga i uštedjeti do 50% troškova.