Kako je GPT-4 učio, koliko je jak i pametan?
OpenAI je najavio četvrtu verziju velikog jezičnog modela(LLM) GPT-4 (Generative Pre-trained Transformer) koji uči strojeve da razgovaraju, komuniciraju i stvaraju poput ljudi.
Obuka GPT-4 uz pregled ključnih riječi, programa klasifikacije za identificiranje i brisanje pornografskih informacija u podacima završena je u kolovozu prošle godine. Ostatak vremena trošio se na fino podešavanje, nadogradnju i uklanjanje stvaranja opasnog sadržaja. Angažirano je više od 50 stručnjaka iz područja rizika usklađivanja umjetne inteligencije, kibernetičke sigurnosti, biološkog rizika, povjerenja i sigurnosti te međunarodne sigurnosti kako bi proveli testiranje ponašanja modela u visokorizičnim područjima. Model je treniran korištenjem Microsoftovog (MSFT.US) Azure, ali nisu objavljene pojedinosti o veličini modela niti hardveru korištenom za treniranje.
Aspekti u kojima je GPT-4 postigao korak naprijed
- limit unosa teksta povećan je sa 8000 riječi na preko 25 000 riječi uz mogućnost pretraživanja i analize dokumenata
podrška za više od 26 različitih jezika (Microsoft Azure Translate)
- 40 posto veća vjerojatnost da će dati točne odgovore od GPT-3.5 i 82 posto manju vjerojatnost da će odgovoriti na pitanja koja bi trebala biti odbijena.
- uspješnost rješavanja testa iz prava, matematike, kemije, fizike i drugih predmeta je blizu uspješnosti najboljih učenika. Uzimajući simulirani pravosudni ispit kao primjer, rezultat može se svrstati u prvih 10 posto ispitanika, dok prethodna generacija GPT-3.5 postiže donjih 10 posto.
- podrška unosa slika i snažna sposobnost njihovog prepoznavanja i razumijevanja te daljnje generiranje tekstualnihi interaktivnih izlaza. Primjerice, na temelju ručno nacrtanih skica u deset sekundi generira kod web stranice
lijevo je rukom nacrtana skica, a desno generirani kod i web stranica
- pohrana se povećala s prijašnjih 4096 tokena (oko 8000 riječi) na 32768 tokena (oko 64000 riječi), čime može “zapamtiti” više informacija koje korisnik daje u duljem razgovoru te tako bolje razumjeti informacije
- manja vjerojatnost odgovora na zahtjeve kao što su medicinski savjeti ili samoozljeđivanje itd.
- dodana je stilska operativnost kako bi korisnici mogli diktirati stil kako bi se do određene mjere prilagodio njihovom iskustvu što poboljšava autentičnost i pouzdanost
PROČITAJTE JOŠ
Sam Atman – ChatGPT neće tako brzo promijeniti postojeće usluge pretraživanja
Uz ChatGPT lako je stvoriti zlonamjerni kod
Što je ChatGPT – trend koji će eksplodirati 2023.
Ograničenja još uvijek postoje
GPT-4 još uvijek ima ograničenja kao i raniji GPT modeli poput generiranja štetnih prijedloga, pogrešnog koda, netočnih informacija posebno kada korisnici postavljaju pitanja koja su premalena da bi bila uključena u bazu podataka i još uvijek je nemoguće da odgovori budu 100 posto pouzdani. U isto vrijeme, GPT-4 podaci o obuci su od rujna 2021. što znači da nema dovoljno znanja o informacijama nakon ove vremenske točke.
Također, pitanja vezana uz sigurnost prikupljenih podataka i dalje postoje. Nekoliko sati nakon izlaska modela, izraelski startup za kibernetičku sigurnost Adversa AI objavio je post na blogu koji pokazuje kako zaobići OpenAI-jeve filtre sadržaja i natjerati GPT-4 da generira phishing e-poruke, uvredljive opise homoseksualaca i druge poticaje.
No, kao što je OpenAI rekao, predstoji još puno posla, koji korisnici i programeri trebaju kontinuirano testirati, a zajednica graditi, istraživati i pridonositi modelu, kako bi model nastavio činiti sve jačim i jačim.
GPT-4 tri metode pristupa
Pretplatnici ChatGPT Plus od 20 USD mjesečno mogu već isprobati najanoviju onačicu izravno na chat.openai.com dok ostali zainteresirani i programeri trebaju se pridružiti listi čekanja za pristup. Ali budući Microsoftova nova verzija Bing pretraživanja izravno koristi GPT-4, to je još jedan način isprobavanja.
