MIT otkriva: LLM-ovi ponekad „uče pogrešne ključne točke“, što utječe na pouzdanost AI-ja
Prema najnovijem istraživanju MIT-a, veliki jezični modeli (LLM-ovi) ponekad ne razumiju stvarni sadržaj pitanja, već se oslanjaju na gramatičke obrasce usvojene tijekom treninga. Ovaj fenomen može dovesti do neočekivanih pogrešaka pri rješavanju novih zadataka, što izravno utječe na pouzdanost u praktičnim primjenama poput obrade korisničkih upita, sažimanja kliničkih zapisa ili generiranja financijskih izvještaja. Studija dodatno upozorava da napadači mogu iskoristiti ovu ranjivost kako bi prevarili model i natjerali ga da generira štetan sadržaj, čak i kada postoje određene sigurnosne zaštite.
Predlošci sintakse nadomještaju semantičko razumijevanje
Istraživači su otkrili da LLM-ovi tijekom treninga često povezuju određene rečenične strukture s temama ili domenama. Primjerice, model može naučiti povezati obrasce poput „prilog / glagol / vlastita imenica / glagol“ s pitanjima koja se odnose na geografske teme. U praksi to znači da, kada model naiđe na pitanje s istom gramatičkom strukturom, ali apsurdnim sadržajem, može ponuditi odgovor temeljen na prepoznatoj strukturi, a ne na stvarnom značenju rečenice. Marzyeh Ghassemi, izvanredna profesorica na Odsjeku za elektrotehniku i računalne znanosti MIT-a, ističe da je ovo nusprodukt današnjih metoda treniranja. Međutim, modeli se danas koriste u sigurnosno kritičnim okruženjima – daleko izvan domene za koju su izvorno razvijeni – što povećava rizik od pogrešnih odluka.
Testovi potvrđuju ranjivost svih mainstream modela
Tijekom istraživanja znanstvenici su izradili eksperiment sinteze koji koristi samo jedan sintaktički predložak po domeni u podacima za trening. Kada su zamjenjivali riječi sinonimima, antonimima ili potpuno nasumičnim pojmovima – ali pritom zadržali istu strukturu rečenice – LLM je i dalje davao „točan“ odgovor, čak i ako je pitanje bilo besmisleno. Suprotno tome, kada su istraživači promijenili sintaksu, a značenje ostavili isto, modeli su često odgovorili pogrešno. Testovi su pokazali da su prethodno trenirani modeli, uključujući GPT-4 i Llamu, i dalje značajno podložni ovom problemu.
Dodatni izazovi za LLM-ove
Ovo nije jedina slabost današnjih modela. U veljači 2025. objavljena je druga studija koja je procijenila osam najnovijih modela, uključujući Mixtral, Llamu, Gemini i GPT-4o. Svi su modeli pokazali ograničenja u područjima poput prostornog zaključivanja, strateškog planiranja i aritmetike. Često se događa da model dođe do ispravnog odgovora, ali pritom koristi pogrešnu logiku, što dodatno otežava oslanjanje na njih u stvarnim i rizičnim primjenama.
