AI piše dobar kod, ali kada je u pitanju otklanjanje pogrešaka, “posrće” – Microsoft mora požuriti da odmah učini jednu stvar
U kontekstu mnogih koji vjeruju da bi umjetna inteligencija uskoro mogla zamijeniti programere, nova studija Microsofta zauzela je realističnije stajalište. Dok alati poput GitHub Copilota i mnogih AI startupa pokazuju svoju sposobnost brzog generiranja koda i davanja pametnih prijedloga, kada je u pitanju rukovanje bugovima – sastavni dio razvoja softvera – AI pokazuje svoja ograničenja.
Microsoftovo istraživanje pokazuje da AI alati danas uglavnom predlažu primjere ili isječke koda koji su dostupni, ali zapravo nisu sposobni za interakciju s izvršavanjem koda ili samostalno traženje novih informacija kada stvari ne rade kako se očekivalo. Ljudski programeri, s druge strane, to rade gotovo instinktivno, pogotovo kada je riječ o praćenju i rješavanju pogrešaka u velikom sustavu.
Za daljnju procjenu, Microsoft je izgradio platformu za testiranje pod nazivom debug-gym, koja omogućuje velikim jezičnim modelima da se uključe u proces otklanjanja pogrešaka s gotovo ljudskim okruženjima i alatima. Testiranje s jednostavnim AI agentom temeljenim na trenutnom jezičnom modelu pokazuje pozitivne rezultate u nekoliko točaka, ali je još uvijek vrlo ograničeno: čak i s pristupom interaktivnom alatu za otklanjanje pogrešaka, ove umjetne inteligencije rijetko rješavaju više od polovice testova u skupu referentnih vrijednosti.
Prema timu, glavni razlog leži u činjenici da trenutni jezični modeli nisu obučeni s dovoljno podataka za simulaciju ponašanja rukovanja pogreškama u nizu – to jest, kako ljudi pristupaju, isprobavaju, promatraju, prilagođavaju i popravljaju svaki korak. Osim toga, sami modeli zapravo ne znaju kako koristiti alate za otklanjanje pogrešaka tako fleksibilno i učinkovito kao ljudi.
Unatoč tome, Microsoft i dalje vjeruje da se umjetna inteligencija može potpuno poboljšati ako je obučena u dubljem smjeru. Predlažu izgradnju modela koji može “tražiti informacije” – automatski prikupljajući kontekst povezan s pogreškom i prosljeđujući te podatke moćnijem modelu generativnog koda za obradu. Ovo je pristup koji obećava da će pomoći umjetnoj inteligenciji da se približi stvarnom načinu razmišljanja o rješavanju problema.
Sve u svemu, ova studija još jednom potvrđuje da, iako AI može kodirati, još uvijek ne može preuzeti najvažnije dijelove programerske profesije – rukovanje bugovima, sigurnost i donošenje odluka u nesavršenim situacijama. Dok se to ne učini, AI će i dalje biti samo alat za podršku, a ne u potpunosti zamijeniti ljude.
