Microsoft razvija AI tehnologiju koja može promijeniti izgovorene riječi i pokrete usana u stvarnom vremenu

Nakon što je deepfake sadržaj ranije proglasio jednom od najvećih opasnosti umjetne inteligencije, Microsoft je predstavio patentnu prijavu za tehnologiju koja otvara nova pitanja o pouzdanosti internetskog sadržaja. Riječ je o sustavu koji bi mogao mijenjati govor osoba tijekom videoprijenosa uživo i prilagođavati pokrete njihovih usana novim riječima.

Takva tehnologija mogla bi imati korisne primjene, od automatskog prevođenja do uklanjanja neprikladnih izraza. Međutim, istodobno otvara ozbiljna pitanja o manipulaciji informacijama i mogućnosti da gledatelji čuju nešto što osoba pred kamerom nikada nije izgovorila. Granica između stvarnog govora i sadržaja koji je izmijenila umjetna inteligencija mogla bi postati još teže prepoznatljiva.

Deepfake tehnologija već je izazvala milijunske gubitke

Početkom 2024. godine zaposlenik financijskog odjela tvrtke Arup u Hong Kongu sudjelovao je u videopozivu s osobom za koju je vjerovao da je financijski direktor tvrtke. U razgovoru je sudjelovalo i nekoliko drugih kolega. Poznata lica i prepoznatljivi glasovi nisu izazvali nikakvu sumnju. Tijekom razgovora zaposlenik je dobio upute za prijenos novca i vjerovao da komunicira s legitimnim predstavnicima tvrtke. Nakon ukupno 15 transakcija s računa tvrtke nestalo je 200 milijuna hongkonških dolara, odnosno približno 25,6 milijuna američkih dolara. Policijska istraga pokazala je da ostali sudionici videopoziva nisu bili stvarne osobe. Njihovi likovi i glasovi bili su izrađeni pomoću deepfake tehnologije.

Ovaj slučaj pokazao je koliko uvjerljiva može biti umjetna inteligencija kada se koristi za oponašanje stvarnih ljudi. Videopozivi, koji su se donedavno smatrali jednim od pouzdanijih načina provjere identiteta, postali su još jedan kanal koji prevaranti mogu iskoristiti.

Microsoftov patent omogućuje promjenu govora i pokreta usana uživo

Više od dvije godine nakon tog slučaja Microsoft je objavio patentnu prijavu koja opisuje sustav za uređivanje govora tijekom videoprijenosa uživo. Patentna prijava objavljena je 29. listopada, a podnesena je u travnju 2025. godine pod oznakom US 2026/0341309 A1. Prema opisu tehnologije, sustav analizira audio i videosignal te uz pomoć umjetne inteligencije odabire riječi koje će zamijeniti. Pritom uzima u obzir profil gledatelja, uključujući njegovu dob, lokaciju i jezik. Nakon odabira riječi AI model mijenja izvorni govor i generira nove videosličice. U njima se pokreti usana govornika prilagođavaju izmijenjenom tekstu kako bi izgledalo kao da osoba doista izgovara nove riječi. Prema informacijama koje navodi Patentlyze, obrada bi mogla trajati samo nekoliko sekundi dulje od izvornog prijenosa. Drugim riječima, gledatelj bi mogao pratiti gotovo izravan videoprijenos, ali s govorom koji je umjetna inteligencija prethodno prilagodila njegovim postavkama.

Dva gledatelja mogla bi čuti dvije različite verzije istog razgovora

Na prvi pogled, mogućnosti ove tehnologije djeluju korisno i praktično. Sustav bi mogao uklanjati poštapalice poput „hm”, zamjenjivati psovke, ispravljati pogrešno izgovorene riječi i prilagođavati sleng kako bi sadržaj bio razumljiviji različitim skupinama gledatelja. Jedna od zanimljivijih mogućnosti jest automatsko prevođenje govora. Umjesto titlova ili zasebno snimljene sinkronizacije, gledatelj bi mogao čuti govornika kako govori na njegovu jeziku, uz odgovarajuće pokrete usana. Patent opisuje i mogućnost zamjene određenih riječi na temelju rezultata internetskog pretraživanja.

Za kreatore sadržaja i velike internetske platforme takav pristup mogao bi predstavljati značajan korak prema uklanjanju jezičnih prepreka. Jedan prijenos mogao bi se automatski prilagoditi publici diljem svijeta bez potrebe za zasebnim snimkama.

Međutim, upravo ta mogućnost otvara i najveći problem. Ako umjetna inteligencija može promijeniti riječi koje je netko izgovorio i pritom prilagoditi pokrete njegovih usana, gledatelju postaje mnogo teže utvrditi što je osoba doista rekla.

Stručnjaci upozoravaju da je sve teže prepoznati deepfake sadržaj

Za stručnjake koji istražuju deepfake tehnologiju ovakav razvoj predstavlja ozbiljan razlog za zabrinutost. Hany Farid, profesor na Sveučilištu Kalifornija u Berkeleyju i jedan od poznatijih istraživača digitalne manipulacije, godinama razvija alate za prepoznavanje lažnih fotografija i videosnimki. U srpnju je u emisiji Here & Now radijske postaje WBUR upozorio na sve veću sofisticiranost deepfake sadržaja. Prema njegovim riječima, tehnologija je toliko napredovala da može zaobići čak i neke alate za otkrivanje manipulacija. Zbog toga je i sam postao oprezniji pri procjeni autentičnosti fotografija i videosnimki. Njegova istraživanja upućuju na to da se ljudska sposobnost prepoznavanja sadržaja generiranog umjetnom inteligencijom sve više približava običnom nagađanju.

Ako čak i iskusni stručnjaci imaju poteškoća s prepoznavanjem unaprijed pripremljenih deepfake snimki, prosječnim gledateljima bit će još teže prepoznati izmijenjeni govor tijekom prijenosa uživo. Problem je posebno ozbiljan zato što gledatelji prijenos uživo često doživljavaju kao neposredan i neuređen prikaz stvarnosti. Upravo bi se to povjerenje moglo iskoristiti za širenje manipuliranih izjava, lažnih informacija i sadržaja koji mogu utjecati na javno mišljenje.

Microsoft je i sam upozoravao na opasnosti deepfake tehnologije

Posebno je zanimljivo što je Microsoft i ranije javno upozoravao na opasnosti povezane s manipulacijom sadržaja pomoću umjetne inteligencije. U svibnju 2023. godine predsjednik Microsofta Brad Smith izjavio je za Reuters da su deepfakeovi jedna od njegovih najvećih zabrinutosti u vezi s razvojem umjetne inteligencije. Tada je naglasio potrebu zaštite autentičnog sadržaja od manipulacija koje bi mogle obmanuti ili zavesti ljude.

U srpnju 2024. Microsoft je također pozvao na obvezno označavanje sadržaja generiranog umjetnom inteligencijom. Tvrtka je takvu praksu smatrala važnom za očuvanje povjerenja u digitalni informacijski prostor.

Međutim, prema informacijama koje prenosi Cybernews, nova patentna prijava ne objašnjava hoće li sustav jasno obavijestiti gledatelje da je govor izmijenjen umjetnom inteligencijom. Nije dovoljno jasno ni na koji bi način takve promjene bile označene tijekom prijenosa. Patent spominje mogućnost pohrane izvorne snimke kao referentnog materijala koji bi se mogao koristiti u slučaju neslaganja ili potrebe za naknadnom provjerom.To znači da bi izvorna verzija mogla ostati dostupna u pozadinskom sustavu, dok bi gledatelji u stvarnom vremenu slušali izmijenjenu verziju.  Takav pristup mogao bi pomoći pri naknadnoj provjeri autentičnosti, ali ne rješava problem povjerenja tijekom samog gledanja sadržaja.

Patent još nije odobren, a Microsoft nije potvrdio njegovu primjenu

Važno je naglasiti da je riječ o patentnoj prijavi, a ne o gotovom proizvodu. Microsoft još nije dobio potvrdu da je patent odobren, niti je najavio planove za ugradnju opisane tehnologije u svoje postojeće proizvode. Zbog toga nije poznato hoće li sustav ikada biti dostupan korisnicima, u kojem obliku bi se mogao koristiti i kakve bi sigurnosne mehanizme uključivao. Ipak, sama činjenica da velika tehnološka kompanija razmatra sustav koji može mijenjati govor stvarnih ljudi tijekom prijenosa uživo pokazuje koliko se brzo razvijaju mogućnosti umjetne inteligencije.

Tehnologija bi mogla unaprijediti automatsko prevođenje, olakšati pristup digitalnom sadržaju i omogućiti personalizirano iskustvo gledanja. No bez jasnog označavanja izmjena i mogućnosti jednostavne provjere izvornog sadržaja, mogla bi dodatno otežati razlikovanje stvarnih izjava od onih koje je generirala umjetna inteligencija. Deepfake tehnologija već je pokazala koliko uvjerljive mogu biti digitalne manipulacije. Sustav koji istodobno mijenja govor i pokrete usana mogao bi dodatno povećati taj rizik.

U budućnosti možda više neće biti dovoljno vidjeti i čuti osobu kako nešto govori da bismo bili sigurni da je to doista izgovorila. Zato će uz razvoj ovakvih tehnologija biti jednako važno razvijati transparentne mehanizme označavanja, provjere autentičnosti i zaštite korisnika.