Što telefon radi kada pritisneš zatvarač?
Hardver mobilne fotografije dostigao je svoj maksimum. Nakon buke oko senzora od 1 inča, jasno je da proizvođači u budućnosti sve više teže algoritamskom pristupu, tj. “računalnoj fotografiji”. To je pomalo maglovit pojam. Obuhvaća sve od HDR-a, noćnog moda, uljepšavanja i raznih efekata, do naprednih stvari poput pikselnog pomaka, super-rezolucije, fuzije više kamera, pa čak i portretnog bokeha i korekcije rubova kod ultraširokih leća. Google tradicionalno rado dijeli svoja istraživanja putem Google AI bloga. Ovdje ćemo ležerno proći kroz razvoj i trikove nekih najpoznatijih algoritama računalne fotografije iz Googleove perspektive, i na kraju baciti pogled i na Apple.
HDR i HDR+
U ranim danima digitalne fotografije, senzori mobilnih kamera nisu imali dovoljno dinamičnog raspona. Da bi “uhvatili” i svijetla i tamna područja u istoj sceni, inženjeri su koristili trik više ekspozicija: kratke ekspozicije za svijetle dijelove, duge za tamne. Spoji ih i dobiješ HDR fotku. Apple je još 2010. predstavio HDR na iPhoneu, a Nokia je isto uvela tek s Lumijom 1020 2013. godine. Google je s HDR+ pristupio drugačije. Umjesto kombinacije dugačkih i kratkih ekspozicija, koristi više kratkih. Tako se izbjegavaju problemi poput zamućenja i “duhova” kod pokretnih objekata. Snimiš 2 do 15 okvira, poravnaš ih, baci šumne, i spojiš u jednu čistu fotku. No, ovaj pristup imao je kašnjenje jer si morao čekati obradu više okvira. Rješenje? Počni snimati čim se kamera otvori. Kad pritisneš zatvarač, uzmu se zadnji spremljeni okviri iz memorije i obrade u HDR+ fotku.
Snaga hardvera i poseban čip
Sve ovo zahtijeva snagu. Snapdragon 810 na Nexusu 6P 2015. trebao je i do 4 sekunde za obradu HDR+ fotke. Zato je 2017. Pixel 2 dobio vlastiti “Pixel Visual Core” čip, koji je ubrzao obradu i smanjio potrošnju. Danas imamo NPU-ove, Appleove bioničke čipove, vivo V1+, OPPO Mariana X… Svi oni prvenstveno služe za računalnu fotografiju.
Bijela boja i buka u sjenama
HDR+ se neko vrijeme mučio s bijelom bojom i čudnim artefaktima, ali Pixel 4 je donio balans bijele temeljen na strojnom učenju, što je poprilično popravilo stvari. No, budući da HDR+ koristi više kratkih ekspozicija, detalji u sjenama često stradaju. Google je zato 2021. ponovno ubacio i duže ekspozicije kako bi dobio više svjetla u tamnim dijelovima, a sve to uz zadržavanje “zatvarača bez kašnjenja”.
Noćni mod i astrofotografija
Night Sight se pojavio krajem 2018. i donio automatski noćni mod s dužim ekspozicijama. Sve se snima nakon pritiska zatvarača, pa zato i traka napretka. Ako je scena mirna, ekspozicija može trajati i do 5 sekundi (1/3 sekunde po okviru x 15 okvira). Ako koristiš stativ, ide i do 6 sekundi. U 2021. dobiva i duže ekspozicije. Prvih nekoliko okvira su duge ekspozicije, što pomaže u smanjenju šuma. Astrofotografija? To je ekstremna verzija Night Sighta: do 4 minute ekspozicije kroz 15 okvira po 16 sekundi. Google koristi neuronske mreže za razlikovanje neba i tla i ciljano uklanjanje šuma.
Super Res Zoom
Također uveden 2018., Super Res Zoom koristi prirodnu drhtavicu ruke za lagani pomak piksela kroz više okvira. Iz njih rekonstruira više detalja i dobiva oštriju fotku, bez potrebe za dodatnom telefoto kamerom. Ova metoda koristi puno memorije i GPU snage. Na Snapdragonu 845, obrada jedne takve fotke traje oko 280 ms i troši 264 MB RAM-a.
Bokeh i fuzija više kamera
Google je godinama dokazivao da je za portretni bokeh dovoljna samo jedna kamera. Koristili su dvojezgreni fokus na IMX363 senzoru za procjenu dubine. Kasnije su dodali stereo algoritme i strojno učenje za prepoznavanje ljudi. Za dodatni efekt, Google je znao automatski zumirati prednju kameru na 1.2x i stražnju na 1.5x kako bi korisnici intuitivno uzmaknuli i smanjili izobličenje. Danas svi proizvođači nude bokeh iz jedne kamere. Ali neuronske mreže se i dalje ponekad zbune pa krokodil može ispasti kao pozadina. Kad govorimo o fuziji više kamera, najčešće se koristi za prijelaz između glavne kamere i 3x/5x telefoto. Ili za kombinaciju ultraširokog i glavnog senzora za prirodniji prijelaz između perspektiva.
A što Apple radi?
Smart HDR iz iPhone XS serije (2018.) također kombinira kratke i duge ekspozicije, s naglaskom na bolju toleranciju slike. Deep Fusion, koji je došao kasnije, koristi strojno učenje za dodatnu obradu detalja, posebno u srednje osvijetljenim scenama.
Na kraju, svi ovi algoritmi dolaze do istog cilja: izvuci maksimalno iz malog senzora, bez potrebe za dodatnim hardverom. Kamera u tvom telefonu je manje leća, a više koda.
