Novi Sony foto senzor čini kameru pametnijom zahvaljujući integriranom AI
Dugi niz godina evolucija foto senzora uglavnom se vrtjela oko megapiksela, a sljedeći evolucijski korak je da oni postaju pametniji. Sony je najavio dva modela foto senzora IMX500 i IMX501 opremljenih AI funkcijom.
Sony IMX500 i IMX 501 su složeni senzori koji integriraju memoriju i logički čip opremljen Sonyjevim originalnim DSP-om (Digital Signal Processor) namijenjenom izvršavanju računa utemeljenih na strojnom učenju bez potrebe za vanjskim procesorom ili cloud poslužiteljem.
Signali stečeni čipom pokreću se putem ISP-a (Image Signal Processor) i AI obrada se vrši u fazi procesa na logičkom čipu. Izvučene se informacije iznose kao metapodaci (semantičke informacije koje pripadaju slikovnim podacima smanjujući količinu obrađenih podataka).
Osim slike koju je snimio konvencionalni foto senzor, korisnici mogu odabrati format izlaznih podataka prema svojim potrebama i upotrebi, uključujući izlazne slike formata ISP (YUV / RGB) i ROI (posebno područje) specifične slike.
Što se tiče videa, kad se koristi konvencionalni foto senzor, potrebno je poslati podatke za svaki pojedinačni okvir izlazne slike za AI obradu, što rezultira povećanim prijenosom podataka i otežava isporuku performansi u stvarnom vremenu. Ovi novi senzori, ISP obradu i brzu AI obradu (3,1 milisekundi obrade za MobileNet V1) na logičkom čipu, izvršavaju u jednom video okviru.
Na prvi pogled stvari se možda neće činiti vrlo privlačnim, ali integrirani AI čip nudi rješenje za novi GDPR zakon koji strogo ograničava uporabu videonadzora od strane institucija jer senzori mogu u potpunosti nositi AI zadatke upravo na uređaju. Naravno, ti foto senzori neće zamijeniti sofisticirane alate za strojno učenje u oblaku, ali oni su još uvijek veliki korak prema budućnosti u kojoj kamere mogu djelovati kao minijaturna računala.
Međutim, ovi AI foto senzori, barem zasad, ne ciljaju na pametne telefone ili tablete. Sony cilja na kupce u maloprodaji i industriji. Trenutačni pametni telefoni koriste SoC-eve koji imaju posebnu jedinicu neuronske obrade za proračune s umjetnom inteligencijom. Ti NPU-ovi se također koriste za obradu slike.
U sljedećoj generaciji senzora, tehnologija će se nastaviti poboljšavati i možda Sony može pružiti jači procesor, veću memoriju, pomažući u rješavanju i složenijih zadataka.
Sony IMX500 i IMX 501 osnovne tehničke karakteristike
Sony IMX500 i IMX 501 rezolucije su 12,3 MP, veličine 1/2,3 inča (dijagonala 7,857 mm) i veličine piksela 1,55 mikrona. Kada se snima bez AI, omogućava snimanje pri 4K @ 60fps ili 1080p @ 240fps. Ako je omogućen AI, brzina kadra će se smanjiti na 30fps. Osim funkcije AI obrade zahvaljujući algoritmu koji je integriran u procesor signala slike (ISP), senzor je još uvijek sposoban snimiti HDR.
Cijena
Zasebni senzor IMX500 košta oko 87 eura, a kompletan paket IMX501 izlazi u lipnju i košta oko 174 eura.
