Izvorni članak objavljen je na web stranici i objavljeno na 3DNews uz dopuštenje autora. Donosimo cjeloviti tekst članka, s izuzetkom velikog broja poveznica - bit će korisne onima koji su ozbiljno zainteresirani za ovu temu i žele dublje proučiti teorijske aspekte računalne fotografije, ali za javnosti smatrali smo ovaj materijal suvišnim.
Danas niti jedna prezentacija pametnog telefona nije potpuna bez lizanja njegove kamere. Svaki mjesec slušamo o sljedećem uspjehu mobilnih kamera: Google uči Pixel snimati u mraku, Huawei zumirati poput dalekozora, Samsung ubacuje lidar, a Apple pravi najzaobljenije kutove na svijetu. Malo je mjesta gdje inovacije teku tako brzo ovih dana.
Istovremeno, zrcala kao da obilježavaju vrijeme. Sony svake godine obasipa sve novim matricama, a proizvođači lijeno ažuriraju brojku najnovije verzije i nastavljaju se opuštati i pušiti sa strane. Na stolu imam DSLR od 3000 dolara, ali kad putujem, uzmem svoj iPhone. Zašto?
Kao što je klasik rekao, otišao sam na internet s ovim pitanjem. Tamo raspravljaju o nekakvim “algoritmima” i “neuronskim mrežama”, a da nemaju pojma kako oni točno utječu na fotografiju. Novinari glasno iščitavaju broj megapiksela, blogeri složno piluju plaćene unboxinge, a estete se mažu “senzualnim opažanjem palete boja matrice”. Sve je kao i obično.
Morao sam sjesti, potrošiti pola života i sam sve shvatiti. U ovom ću vam članku reći što sam naučio.
Što je računalna fotografija?
Svugdje, uključujući Wikipediju, daju nešto poput ove definicije: računalna fotografija je svaka tehnika snimanja i obrade slike koja koristi digitalno računalstvo umjesto optičkih transformacija. Sve je dobro, osim što ništa ne objašnjava. Čak mu i autofokus odgovara, ali plenoptica, koja nam je već donijela puno korisnih stvari, ne odgovara. Neodređenost službenih definicija kao da daje naslutiti da nemamo pojma o čemu govorimo.
Pionir računalne fotografije, profesor sa Stanforda Marc Levoy (koji je sada odgovoran za kameru u Google Pixelu) daje još jednu definiciju - skup računalnih metoda vizualizacije koje poboljšavaju ili proširuju mogućnosti digitalne fotografije, pomoću kojih se dobiva obična fotografija koja tehnički se ne može snimiti ovom kamerom. kamera na tradicionalan način. U članku se toga pridržavam.
Dakle, za sve su bili krivi pametni telefoni.
Pametni telefoni nisu imali drugog izbora nego iznjedriti novu vrstu fotografije: računalnu fotografiju.
Njihove male bučne matrice i maleni sporootvorni objektivi, prema svim zakonima fizike, trebali su donijeti samo bol i patnju. Donijeli su ih sve dok njihovi programeri nisu smislili kako pametno iskoristiti njihove snage da prevladaju njihove slabosti - brze elektroničke kapke, moćne procesore i softver.
Većina visokoprofilnih istraživanja u području računalne fotografije dogodila se između 2005. i 2015. godine, što se u znanosti smatra doslovno jučer. Upravo sada, pred našim očima iu našim džepovima, razvija se novo polje znanja i tehnologije koje nikada prije nije postojalo.
Računalna fotografija nije samo selfie s neuro-bokehom. Nedavna fotografija crne rupe ne bi bila moguća bez tehnika računalne fotografije. Da bismo snimili takvu fotografiju običnim teleskopom, morali bismo ga napraviti veličine Zemlje. Međutim, kombiniranjem podataka iz osam radio-teleskopa na različitim točkama naše lopte i pisanjem nekoliko skripti u Pythonu, dobili smo prvu fotografiju horizonta događaja na svijetu. Dobar i za selfije.
Početak: digitalna obrada
Zamislimo da smo se vratili u 2007. godinu. Majka nam je anarhija, a naše fotografije su bučni džipovi od 0,6 megapiksela snimljeni na skejtbordu. Otprilike tada imamo prvu neodoljivu želju posuti ih presetima kako bismo sakrili jadnost mobilnih matrica. Nemojmo se negirati.
Matan i Instagram
S pojavom Instagrama svi su postali opsjednuti filterima. Kao netko tko je obrnutim inženjeringom napravio X-Pro II, Lo-Fi i Valenciju za, naravno, istraživačke svrhe, još uvijek se sjećam da su se sastojali od tri komponente:
- Postavke boja (Nijansa, Zasićenost, Svjetlina, Kontrast, Razine, itd.) - jednostavni digitalni koeficijenti, točno kao i sve unaprijed postavljene postavke koje su fotografi koristili od davnina.
- Tonske mape su vektori vrijednosti, od kojih nam je svaka govorila: "Crvena boja s nijansom 128 trebala bi se pretvoriti u nijansu 240."
- Overlay je prozirna slika s prašinom, zrncima, vinjetama i svim ostalim što se može staviti na vrh da bi se dobio nimalo banalan efekt starog filma. Nije uvijek bio prisutan.
Moderni filteri nisu daleko od ove trojke, samo su u matematici postali malo složeniji. S pojavom hardverskih shadera i OpenCL-a na pametnim telefonima, brzo su prepravljeni za GPU, a to se smatralo strašno cool. Za 2012., naravno. Danas svaki student to može učiniti u CSS-u, a još uvijek neće dobiti priliku diplomirati.
Međutim, napredak filtera nije stao ni danas. Dečki iz Dehansera, primjerice, odlično znaju koristiti nelinearne filtre - umjesto proleterskog tone mappinga koriste složenije nelinearne transformacije, što, po njima, otvara mnogo više mogućnosti.
Možete učiniti puno stvari s nelinearnim transformacijama, ali one su nevjerojatno složene, a mi ljudi smo nevjerojatno glupi. Čim se radi o nelinearnim transformacijama u znanosti, radije idemo na numeričke metode i trpamo neuronske mreže posvuda da nam pišu remek-djela. Tako je bilo i ovdje.
Automatizacija i snovi o gumbu "remek-djelo".
Nakon što su se svi navikli na filtre, počeli smo ih ugrađivati izravno u kamere. Povijest skriva koji je proizvođač bio prvi, ali samo da shvatimo koliko davno je to bilo - u iOS-u 5.0, koji je objavljen još 2011., već je postojao javni API za automatsko poboljšavanje slika. Samo Jobs zna koliko je dugo bio u upotrebi prije otvaranja za javnost.
Automatizacija je učinila isto što i svatko od nas kada otvori fotografiju u uređivaču - izvukla je praznine u svjetlu i sjeni, dodala zasićenost, uklonila crvene oči i popravila ten. Korisnici nisu ni shvatili da je "dramatično poboljšana kamera" u novom pametnom telefonu samo zasluga nekoliko novih shadera. Preostalo je još pet godina do izlaska Google Pixela i početka pompe računalne fotografije.
Danas se bitka za gumb “remek djelo” preselila na polje strojnog učenja. Nakon što su se dovoljno poigrali s tone mappingom, svi su požurili trenirati CNN-ove i GAN-ove da pomiču klizače umjesto korisnika. Drugim riječima, iz ulazne slike odrediti skup optimalnih parametara koji bi tu sliku približili određenom subjektivnom shvaćanju “dobre fotografije”. Implementirano u istom Pixelmator Pro i drugim uređivačima. Djeluje, kao što možete pretpostaviti, ne baš dobro i ne uvijek.
Slaganje je 90% uspjeha mobilnih kamera
Prava računalna fotografija započela je slaganjem više fotografija jedne na drugu. Pametnom telefonu nije problem kliknuti desetak sličica u pola sekunde. Njihovi fotoaparati nemaju spore mehaničke dijelove: otvor blende je fiksan, a umjesto pomične zavjese nalazi se elektronički zatvarač. Procesor jednostavno naređuje matrici koliko mikrosekundi treba uhvatiti divlje fotone, a ona očitava rezultat.
Tehnički, mobitel može snimati fotografije u video brzini, a video u foto rezoluciji, no sve ovisi o brzini busa i procesora. Zato uvijek postavljaju ograničenja programa.
Sam staking je s nama već dugo vremena. Čak su i djedovi instalirali dodatke na Photoshop 7.0 kako bi sklopili nekoliko fotografija u privlačan HDR ili spojili panoramu od 18000 × 600 piksela i... zapravo, nitko nikad nije smislio što dalje s njima. Šteta što su vremena bila bogata i divlja.
Sada smo odrasli i zovemo to “epsilon fotografija” - kada promjenom jednog od parametara fotoaparata (ekspozicija, fokus, pozicija) i spajanjem dobivenih kadrova dobijemo nešto što se nije moglo uhvatiti u jednom kadru. No to je termin za teoretičare, u praksi se udomaćio drugi naziv - ulog. Danas se zapravo 90% svih inovacija u mobilnim kamerama temelji na njemu.
Nešto o čemu mnogi ljudi ne razmišljaju, ali je važno za razumijevanje cijele mobilne i računalne fotografije: kamera na modernom pametnom telefonu počinje snimati fotografije čim otvorite njegovu aplikaciju. Što je i logično, jer ona treba nekako prenijeti sliku na ekran. No, osim na zaslonu, sprema okvire visoke rezolucije u vlastiti međuspremnik petlje, gdje ih pohranjuje još nekoliko sekundi.
Kada pritisnete tipku “take photo”, slika je zapravo već snimljena, kamera jednostavno uzme zadnju fotografiju iz međuspremnika.
Ovako radi svaka mobilna kamera danas. Barem u svim vodećim brodovima koji nisu s hrpe smeća. Buffering vam omogućuje da ostvarite ne samo nulti zastoj zatvarača, o čemu su fotografi dugo sanjali, već čak i negativan - kada pritisnete gumb, pametni telefon gleda u prošlost, istovaruje posljednjih 5-10 fotografija iz međuspremnika i počinje bjesomučno analizirati i zalijepite ih. Nema više čekanja da telefon klikne okvire za HDR ili noćni način rada - samo ih uzmite iz međuspremnika, korisnik neće ni znati.
Inače, upravo je uz pomoć negative shutter laga Live Photo implementiran u iPhone, a HTC je nešto slično imao još 2013. pod čudnim imenom Zoe.
Slaganje ekspozicije - HDR i borba protiv promjena svjetline
Jesu li senzori kamere sposobni uhvatiti cijeli raspon svjetline dostupan našim očima stara je vruća tema rasprave. Neki kažu ne, jer je oko sposobno vidjeti do 25 f-stopova, dok čak i od vrhunske full-frame matrice možete dobiti najviše 14. Drugi usporedbu smatraju netočnom, jer mozak pomaže oku automatskim prilagođavanjem zjenice i upotpunjujući sliku svojim neuronskim mrežama, i trenutno Dinamički raspon oka zapravo nije veći od samo 10-14 f-stopa. Ovu raspravu prepustimo najboljim misliocima iz fotelje na internetu.
Ostaje činjenica: kada snimate prijatelje na svijetlom nebu bez HDR-a na bilo kojoj mobilnoj kameri, dobivate ili normalno nebo i crna lica prijatelja ili dobro nacrtane prijatelje, ali nebo spaljeno do smrti.
Rješenje je odavno izmišljeno - proširiti raspon svjetline pomoću HDR-a (High dynamic range). Morate snimiti nekoliko kadrova pri različitim brzinama zatvarača i spojiti ih zajedno. Dakle, jedan je “normalan”, drugi je svjetliji, treći je tamniji. Uzimamo tamna mjesta iz svijetlog okvira, ispunjavamo preekspozicije iz tamnog - profit. Ostaje samo riješiti problem automatskog bracketinga - koliko pomaknuti ekspoziciju svakog kadra da ne pretjerate, ali sada se student druge godine tehničkog sveučilišta može nositi s određivanjem prosječne svjetline slike.
Na najnovijem iPhoneu, Pixelu i Galaxyju, HDR način rada općenito se automatski uključuje kada jednostavni algoritam unutar fotoaparata utvrdi da snimate nešto s kontrastom na sunčan dan. Možete čak primijetiti kako telefon prebacuje način snimanja na međuspremnik kako bi spremio okvire pomaknute u ekspoziciji - fps u kameri pada, a sama slika postaje sočnija. Trenutak prebacivanja jasno je vidljiv na mom iPhoneu X prilikom snimanja na otvorenom. I sljedeći put bolje pogledajte svoj pametni telefon.
Mana HDR-a s bracketingom ekspozicije je njegova neprobojna bespomoćnost pri slabom osvjetljenju. Čak i uz svjetlo sobne lampe, okviri ispadnu toliko tamni da ih računalo ne može poravnati i spojiti. Kako bi riješio problem sa svjetlom, Google je 2013. pokazao drugačiji pristup HDR-u u tada objavljenom pametnom telefonu Nexus. Koristio je slaganje vremena.
Time stacking - simulacija duge ekspozicije i vremenski odmak
Slaganje vremena omogućuje vam stvaranje duge ekspozicije korištenjem niza kratkih. Pioniri su bili ljubitelji fotografiranja tragova zvijezda na noćnom nebu, kojima je bilo nezgodno otvarati kapak dva sata odjednom. Bilo je tako teško unaprijed izračunati sve postavke, a i najmanje podrhtavanje uništilo bi cijeli okvir. Odlučili su otvoriti kapak samo na nekoliko minuta, ali mnogo puta, a zatim su otišli kući i zalijepili dobivene okvire u Photoshopu.
Ispostavilo se da kamera nikada zapravo nije snimala s dugom brzinom zatvarača, ali dobili smo efekt simulacije zbrajanjem nekoliko sličica snimljenih u nizu. Već duže vrijeme postoji hrpa aplikacija napisanih za pametne telefone koje koriste ovaj trik, ali sve one nisu potrebne jer je značajka dodana gotovo svim standardnim kamerama. Danas čak i iPhone može jednostavno spojiti dugu ekspoziciju iz Live Photo.
Vratimo se Googleu s njegovim noćnim HDR-om. Ispostavilo se da pomoću vremenskog bracketinga možete implementirati dobar HDR u mraku. Tehnologija se prvi put pojavila u Nexusu 5 i zvala se HDR+. Ostali Android telefoni dobili su ga kao na poklon. Tehnologija je još uvijek toliko popularna da je čak hvale u predstavljanju najnovijih Pixela.
HDR+ radi vrlo jednostavno: nakon što je utvrdio da snimate u mraku, kamera učitava zadnjih 8-15 RAW fotografija iz međuspremnika kako bi ih preklopila jednu preko druge. Dakle, algoritam prikuplja više informacija o tamnim područjima kadra kako bi minimizirao šum - pikselima gdje kamera iz nekog razloga nije uspjela prikupiti sve informacije i pogriješila je.
To je kao da ne znate kako izgleda kapibara i zamolite petero ljudi da je opišu, njihove bi priče bile otprilike iste, ali svaka bi spominjala neki jedinstveni detalj. Na taj biste način prikupili više informacija nego da ih samo pitate. Isto je i s pikselima.
Dodavanje okvira snimljenih iz jedne točke daje isti efekt lažne duge ekspozicije kao i sa zvijezdama iznad. Izloženost desetaka okvira se sažima, pogreške u jednom su minimizirane u drugom. Zamislite koliko biste puta morali svaki put pritisnuti okidač DSLR-a da to postignete.
Ostalo je još samo riješiti problem automatske korekcije boja - kadrovi snimljeni u mraku obično ispadnu žuti ili zeleni, a mi nekako želimo bogatstvo dnevnog svjetla. U prvim verzijama HDR+ to se rješavalo jednostavnim podešavanjem postavki, kao u filtrima a la Instagram. Zatim su u pomoć pozvali neuronske mreže.
Tako se pojavio Night Sight - tehnologija “noćne fotografije” u Pixelu 2 i 3. U opisu kažu: “Tehnike strojnog učenja izgrađene na vrhu HDR+, koje čine Night Sight funkcioniranjem.” U biti, ovo je automatizacija faze korekcije boje. Stroj je uvježban na skupu podataka fotografija "prije" i "poslije" kako bi napravio jednu prekrasnu od bilo kojeg skupa tamnih iskrivljenih fotografija.
Usput, skup podataka je javno dostupan. Možda ga dečki iz Applea preuzmu i konačno nauče svoje staklene lopate da pravilno slikaju u mraku.
Uz to, Night Sight koristi izračun vektora gibanja objekata u kadru za normalizaciju zamućenja koje će se sigurno dogoditi s dugom brzinom zatvarača. Dakle, pametni telefon može uzeti jasne dijelove iz drugih okvira i zalijepiti ih.
Motion stacking - panorama, superzoom i smanjenje šuma
Panorama je popularna zabava za stanovnike ruralnih područja. Povijest još ne poznaje slučajeve u kojima bi fotografija kobasice bila zanimljiva ikome osim njezinom autoru, ali ne može se zanemariti - za mnoge je tu slaganje uopće počelo.
Prvi koristan način korištenja panorame je dobivanje fotografije veće rezolucije nego što to dopušta matrica fotoaparata spajanjem nekoliko okvira. Fotografi već dugo koriste različite softvere za fotografije takozvane super rezolucije - kada se malo pomaknute fotografije doimaju kao da se nadopunjuju između piksela. Na taj način možete dobiti sliku od najmanje stotine gigapiksela, što je vrlo korisno ako je trebate otisnuti na reklamni plakat veličine kuće.
Drugi, zanimljiviji pristup je Pixel Shifting. Neki fotoaparati bez ogledala kao što su Sony i Olympus počeli su ga podržavati još 2014., ali su i dalje morali lijepiti rezultat ručno. Tipične inovacije velikih kamera.
Pametni telefoni su ovdje uspjeli iz smiješnog razloga – kad fotografirate, ruke vam se tresu. Ovaj naizgled problem stvorio je osnovu za implementaciju izvorne super rezolucije na pametnim telefonima.
Da biste razumjeli kako to funkcionira, morate se sjetiti kako je strukturirana matrica bilo koje kamere. Svaki njegov piksel (fotodioda) sposoban je zabilježiti samo intenzitet svjetlosti - odnosno broj dolaznih fotona. Međutim, piksel ne može mjeriti svoju boju (valnu duljinu). Da bismo dobili RGB sliku, morali smo i ovdje dodati štake - pokriti cijelu matricu mrežom raznobojnih komada stakla. Njegova najpopularnija implementacija naziva se Bayerov filtar i koristi se u većini današnjih matrica. Izgleda kao na slici ispod.
Ispada da svaki piksel matrice hvata samo R-, G- ili B-komponentu, jer preostale fotone nemilosrdno odbija Bayerov filter. Prepoznaje komponente koje nedostaju izravnim usrednjavanjem vrijednosti susjednih piksela.
U Bayerovom filteru ima više zelenih stanica - to je učinjeno po analogiji s ljudskim okom. Ispada da će od 50 milijuna piksela na matrici zelena uhvatiti 25 milijuna, crvena i plava svaka po 12,5 milijuna. Ostatak će biti prosječan - taj se proces naziva debajerizacija ili demosaiciranje, a ovo je tako debela smiješna štaka koji sve miruje.
Zapravo, svaka matrica ima svoj lukavi patentirani algoritam demosaicinga, ali za potrebe ove priče to ćemo zanemariti.
Ostale vrste matrica (kao što je Foveon) nekako još nisu zaživjele. Iako neki proizvođači pokušavaju koristiti senzore bez Bayerovog filtra kako bi poboljšali oštrinu i dinamički raspon.
Kada ima malo svjetla ili su detalji objekta vrlo sitni, gubimo puno informacija jer Bayerov filtar očigledno odsijeca fotone neželjene valne duljine. Zato su smislili Pixel Shifting – pomicanje matrice za 1 piksel gore-dolje-desno-lijevo kako bi ih sve uhvatili. U ovom slučaju, fotografija ne ispada da je 4 puta veća, kao što se može činiti, procesor jednostavno koristi ove podatke za točnije snimanje vrijednosti svakog piksela. Ne izračunava prosjek svojih susjeda, da tako kažemo, već četiri svoje vrijednosti.
Drhtanje naših ruku prilikom fotografiranja telefonom čini ovaj proces prirodnom posljedicom. U najnovijim verzijama Google Pixela ova stvar je implementirana i uključuje se kad god koristite zumiranje na telefonu - zove se Super Res Zoom (da, sviđa mi se i njihovo nemilosrdno imenovanje). I Kinezi su to kopirali u svoje laofone, iako je ispalo malo gore.
Preklapanje blago pomaknutih fotografija jedne na drugu omogućuje vam prikupljanje više informacija o boji svakog piksela, što znači smanjenje šuma, povećanje oštrine i povećanje rezolucije bez povećanja fizičkog broja megapiksela matrice. Moderne Android perjanice to rade automatski, a da njihovi korisnici o tome i ne razmišljaju.
Slaganje fokusa - bilo koja dubina polja i ponovno fokusiranje u postprodukciji
Metoda dolazi iz makro fotografije, gdje je mala dubinska oštrina uvijek bila problem. Da bi cijeli objekt bio u fokusu, morali ste snimiti nekoliko kadrova s pomicanjem fokusa naprijed-natrag, a zatim ih spojiti u jedan oštar. Istu su metodu često koristili pejzažni fotografi, čineći prednji plan i pozadinu oštrima poput proljeva.
Sve se to preselilo i na pametne telefone, iako bez puno pompe. 2013. godine izašla je Nokia Lumia 1020 s “Refocus App”, a 2014. Samsung Galaxy S5 s “Selective Focus” modom. Radili su po istoj shemi: pritiskom na gumb brzo su snimili 3 fotografije - jednu s "normalnim" fokusom, drugu s fokusom pomaknutim naprijed i treću s fokusom pomaknutim unatrag. Program je poravnao okvire i omogućio vam da odaberete jedan od njih, što se reklamiralo kao "prava" kontrola fokusa u postprodukciji.
Nije bilo daljnje obrade, jer je čak i ovaj jednostavan hack bio dovoljan da zabije još jedan čavao u poklopac Lytroa i njegovih kolega svojim iskrenim preusmjeravanjem. Usput, razgovarajmo o njima (majstor prijelaza 80 lvl).
Računalne matrice - svjetlosna polja i plenoptici
Kao što smo gore shvatili, naše matrice su užas na štakama. Jednostavno smo se navikli i pokušavamo živjeti s tim. Njihova se struktura malo promijenila od početka vremena. Samo smo poboljšali tehnički proces - smanjili smo udaljenost između piksela, borili se protiv smetnji i dodali posebne piksele za fazni autofokus. Ali ako uzmete čak i najskuplji DSLR i njime pokušate fotografirati mačku koja trči u sobnoj rasvjeti - mačka će, blago rečeno, pobijediti.
Dugo smo pokušavali izmisliti nešto bolje. Puno pokušaja i istraživanja u ovom području gugla se za "računalni senzor" ili "ne-bayerov senzor", a čak se i gornji primjer Pixel Shiftinga može pripisati pokušajima poboljšanja matrica pomoću izračuna. No, najviše obećavajućih priča u posljednjih dvadesetak godina stižu nam upravo iz svijeta takozvanih plenoptičkih kamera.
Kako ne biste zaspali od iščekivanja nadolazećih složenih riječi, nabacit ću insajdersku informaciju da je kamera najnovijeg Google Pixela samo "pomalo" plenoptična. Samo dva piksela, ali čak i to mu omogućuje da izračuna točnu optičku dubinu kadra čak i bez druge kamere, kao i svi ostali.
Plenoptics je moćno oružje koje još nije opalilo. Evo poveznice na jedan od mojih omiljenih nedavnih. , odakle sam posudio primjere.
Plenoptic kamera - uskoro
Izumljen 1994., sakupljen na Stanfordu 2004. Prva kamera za široku potrošnju, Lytro, objavljena je 2012. VR industrija sada aktivno eksperimentira sa sličnim tehnologijama.
Plenoptička kamera razlikuje se od konvencionalne kamere samo u jednoj modifikaciji - njezina matrica prekrivena je mrežom leća, od kojih svaka pokriva nekoliko stvarnih piksela. Nešto kao ovo:
Ako ispravno izračunate udaljenost od mreže do matrice i veličinu otvora blende, konačna će slika imati jasne nakupine piksela - svojevrsne mini-verzije izvorne slike.
Ispada da ako uzmete, recimo, jedan središnji piksel iz svakog klastera i zalijepite sliku samo pomoću njih, ona se neće razlikovati od one snimljene običnom kamerom. Da, malo smo izgubili na rezoluciji, ali samo ćemo zamoliti Sony da doda više megapiksela u nove matrice.
Zabava tek počinje. ako uzmete još jedan piksel iz svakog skupa i ponovno spojite sliku, opet ćete dobiti normalnu fotografiju, samo kao da je snimljena s pomakom od jednog piksela. Dakle, imajući klastere od 10 × 10 piksela, dobit ćemo 100 slika objekta iz "malo" različitih točaka.
Veća veličina klastera znači više slika, ali manju rezoluciju. U svijetu pametnih telefona s matricama od 41 megapiksela, iako rezoluciju možemo malo zanemariti, svemu postoji granica. Morate održavati ravnotežu.
U redu, sastavili smo plenoptičku kameru, pa što nam to daje?
Iskreno ponovno fokusiranje
Značajka o kojoj su svi novinari brujali u člancima o Lytrou bila je mogućnost poštenog podešavanja fokusa u postprodukciji. Pod poštenim mislimo da ne koristimo nikakve algoritme za uklanjanje zamućenja, već koristimo isključivo piksele koji su nam pri ruci, odabirući ih ili usrednjavajući ih iz klastera traženim redoslijedom.
RAW fotografija s plenoptičke kamere izgleda čudno. Da biste iz njega dobili uobičajeni oštar džip, prvo ga morate sastaviti. Da biste to učinili, morate odabrati svaki piksel džipa iz jednog od RAW klastera. Ovisno o tome kako ih odaberemo, rezultat će se promijeniti.
Na primjer, što je klaster dalje od točke upada izvorne zrake, to je ova zraka više izvan fokusa. Jer optika. Da bismo dobili sliku s pomaknutim fokusom, samo trebamo odabrati piksele na željenoj udaljenosti od originalne - bilo bliže ili dalje.
Teže je bilo prebaciti fokus na sebe – čisto fizički, takvih je piksela bilo manje u klasterima. U početku, programeri nisu čak htjeli dati korisniku mogućnost fokusiranja rukama - kamera je to odlučila u softveru. Korisnicima se nije svidjela ova budućnost, pa su dodali značajku u noviji firmware pod nazivom "kreativni način rada", ali su refokus u njemu učinili vrlo ograničenim upravo iz tog razloga.
Karta dubine i 3D iz jedne kamere
Jedna od najjednostavnijih operacija u plenoptici je dobivanje karte dubine. Da biste to učinili, samo trebate prikupiti dva različita okvira i izračunati koliko su objekti u njima pomaknuti. Veći pomak znači dalje od kamere.
Google je nedavno kupio i ubio Lytro, ali je koristio njihovu tehnologiju za svoj VR i... za Pixel kameru. Počevši od Pixela 2, kamera je po prvi put postala "malo" plenoptična, iako sa skupinama od samo dva piksela. To je Googleu dalo priliku da ne instalira drugu kameru, kao svi ostali, već da izračuna kartu dubine samo iz jedne fotografije.
Karta dubine izgrađena je pomoću dva okvira pomaknuta za jedan subpiksel. To je sasvim dovoljno za izračunavanje binarne mape dubine i odvajanje prednjeg plana od pozadine te zamućivanje potonjeg u sada već modernom bokehu. Rezultat takvog slojevitosti također se izglađuje i "poboljšava" neuronskim mrežama koje su obučene za poboljšanje dubinskih mapa (a ne zamućivanje, kao što mnogi misle).
Trik je u tome što smo dobili plenopticu u pametnim telefonima gotovo besplatno. Već smo stavili leće na te malene matrice kako bismo nekako povećali svjetlosni tok. U sljedećem Pixelu Google planira ići dalje i pokriti četiri fotodiode lećom.
Izvor: 3dnews.ru