Originalni članak je objavljen na web stranici i objavljeno na 3DNews uz dozvolu autora. Donosimo cijeli tekst članka, s izuzetkom velikog broja linkova - oni će biti korisni onima koji su ozbiljno zainteresirani za ovu temu i željeli bi dublje proučiti teorijske aspekte kompjuterske fotografije, ali za široj publici smatrali smo ovaj materijal suvišnim.
Danas nijedna prezentacija pametnog telefona nije potpuna bez lizanja kamere. Svakog mjeseca slušamo o sljedećem uspjehu mobilnih kamera: Google uči Pixel da snima u mraku, Huawei da zumira kao dvogled, Samsung uvodi lidar, a Apple pravi najzaobljene uglove na svijetu. Malo je mjesta gdje inovacije teku tako brzo ovih dana.
U isto vreme, ogledala kao da obeležavaju vreme. Sony svake godine obasipa sve novim matricama, a proizvođači lijeno ažuriraju najnoviju verziju i nastavljaju da se opuštaju i puše sa strane. Imam DSLR od 3000 dolara na stolu, ali kada putujem, uzimam svoj iPhone. Zašto?
Kao što je klasik rekao, otišao sam na internet sa ovim pitanjem. Tamo raspravljaju o nekim „algoritmima“ i „neuralnim mrežama“, a da nemaju pojma kako tačno utiču na fotografiju. Novinari glasno čitaju broj megapiksela, blogeri uglas pilaju plaćene raspakivanje, a esteti se mažu "senzualnim opažanjem palete boja matrice". Sve je kao i obično.
Morao sam da sednem, provedem pola života i sve sam shvatim. U ovom članku ću vam reći šta sam naučio.
Šta je kompjuterska fotografija?
Svugdje, uključujući Wikipediju, daju nešto poput ove definicije: kompjuterska fotografija je svaka tehnika snimanja i obrade slike koja koristi digitalno računanje umjesto optičkih transformacija. Sve je dobro, osim što ništa ne objašnjava. Čak je i autofokus pogodan za to, ali plenoptics, koji nam je već donio mnogo korisnih stvari, ne odgovara. Čini se da nedorečenost zvaničnih definicija nagoveštava da nemamo pojma o čemu govorimo.
Pionir kompjuterske fotografije, profesor sa Stanforda Marc Levoy (koji je sada odgovoran za kameru u Google Pixelu) daje još jednu definiciju - skup metoda kompjuterske vizualizacije koje poboljšavaju ili proširuju mogućnosti digitalne fotografije, pomoću kojih se dobija obična fotografija koja tehnički se ne može snimiti ovom kamerom na tradicionalan način. U članku se toga pridržavam.
Dakle, pametni telefoni su bili krivi za sve.
Pametni telefoni nisu imali izbora osim da izrode novu vrstu fotografije: kompjutersku fotografiju.
Njihove male bučne matrice i sićušna sočiva sa malim otvorom blende, prema svim zakonima fizike, trebali su donijeti samo bol i patnju. To su činili sve dok njihovi programeri nisu shvatili kako da pametno iskoriste svoje prednosti da prevaziđu svoje slabosti - brze elektronske roletne, moćne procesore i softver.
Većina istraživanja visokog profila u oblasti kompjuterske fotografije dogodila se između 2005. i 2015. godine, što se u nauci smatra bukvalno jučerašnjim. Upravo sada, pred našim očima i u našim džepovima, razvija se novo polje znanja i tehnologije koje nikada prije nije postojalo.
Kompjuterska fotografija nije samo selfi s neuro-bokehom. Nedavna fotografija crne rupe ne bi bila moguća bez kompjuterskih tehnika fotografisanja. Da bismo snimili takvu fotografiju običnim teleskopom, morali bismo da bude veličine Zemlje. Međutim, kombinovanjem podataka sa osam radio teleskopa na različitim tačkama naše lopte i pisanjem nekoliko skripti na Pythonu, dobili smo prvu fotografiju horizonta događaja na svetu. Dobro i za selfije.
Početak: digitalna obrada
Zamislimo da smo se vratili 2007. Naša majka je anarhija, a naše fotografije su bučni džipovi od 0,6 megapiksela snimljeni na skejtbordu. Otprilike tada imamo prvu neodoljivu želju da ih posipamo unaprijed postavljenima kako bismo sakrili jadnost mobilnih matrica. Nemojmo poricati sebe.
Matan i Instagram
Izlaskom na Instagram, svi su postali opsjednuti filterima. Kao neko ko je reverzno konstruisao X-Pro II, Lo-Fi i Valenciju u, naravno, istraživačke svrhe, još uvek se sećam da su se oni sastojali od tri komponente:
- Postavke boja (Nijansa, Zasićenost, Osvetljenost, Kontrast, Nivoi, itd.) - jednostavni digitalni koeficijenti, baš kao i sve unapred podešene postavke koje su fotografi koristili od davnina.
- Preslikavanja tonova su vektori vrijednosti, od kojih nam svaka govori: "Crvena boja s nijansom od 128 treba se pretvoriti u nijansu od 240."
- Overlay je prozirna slika sa prašinom, zrnom, vinjetom i svim ostalim što se može postaviti na vrh kako bi se dobio nimalo banalan efekat starog filma. Nije uvijek bio prisutan.
Moderni filteri nisu daleko od ove trojke, samo su postali malo složeniji u matematici. Sa pojavom hardverskih shadera i OpenCL-a na pametnim telefonima, oni su brzo prepisani za GPU, i to se smatralo divno cool. Za 2012, naravno. Danas svaki student to može učiniti u CSS-u, a još uvijek neće dobiti priliku da diplomira.
Međutim, napredak filtera nije stao ni danas. Momci iz Dehansera su, na primjer, odlični u korištenju nelinearnih filtera - umjesto proleterskog mapiranja tonova koriste složenije nelinearne transformacije, što, po njima, otvara mnogo više mogućnosti.
Možete učiniti mnogo stvari sa nelinearnim transformacijama, ali one su neverovatno složene, a mi ljudi smo neverovatno glupi. Čim se radi o nelinearnim transformacijama u nauci, radije idemo na numeričke metode i svuda trpamo neuronske mreže da nam pišu remek djela. I ovdje je bilo isto.
Automatizacija i snovi o "remek-djelu" dugmetu
Kada su se svi navikli na filtere, počeli smo da ih ugrađujemo direktno u kamere. Istorija krije koji je proizvođač bio prvi, ali samo da shvatimo koliko je to bilo davno - u iOS-u 5.0, koji je izašao 2011. godine, već je postojao javni API za automatsko poboljšanje slika. Samo Jobs zna koliko je dugo bio u upotrebi prije otvaranja za javnost.
Automatizacija je uradila isto što svako od nas radi prilikom otvaranja fotografije u editoru – izvukla je praznine u svetlu i senkama, dodala zasićenost, uklonila crvene oči i popravila ten. Korisnici nisu ni shvatili da je “dramatično poboljšana kamera” u novom pametnom telefonu samo zasluga nekoliko novih shadera. Preostalo je još pet godina do izlaska Google Pixela i početka popularnosti kompjuterske fotografije.
Danas se bitka za dugme "remek-delo" preselila na polje mašinskog učenja. Pošto su se dovoljno poigrali mapiranjem tonova, svi su požurili da treniraju CNN i GAN da pomeraju klizače umesto korisnika. Drugim riječima, iz ulazne slike odredite skup optimalnih parametara koji bi ovu sliku približili određenom subjektivnom razumijevanju “dobre fotografije”. Implementirano u istom Pixelmator Pro i drugim uređivačima. Radi, kao što možete pretpostaviti, ne baš dobro i ne uvijek.
Slaganje je 90% uspjeha mobilnih kamera
Prava kompjuterska fotografija počela je slaganjem – slaganjem više fotografija jedna na drugu. Nije problem da pametni telefon klikne desetak kadrova u pola sekunde. Njihove kamere nemaju spore mehaničke dijelove: otvor blende je fiksni, a umjesto pokretne zavjese nalazi se elektronski zatvarač. Procesor jednostavno naređuje matrici koliko mikrosekundi treba da uhvati divlje fotone i čita rezultat.
Tehnički, telefon može da snima fotografije pri video brzini, a video u foto rezoluciji, ali sve zavisi od brzine magistrale i procesora. Zato uvijek postavljaju ograničenja programa.
Sam kolčenje je kod nas već dugo vremena. Čak su i djedovi instalirali dodatke na Photoshop 7.0 kako bi sastavili nekoliko fotografija u privlačan HDR ili spojili panoramu od 18000 × 600 piksela i... u stvari, niko nikada nije shvatio šta dalje s njima. Šteta što su vremena bila bogata i divlja.
Sada smo postali odrasli i to zovemo “epsilon fotografija” – kada promjenom jednog od parametara kamere (ekspozicija, fokus, pozicija) i spajanjem dobijenih kadrova dobijemo nešto što se ne može uhvatiti u jednom kadru. Ali ovo je termin za teoretičare; u praksi se ukorijenio još jedan naziv - ulaganje. Danas se, zapravo, 90% svih inovacija u mobilnim kamerama zasniva na tome.
Nešto o čemu mnogi ljudi ne razmišljaju, ali je važno za razumijevanje cjelokupne mobilne i kompjuterske fotografije: kamera na modernom pametnom telefonu počinje da snima fotografije čim otvorite njegovu aplikaciju. Što je logično, jer ona treba nekako da prenese sliku na ekran. Međutim, pored ekrana, on sprema okvire visoke rezolucije u vlastiti bafer petlje, gdje ih pohranjuje još nekoliko sekundi.
Kada pritisnete dugme „snimi fotografiju“, ona je zapravo već snimljena, kamera jednostavno uzima poslednju fotografiju iz bafera.
Ovako danas radi svaka mobilna kamera. Barem u svim vodećim modelima ne sa gomila smeća. Puferiranje vam omogućava da ostvarite ne samo nulto kašnjenje zatvarača, o čemu su fotografi dugo sanjali, već čak i negativan - kada pritisnete dugme, pametni telefon gleda u prošlost, izbacuje zadnjih 5-10 fotografija iz bafera i počinje bjesomučno analizirati i zalijepite ih. Nema više čekanja da telefon klikne okvire za HDR ili noćni način rada - samo ih uzmite iz bafera, korisnik neće ni znati.
Inače, upravo je uz pomoć negativnog kašnjenja zatvarača Live Photo implementiran u iPhone telefone, a nešto slično je HTC imao još 2013. godine pod čudnim imenom Zoe.
Slaganje ekspozicije - HDR i borba protiv promjena svjetline
Da li senzori kamere mogu uhvatiti cijeli raspon svjetline koji je dostupan našim očima, stara je vruća tema rasprave. Neki kažu ne, jer oko može vidjeti do 25 f-stopova, dok čak i od vrhunske matrice punog ekrana možete dobiti najviše 14. Drugi poređenje nazivaju netačnim, jer mozak pomaže oku automatskim podešavanjem zjenicu i kompletiranje slike sa svojim neuronskim mrežama, i trenutno Dinamički raspon oka zapravo nije veći od samo 10-14 f-stopa. Prepustimo ovu debatu najboljim foteljašima na internetu.
Činjenica ostaje: kada snimate prijatelje na jarkom nebu bez HDR-a na bilo kojoj mobilnoj kameri, dobijate ili normalno nebo i crna lica prijatelja, ili dobro nacrtane prijatelje, ali nebo spaljeno do smrti.
Rješenje je odavno izmišljeno - proširiti raspon svjetline pomoću HDR-a (High dynamic range). Morate snimiti nekoliko kadrova pri različitim brzinama zatvarača i spojiti ih. Dakle, jedan je “normalan”, drugi je svjetliji, treći je tamniji. Uzimamo tamna mjesta iz svijetlog kadra, popunjavamo prekomjerne ekspozicije iz tamnog - profit. Ostaje samo riješiti problem automatskog bracketinga - koliko pomjeriti ekspoziciju svakog kadra kako ne bi pretjerali, ali sada student druge godine tehničkog fakulteta može se nositi s određivanjem prosječne svjetline slike.
Na najnovijim iPhone, Pixel i Galaxy, HDR način rada se uglavnom automatski uključuje kada jednostavan algoritam unutar kamere utvrdi da snimate nešto s kontrastom po sunčanom danu. Možete čak primijetiti kako telefon prebacuje način snimanja u bafer kako bi sačuvao kadrove pomaknute u ekspoziciji - fps u kameri opada, a sama slika postaje sočnija. Trenutak prebacivanja je jasno vidljiv na mom iPhoneu X kada snimam na otvorenom. I sljedeći put pobliže pogledajte svoj pametni telefon.
Nedostatak HDR-a s bracketingom ekspozicije je njegova neprobojna bespomoćnost pri slabom osvjetljenju. Čak i uz svjetlo sobne lampe, okviri postaju toliko tamni da ih kompjuter ne može poravnati i spojiti. Kako bi riješio problem sa svjetlom, Google je 2013. godine pokazao drugačiji pristup HDR-u u tada objavljenom Nexus pametnom telefonu. Koristio je slaganje vremena.
Vremensko slaganje - simulacija duge ekspozicije i vremenskog odmaka
Vremensko slaganje vam omogućava da kreirate dugu ekspoziciju koristeći niz kratkih. Pioniri su bili ljubitelji fotografisanja zvezdanih tragova na noćnom nebu, kojima je bilo nezgodno da otvaraju zatvarač na dva sata odjednom. Bilo je tako teško unaprijed izračunati sve postavke, a najmanje potresanje bi uništilo cijeli okvir. Odlučili su da otvore zatvarač samo na par minuta, ali mnogo puta, a onda su otišli kući i zalijepili nastale okvire u Photoshop.
Ispostavilo se da kamera zapravo nikada nije snimala velikom brzinom zatvarača, ali smo dobili efekat simulacije tako što smo zbrajali nekoliko kadrova snimljenih u nizu. Već duže vrijeme postoji gomila aplikacija napisanih za pametne telefone koji koriste ovaj trik, ali sve one nisu potrebne jer je ova funkcija dodana gotovo svim standardnim kamerama. Danas čak i iPhone može lako spojiti dugu ekspoziciju iz Live Photo.
Vratimo se na Google sa noćnim HDR-om. Ispostavilo se da korištenjem vremenskog bracketinga možete implementirati dobar HDR u mraku. Tehnologija se prvi put pojavila u Nexusu 5 i zvala se HDR+. Ostali Android telefoni su ga dobili kao na poklon. Tehnologija je i dalje toliko popularna da je čak hvaljena u predstavljanju najnovijih Pixela.
HDR+ funkcionira prilično jednostavno: nakon što je utvrdio da snimate u mraku, kamera ispušta posljednjih 8-15 RAW fotografija iz bafera kako bi ih preklopila jednu na drugu. Dakle, algoritam prikuplja više informacija o tamnim područjima kadra kako bi minimizirao šum - piksele u kojima iz nekog razloga kamera nije mogla prikupiti sve informacije i pošla je po zlu.
To je kao da ne znate kako izgleda kapibara i zamolite petoro ljudi da je opišu, njihove priče bi bile otprilike iste, ali bi svaka spominjala neki jedinstveni detalj. Na ovaj način ćete prikupiti više informacija nego samo pitati. Isto je i sa pikselima.
Dodavanje kadrova snimljenih iz jedne tačke daje isti lažni efekat duge ekspozicije kao i sa zvezdama iznad. Ekspozicija desetina kadrova se sumira, greške u jednom su minimizirane u drugim. Zamislite koliko puta biste morali da kliknete na zatvarač DSLR-a svaki put da biste to postigli.
Ostalo je samo riješiti problem automatske korekcije boja – kadrovi snimljeni u mraku obično ispadnu potpuno žuti ili zeleni, a mi nekako želimo bogatstvo dnevne svjetlosti. U ranim verzijama HDR+, ovo je riješeno jednostavnim podešavanjem postavki, kao u filterima a la Instagram. Zatim su pozvali neuronske mreže u pomoć.
Ovako se pojavio Night Sight – tehnologija „noćne fotografije“ u Pixelu 2 i 3. U opisu kažu: „Tehnike mašinskog učenja izgrađene na vrhu HDR+, koje omogućavaju da Night Sight funkcioniše“. U suštini, ovo je automatizacija faze korekcije boje. Mašina je obučena na skupu podataka fotografija "prije" i "poslije" kako bi od bilo kojeg skupa tamnih iskrivljenih fotografija napravila jednu lijepu.
Inače, skup podataka je javno dostupan. Možda će momci iz Applea to uzeti i konačno naučiti svoje staklene lopate da pravilno slikaju u mraku.
Uz to, Night Sight koristi izračunavanje vektora kretanja objekata u kadru kako bi normalizirao zamućenje koje će se sigurno pojaviti pri velikoj brzini zatvarača. Dakle, pametni telefon može uzeti jasne dijelove iz drugih okvira i zalijepiti ih.
Slaganje pokreta - panorama, superzum i smanjenje šuma
Panorama je popularna zabava za stanovnike ruralnih područja. Istorija još ne poznaje slučajeve u kojima bi fotografija kobasice bila interesantna ikome osim njenog autora, ali se to ne može zanemariti - za mnoge je upravo tu počelo slaganje.
Prvi koristan način korištenja panorame je dobivanje fotografije veće rezolucije nego što to dozvoljava matrica kamere spajanjem nekoliko kadrova. Fotografi već dugo koriste različite softvere za takozvane fotografije super rezolucije – kada se čini da se malo pomaknute fotografije međusobno nadopunjuju između piksela. Na ovaj način možete dobiti sliku od najmanje stotine gigapiksela, što je vrlo korisno ako je trebate ispisati na reklamnom plakatu veličine kuće.
Drugi, zanimljiviji pristup je Pixel Shifting. Neki fotoaparati bez ogledala kao što su Sony i Olympus počeli su ga podržavati još 2014. godine, ali su još uvijek morali ručno zalijepiti rezultat. Tipične inovacije velikih kamera.
Pametni telefoni su ovdje uspjeli iz smiješnog razloga - kada snimite fotografiju, ruke vam se tresu. Ovaj naizgled problem je bio osnova za implementaciju nativne super rezolucije na pametnim telefonima.
Da biste razumjeli kako ovo funkcionira, morate zapamtiti kako je strukturirana matrica bilo koje kamere. Svaki njegov piksel (fotodioda) je sposoban da zabilježi samo intenzitet svjetlosti – odnosno broj dolaznih fotona. Međutim, piksel ne može mjeriti svoju boju (valnu dužinu). Da bismo dobili RGB sliku, morali smo i ovdje dodati štake - pokriti cijelu matricu mrežom raznobojnih komada stakla. Njegova najpopularnija implementacija naziva se Bayer filter i danas se koristi u većini matrica. Izgleda kao na slici ispod.
Ispostavilo se da svaki piksel matrice hvata samo R-, G- ili B-komponentu, jer se preostali fotoni nemilosrdno odbijaju od Bayerovog filtera. Prepoznaje komponente koje nedostaju grubim prosječnim vrijednostima susjednih piksela.
U Bayerovom filteru ima više zelenih ćelija - to je urađeno po analogiji s ljudskim okom. Ispostavilo se da će od 50 miliona piksela na matrici, zeleni uhvatiti 25 miliona, crveni i plavi - po 12,5 miliona. Ostalo će biti u prosjeku - ovaj proces se zove debayerizacija ili demosaicing, a ovo je tako debela smiješna štaka na u kojoj sve miruje.
Zapravo, svaka matrica ima svoj lukavi patentirani algoritam za demozaiku, ali za potrebe ove priče ovo ćemo zanemariti.
Druge vrste matrica (kao što je Foveon) se još nekako nisu uklopile. Iako neki proizvođači pokušavaju koristiti senzore bez Bayerovog filtera kako bi poboljšali oštrinu i dinamički raspon.
Kada je malo svjetla ili su detalji objekta vrlo sićušni, gubimo mnogo informacija jer Bayer filter očigledno odsijeca fotone neželjene talasne dužine. Zato su smislili Pixel Shifting - pomicanje matrice za 1 piksel gore-dolje-desno-lijevo da ih sve uhvati. U ovom slučaju, fotografija ne ispada 4 puta veća, kao što se čini, procesor jednostavno koristi ove podatke da preciznije zabilježi vrijednost svakog piksela. Prosječno je ne prema svojim susjedima, da tako kažem, već prema četiri vrijednosti sebe.
Rukovanje prilikom fotografisanja telefonom čini ovaj proces prirodnom posljedicom. U najnovijim verzijama Google Pixela, ova stvar je implementirana i uključuje se kad god koristite zumiranje na telefonu - zove se Super Res Zoom (da, sviđa mi se i njihovo nemilosrdno imenovanje). I Kinezi su to kopirali u svoje laofone, iako je ispalo malo lošije.
Preklapanje blago pomaknutih fotografija jedne na drugu omogućava vam da prikupite više informacija o boji svakog piksela, što znači smanjenje šuma, povećanje oštrine i povećanje rezolucije bez povećanja fizičkog broja megapiksela matrice. Moderni Android vodeći uređaji to rade automatski, a da njihovi korisnici o tome ne razmišljaju.
Slaganje fokusa - bilo koja dubina polja i ponovno fokusiranje u postprodukciji
Metoda dolazi iz makro fotografije, gdje je plitka dubina polja uvijek bila problem. Da bi cijeli objekt bio u fokusu, morali ste snimiti nekoliko kadrova s pomicanjem fokusa naprijed-nazad, a zatim ih spojiti u jedan oštar. Istu metodu često su koristili pejzažni fotografi, čineći prednji plan i pozadinu oštrim poput dijareje.
Sve se to preselilo i na pametne telefone, iako bez većeg pomaha. Godine 2013. izašla je Nokia Lumia 1020 sa “Refocus App”, a 2014. Samsung Galaxy S5 sa “Selective Focus” modom. Radili su po istoj shemi: pritiskom na dugme brzo su snimili 3 fotografije - jednu sa "normalnim" fokusom, drugu sa fokusom pomerenim unapred i treću sa fokusom pomerenim unazad. Program je poravnao okvire i omogućio vam da odaberete jedan od njih, koji se reklamirao kao "prava" kontrola fokusa u postprodukciji.
Nije bilo dalje obrade, jer je čak i ovaj jednostavan hak bio dovoljan da zabije još jedan ekser u poklopac Lytroa i njegovih vršnjaka svojim iskrenim refokusom. Usput, hajde da pričamo o njima (master tranzicije 80 lvl).
Računske matrice - svjetlosna polja i plenoptici
Kao što smo gore shvatili, naše matrice su horor na štakama. Jednostavno smo se navikli na to i pokušavamo živjeti s tim. Njihova struktura se malo promijenila od početka vremena. Samo smo poboljšali tehnički proces - smanjili smo razmak između piksela, borili se protiv smetnji i dodali posebne piksele za fazni autofokus. Ali ako uzmete čak i najskuplji DSLR i pokušate s njim fotografirati mačku koja trči u rasvjeti prostorije - mačka će, blago rečeno, pobijediti.
Već dugo pokušavamo da izmislimo nešto bolje. Dosta pokušaja i istraživanja u ovoj oblasti se gugla za "računarski senzor" ili "ne-bayer senzor", pa se čak i gornji primjer Pixel Shifting može pripisati pokušajima poboljšanja matrica korištenjem proračuna. Ipak, najperspektivnije priče u posljednjih dvadesetak godina stigle su nam upravo iz svijeta takozvanih plenoptic kamera.
Kako ne biste zaspali od iščekivanja nadolazećih složenih riječi, navešću insajdera da je kamera najnovijeg Google Pixela samo "pomalo" plenoptična. Samo dva piksela, ali čak i to mu omogućava da izračuna tačnu optičku dubinu kadra čak i bez druge kamere, kao i svi ostali.
Plenoptics je moćno oružje koje još nije pucalo. Evo linka do jednog od mojih omiljenih nedavnih. , odakle sam pozajmio primjere.
Plenoptic kamera - uskoro
Izumljen 1994. godine, sakupljen na Stanfordu 2004. godine. Prva potrošačka kamera, Lytro, objavljena je 2012. godine. VR industrija sada aktivno eksperimentiše sa sličnim tehnologijama.
Plenoptic kamera se razlikuje od konvencionalne kamere u samo jednoj modifikaciji - njena matrica je prekrivena mrežom sočiva, od kojih svaka pokriva nekoliko stvarnih piksela. Ovako nešto:
Ako pravilno izračunate udaljenost od mreže do matrice i veličinu otvora blende, konačna slika će imati jasne grupe piksela - svojevrsne mini verzije originalne slike.
Ispostavilo se da ako uzmete, recimo, jedan centralni piksel iz svakog klastera i zalijepite sliku samo pomoću njih, neće se razlikovati od one snimljene običnom kamerom. Da, malo smo izgubili u rezoluciji, ali samo ćemo zamoliti Sony da doda više megapiksela u nove matrice.
Zabava tek počinje. ako uzmete još jedan piksel iz svakog klastera i ponovo spojite sliku, ponovo ćete dobiti normalnu fotografiju, samo kao da je snimljena sa pomakom od jednog piksela. Dakle, imajući klastere od 10 × 10 piksela, dobićemo 100 slika objekta iz „malo“ različitih tačaka.
Veća veličina klastera znači više slika, ali nižu rezoluciju. U svijetu pametnih telefona sa matricama od 41 megapiksela, iako možemo malo zanemariti rezoluciju, svemu postoji granica. Morate održavati ravnotežu.
Ok, sastavili smo plenoptic kameru, pa šta nam to daje?
Honest refocus
Karakteristika o kojoj su svi novinari brujali u člancima o Lytrou bila je mogućnost iskrenog podešavanja fokusa u postprodukciji. Pod poštenim podrazumijevamo da ne koristimo nikakve algoritme za uklanjanje zamućenja, već koristimo isključivo piksele pri ruci, birajući ih ili usrednjavajući ih iz klastera u traženom redoslijedu.
RAW fotografija sa plenoptic kamere izgleda čudno. Da biste iz njega izvadili uobičajeni oštar džip, prvo ga morate sastaviti. Da biste to učinili, trebate odabrati svaki piksel džipa iz jednog od RAW klastera. Ovisno o tome kako ih odaberemo, rezultat će se promijeniti.
Na primjer, što je klaster dalje od tačke upada originalnog snopa, to je ovaj snop više van fokusa. Zbog optike. Da bismo dobili sliku pomaknutu fokusom, samo trebamo odabrati piksele na željenoj udaljenosti od originalne - ili bliže ili dalje.
Bilo je teže prebaciti fokus na sebe - čisto fizički, takvih piksela je bilo manje u klasterima. U početku, programeri nisu čak hteli da daju korisniku mogućnost da se fokusira rukama - to je odlučila sama kamera u softveru. Korisnicima se nije svidjela ova budućnost, pa su dodali funkciju u kasnijem firmveru nazvanu "kreativni način", ali su refokusiranje u njoj vrlo ograničeno upravo iz tog razloga.
Mapa dubine i 3D sa jedne kamere
Jedna od najjednostavnijih operacija u plenoptici je dobijanje mape dubine. Da biste to učinili, samo trebate prikupiti dva različita okvira i izračunati koliko su objekti u njima pomaknuti. Više pomaka znači dalje od kamere.
Google je nedavno kupio i ubio Lytro, ali je koristio njihovu tehnologiju za svoju VR i... za Pixel kameru. Počevši od Pixela 2, kamera je po prvi put postala "malo" plenoptična, iako sa grupama od samo dva piksela. Ovo je Guglu dalo priliku da ne instalira drugu kameru, kao svi ostali, već da izračuna mapu dubine samo iz jedne fotografije.
Mapa dubine je napravljena pomoću dva okvira pomaknuta za jedan podpiksel. Ovo je sasvim dovoljno da izračunate binarnu mapu dubine i odvojite prvi plan od pozadine i zamaglite potonju u sada modernom bokeu. Rezultat takvog slojevitosti je također izglađen i "poboljšan" neuronskim mrežama koje su obučene da poboljšavaju mape dubine (a ne zamagljuju, kako mnogi misle).
Trik je u tome što smo plenoptice u pametnim telefonima dobili gotovo besplatno. Već smo stavili leće na ove male matrice kako bismo nekako povećali svjetlosni tok. U sljedećem Pixelu, Google planira ići dalje i pokrivati četiri fotodiode objektivom.
izvor: 3dnews.ru