Izvirnik članka je objavljen na spletnem mestu in objavljen na 3DNews s soglasjem avtorja. Prikazujemo celotno besedilo članka, razen ogromne količine povezav — te bodo koristile tistim, ki jih tema resnično zanima in bi želeli poglobiti svoje znanje o teoretičnih vidikih računalniške fotografije, a za širšo javnost smo menili, da je ta material pretiran.
Danes nobena predstavitev pametnega telefona ne mine brez hvalisanja njegove kamere. Vsak mesec slišimo o še enem uspehu mobilnih kamer: Google uči Pixel fotografirati v temi, Huawei zooma kot daljnogled, Samsung vgrajuje lidar, medtem ko Apple izdeluje najbolj zaobljene kotičke na svetu. Inovacije se zdaj razlivajo skoraj povsod.
Reflexi se pri tem zdijo, kot da stojijo na mestu. Sony vsako leto zasipa vse z novimi senzorji, proizvajalci pa leno osvežujejo zadnje številke različic in se še naprej sproščeno družijo na obrobju. Na moji mizi leži reflex kamera za 3000 $, vendar na potovanjih raje uporabljam iPhone. Zakaj?
Kot je rekel klasik — z vprašanjem sem šel na internet. Tam razpravljajo o nekih „algoritmih“ in „nevronskih mrežah“, ne da bi imeli pojma, kako natančno vplivajo na fotografijo. Novinarji pompozno zanikajo število megapikslov, blogerji usklajeno izvajajo plačane unboxing video posnetke, esteti pa so preplavljeni z „čutnim doživljanjem barvne palete senzorja“. Vse je, kot ponavadi.
Moral sem usediti, porabiti polovico življenja in se sam vsega lotiti. V tem članku bom delil, kar sem izvedel.
Kaj je računalniška fotografija?
V povsod, vključno z Wikipedijo, podajajo približno takšno opredelitev: računalniška fotografija – vsaka tehnika zajemanja in obdelave slik, kjer namesto optičnih pretvorb pridejo v poštev digitalne izračune. V njej je vse dobro, razen dejstva, da nič ne pojasnjuje. Vanjo spada celo samodejni fokus, vendar pa se ne vključuje plazemska optika, ki je že prinesla veliko koristi. Nejasnosti uradnih definicij namigujejo, da nimamo pojma, o čem govorimo.
Pionir računalne fotografije, profesor na Stanfordu Marc Levoy (koji sada vodi kameru u Google Pixel) donosi drugu definiciju — skup metoda računalne vizualizacije koje poboljšavaju ili proširuju mogućnosti digitalne fotografije, pri čemu nastaje obična fotografija koja nekako nije mogla tehnički biti snimljena na ovu kameru na tradicionalan način. U ovom članku se pridržavam upravo njegove definicije.
Dakle, na svemu su bili krivi pametni telefoni.
Pametni telefoni nisu imali izbora osim da daju život novom tipu fotografije — računalnoj.
Njihovi mali bučni senzori i minijatrami slabo svjetlosni objektivi po zakonima fizike trebali su donijeti samo bol i patnju. I donosili su, sve dok njihovi developeri nisu shvatili kako pametno iskoristiti njihove snage kako bi prevladali slabosti — brze elektroničke zatvarače, snažne procesore i softver.
Većina značajnih istraživanja u području računalne fotografije zbila su se između 2005. i 2015. godine, što se u znanosti smatra gotovo jučer. Upravo sada pred našim očima i u našim džepovima razvija se novo polje znanja i tehnologija kakvo nikada nije postojalo.
Računalna fotografija nije samo selfie s neuro bokeh efektom. Nedavna fotografija crne rupe ne bi nastala bez metoda računalne fotografije. Kako bismo snimili takvu fotografiju običnim teleskopom, morali bismo ga napraviti veličine Zemlje. Međutim, kombinirajući podatke osam radioteleskopa na različitim točkama naše kugle i napišući nekoliko skripti na Pythonu, dobili smo prvu fotografiju horizonta događaja. I za selfie je isto dobra.
Početak: digitalna obrada
Zamislimo da smo se vratili u 2007. godinu. Naša mama — anarhija, a naše fotografije — bučni 0,6-Mp jpegovi snimljeni na skateboardu. Otprilike tada imamo prvo neodoljivo želju dodati im presetove kako bismo prikrili jadnost mobilnih senzora. Nećemo se uskraćivati.
Matan i Instagram
S izlaskom Instagrama svi smo se opsjednuli filtrima. Kao osoba koja je svojevremeno promišljala X-Pro II, Lo-Fi i Valencia u, naravno, istraživačke (haha) svrhe, još uvijek se sjećam da su se sastojali od tri komponente:
- Nastavitve barve (Hue, Saturation, Lightness, Contrast, Levels in tako naprej) so preproste digitalne koeficiente, podobne tistim, ki so jih fotografi uporabljali že od nekdaj.
- Tabele za mapiranje odtenkov (Tone Mapping) so vektorji vrednosti, vsak od njih nam je povedal: "Rdeča barva s senco 128 se mora spremeniti v senco 240."
- Overlay je polprozorčna slika z prašnimi delci, zrnjem, vinjeto in vsem drugim, kar lahko nanesemo zgoraj, da dobimo povsem nenavadni učinek starega filma. Ni bila vedno prisotna.
Sodobni filtri se niso oddaljili od te trojice, le postali so nekoliko bolj zapleteni z matematiko. Z uvedbo strojnih senčil in OpenCL na pametnih telefonih so jih hitro prepisali za GPU, kar je bilo takrat zelo kul. Seveda za leto 2012. Danes lahko katerikoli šolar naredi nekaj podobnega s CSS in mu vseeno ne bo prineslo uspeha na maturi.
Vendar se napredek filtrov danes ni ustavil. Fantje iz Dehancerja se na primer odlično ukvarjajo z nelinearnimi filtri - namesto proletarskega ton mapiranja uporabljajo bolj zapletene nelinearne transformacije, kar, kot pravijo, odpira veliko več možnosti.
Z nelinearnimi transformacijami lahko dosežemo veliko stvari, a so izjemno zapletene, ljudje pa smo izjemno neumen narod. Ko gre pri znanosti za nelinearne transformacije, raje preidemo na numerične metode in povsod vključujemo nevronske mreže, da bi nam ustvarjale mojstrovine. Tako je bilo tudi tu.
Avtomatika in sanje o gumbu "mojstrovina"
Ko so se ljudje navadili na filtre, smo jih začeli vgrajevati neposredno v kamere. Zgodovina skriva, kdo je bil prvi proizvajalec, a za občutek, kako dolgo je to že bilo - v iOS 5.0, ki je izšel leta 2011, je že obstajal javni API za Auto Enhancing Images. Samo Jobs ve, kako dolgo je to trajalo, preden je bilo odprto javnosti.
Avtomatika je počela to, kar počne vsak izmed nas, ko odpre sliko v urejevalniku - izvlekla je podrobnosti v svetlih in temnih delih, dodala saturacijo, odstranila rdeče oči in popravila barvo obraza. Uporabniki niti niso slutili, da je "dramatično izboljšana kamera" v novem pametnem telefonu bila le zasluga dveh novih senčil. Do izida Google Pixel in začetka navdušenja nad računalniško fotografijo je minilo še pet let.
Danes so se boji za gumb „šedevr“ preselili na področje strojnega učenja. Po igri z ton-Mapping-om so se vsi vrgli na usposabljanje CNN-ov in GAN-ov, da bi premikali nastavitve namesto uporabnika. Z drugimi besedami, določiti niz optimalnih parametrov na podlagi vhodne slike, ki bi to sliko približali subjektivnemu razumevanju „dobre fotografije“. Uresničeno v istem Pixelmator Pro in drugih urejevalnikih. Deluje, kot si lahko domišljate, ne prav dobro in ne vedno.
Stacking — 90 % uspeha mobilnih kamer
Prava računalniška fotografija se je začela s stackingom — prekrivanjem več fotografij ena na drugo. Za pametni telefon ni težava posneti ducat posnetkov v pol sekunde. V njihovih kamerah ni počasnih mehanskih delov: zaslonka je fiksna, namesto pomične zaslonke pa je elektronski zaklop. Procesor preprosto ukazuje senzorju, koliko mikrosekund naj zajame divje fotone, in nato prebere rezultat.
Tehnično lahko telefon fotografira s hitrostjo videa, video pa z ločljivostjo fotografije, a vse se ustavi pri hitrosti vodila in procesorja. Zato vedno postavijo programske omejitve.
Sam stacking je z nami že dolgo. Tudi naši dedje so nameščali vtičnike na Photoshop 7.0, da bi zbrali več fotografij v osupljiv HDR ali sestavili panoramo 18000 × 600 pikslov in... v resnici nihče ni res vedel, kaj naj z njimi naredi naprej. Čas bogatih spominov, škoda, da divjih.
Zdaj smo odraščeni in temu pravimo „epsilon fotografija“ — ko, z večanjem enega od parametrov kamere (ekspozicija, fokus, položaj) in sestavljanjem posnetih kadrov, dobimo nekaj, kar ni moglo biti posneto z enim posnetkom. Ampak to je izraz za teoretike, v praksi pa se je prijelo drugo ime — stacking. Danes dejansko na tem sloni 90 % vseh inovacij v mobilnih kamerah.
Stvar, o kateri mnogi ne razmišljajo, vendar je pomembna za razumevanje celotne mobilne in računalniške fotografije: kamera v sodobnem pametnem telefonu začne fotografirati takoj, ko odprete njeno aplikacijo. Kar je logično, saj mora nekako prenašati sliko na zaslon. Vendar pa poleg zaslona shranjuje visokoločene posnetke v svoj lasten ciklični pomnilnik, kjer jih hrani še nekaj sekund.
Ko když stisknete tlačítko „vyfotit“ — ve skutečnosti je už fotka vyfocena, kamera pouze bere poslední fotku z bufferu.
Dnes tak funguje jakákoli mobilní kamera. Minimálně ve všech vlajkových modelech, ne z odpadků. Buffery umožňují realizovat nejen nulové zpoždění závěrky, o kterém fotografové tak dlouho snili, ale dokonce i záporné — při stisknutí tlačítka se smartphone dívá do minulosti, stahuje 5-10 posledních fotek z bufferu a začíná je intenzivně analyzovat a spojovat. Už není třeba čekat, až telefon nafotí snímky pro HDR nebo noční režim — prostě je vyberte z bufferu, uživatel o tom ani neví.
Mimochodem, právě pomocí záporného zpoždění závěrky bylo realizováno Live Photo na iPhonech, zatímco v HTC podobné bylo již v roce 2013 pod zvláštním názvem Zoe.
Skládání podle expozice — HDR a boj proti výkyvům jasnosti
Jsou senzory fotoaparátů schopny zachytit celé spektrum jasu, které je dostupné našemu oku? — staré a živé téma pro debaty. Někteří tvrdí, že ne, protože oko je schopno vidět až 25 f-stopů, zatímco i z nejlepší full-frame matice lze vytáhnout maximálně 14. Jiní říkají, že srovnání je nesprávné, protože oku pomáhá mozek, automaticky nastavující zornici a doplňující obraz svými neuronovými sítěmi, a okamžitý dynamický rozsah oka je skutečně maximálně 10-14 f-stopů. Nechme tyto debaty nejlepším myšlenkovým vůdcům internetu.
Fakt zůstává faktem: když fotíte přátele na pozadí jasné oblohy bez HDR, na jakoukoli mobilní kameru dostanete buď normální oblohu s černými obličeji přátel, nebo prokreslené přátele, ale spálenou oblohu.
Řešení bylo dávno vymyšleno — rozšířit rozsah jasu pomocí HDR (High Dynamic Range). Je třeba pořídit několik snímků s různou expozicí a spojit je dohromady. Aby jeden byl „normální“, druhý světlejší, třetí tmavší. Bereme tmavé oblasti ze světelného snímku, přepaly vyplňujeme z tmavého — profit. Zůstává pouze řešit úlohu automatického bracketingu — jak moc posunout expozici každého snímku, abychom to nepřehnali, ale určování průměrné jasnosti snímku teď zvládne druhák technické vysoké školy.
Na zadnjih iPhone, Pixel in Galaxy se način HDR samodejno vklopi, ko enostavni algoritem znotraj kamere ugotovi, da fotografirate nekaj kontrastnega na sončen dan. Opazite lahko, kako telefon preklopi način snemanja v pomnilnik, da shrani posnetke z različnimi nastavitvami osvetlitve, — fps kamere upade, slika pa postane bolj živa. Moment preklopa je dobro opazen na mojem iPhone X, če snemam zunaj. Pazite na svoj pametni telefon tudi naslednjič.
Slabost HDR z bracketingom po osvetlitvi je njegova popolna nemoč v slabih svetlobnih razmerah. Tudi pri svetlobi sobne luči so posnetki tako temni, da jih računalnik ne more poravnati in združiti. Da bi rešili težavo z osvetlitvijo, je Google leta 2013 predstavil drugačen pristop k HDR v tedaj izdanem pametnem telefonu Nexus. Uporabil je časovno skladanje.
Časovno skladanje — simulacija dolgega osvetljevanja in timelapse.
Časovno skladanje omogoča pridobitev dolgega osvetljevanja s serijo kratkih. Pionirji so bili ljubitelji fotografiranja sledi zvezd na nočnem nebu, ki jim ni bilo priročno odpirati zaklop za kar dve uri. Težko je bilo vnaprej izračunati vse nastavitve, in ob najmanjšem tresenju je bil celoten posnetek pokvarjen. Odločili so se, da bodo zaklop odpirali le za nekaj minut, vendar večkrat, in nato šli domov ter združili posnete sličice v Photoshopu.
Torej kamera dejansko nikoli ni posnela dolgega osvetljevanja, vendar smo s sestavljanjem več zaporednih posnetkov dosegli učinek njegove simulacije. Za pametne telefone je že dolgo časa napisan kup aplikacij, ki uporabljajo ta trik, vendar so vse postale odvečne, odkar je ta funkcija dodana skoraj vsem standardnim kameram. Danes lahko tudi iPhone zlahka združi dolgo osvetlitev iz Live Photo.
Vrnimo se k Googlu in njegovemu nočnemu HDR. Izkazalo se je, da je mogoče s pomočjo časovnega bracketinga doseči spodobno HDR v temi. Tehnologija je prvič prišla v Nexus 5 in je bila poimenovana HDR+. Druge naprave z Androidom so jo prejele kot nekakšno darilo. Tehnologija je še vedno tako priljubljena, da se z njo hvalijo celo na predstavitvah najnovejših Pixel.
HDR+ deluje preprosto: ko kamera zazna, da fotografirate v temi, shrani zadnjih 8-15 fotografij v RAW formatu, da jih superpozicija. S tem algoritem zbere več informacij o temnih delih slike in zmanjša šum — piksli, kjer kamera iz kakršnegakoli razloga ni uspela zbrati vseh informacij in je falila.
Kot bi ne vedeli, kako izgleda kapibara, in bi prosili pet ljudi, da jo opisujejo - njihovi opisi bi bili približno enaki, a vsak bi omenil kakšno posebno podrobnost. Tako bi zbrali več informacij, kot če bi vprašali le eno osebo. Enako je s pikslami.
Seštevanje posnetkov iz iste točke daje isti lažen učinek dolge osvetlitve, kot je zgoraj z zvezdami. Ekspozicija desetih posnetkov se sešteje, napake na enem se zmanjšajo na drugih. Predstavljajte si, koliko krat bi morali pritisniti sprožilec zrcalne fotoaparate, da dosežete to.
Samo rešiti je bilo treba težavo samodejne korekcije barv — posnetki v temi so ponavadi povsem rumeni ali zeleni, mi pa si želimo sočnih dnevnih tonov. V zgodnjih različicah HDR+ so to reševali preprosto s prilagoditvijo nastavitev, kot pri Instagram filtrih. Kasneje so priskočili na pomoč nevronske mreže.
Tako je nastala tehnologija Night Sight — 'nočne fotografije' v Pixel 2 in 3. V opisu je to izrecno navedeno: 'Tehnike strojnega učenja, zgrajene na vrhu HDR+, ki omogočajo delovanje Night Sight'. V bistvu gre za avtomatizacijo koraka korekcije barv. Stroj so usposobili na naboru 'pred' in 'po' fotografij, da bi iz različnih nizov temnih krivih fotografij ustvarili eno lepo.
Nabor podatkov so, mimogrede, objavili v odprtem dostopu. Morda bodo fantje iz Apple-a vzeli to in končno naučili svoje steklene lopate, da normalno snemajo v temi.
Poleg tega Night Sight uporablja izračun vektorja gibanja predmetov v kadru, da normalizira zamegljenost, ki se nujno pojavi pri dolgi osvetlitvi. Tako lahko pametni telefon vzame jasne dele z drugih posnetkov in jih prilepi.
Seštevanje po gibanju - panorama, superzoom in boj proti šumom
Panorama je priljubljena zabava med prebivalci podeželskega območja. Zgodovinsko ni znano, da bi bil kateri koli posnetek klobase zanimiv za kogarkoli poleg njegovega avtorja, a tega ne moremo spregledati — za mnoge se je prav to začelo stekanje.
Prvi uporaben način uporabe panorame je pridobivanje fotografij z višjo ločljivostjo, kot jo omogoča senzor kamere, s povezovanjem več posnetkov. Fotografje že dolgo uporabljajo različno programsko opremo za t.i. fotografije z superločljivostjo — ko nekoliko premaknjene fotografije dopolnjujejo druga drugo med pikslom. Tako lahko dobimo sliko tudi v stotinah gigapikselov, kar je zelo koristno, če potrebujete to natisniti na reklamnem plakatu velikosti hiše.
Drug, že bolj zanimiv pristop, je Pixel Shifting. Nekatere brez ogledalne kamere, kot sta Sony in Olympus, so začele podpirati to že od leta 2014, vendar so za lep rezultat še vedno potrebovali ročno obdelavo. Tipične novosti velikih kamer.
Pametni telefoni pa so tukaj napredovali iz smešnega razloga — ko fotografirate, se vaše roke tresejo. Ta na prvi pogled težava je postala osnova za uresničitev nativne superločljivosti na pametnih telefonih.
Da bi razumeli, kako to deluje, se je treba spomniti, kako je zgrajena matrica katere koli fotografske naprave. Vsak njen piksel (fotodioda) lahko zabeleži le intenzivnost svetlobe — torej količino prišlo fotonov. Vendar piksel ne more izmeriti njegove barve (valovne dolžine). Da bi pridobili RGB sliko, so morali tudi tu uporabiti prefinjene rešitve — prekriti so morali celotno matrico z mrežo raznobarvnih koščkov stekla. Najbolj priljubljena različica tega se imenuje Bayerjev filter in se danes uporablja v večini matrik. Izgleda kot na sliki spodaj.
Izkazalo se je, da vsak piksel matrice ujame le R-, G- ali B-komponento, saj ostali fotoni neusmiljeno odbijajo Bayerjev filter. Manjkajoče komponente ugotavlja s preprostim povprečenjem vrednosti sosednjih pikslov.
Zelenih celic v Bayerjevem filtru je več — tako je zasnovano po analogiji s človeškim očesom. To pomeni, da bo od 50 milijonov pikslov na matriki zeleno barvo zaznalo 25 milijonov, rdeča in modra pa po 12,5 milijona. Preostalo bo povprečeno — ta postopek se imenuje debayerizacija ali demozaič, in to je tak debel smešen rešitev, na kateri vse temelji.
Dejansko ima vsaka matrika svoj iznajdljivi patentirani algoritem demozaičenja, a v okviru te zgodbe tega ne bomo upoštevali.
Drugi tipi matrik (npr. Foveon) se zaenkrat pravzaprav še niso dobro uveljavili. Čeprav nekateri proizvajalci poskušajo uporabiti matrike brez Bayerjevega filtra za izboljšanje ostrine in dinamičnega razpona.
Ko je svetlobe malo ali so podrobnosti objekta zelo majhne, izgubimo veliko informacije, ker Bayerjev filter brezobzirno odstranjuje fotone z neustrezno valovno dolžino. Zato so tudi prišli na idejo Pixel Shifting — premikanje matrike za 1 piksel navzgor-navzdol-vdesno-vlevo, da bi ujeli vse. Fotografija pri tem ne postane štirikrat večja, kot bi se lahko zdelo, preprosto procesor uporablja te podatke, da natančneje zabeleži vrednost vsakega piksla. Povprečuje ne po sosednjih, tako rekoč, ampak po štirih vrednostih samega sebe.
Tresenje naših rok pri fotografiranju s telefonom pa naredi ta proces naravni posledica. V zadnjih različicah Google Pixel je ta stvar implementirana in se vedno vklopi, ko uporabljate zoom na telefonu — imenuje se Super Res Zoom (ja, tudi meni je všeč njihovo neusmiljeno poimenovanje). Kitajci so to prav tako kopirali v svoje pametne telefone, a nekoliko slabše.
Prekrivanje nekoliko pomaknjenih fotografij omogoča zbiranje več informacij o barvi vsakega piksla, kar pomeni zmanjšanje šumov, povečanje ostrine in dviglo ločljivosti, ne da bi povečali fizično število megapikslov matrike. Sodobni Android flagmani to počnejo samodejno, medtem ko njihovi uporabniki o tem sploh ne razmišljajo.
Steklenje po fokusu — katerakoli globina ostrine in refokusiranje v postprodukciji
Metoda je prišla iz makrosnemanja, kjer je vedno bila težava majhna globinska ostrina. Da bi bil celoten objekt v fokusu, je bilo potrebno posneti več posnetkov z pomikom fokusiranja naprej in nazaj, da bi jih nato združili v enostavno in ostro sliko. Isto metodo so pogosto uporabljali ljubitelji snemanja pokrajine, da sta bila sprednji in zadnji načrtostroka ostro ostri kot diareja.
Vse to se je preselilo tudi na pametne telefone, vendar brez posebnega šuma. Leta 2013 je izšla Nokia Lumia 1020 z 'Refocus App', leta 2014 pa Samsung Galaxy S5 z 'Selective Focus' načinom. Delali so po istem principu: ob pritisku na gumb so hitro posneli tri fotografije - eno z 'normálnim' fokusom, drugo s pomikom naprej in tretjo s pomikom nazaj. Program je izravnal posnetke in omogočil izbiro enega od njih, kar je bilo predstavljeno kot 'pravo' upravljanje fokusa v postprodukciji.
Nobene nadaljnje obdelave ni bilo, saj je bilo celo to preprosto rešitev dovolj, da se je vžgala še en žebelj v pokrov Lytro in analogov z njihovim poštenim refokusom. Mimogrede, spregovorimo o njih (maister prehodov 80 lvl).
Kalkulativne matrike - svetlobna polja in plenoptika
Kot smo razumeli zgoraj, so naše matrike groza na invalidskih nogah. Preprosto smo se navadili in skušamo s tem živeti. Po svoji zasnovi so se od samega začetka malo spreminjale. Le izboljšali smo tehnološki proces - zmanjšali razdaljo med pikseli, se borili proti šumom in dodali posebne piksle za delovanje faznega samodejnega ostrenja. Toda, če vzamete celo najdražjo DSLR kamero in poskušate posneti bežečo mačko pri sobni svetlobi - mačka, milo rečeno, zmaga.
Že dolgo iščemo nekaj boljšega. Številni poskusi in raziskave na tem področju se dajo poiskati pod iskalnimi pojmi 'computational sensor' ali 'non-bayer sensor', in celo zgornji primer s Pixel Shifting se lahko uvrsti med poskuse za izboljšanje matric s pomočjo računalništva. Vendar pa se najbolj obetavne zgodbe v zadnjih dvajsetih letih prihajajo prav iz sveta tako imenovanih plenoptik kamere.
Da se ne boste uspavali od pričakovanja zapletenih besed, naj povem, da je kamera zadnjih Google Pixel prav 'malo' plenoptijska. Samo za dva piksla, toda tudi to ji omogoča, da izračuna pošteno optično globino kadra brez druge kamere, kot pri vseh drugih.
Plenopticna kamera je močna naprava, ki še ni zaživela. Tukaj je povezava do enega od mojih najljubših nedavnih , od koder sem vzel primere.
Vsaka plenoptična kamera bo kmalu na voljo
Izumljena je bila leta 1994, sestavljena na Stanfordu leta 2004. Prva potrošniška kamera – Lytro, izdana leta 2012. S podobnimi tehnologijami zdaj aktivno eksperimentira industrija VR.
Običajna kamera se od plenoptične razlikuje le po eni modifikaciji – matična plošča je prekrita z mrežo leč, od katerih vsaka pokriva več dejanskih pikslov. Nekako tako:
če pravilno izračunamo razdaljo med mrežo in matično ploščo ter velikost zaslonke, bo končna slika vsebovala jasne skupine pikslov – neka mini različica izvirne slike.
Izkazalo se je, da če vzamemo iz vsake skupine, recimo, en osrednji pixel in združimo sliko samo po njih, ne bo nobene razlike v primerjavi s sliko, posneto s običajno kamero. Ja, nekoliko smo izgubili ločljivost, vendar pa preprosto prosimo Sony, da doda še nekaj megapikslov v nove matrice.
Zabava se šele začenja. Če vzamemo drugega pikslov iz vsake skupine in ponovno združimo sliko – dobimo spet normalno fotografijo, le da je videti, kot da je bila posneta z zamikom enega pikslov. Tako bomo, s skupinami 10 × 10 pikslov, dobili 100 slik predmeta z 'malo' različnih točk.
Večja kot je skupina, več slik imamo, a manjša je ločljivost. V svetu pametnih telefonov z 41-megapikslovnimi matrikami lahko nekoliko zanemarimo ločljivost, vendar ima vse svoje meje. Treba je ohranjati ravnovesje.
Okej, sestavili smo plenoptično kamero, in kaj nam to prinaša?
Iskreno prefokusiranje
Funkcija, o kateri so vsi novinarji govorili v člankih o Lytro, je možnost iskrene prilagoditve fokusa v postprodukciji. S pojmom 'iskreno' mislimo, da ne uporabljamo različnih algoritmov za zmanjševanje zameglitve, temveč izključno uporabljamo pikslov, ki so na voljo, izbiramo ali povprečimo jih iz skupin v pravem vrstnem redu.
RAW fotografija s plenoptične kamere izgleda čudno. Da bismo od nje dobili uobičajeni oštri JPEG, prvo je potrebno da je sastavimo. Za to treba izabrati svaki piksel JPEG-a iz jednog od klastera RAW-a. U zavisnosti od načina na koji ih izaberemo, rezultati će se razlikovati.
Na primer, što je klaster dalje od mesta gde pada originalni zraka, to je ovaj zraka više u defokusu. Zbog optike. Da bismo dobili defokusiranu sliku, samo trebamo izabrati piksele na željenoj udaljenosti od originalnog — ili bliže, ili dalje.
Sa pomerenim fokusom ka sebi bilo je složenije — fizički je manje takvih piksela bilo u klasterima. Na početku, programeri nisu želeli da pruže korisnicima mogućnost manuelnog fokusiranja — kamera je to rešavala programski. Korisnicima se takva budućnost nije svidela, pa je funkcija dodata u kasnijim firmware-ima pod nazivom "kreativni režim", ali je refokus u njemu bio značajno ograničen iz ovog razloga.
Mapa dubine i 3D sa jedne kamere
Jedna od najjednostavnijih operacija u plenoptici je dobijanje mape dubine. Za to je potrebno jednostavno sastaviti dva različita kadra i izračunati koliko su objekti na njima pomerani. Što je veće pomeranje — dalje od kamere.
Nedavno je Google kupio i ukinuo Lytro, ali je iskoristio njihove tehnologije za svoj VR i… za kameru u Pixel-u. Počevši od Pixel 2, kamera je prvi put postala „malo“ plenoptična, međutim, sa klasterima od samo dva piksela. To je omogućilo Guglu da ne postavlja drugu kameru, kao što su to učinili svi drugi, već da izračunava mapu dubine isključivo iz jedne fotografije.
Mapa dubine se gradi na osnovu dva kadra, pomerena za jedan subpiksel. To je sasvim dovoljno da se izračuna binarna mapa dubine i odvoji prednji plan od pozadine i da se poslednja zamagli u sada popularnom bokeu. Rezultat ovog razdvajanja se dalje zaglađuje i "poboljšava" pomoću neuronskih mreža, koje su obučene za poboljšanje mapa dubine (a ne za zamagljivanje, kako mnogi misle).
Osnovna stvar je da nam je plenoptika na pametnim telefonima došla gotovo besplatno. Već smo stavljali sočiva na te minijaturne senzore, kako bismo nekako povećali protok svetlosti. U sledećim Pixel-ima, Google planira da ide dalje i pokrije sočivom četiri fotodijoda.
Izvor: 3dnews.ru
