Izvirni članek je objavljen na spletni strani in objavljeno na 3DNews z dovoljenjem avtorja. Ponujamo celotno besedilo članka, z izjemo ogromnega števila povezav - koristne bodo tistim, ki jih tema resno zanima in bi radi poglobljeno preučili teoretične vidike računalniške fotografije, vendar za splošno občinstvo, se nam je to gradivo zdelo odveč.
Danes niti ena predstavitev pametnega telefona ni popolna brez lizanja njegove kamere. Vsak mesec poslušamo o naslednjem uspehu mobilnih kamer: Google Pixel nauči fotografirati v temi, Huawei zumira kot daljnogled, Samsung vstavi lidar, Apple naredi najbolj zaobljene vogale sveta. Dandanes je malo krajev, kjer inovacije tečejo tako hitro.
Obenem se zdi, da ogledala označujejo čas. Sony vsako leto zasipa vse z novimi matricami, proizvajalci pa leno posodabljajo številko najnovejše različice in se še naprej sproščajo in kadijo ob strani. Na mizi imam DSLR za 3000 $, a ko potujem, vzamem svoj iPhone. Zakaj?
Kot je rekel klasik, sem šel na splet s tem vprašanjem. Tam razpravljajo o nekih "algoritmih" in "nevronskih mrežah", ne da bi vedeli, kako točno vplivajo na fotografijo. Novinarji glasno prebirajo število megapikslov, blogerji soglasno pilijo plačane unboxinge, esteti pa se mažejo s »čutnim dojemanjem barvne palete matrice«. Vse je kot ponavadi.
Moral sem se usesti, porabiti polovico svojega življenja in sam ugotoviti vse. V tem članku vam bom povedal, kaj sem se naučil.
Kaj je računalniška fotografija?
Povsod, vključno z Wikipedijo, dajejo nekako tako definicijo: računalniška fotografija je vsaka tehnika zajema in obdelave slike, ki uporablja digitalno računalništvo namesto optičnih transformacij. Vse na njem je dobro, le da ničesar ne pojasni. Celo samodejno ostrenje mu ustreza, plenoptica, ki nam je prinesla že marsikaj uporabnega, pa ne paše. Zdi se, da nejasnost uradnih definicij namiguje, da nimamo pojma, o čem govorimo.
Pionir računalniške fotografije, stanfordski profesor Marc Levoy (ki je zdaj odgovoren za kamero pri Google Pixel) podaja še eno definicijo – nabor računalniških vizualizacijskih metod, ki izboljšujejo ali širijo zmožnosti digitalne fotografije, s pomočjo katerih se pridobi običajna fotografija, ki tehnično ni bilo mogoče posneti s tem fotoaparatom na tradicionalen način. V članku se tega držim.
Za vse so bili torej krivi pametni telefoni.
Pametni telefoni niso imeli druge izbire, kot da so rodili novo vrsto fotografije: računalniško fotografijo.
Njihove majhne hrupne matrice in drobne počasne leče bi po vseh zakonih fizike morale prinašati samo bolečino in trpljenje. To so počeli, dokler njihovi razvijalci niso ugotovili, kako premeteno uporabiti njihove prednosti, da bi premagali svoje slabosti - hitre elektronske zaslonke, zmogljive procesorje in programsko opremo.
Večina odmevnih raziskav na področju računalniške fotografije se je zgodila med letoma 2005 in 2015, kar v znanosti velja za dobesedno včeraj. Prav zdaj se pred našimi očmi in v naših žepih razvija novo področje znanja in tehnologije, ki ga še ni bilo.
Pri računalniški fotografiji ne gre samo za selfije z nevro-bokehom. Nedavna fotografija črne luknje ne bi bila mogoča brez tehnik računalniške fotografije. Da bi posneli takšno fotografijo z običajnim teleskopom, bi morali biti veliki kot Zemlja. Vendar pa smo s kombiniranjem podatkov osmih radijskih teleskopov na različnih točkah naše žoge in pisanjem nekaj skriptov v Pythonu dobili prvo fotografijo obzorja dogodkov na svetu. Dobro tudi za selfije.
Začetek: digitalna obdelava
Predstavljajmo si, da smo se vrnili v leto 2007. Naša mati je anarhija in naše fotografije so hrupni džipi z 0,6 milijona slikovnih pik, posneti na rolki. Približno takrat se pojavi prva neustavljiva želja, da bi jih posuli s prednastavitvami, da bi prikrili bednost mobilnih matric. Ne zanikajmo se.
Matan in Instagram
Z izdajo Instagrama so vsi postali obsedeni s filtri. Kot nekdo, ki je vzvratno oblikoval X-Pro II, Lo-Fi in Valencio za seveda raziskovalne namene, se še vedno spomnim, da so bili sestavljeni iz treh komponent:
- Barvne nastavitve (Hue, Saturation, Lightness, Contrast, Levels itd.) - preprosti digitalni koeficienti, natanko tako kot vse prednastavitve, ki so jih fotografi uporabljali že od antičnih časov.
- Tonske preslikave so vektorji vrednosti, od katerih nam je vsak povedal: "Rdečo barvo z nianso 128 je treba spremeniti v nianso 240."
- Prekrivanje je prosojna slika s prahom, zrnatostjo, vinjeto in vsem ostalim, kar lahko namestimo na vrh, da dobimo prav nič banalen učinek starega filma. Ni bil vedno prisoten.
Sodobni filtri niso daleč od te trojice, le pri matematiki so postali nekoliko bolj zapleteni. S pojavom strojnih senčnikov in OpenCL na pametnih telefonih so jih hitro prepisali za GPE, kar je veljalo za noro kul. Za leto 2012 seveda. Danes lahko vsak študent naredi enako v CSS, pa še vedno ne bo dobil možnosti diplomirati.
Vendar se napredek filtrov še danes ni ustavil. Fantje iz Dehanserja se na primer odlično znajdejo pri uporabi nelinearnih filtrov - namesto proletarskega tonskega preslikavanja uporabljajo kompleksnejše nelinearne transformacije, kar po njihovem odpira veliko več možnosti.
Z nelinearnimi transformacijami lahko narediš veliko stvari, vendar so neverjetno zapletene, ljudje pa smo neverjetno neumni. Takoj, ko gre za nelinearne transformacije v znanosti, raje posegamo po numeričnih metodah in vsepovsod strpamo nevronske mreže, da nam pišejo mojstrovine. Tudi tukaj je bilo tako.
Avtomatizacija in sanje o gumbu "mojstrovina".
Ko so se vsi navadili na filtre, smo jih začeli vgrajevati neposredno v kamere. Zgodovina skriva, kateri proizvajalec je bil prvi, a samo za razumevanje, kako dolgo nazaj je bilo - v iOS 5.0, ki je bil izdan leta 2011, je že obstajal javni API za samodejno izboljšanje slik. Samo Jobs ve, kako dolgo je bil v uporabi, preden je bil odprt za javnost.
Avtomatizacija je naredila isto, kar počne vsak od nas, ko odpre fotografijo v urejevalniku – potegnila je vrzeli v svetlobi in sencah, dodala nasičenost, odstranila rdeče oči in popravila polt. Uporabniki se sploh niso zavedali, da je "dramatično izboljšana kamera" v novem pametnem telefonu le zasluga nekaj novih senčil. Še pet let je ostalo do izdaje Google Pixela in začetka računalniškega fotografskega pompa.
Danes se je bitka za gumb »mojstrovina« preselila na področje strojnega učenja. Ko so se dovolj igrali s preslikavo tonov, so vsi hiteli trenirati CNN in GAN, da premikajo drsnike namesto uporabnika. Z drugimi besedami, iz vhodne slike določite nabor optimalnih parametrov, ki bi to sliko približali nekemu subjektivnemu razumevanju »dobre fotografije«. Izvedeno v istem Pixelmator Pro in drugih urejevalnikih. Kot lahko ugibate, ne deluje zelo dobro in ne vedno.
Zlaganje je 90 % uspeha mobilnih kamer
Prava računalniška fotografija se je začela z zlaganjem več fotografij eno na drugo. Za pametni telefon ni problem klikniti ducat sličic v pol sekunde. Njihovi fotoaparati nimajo počasnih mehanskih delov: zaslonka je fiksna, namesto premikajoče se zavese je elektronski zaklop. Procesor preprosto ukaže matriki, koliko mikrosekund naj ujame divje fotone, in ta prebere rezultat.
Tehnično lahko telefon snema fotografije pri video hitrosti, video pa pri foto ločljivosti, vendar je vse odvisno od hitrosti vodila in procesorja. Zato vedno postavljajo programske omejitve.
Sam staking nas spremlja že dolgo. Celo dedki so na Photoshop 7.0 namestili vtičnike, da so sestavili več fotografij v privlačen HDR ali pa sestavili panoramo 18000 × 600 slikovnih pik in ... pravzaprav nihče ni ugotovil, kaj z njimi narediti. Škoda, da so bili časi bogati in divji.
Zdaj smo postali odrasli in to imenujemo "epsilon fotografija" - ko s spremembo enega od parametrov fotoaparata (osvetlitev, ostrenje, položaj) in sestavljanjem nastalih okvirjev dobimo nekaj, česar ni bilo mogoče ujeti v en okvir. A to je izraz za teoretike, v praksi se je uveljavilo drugo ime - staking. Danes namreč na njej temelji 90 % vseh inovacij na področju mobilnih kamer.
Nekaj, o čemer mnogi ljudje ne razmišljajo, a je pomembno za razumevanje vse mobilne in računalniške fotografije: kamera na sodobnem pametnem telefonu začne fotografirati takoj, ko odprete njeno aplikacijo. Kar je logično, saj mora sliko nekako prenesti na zaslon. Vendar poleg zaslona shranjuje okvirje visoke ločljivosti v svoj medpomnilnik zanke, kjer jih hrani še nekaj sekund.
Ko pritisnete na gumb “posnemi fotografijo”, je ta dejansko že posneta, kamera preprosto posname zadnjo fotografijo iz medpomnilnika.
Tako danes deluje vsaka mobilna kamera. Vsaj v vseh paradnih konjih ne s smeti. Medpomnjenje vam omogoča, da uresničite ne le ničelno zakasnitev zaklopa, o kateri so fotografi že dolgo sanjali, ampak celo negativno - ko pritisnete gumb, pametni telefon pogleda v preteklost, razloži zadnjih 5-10 fotografij iz medpomnilnika in začne mrzlično analizirati in jih prilepite. Nič več čakanja, da telefon klikne okvirje za HDR ali nočni način - samo vzemite jih iz medpomnilnika, uporabnik sploh ne bo vedel.
Mimogrede, prav s pomočjo negativnega zamika zaklopa je Live Photo implementiran v iPhone, HTC pa je nekaj podobnega imel že leta 2013 pod čudnim imenom Zoe.
Zlaganje osvetlitve - HDR in boj proti spremembam svetlosti
Ali so senzorji kamere sposobni zajeti celoten obseg svetlosti, ki je dostopen našim očem, je stara vroča tema razprave. Nekateri pravijo, da ne, ker je oko sposobno videti do 25 f-stopenj, medtem ko jih lahko celo iz vrhunske matrike polnega formata dobite največ 14. Drugi menijo, da je primerjava napačna, saj možgani očesu pomagajo s samodejnim prilagajanjem. zenico in dopolnitev slike s svojimi nevronskimi mrežami ter trenutek. Dinamični razpon očesa pravzaprav ni več kot le 10–14 stopenj f. Prepustimo to debato najboljšim mislecem na fotelju na internetu.
Dejstvo ostaja: ko s katero koli mobilno kamero posnamete prijatelje proti svetlemu nebu brez HDR, dobite bodisi normalno nebo in črne obraze prijateljev ali pa dobro narisane prijatelje, a nebo, ožgano do smrti.
Rešitev je že dolgo izumljena - razširiti obseg svetlosti z uporabo HDR (High dynamic range). Posneti morate več sličic z različnimi hitrostmi zaklopa in jih sestaviti. Tako da je ena »normalna«, druga svetlejša, tretja temnejša. Temna mesta vzamemo iz svetlega okvirja, zapolnimo preosvetlitve iz temnega - dobiček. Ostaja le še rešiti problem samodejnega oklepanja - za koliko premakniti osvetlitev vsakega okvirja, da ne bi pretiravali, zdaj pa se lahko študent drugega letnika tehnične univerze spoprime z določitvijo povprečne svetlosti slike.
Pri najnovejših napravah iPhone, Pixel in Galaxy se način HDR običajno vklopi samodejno, ko preprost algoritem v fotoaparatu ugotovi, da fotografirate s kontrastom na sončen dan. Lahko celo opazite, kako telefon preklopi način snemanja v medpomnilnik, da shrani okvirje, premaknjene v osvetlitvi - fps v fotoaparatu pade, sama slika pa postane bolj sočna. Trenutek preklopa je jasno viden na mojem iPhonu X pri snemanju na prostem. Tudi naslednjič si pametni telefon poglejte pobližje.
Pomanjkljivost HDR z kadriranjem osvetlitve je njegova neprebojna nemoč pri slabi svetlobi. Tudi ob svetlobi sobne svetilke so okvirji tako temni, da jih računalnik ne more poravnati in sešiti. Za rešitev težave s svetlobo je Google leta 2013 pokazal drugačen pristop k HDR v takrat izdanem pametnem telefonu Nexus. Uporabil je zlaganje časa.
Časovno zlaganje – simulacija dolge osvetlitve in časovni zamik
Časovno zlaganje vam omogoča ustvarjanje dolge osvetlitve z nizom kratkih. Pionirji so bili ljubitelji fotografiranja zvezdnih sledi na nočnem nebu, ki se jim je zdelo neprijetno odpirati zaklop za dve uri naenkrat. Tako težko je bilo vnaprej izračunati vse nastavitve in že najmanjše tresenje bi pokvarilo celoten okvir. Odločili so se, da zaklop odprejo le za nekaj minut, a velikokrat, nato pa odšli domov in nastale okvirje prilepili v Photoshop.
Izkazalo se je, da fotoaparat dejansko nikoli ni snemal pri dolgi hitrosti zaklopa, vendar smo dobili učinek simulacije s seštevanjem več sličic, posnetih zaporedoma. Že dolgo je bilo napisanih kup aplikacij za pametne telefone, ki uporabljajo ta trik, vendar vse niso potrebne, saj je funkcija dodana skoraj vsem standardnim fotoaparatom. Danes lahko celo iPhone zlahka sestavi dolgo osvetlitev iz Live Photo.
Vrnimo se k Googlu z njegovim nočnim HDR. Izkazalo se je, da lahko s časovnim oklepajem ustvarite dober HDR v temi. Tehnologija se je prvič pojavila v Nexusu 5 in se je imenovala HDR+. Preostali androidni telefoni so ga dobili kot v dar. Tehnologija je še vedno tako priljubljena, da jo celo hvalijo v predstavitvi najnovejših Pixelov.
HDR+ deluje povsem preprosto: ko ugotovi, da fotografirate v temi, kamera odstrani zadnjih 8–15 fotografij RAW iz medpomnilnika, da jih prekrije eno na drugo. Tako algoritem zbere več informacij o temnih območjih okvirja, da zmanjša šum – slikovne pike, kjer kamera iz nekega razloga ni mogla zbrati vseh informacij in je šlo narobe.
To je tako, kot če ne bi vedeli, kako izgleda kapibara, in bi prosili pet ljudi, da jo opišejo, bi bile njihove zgodbe približno enake, vendar bi vsaka omenila nekaj edinstvenih podrobnosti. Na ta način bi zbrali več informacij, kot bi jih samo vprašali. Enako je s piksli.
Dodajanje okvirjev, posnetih z ene točke, daje enak lažni učinek dolge osvetlitve kot pri zgornjih zvezdah. Izpostavljenost več deset sličic je povzeta, napake v enem pa so zmanjšane na druge. Predstavljajte si, kolikokrat bi morali klikniti sprožilec DSLR vsakič, da bi to dosegli.
Ostalo je le še rešiti problem samodejne barvne korekcije – okvirji, posneti v temi, običajno izpadejo popolnoma rumeni ali zeleni, mi pa si nekako želimo bogastva dnevne svetlobe. V zgodnjih različicah HDR+ je bilo to rešeno s preprostim spreminjanjem nastavitev, kot v filtrih a la Instagram. Nato so na pomoč poklicali nevronske mreže.
Tako se je pojavil Night Sight - tehnologija "nočne fotografije" v Pixel 2 in 3. V opisu pišejo: "Tehnike strojnega učenja, zgrajene na vrhu HDR+, ki omogočajo delovanje Night Sight." V bistvu je to avtomatizacija stopnje barvne korekcije. Stroj je bil učen na naboru podatkov fotografij »pred« in »potem«, da bi iz katerega koli niza temnih ukrivljenih fotografij naredil eno čudovito.
Mimogrede, nabor podatkov je bil javno dostopen. Mogoče pa se bodo tega lotili fantje iz Appla in svoje steklene lopate končno naučili pravilno slikati v temi.
Poleg tega Night Sight uporablja izračun vektorja gibanja predmetov v kadru za normalizacijo zamegljenosti, ki se zagotovo pojavi pri dolgi hitrosti zaklopa. Tako lahko pametni telefon vzame prozorne dele iz drugih okvirjev in jih zlepi.
Zlaganje gibanja - panorama, superzoom in zmanjšanje šuma
Panorama je priljubljena zabava za prebivalce podeželja. Zgodovina še ne pozna primerov, da bi bila fotografija klobase zanimiva še za koga drugega kot za njenega avtorja, a je ne gre prezreti – za mnoge se je tu zlaganje sploh začelo.
Prvi uporaben način uporabe panorame je pridobitev fotografije z višjo ločljivostjo, kot jo omogoča matrika fotoaparata, s sestavljanjem več sličic. Fotografi že dolgo uporabljajo različno programsko opremo za tako imenovane fotografije v super ločljivosti – ko se zdi, da se nekoliko premaknjene fotografije dopolnjujejo med piksli. Na ta način lahko dobite sliko vsaj več sto gigapikslov, kar je zelo uporabno, če jo morate natisniti na reklamni plakat v velikosti hiše.
Drug, bolj zanimiv pristop je Pixel Shifting. Nekateri brezzrcalni fotoaparati, kot sta Sony in Olympus, so ga začeli podpirati že leta 2014, a so vseeno morali rezultat lepiti ročno. Tipične inovacije velikih kamer.
Pametni telefoni so tu uspeli iz hecnega razloga – ko fotografiraš, se ti roke tresejo. Ta navidezna težava je bila podlaga za implementacijo izvorne super ločljivosti na pametne telefone.
Da bi razumeli, kako to deluje, se morate spomniti, kako je strukturirana matrika katere koli kamere. Vsak njegov piksel (fotodioda) je sposoben zabeležiti le jakost svetlobe – torej število vhodnih fotonov. Vendar piksel ne more izmeriti svoje barve (valovne dolžine). Da bi dobili RGB sliko, smo morali tudi tukaj dodati bergle - celotno matrico prekriti z mrežo raznobarvnih kosov stekla. Njegova najbolj priljubljena izvedba se imenuje Bayerjev filter in se danes uporablja v večini matrik. Izgleda kot spodnja slika.
Izkazalo se je, da vsak piksel matrike ujame le R-, G- ali B-komponento, ker preostale fotone neusmiljeno odbija Bayerjev filter. Prepozna manjkajoče komponente z neposrednim povprečenjem vrednosti sosednjih slikovnih pik.
V Bayerjevem filtru je več zelenih celic - to je bilo narejeno po analogiji s človeškim očesom. Izkazalo se je, da bo od 50 milijonov slikovnih pik na matriki zelena zajela 25 milijonov, rdeča in modra pa po 12,5 milijona.Ostalo bo povprečeno - ta proces se imenuje debayerizacija ali demosaiciranje, in to je tako debela smešna bergla ki vse počiva.
Pravzaprav ima vsaka matrika svoj premeten patentiran algoritem demosaiciranja, vendar ga bomo za namene te zgodbe zanemarili.
Druge vrste matrik (kot je Foveon) se nekako še niso prijele. Čeprav nekateri proizvajalci poskušajo uporabiti senzorje brez Bayerjevega filtra za izboljšanje ostrine in dinamičnega razpona.
Ko je svetlobe malo ali so podrobnosti predmeta zelo majhne, izgubimo veliko informacij, ker Bayerjev filter očitno odreže fotone z neželeno valovno dolžino. Zato so se domislili Pixel Shifting – premikanje matrike za 1 slikovno piko gor-dol-desno-levo, da bi jih vse ujeli. V tem primeru se fotografija ne izkaže za 4-krat večjo, kot se morda zdi, procesor preprosto uporabi te podatke za natančnejše beleženje vrednosti vsake slikovne pike. Tako rekoč ne meri svojih sosedov, ampak štiri svoje vrednosti.
Zaradi tresenja rok pri fotografiranju na telefonu je ta proces naravna posledica. V najnovejših različicah Google Pixel je ta stvar implementirana in se vklopi vsakič, ko na telefonu uporabite povečavo - imenuje se Super Res Zoom (ja, tudi meni je všeč njihovo neusmiljeno poimenovanje). Tudi Kitajci so jo kopirali v svoje laofone, čeprav je izpadla malo slabše.
Prekrivanje rahlo premaknjenih fotografij eno na drugo vam omogoča, da zberete več informacij o barvi vsakega piksla, kar pomeni zmanjšanje šuma, povečanje ostrine in dvig ločljivosti brez povečanja fizičnega števila megapikslov matrike. Sodobni paradni konji Android to počnejo samodejno, ne da bi njihovi uporabniki o tem sploh razmišljali.
Zlaganje fokusa – poljubna globinska ostrina in ponovno fokusiranje v postprodukciji
Metoda izhaja iz makro fotografije, kjer je bila majhna globinska ostrina vedno problem. Da bi bil celoten objekt izostren, si moral posneti več sličic s premikanjem fokusa naprej in nazaj in jih nato sestaviti v eno ostro. Enako metodo so pogosto uporabljali krajinski fotografi, pri čemer sta ospredje in ozadje naredila ostra kot driska.
Vse to se je preselilo tudi na pametne telefone, čeprav brez večjega pompa. Leta 2013 je izšla Nokia Lumia 1020 z aplikacijo »Refocus«, leta 2014 pa Samsung Galaxy S5 z načinom »Selective Focus«. Delali so po enaki shemi: s pritiskom na gumb so na hitro posneli 3 fotografije - eno z "normalnim" fokusom, drugo s pomaknjenim fokusom naprej in tretjo s pomaknjenim fokusom nazaj. Program je poravnal okvirje in vam omogočil, da izberete enega od njih, kar je bilo oglaševano kot "pravi" nadzor ostrenja v postprodukciji.
Nadaljnje obdelave ni bilo, ker je bil že ta preprost vdor dovolj, da je Lytro in njim podobnim zabil še en žebelj s pošteno preusmeritvijo. Mimogrede, pogovorimo se o njih (mojster prehoda 80 lvl).
Računske matrike - svetlobna polja in plenoptica
Kot smo razumeli zgoraj, so naše matrice groza na berglah. Preprosto smo se navadili na to in poskušamo živeti s tem. Njihova struktura se je od začetka časa malo spremenila. Izboljšali smo le tehnični postopek - zmanjšali smo razdaljo med piksli, se borili proti motnjam in dodali posebne piksle za samodejno ostrenje s faznim zaznavanjem. Če pa vzamete še tako najdražji DSLR in poskusite z njim fotografirati tekačo mačko pri sobni razsvetljavi - bo mačka, milo rečeno, zmagala.
Dolgo smo poskušali izumiti nekaj boljšega. Veliko poskusov in raziskav na tem področju je googlanih za "računalniški senzor" ali "ne-bayerjev senzor" in celo zgornji primer premika slikovnih pik lahko pripišemo poskusom izboljšave matrik z uporabo izračunov. Največ obetavnih zgodb v zadnjih dvajsetih letih pa prihaja k nam prav iz sveta tako imenovanih plenoptičnih kamer.
Da ne boste zaspali od pričakovanja bližajočih se zapletenih besed, bom dodal insajder, da je kamera najnovejšega Google Pixela le "rahlo" plenoptična. Samo dve slikovni piki, a tudi to mu omogoča, da izračuna pravilno optično globino kadra tudi brez druge kamere, kot vsi ostali.
Plenoptics je močno orožje, ki še ni sprožilo. Tukaj je povezava do enega mojih najljubših nedavnih. , od koder sem si izposodil primere.
Plenoptična kamera - kmalu na voljo
Izumljen leta 1994, zbran na Stanfordu leta 2004. Prva potrošniška kamera Lytro je bila izdana leta 2012. Industrija VR zdaj aktivno eksperimentira s podobnimi tehnologijami.
Plenoptična kamera se od običajne kamere razlikuje le v eni modifikaciji - njena matrika je prekrita z mrežo leč, od katerih vsaka pokriva več realnih slikovnih pik. Nekaj podobnega:
Če pravilno izračunate razdaljo od mreže do matrike in velikost zaslonke, bo končna slika imela jasne skupine slikovnih pik - neke vrste mini različice izvirne slike.
Izkazalo se je, da če vzamete, recimo, en osrednji piksel iz vsakega grozda in samo z njimi zlepite sliko, se ne bo nič razlikovala od tiste, posnete z običajnim fotoaparatom. Da, malo smo izgubili v ločljivosti, vendar bomo Sony prosili, da doda več megapikslov v nove matrice.
Zabava se šele začenja. če iz vsakega grozda vzamete še eno slikovno piko in sliko ponovno zlepite, boste spet dobili normalno fotografijo, le kot da bi bila posneta s premikom za en piksel. Tako bomo z grozdi 10 × 10 slikovnih pik dobili 100 slik predmeta iz "nekoliko" različnih točk.
Večja velikost gruče pomeni več slik, vendar nižjo ločljivost. V svetu pametnih telefonov z matricami ločljivosti 41 milijonov slikovnih pik, čeprav lahko ločljivost malce zanemarimo, je vse meja. Morate ohraniti ravnotežje.
V redu, sestavili smo plenoptično kamero, torej, kaj nam to daje?
Iskreno ponovno osredotočanje
Lastnost, o kateri so vsi novinarji brenčali v člankih o Lytroju, je bila zmožnost poštenega prilagajanja fokusa v postprodukciji. S poštenim mislimo, da ne uporabljamo nobenih algoritmov za odstranjevanje zamegljenosti, ampak uporabljamo izključno slikovne pike, ki so pri roki, in jih izbiramo ali povprečimo iz skupin v zahtevanem vrstnem redu.
Fotografije RAW iz plenoptične kamere izgledajo čudno. Če želite iz njega dobiti običajen oster džip, ga morate najprej sestaviti. Če želite to narediti, morate izbrati vsako slikovno piko jeepa iz ene od skupin RAW. Glede na to, kako jih izberemo, se bo rezultat spreminjal.
Na primer, dlje kot je grozd od točke vpada prvotnega žarka, bolj je ta žarek izostren. Ker optika. Da bi dobili sliko s premaknjenim fokusom, moramo samo izbrati slikovne pike na želeni razdalji od prvotne - bodisi bližje bodisi dlje.
Težje je bilo premakniti fokus nase - čisto fizično je bilo takih pikslov v grozdih manj. Sprva razvijalci uporabniku sploh niso želeli omogočiti ostrenja z rokami - o tem se je programsko odločila kamera sama. Uporabnikom ta prihodnost ni bila všeč, zato so v poznejši vdelani programski opremi dodali funkcijo, imenovano "ustvarjalni način", vendar so preusmeritev v njej zelo omejili ravno zaradi tega razloga.
Zemljevid globine in 3D iz ene kamere
Ena najpreprostejših operacij v plenoptici je pridobivanje zemljevida globine. Če želite to narediti, morate samo zbrati dva različna okvirja in izračunati, koliko so premaknjeni predmeti v njih. Večji premik pomeni dlje od kamere.
Google je nedavno kupil in uničil Lytro, vendar je uporabil njihovo tehnologijo za svoj VR in ... za kamero Pixel. Začenši s Pixelom 2 je kamera prvič postala "rahlo" plenoptična, čeprav z grozdi le dveh slikovnih pik. To je Googlu dalo priložnost, da ne namesti druge kamere, kot vsi ostali fantje, ampak izračuna zemljevid globine samo iz ene fotografije.
Zemljevid globine je sestavljen iz dveh okvirjev, premaknjenih za eno podpiksel. To je povsem dovolj za izračun binarne globinske karte in ločitev ospredja od ozadja ter zameglitev slednjega v zdaj modnem bokehu. Rezultat takšnega razslojevanja zgladijo in "izboljšajo" tudi nevronske mreže, ki so usposobljene za izboljšanje zemljevidov globine (in ne za zamegljevanje, kot mnogi mislijo).
Trik je v tem, da smo plenoptiko v pametnih telefonih dobili skoraj brezplačno. Na te drobne matrice že namestimo leče, da nekako povečamo svetlobni tok. V naslednjem Pixelu namerava Google iti dlje in štiri fotodiode pokriti z lečo.
Vir: 3dnews.ru