Artikli originaal on avaldatud veebisaidil ja see on avaldatud 3DNews'i autori loal. Toome esile artikli täisteksti, välja arvatud suur hulk linke — need on kasulikud neile, kes on tõeliselt huvitatud teemast ja soovivad sügavamalt uurida arvutusfotograafia teoreetilisi aspekte, kuid laiemale publikule oleme leidnud, et see materjal on üleliigne.
Tänapäeval ei möödu ükski nutitelefoni esitlus ilma selle kaamera kiitmiseta. Iga kuu kuuleme uue mobiilkaamera edusammudest: Google õpetab Pixelit pimedas pildistama, Huawei suurendab nagu binokkel, Samsung lisab liidri ja Apple teeb maailma ümaramaid nurki. Innovatsioon voolab praegu nagu harva kusagil mujal.
Peegelkaamerad näivad aga olevat paigal. Sony viskab igal aastal uusi sensorite arvutipilte, samas kui tootjad uuendavad laisalt ainult viimast versiooni numbrit ja jätkavad rahulikult kõrvale suitsetamist. Mul on laual peegelkaamera, mille hind on 3000 dollarit, kuid reisile võtan ma iPhone'i. Miks?
Nagu klassik ütles – ma läksin internetti selle küsimusega. Seal arutatakse mingite „algoritmide“ ja „neurovõrkude“ üle, teadmata, kuidas need konkreetselt fotot mõjutavad. Ajakirjanikud loevad kõva häälega megapikslite arvu, blogijad üheskoos teevad rahastatud unboxinge, ja esteed voolavad „sensoorse värvipaleti tajumisega“. Kõik on nagu tavaliselt.
Pidin istuma ja kulutama pool elu, et kõik ise selgeks teha. Selles artiklis räägin, mida olen õppinud.
Mis on arvutusfotograafia?
Igal pool, sealhulgas vikipeedias, antakse ligikaudu selline määratlus: arvutusfotograafia on kõik tehnikad piltide salvestamise ja töötlemise kohta, kus optiliste protsesside asemel kasutatakse digitaalseid arvutusi. Kõik on seal hästi, välja arvatud see, et see ei selgita midagi. Selle alla sobib isegi automaatne teravustamine, kuid ei mahu sisse pleonoptiika, mis on juba meile palju kasulikku toonud. Ametlike määratlemiste ebaselgus viitab sellele, et me ei tea, millest räägime.
Arvutifotograafia pionäär, Stanfordi ülikooli professor Marc Levoy (kes vastutab nüüd Google Pixel'i kaamera eest) esitab teise definitsiooni — meetodite kogum, mis paraneb või laiendab arvutinägemise võimalusi, mille abil saadakse tavaline foto, mida ei saanud tehniliselt selle kaamera abil traditsioonilisel viisil teha. Artiklis juhindun ma just temast.
Nii et kõik süüdistused langesid nutitelefonide kaela.
Nutitelefonidel polnud muud valikut, kui anda elu uue fotograafia tüübile — arvutifotograafiale.
Nende väikesed mürarikkad sensorid ja tillukesed mittevalgusjõulised objektiivid peaksid füüsika seaduste kohaselt tootma ainult valu ja kannatusi. Nii see oligi, kuni nende arendajad ei leidnud nutikat viisi kasutada neid tugevusi, et võidelda nõrkustega — kiireid elektroonilisi säriaegu, võimsaid protsessoreid ja tarkvara.
Enamik tähelepanuväärseid uuringuid arvutusfotograafia vallas toimusid 2005–2015, mis teaduses loetakse pea et eilseks. Praegu areneb meie silme ees ja meie taskutes uus teadmiste ja tehnoloogiate valdkond, mida pole kunagi varem olnud.
Arvutusfotograafia ei ole ainult selfie'd neuro-bokeh'iga. Hiljutine musta augu foto ei oleks ilma arvutusfotograafia meetoditeta sündinud. Tavalise teleskoobi abil sellise foto tegemiseks peaksime selle suurendama Maa suuruseks. Kuid ühendades andmed kaheksast raadioteleskoopist meie planeedi erinevates punktides ja kirjutades mõned skriptid Pythonis, saime maailma esimese foto sündmuste horisondist. See sobib ka selfie'deks.
Algus: digitaalne töötlemine
Kujutame ette, et oleme 2007. aastal. Meie ema on anarhia ja meie fotod on lärmakad 0,6-Mp JPEG-id, mis on tehtud tõukerattaga. Umbes siis tekib meil esmakordne vastupandamatu soov lisada neile preset'e, et varjata mobiilsensorite viletsust. Ei loobu endale sellest.
Matan ja Instagram
Instagrami tulekuga muutusid kõik filtrite peale hulluks. Inimesena, kes kunagi tahtis X-Pro II, Lo-Fi ja Valencia algoritme reverse engineerida, muidugi ainult uurimise eesmärkidel (hehe), mäletan endiselt, et need koosnesid kolmest komponendist:
- Värvi seadistused (toon, küllastus, heledus, kontrastsus, tasemed jne) — lihtsad digitaalset koefitsiente, nagu igasugustes preset'ides, mida fotograafid on kasutanud juba iidsetest aegadest.
- Toonide kaardistamise (Tone Mapping) vektorid — väärtuste vektor, millest igaüks ütles meile: „Punane, millel on varjund 128, tuleb muuta varjundiks 240.”
- Kiht — poolläbipaistvast pildist, kus on tolm, terad, vinjett ja kõik muu, mida saab peale kanda, et saavutada mitte vähimatki igavat efektit nagu vana film. See ei olnud alati kohal.
Kaasaegsed filtrid pole sellest kolmikust kaugele jõudnud, need on lihtsalt matemaatiliselt veidi keerulisemad. Riistvara shader'ite ja OpenCL tulekuga nutitelefonides kirjutati neid kiiresti GPU-de jaoks ümber, ja see tundus 2012. aastal äärmiselt lahe. Täna suudab isegi iga koolipoiss sellist asja luua CSS-is, ja tal ei jää lõpetamisel sellest midagi.
Siiski ei ole filtrite areng täna peatunud. Dehanseri poisid, näiteks, on suurepärased mitte-lineaarsete filtrite rakendamisel — proletaarse toonikaardistamise asemel kasutavad nad keerukamaid mitte-lineaarseid teisendusi, mis, nagu nad ütlevad, avavad palju rohkem võimalusi.
Mitte-lineaarsete teisendustega on võimalik palju teha, kuid need on uskumatult keerulised, ja meie, inimesed, oleme uskumatult rumalad. Kui teaduses jõutakse juba mitte-lineaarsete teisendusteni, eelime me aga numbrimeetodeid ja laseme igale poole närvivõrkudel šedöövreid meie eest kirjutada. Nii oli ka siin.
Automaatika ja unistus nuppust „šedöövri”
Kui kõik harjusid filtritega, hakkasime neid otse kaameratesse integreerima. Ajalugu varjab, kes tootjatest oli esimene, kuid puhta arusaamaks, kui ammu see toimus — iOS 5.0, mis ilmus lausa 2011. aastal, sisaldas juba avalikku API-d piltide automaatseks täiustamiseks. Ainult Jobs teab, kui kaua seda enne avalikustamist kasutati.
Automatiseerimine tegi samu asju nagu igaüks meist, avades pilti redigeerijast – tõmbas varjude ja valguse puudujääke, lisas küllastust, eemaldas punased silmad ja parandas nahatooni. Kasutajad ei saanud isegi aru, et "dramaatiliselt paranenud kaamera" uues nutitelefonis oli vaid paari uue shaderi teene. Enne Google Pixeli ja hüpet arvutusliku fotograafia üle möödus veel viis aastat.
Praegu on võitlus nupu "meistriteos" üle liikunud masinõppe valdkonda. Pärast toonikaartide mängimist kiirustasid kõik treenima CNN-e ja GAN-e, et liigutada liugureid kasutaja asemel. Teisisõnu, määrata sisepildi põhjal optimaalsed parameetrid, mis lähendavad antud pilti mingitele subjektiivsetele "hea foto" arusaamadele. See on ellu viidud sama Pixelmator Pro-s ja teistes redigeerijates. Töötab, nagu võib arvata, mitte alati ja mitte väga hästi.
Stäkkimine – 90% mobiilikamerate edust
Tõeline arvutifotograafia algas stekki tegemisega — mitme photo üksteise peale panemisega. Nutitelefon ei pea probleemiks teha poolteisekundiga hulga kaadreid. Nende kaamerates pole aeglasi mehaanilisi osi: ava on fikseeritud ja liikuv katik on asendatud elektroonilise säriga. Protsessor lihtsalt käsutab sensorit, kui palju mikrosekundeid lõksu püüda hullumeelseid footone, ja loeb ise tulemuse üles.
Tehniliselt võib telefon teha fotosid video kiirusel ja videot foto resolutsiooniga, kuid kõik sõltub busside ja protsessorite kiirusest. Seetõttu seatakse alati programmikohased piirangud.
Stekking on meiega juba ammusest ajast. Isegi vanaisad panid Photoshop 7.0-le pluginaid, et kokku panna mitu fotot rabava HDR-i jaoks või liita 18000 × 600 pikselist panoraami ja… tegelikult ei ole keegi siiani välja mõelnud, mida nende piltidega edasi teha. Need olid rikkad ajad, kahju, et metsikud.
Nüüd, kui oleme suureks kasvanud, kutsume seda «epüslon-fotograafiaks» — kui muutes kaamera ühte parameetrit (kokkuvõtlikus, teravus, asend) ja kokku kleepides saadud kaadreid, saame midagi, mis ei saanud olla jäädvustatud ühe kaadriga. Kuid see on teoreetilise mõtleja termin, praktikas on aga levinud teine nimetus — steking. Tänapäeval põhineb sellel tegelikult 90% kõikidest innovatsioonidest mobiilsetes kaamerates.
Asi, millele paljud ei mõtle, kuid mis on oluline kogu mobiilse ja arvutusliku fotograafia mõistmiseks: kaasaegse nutitelefoni kaamera hakkab pilte tegema kohe, kui avate selle rakenduse. Mis on loogiline, sest tal on ju vaja kuidagi edastada pilt ekraanile. Siiski, peale ekraani, salvestab ta kõrge eraldusvõimega kaadreid oma tsüklilisse puhvri, kus ta hoiab neid veel paar sekundit.
Kui vajutate nuppu «võta foto» — on see juba tegelikult jäädvustatud, kaamera lihtsalt võtab viimase foto puhvrilt.
Nüüd töötab iga mobiilne kaamera nii. Eriti kõigis lipulaevades, mitte prügikastidest. Puhverdamine võimaldab saavutada mitte ainult nullise katiku viivituse, millest fotograafid juba ammu unistasid, vaid isegi negatiivsuse — nupule vajutamisel vaatab nutitelefon minevikku, laadib puhvrist välja 5–10 viimast pilti ja hakkab neid intensiivselt analüüsima ja kokku panema. Ei pea enam ootama, kuni telefon pildistab HDR-i või öörežiimi jaoks kaadreid — lihtsalt võta need puhvrist, kasutaja ei saagi aru, et midagi toimub.
Muide, just negatiivse katiku viivituse abil on iPhone'ides ellu viidud Live Photo, samas kui HTC sarnast pakkus juba 2013. aastal kummalise nimega Zoe.
Kokkuvõte eksponeerimise põhjal — HDR ja võitlus heledusdiffraktsioonide vastu
Kas kaameramatrid suudavad registreerida kogu meie silma nähtava heledusvahemiku, on jätkuvalt kuum arutlusteema. Ühed väidavad, et ei suuda, sest silm suudab näha kuni 25 f-astet, samas kui isegi parimatelt täiskaadrimatridelt saab maksimum 14. Teised peavad võrdlust ebaõigeks, kuna silmale aitab aju, automaatselt kohandades pupilli ja täiustades pilti oma närvivõrkudega, ja silma hetke dünaamiline vahemik on tegelikult just 10-14 f-astet. Jätame need arutelud parimate diivanite mõtlejate hooleks internetis.
Fakt on see, et kui filmite sõpru ere taevas HDR-ta, siis igasugust mobiilikaamerat kasutades saate kas normaalse taeva ja mustad sõprade näod või kujundatud sõpru, kuid põletatud taeva.
Lahendus on ammu leitud — laiendada heledust HDR (kõrge dünaamiline ulatus) abil. Tuleb teha mitu kaadrit erineva säriga ja need kokku liita. Üks kaader peaks olema „normaalne”, teine heledam, kolmas tumedam. Tumedad osad võtame heledast kaadrist, ülekokkupõrked täidame tumedast — kasum. Jääb veel lahendada automaatse bräcketimise ülesanne — kui palju iga kaadri säriaega nihutada, et mitte liialdada, kuid keskmise heledust määrab nüüd teise kursuse tehnikaüliõpilane.
Viimastel iPhone'idel, Pixelitel ja Galaxy'del aktiveeritakse HDR-režiim automaatselt, kui lihtne algoritm kaamerasse tuvastab, et te filmite midagi kontrastset päikeselisel päeval. Võite isegi märgata, kuidas telefon vahetab salvestusrežiimi, et salvestada eksponeeritud kaadreid — kaameral langeb fps ja pilt muutub kirkamaks. Lülitushetk on minu iPhone X-il väljas filmides hästi märgatav. Jälgige oma nutitelefoni järgmine kord ka.
HDR-i puudused ülevärvimise osas on selle läbimatu abitunne halva valgustuse korral. Isegi tubase lambivalguses on kaadrid nii tumedad, et arvuti ei suuda neid joondada ja liita. Valgustusprobleemi lahendamiseks tutvustas Google 2013. aastal alternatiivset lähenemist HDR-ile, millega tuli välja Nexus nutitelefon. Sellel kasutati ajastamise koondamist.
Ajastamise koondamine — pika säriaja ja ajavõtte simuleerimine
Ajastamise koondamine võimaldab saavutada pika säriaja, kasutades seeriat lühikesi säritusi. Esimeste seas olid entusiastid, kes püüdsid jäädvustada tähistaevas tähte jälgi, kellel oli probleem avada obturator kaht tundi järjest. Kõik seadistused oli eelnevalt keeruline arvutada, ning vähim vibratsioon rikkus kogu kaadri. Nad otsustasid avada obturator vaid paariks minutiks, kuid mitu korda, ja seejärel läksid koju, et kleepida saadud kaadrid Photoshopis kokku.
Tundub, et kaamera ei pildistanud kunagi tegelikult pika säriajaga, kuid me saime selle imitatsiooni efekti, kokkulepides mitme järjestikuse kaadri. Nutitelefonide jaoks on juba ammu kirjutatud hulk rakendusi, mis kasutavad seda trikki, kuid kõik need on muutunud üleliigseks, kuna funktsioon on peaaegu kõikides standardkaameratesse sisse ehitatud. Täna suudab isegi iPhone hõlpsasti luua pika säriaja efekti Live Photo'st.
Naaseme Google'i juurde ja tema öise HDR-i ehk HDR+ juurde. Tundub, et ajabraketimise abil on võimalik saavutada väga hea HDR pimedas. Tehnoloogia ilmus esmakordselt Nexus 5 mudelis ja seda kutsuti HDR+. Teised Android-telefonid said selle justkui kingituseks. Tehnoloogia on siiani nii populaarne, et isegi viimastel Pixelite esitlustel uhkustatakse selle üle.
HDR+ töötab üsna lihtsalt: kui kaamera tuvastab, et pildistatakse pimedas, laadib ta võrgu 8-15 viimast RAW-pilti, et need üksteise peale kanda. Sel viisil kogub algoritm rohkem teavet kaadri tumedate alade kohta, et vähendada müra — pikslite arvu, kus kaamera mingitel põhjustel ei suutnud kogu teavet koguda ja eksis.
Nagu oleksite näinud kapibara, ja palunud viiel inimesel seda kirjeldada – nende jutud oleksid enam-vähem sarnased, aga igaüks tooks esile mingi ainulaadse detaili. Nii koguksite teavet rohkem, kui lihtsalt küsides ühelt inimeselt. Sama kehtib ka pikslite kohta.
Ühelt punktist võetud kaadrite kokku liitmine annab sama vale pika säriaja efekti nagu ülalpool olevatel tähtedel. Mitme kaadri eksponeerimine liitub, kusjuures ühes esinevad vead minimeerivad teistes. Kujutage ette, kui palju peaks iga kord peeglikaamera päästikut vajutama, et sellist tulemust saavutada.
Jäi vaid lahendada automaatse värvikorrektuuriga seotud probleem – pimedas filmitud kaadrid on tavaliselt üdini kollased või rohelised, aga me tahame päevavalguse erksust. HDR+ varasemates versioonides lahendati see lihtsa seadete kohandamisega, nagu Instagrami filtrites. Hiljem kutsuti appi tehisintellekt.
Nii tekkis Night Sight — ööfotograafia tehnoloogia Pixel 2 ja 3-s. Kirjelduses öeldakse: „Masinõpetuse tehnika, mis on rajatud HDR+ peale, mis võimaldab Night Sight'i töötada.” See on sisuliselt automatiseeritud värvikorrektsiooni etapp. Masinat õpetati fotode „enne” ja „pärast” andmestiku abil, et igast tumedast pildikogumist üks ilus pilt teha.
Muide, andmestik on avalikustatud. Äkki võtavad Apple'i kutid selle ja õpetavad lõpuks oma klaasist labidatele normaalselt pimedas jäädvustama.
Lisaks kasutatakse Night Sight'is objekti liikumise vektori arvutamist, et normaliseerida hägusust, mis kindlasti tekib pika säriga. Nii võib nutitelefon võtta teravad osad teistelt kaadritelt ja liimida need kokku.
Liikumise põhine stekkimine — panorama, superzoom ja müra tõrje
Panorama — populaarne meelelahutus maapiirkondade elanikest. Pole teada, et oleks juhtunud, et viinerifotod oleks kedagi huvitanud, peale autori endaga, kuid seda ei saa mainimata jätta — paljude jaoks algas stekkimine just sellest.
Esimene kasulik viis panoraami rakendamiseks on saada kõrgema eraldusvõimega foto, kui kaamera sensor võimaldab, ühendades mitu kaadrit. Fotograafid on juba ammu kasutanud erinevat tarkvara nii-öelda supereraldusvõimega fotode loomiseks – kui veidi nihkunud pildid täiendavad üksteist pikslite vahel. Nii on võimalik saada pilti isegi sadade gigapikslite suuruses, mis on väga kasulik, kui peate seda printima reklaamplakatile, mis on majasuurune.
Teine, juba huvitavam lähenemine on Pixel Shifting. Mõned peeglita kaamerad nagu Sony ja Olympus hakkasid seda toetama juba 2014. aastal, kuid tulemust tuli siiski käsitsi liimida. Tüüpilised uuendused suurematele kaameratele.
Nutitelefonid on aga siin edukad naljaka põhjuse tõttu – kui teete pilti, värisevad teie käed. See esmapilgul probleem on aluseks natiivse supereraldusvõime teostamisele nutitelefonides.
Et mõista, kuidas see töötab, tuleb meeles pidada, kuidas iga kaamera sensor on üles ehitatud. Iga piksel (fotodiod) suudab salvestada vaid valguse intensiivsust — st sisenenud fotonite arvu. Kuid piksel ei suuda mõõta selle värvi (lainetust). Et saada RGB-pilti, tuli ka siin implementerida omamoodi lahendus — katta kogu sensor värviliste klaasikildudega. Kõige levinum selline teostus on Bayeri filter, mida kasutatakse tänapäeval enamikus sensorites. See näeb välja nagu alloleval pildil.
Selgub, et iga sensori piksel haarab vaid R-, G- või B-komponendi, sest teised fotonid peegelduvad Bayeri filtri poolt. Puuduvaid komponente tunneb ta tummalt keskmistades naaberpikslite väärtusi.
Bayeri filtri sees on rohkem rohelisi ruute — see on tehtud sarnaselt inimeste silma struktuurile. Nii et 50 miljonist pikslist suudab roheline värv tabada 25 miljonit, punane ja sinine — kumbki 12,5 miljonit. Ülejäänud väärtused keskmistatakse — see protsess on tuntud kui de-bayerimise või demosaiking, ja see on selline tobe ja naljakas lahendus, mille peal kõik püsib.
Iga matriitsi puhul on oma salajane patenteeritud demosaikimise algoritm, kuid antud loo kontekstis jätame selle tähelepanuta.
Teised matriigitüübid (nt Foveon) pole veel tõeliselt juurdunud. Kuigi mõned tootjad püüavad kasutada matriise ilma Bayeri filtrita teravuse ja dünaamilise ulatuse parandamiseks.
Kui valgusest on puudus või objekti detailid on väga väikesed, kaotame hulgaliselt teavet, kuna Bayeri filter lükkab tagasi fotoneid, mille lainepikkus ei sobi. Seetõttu loodi Pixel Shifting — matriisi nihutatakse 1 piksel üles-alla-paremale-vasakule, et need kõik kinni püüda. Foto ei saa seetõttu nelja korda suurem, nagu võiks arvata; protsessor kasutab neid andmeid, et täpsustada iga pikseli väärtust. Keskmistatakse mitte naabrite järgi, vaid nelja enda väärtuse põhjal.
Käte värisemine telefoniga pilte tehes muudab selle protsessi loomulikuks tagajärjeks. Viimastes Google Pixeli versioonides on see asi rakendatud ja aktiveeritakse alati, kui kasutate telefoni suumi — seda nimetatakse Super Res Zoomiks (jah, mulle meeldib ka nende halastamatu nimetamine). Hiinlased kopeerisid selle ka oma telefonidesse, kuigi see tuli välja natuke halvemini.
Üksteise peale asetatud veidi nihkunud fotod võimaldavad koguda rohkem teavet iga pikseli värvi kohta, mis vähendab müra, suurendab teravust ja tõstab lahutavust, mitte füüsilisi megapiksli arvu. Kaasaegsed Androidi lipulaevad teevad seda automaatselt, samas kui nende kasutajad ei pea isegi sellele mõtlema.
Fookuse kihistamine — igasugune teravuse sügavus ja refokusseerimine postitootmises.
Meetod pärineb makrofotograafiast, kus madal teravuse sügavus on alati probleemiks. Kogu objekti teravuses hoidmiseks pidi tegema mitu kaadrit fokuseerimise nihkega edasi-tagasi, et seejärel need teravaks õmmelda. Sama meetodit kasutasid sageli maastikuvaatluse armastajad, tehes esiplaani ja tausta teravad nagu kõhulahtisus.
Kõik see on nüüd saadaval ka nutitelefonides, tõsi, ilma suure jantita. 2013. aastal jõudis turule Nokia Lumia 1020 koos "Refocus App"-iga ning 2014. aastal Samsung Galaxy S5 koos "Selective Focus"-režiimiga. Need töötasid sama skeemi järgi: nupule vajutades tehti kiiresti kolm fotot — üks "normaalse" fookusega, teine fookusega ettepoole ja kolmas fookusega tagasi. Programm joondas kaadrid ja tõi välja ühe neist, mis esitati kui "päris" fookuse juhtimine postitootmises.
Edasi töötlemist ei toimunud, sest isegi see lihtne nipp oli piisav, et lüüa veel üks nael Lytro ja sarnaste seadmete õiglase refokuseerimise kirstu. Muide, räägime neist (ülemineku meistrid 80 lvl).
Arvutusmatriigid — valgusväljadel ja plenoptiline optika
Nagu me eelnevalt mõistsime, on meie sensorid nagu kohmakad variantide variandid. Oleme lihtsalt harjunud ja püüame sellega elada. Oma olemuselt on nad ajaloos vähe muutunud. Oleme vaid täiustanud tootmisprotsessi - vähendanud pikslite vahelisi vahemaid, võidelnud häiretega, lisanud spetsiaalseid pikselite faasi automaatteravustamise töödeks. Aga kui võtta isegi kõige kallim peegelkaamera ja proovida sellega toas valgustatud toas liikuvat kassi jäädvustada - siis kass, õrnalt öeldes, võidab.
Oleme juba ammu püüdnud leiutada midagi paremat. Palju katseid ja uuringuid sellel alal võib leida otsingutermini „arvutuslik sensor“ või „mitte-Bayeri sensor“ abil, ja isegi eespool toodud näide Pixel Shiftingust võib kuuluda nende arvutusalaste katsete alla. Siiski, kõige lootustandvamad lood on viimase kahe aastakümne jooksul tulnud meile just nii kutsutud plenoptilistest kaameratest.
Kuna te ei uinuks ootusest keeruliste sõnade tulekule, jagan siseteavet, et viimaste Google Pixelite kaamera on just "veidi" plaanoptiline. Ainult kaks pikslit, kuid isegi see võimaldab tal arvutada ausat optilist sügavust ilma teise kaamerata nagu kõigil teistel.
Plaanoptika on võimas relv, mis pole veel tulistanud. Jagame linki ühe minu lemmik viimasest , kust olen näinud näiteid.
Plaanoptiline kaamera — varsti on igal ühel selline
Kavandatud 1994. aastal, ehitatud Stanfordis 2004. aastal. Esimene tarbijakaamera — Lytro, välja antud 2012. aastal. Sarnaste tehnoloogiate proovimist toetab praegu aktiivselt VR-tööstus.
Tavalisest kaamerast erineb plaanoptiline vaid ühe modifikatsiooniga — sensor on kaetud läätselaste võrguga, millest igaüks katab mitu reaalset pikslit. Nii et:
kui õigesti arvutada kaugus võrgu ja sensori vahel ning ava suurus, siis lõpppildis saadakse selged klastrid pikslitest — nagu miniatuurversioonid originaalpildist.
Selgub, et kui võtta igast klastrist, ütleme, üks keskpiksel ja pildistada neid kokku — ei erine see tavakaameraga tehtud pildist. Jah, oleme natuke kaotanud eraldusvõimet, kuid palume lihtsalt Sonyl lisada uusi megapikslit uusi matrikseid.
Lõbusus alles algab. Kui võtta iga klastrist teine piksel ja jälle pildistada — saame jälle normaalse foto, justkui oleks see tehtud ühe pikselise nihkega. Nii saame 10 × 10 pikslise klastriga 100 pilti objektist natuke erinevatest nurkadest.
Mida suurem on klastrite suurus — seda rohkem pilte, aga vähem eraldusvõimet. 41-megapiksliste sensoritega nutitelefonide maailmas võime natuke eraldusvõimet ignoreerida, kuid igal asjal on oma piir. Tuleb säilitada tasakaal.
Okei, oleme kokku pannud plenoptikakaamera, ja mida see meile annab?
Austatud refokuseerimine
Funktsioon, millest kõik ajakirjanikud Lytro artiklites rääkisid, on aus teravustamine postitootmises. Aus tähendab, et me ei kasuta mingeid hägususvastaseid algoritme, vaid kasutame ainult olemasolevaid pikseleid, valides või keskmistades neid klastritest soovitud järjekorras.
RAW-fotograafia pleenoptiliselt kaamerast näeb kummaline välja. Et saada sellest tavaline terav JPEG, tuleb see kõigepealt kokku panna. Selleks tuleb valida iga JPEG piksel RAW klastrist. Selle alusel, kuidas me neid valime, muutub ka tulemus.
Näiteks, mida kaugemal klaster originaalse kiiri langemise kohast on, seda rohkem on see kiir hägune. Seda seetõttu, et optika. Et saada teravust eemal asuv pilt, peame vaid valima pikseleid öeldes, kas see peaks olema originaalist lähemal või kaugemal.
Keskendudes enda peale, oli keerulisem — füüsiliselt oli selliseid pikslite klastreid vähem. Esiteks ei tahtnud arendajad isegi anda kasutajale võimalust fokusseerida käsitsi — kaamera otsustas selle tarkvara kaudu. Kasutajatele ei meeldinud selline tulevik, seetõttu lisati funktsioon hiljem teadete all nimega "loovrežiim", kuid refokuseerimine tehti selles tugevalt piiratud just sellel põhjusel.
Sügavuse kaart ja 3D ühest kaamerast
Üks kõige lihtsamaid operatsioone plaanoptiloogias on sügavuse kaardi saamine. Selleks tuleb lihtsalt koguda kaks erinevat kaadrit ja arvutada, kui palju objektid nendes nihkuvad. Mida rohkem nihket, seda kaugemal kaamerast.
Hiljuti ostis Google Lytro ja lõpetas selle tegevuse, kuid kasutas nende tehnoloogiat enda VR-is ja… Pixel kaameras. Alates Pixel 2-st sai kaamera esmakordselt "veidi" plaanoptiliseks, kuigi klastreid oli vaid kaks pikslit. See andis Googlet võimaluse mitte paigaldada teist kaamerat, nagu kõik teised, vaid arvutada sügavuse kaarti ainult ühe foto põhjal.
Sügavuse kaart luuakse kahe raami põhjal, mis on nihutatud ühe alampikseli võrra. Seda piisab, et arvutada välja binaarne sügavuse kaart ja eristada esiplaani taustast ning hägustada viimane moodsa bokeh' efekti saavutamiseks. Tulemuse kihistamist siluv ja 'parandav' tehisintellekt on välja õpetatud sügavuse kaartide täiustamiseks (mitte hägustamiseks, nagu paljud arvavad).
Tegu on veel sellega, et plaanoptika nutitelefonides tuli meile pea tasuta. Me paigaldasime objektiive nende pisikeste sensorite peale, et kuidagi suurendada valgusvoogu. Järgmistes Pixel telefonides plaanib Google minna edasi ja katta objektiiviga neli fotodiodi.
Allikas: 3dnews.ru
