Algne artikkel on avaldatud leheküljel ja avaldatud 3DNews'is autori loal. Toome teile artikli täieliku teksti, välja arvatud tohutu hulk linke - need tulevad kasuks neile, kes on tõsiselt huvitatud teemast ja soovivad süveneda teoreetilistesse aspektidesse arvutuslikus fotograafias, kuid laiemale publikule peame seda materjali liigseks.
Tänapäeval ei möödu ühtegi nutitelefoni esitlust kaamera kiitmiseta. Igal kuul kuuleme mobiilsete kaamerate uusimatest edusammudest: Google õpetab Pixelit pimedas pildistama, Huawei suumib nagu binokkel, Samsung paigaldab LiDar'i ja Apple teeb maailma kõige ümaraid nurki. Innovatsioon voolab nüüd seal, kus seda on kõige rohkem.
Peegelkaamerad paistavad siiski paigal seisvat. Sony varustab iga-aastaseid uusi sensoreid kõigile, samas kui tootjad uuendavad laiskalt versiooni viimast numbrit ja jätkavad rahulikku suitsetamist kõrvale. Minu laual on peegelkaamera, mille hind on $3000, kuid reisides võtan kaasa iPhone'i. Miks?
Klassik ütles — ma läksin internetti selle küsimusega. Seal arutatakse mingeid «algoritme» ja «neurovõrke», mõistmata, kuidas need konkreetselt fotograafiat mõjutavad. Ajakirjanikud loevad valjult megapikslite arvu, blogijad hääletavad ühiselt sponsoreeritud unboxinge ja esteed määrivad end «tundliku värvipaleti tajumisega». Kõik on nagu tavaliselt.
Pidin istuma, kulutama poole elu ja ise kõigest aru saama. Selles artiklis räägin, mida olen õppinud.
Mis on arvutuslik fotograafia?
Igaühes, sealhulgas vikipeedias, antakse umbes selline määratlemine: arvutuslik fotograafia — kõik tehnikad, mille abil pildistatakse ja töötatakse üles, kus optiliste muundamiste asemel kasutatakse digitaalset arvutuslikku tööd. See on kõik väga hea, välja arvatud see, et see ei selgita midagi. Sellesse sobivad isegi automaatsed fookused, kuid see ei kata pleenoptiikat, mis on juba toonud meile palju kasulikku. Ametlike määratlemiste hägusus viitab sellele, et me ei tea, millest me räägime.
Arvutifotograafia pioneer, Stanfordi professor Marc Levoy (kes praegu vastutab Google Pixel'i kaamera eest) toob välja teise määra — arvutitehnoloogia meetodite kogum, mis parandab või laiendab digitaalfoto võimalusi, tänu millele saadakse tavaline foto, mis ei saanud traditsiooniliste meetoditega selle kaameraga tehniliselt jäädvustatud olla. Selle artikli puhul pean silmas just seda määratlust.
Seega, kõik süüdistused käivad nutitelefonide kohta.
Nutiltelefonidel polnud muud valikut, kui anda elu uuele fototüüpidele — arvutifotograafiale.
Nende pisikesed müra tekitavad sensorid ja tillukesed, madala valgusvõimekusega objektiivid pidid füüsika seaduste kohaselt tooma ainult valu ja kannatusi. Nad tõepoolest tõid, kuni nende arendajad ei leidnud nutikat viisi nende tugevuste kasutamiseks nõrkuste ületamiseks — kiirete elektrooniliste sulgude, võimsate protsessorite ja tarkvara abil.
Enamik tuntud uuringutest arvutifotograafias on ajavahemikus 2005-2015, mis teaduse seisukohalt on peaaegu eile. Just praegu meie silme all ja taskutes areneb uus teadusala ja tehnoloogiad, mida pole kunagi olnud.
Arvutifotograafia ei ole ainult selfiesid neuro-bokeh'ga. Hiljutine musta augu foto ei oleks sündinud ilma arvutifotograafia meetoditeta. Tava teleskoobi abil sellise foto tegemiseks peaksime selle suurendama Maa suuruseks. Kuid ühendades kaheksa raadioteleskoobi andmed meie planeedi eri punktides ja kirjutades paar skripti Pythonis, saime maailma esimese sündmuste horisondi foto. See sobib ka selfies jaoks.
Algus: digitaalne töötlemine
Kujutame ette, et oleme tagasi 2007. aastas. Meie ema on anarhia ja meie fotod on mürarikkad 0,6 Mp jpeg-id, mis on jäädvustatud rula pealt. Umbes siis tekkis meis esmakordne ületamatu soov lisada neile preset'e, et varjata mobiilsensorite kohmakust. Ärgem välistagem seda endalt.
Matan ja Instagram
Instagrami ilmumisega muutus kõik fantaasiaks filtreid. Inimesena, kes kunagi X-Pro II, Lo-Fi ja Valencia tagasipööramisega tegeledes, loomulikult uurimistöö (haha) eesmärkidel, mäletan ikka veel, et need koosnesid kolmest komponendist:
- Värvi seadistused (Hue, Saturation, Lightness, Contrast, Levels jne) — lihtsad digitaalproportsioonid, nagu kõigis presets, mida fotograafid on kasutanud juba ammustest aegadest.
- Toonide kaardistamise (Tone Mapping) — väärtuse vektorid, millest igaüks ütles meile: «Punane värv, mille varjund on 128, tuleks muuta varjundiks 240».
- Överlaid — poolläbipaistva pildi lisamine, mis sisaldab tolmu, tera, vinjetti ja kõike muud, mida saab üle kanda, et saada mitte mingi tavalise efekti vana filmi moodi. See polnud alati kohal.
Kaasaegsed filtrid pole väga kaugele läinud sellest kolmikust, nad on lihtsalt veidi keerulisemad matemaatikas. Koos riistvarashaderite ja OpenCLiga nutitelefonidesse, kirjutati need kiiresti GPU jaoks ümber ja see pidas olema super äge. 2012. aasta seisuga, muidugi. Tänapäeval suudab iga koolipoiss midagi sarnast CSSiga teha ja ei saa isegi lõpetamisel sellest kasu.
Kuid filtrite areng täna ei ole peatunud. Dehancer'i poisid, näiteks, on suurepärased mittelineaarsete filtrite juures — proletariaadist toonide kaardistamisest ei kasuta nad keerukamaid mittelineaarsed teisendusi, mis, nende sõnul, avab palju rohkem võimalusi.
Mittelineaarsed teisendused suudavad teha palju asju, kuid need on äärmiselt keerulised, ja meie, inimesed, oleme üsna rumalad. Kui teaduses jõutakse mittelineaarsetesse teisendustesse, eelistame minna numbriliste meetodite juurde ja panna igale poole tehisintellekti, et need kirjutaksid meistriteoseid meie eest. Sama oli ka siin.
Automaatika ja unistused nupust «meistriteos»
Kui kõik olid harjunud filtritega, hakkasime neid otse kaameratesse integreerima. Ajalugu varjab, kes täpselt tootjatest oli esimene, kuid lihtsalt arusaamiseks, kui kaua see aega võttis — iOS 5.0-s, mis ilmus koguni 2011. aastal, oli juba avalik API Auto Enhancing Images jaoks. Ainult Jobsi teab, kui kaua see kasutuses oli enne avalikustamist.
Automaatika tegi sama, mida igaüks meist, avades pilti redigeerijas — tõstis valguse ja varjude madalseisu, lisas saturatsiooni, eemaldas punased silmad ja parandas näo värvi. Kasutajad ei kahtlustanud isegi, et «dramaatiliselt parendatud kaamera» uuel nutitelefonil oli vaid paar uut shaderit. Google Pixel'i väljalaskmiseni ja arvutifotograafia hulluse alguseni oli veel viis aastat.
Täna on lahing nuppu „meistriteos“ masinõppe valdkonnas. Pärast toonide kaardistamise katsetamist on kõik hakanud treenima CNN-e ja GAN-e, et reguleerida liugureid kasutaja asemel. Teisisõnu, pildist lähtudes määratakse optimaalsed parameetrid, mis tooksid pildi lähemale mingile subjektiivsele arusaamale „heast fotost“. See on rakendatud ka Pixelmator Pro-s ja muudes redaktoritest. Nagu võib arvata, ei õnnestu see alati ja kõigil.
Stekking - 90% mobiilsete kaamerate edust
Tõeline arvutuslik fotograafia sai alguse stekkingust - mitme foto üksteise peale panemisest. Nutitelefonide puhul ei ole probleem teha sekundis kümme kaadrit. Nende kaamerates pole aeglaseid mehaanilisi osi: ava on fikseeritud ja liikuv katik on asendatud elektronkatikuga. Protsessor käsib sensoril, kui palju mikrosekundeid toota metsikult fotosid, ning loeb seejärel tulemuse.
Tehniliselt suudab telefon võtta fotosid videosagedusel ja videot fotode määratluses, kuid kõik sõltub busside ja protsessori kiirusest. Seetõttu kehtestatakse alati tarkvaralisi piire.
Stekking on meie seas juba pikka aega. Isegi meie vanavanemad paigaldasid Photoshop 7.0-le pluginaid, et luua mitmest fotost mürarikka HDR või ühendada 18000 × 600 pikseline panoramaa ja… tegelikult keegi pole veel välja mõelnud, mida nende fotodega edasi teha. Need olid rikkalikud ajad, aga kahjuks ka metsikud.
Praegu oleme me täiskasvanud ja nimetame seda „epsilon-fotograafiaks“ - kui muudame kaamera ühte parameetrit (kokkuvõte, teravus, asend) ja ühendame saadud kaadrid, saame midagi, mida ei saa jäädvustada ühe kaadriga. Kuid see on teoreetikute määratlus, praktikas on tunnustust leidnud teine nimi - stekking. Täna põhineb 90% kõigist uuendustest mobiilsetes kaamerates tegelikult sellel.
Asi, millest paljud ei mõtle, kuid see on oluline kogu mobiilse ja arvutuslikku fotograafiat mõistmiseks: kaasaegne nutitelefoni kaamera hakkab tegema fotosid kohe, kui avate selle rakenduse. See on mõistlik, tal on ju vaja midagi ekraanile edastada. Kuid lisaks ekraanile salvestab see ka kõrge eraldusvõimega kaadreid oma tsüklilisse puhvrisse, kus need jäävad paariks sekundiks alles.
Kui vajutate nuppu "võtta foto" — on see tegelikult juba tehtud, kaamera lihtsalt võtab viimase foto mälust.
Nii töötab tänapäeval iga mobiilkaamera. Soovitatavalt ei prügisema kõigis lipulaevades. Puhverdamine võimaldab realiseerida mitte ainult null viivitusega mõtet, millest fotograafid on juba ammu unistanud, vaid isegi negatiivset — nuppu vajutades vaatab telefon minevikku, laadib mälust 5-10 viimast pilti ja hakkab neid hullumeelselt analüüsima ja ühendama. Ei ole enam vaja oodata, kuni telefon teeb HDR-i või öörežiimi jaoks kaadreid, — lihtsalt võta need mälust, kasutaja ei saa kunagi aru.
Muide, just negatiivse katiku viivituse kaudu on iPhone'ides realiseeritud Live Photo, ja HTC-l oli midagi sarnast juba 2013. aastal kummalise nimega Zoe.
Kokkupanek eksponeerimise põhjal — HDR ja võitlus valguskõikumistega
Kas kaamerate sensorid suudavad registreerida kogu valgustugevuse vahemiku, mis meie silmale on kättesaadav, — on vana kuum teema vaidluste jaoks. Ühed ütlevad ei, kuna silm suudab näha kuni 25 f-stoppi, samas kui isegi tipptasemel täiskaader-sensorist saab maksimaalselt välja tõmmata 14. Teised nimetavad seda võrdlust ebaõigeks, kuna silmale aitab aju, mis automaatselt kohandab pupilli ja täiustab pilti oma närvivõrkude kaudu, ja silma hetkeline dünaamiline vahemik on tegelikult mitte rohkem kui 10-14 f-stoppi. Jätame need vaidlused parimate diivanimõtlejate hooleks internetis.
Tõde jääb tõeks: kui pildistate sõpru särava taustaga ilma HDR-ita mobiilkaameraga, saate kas normaalse taevaga ja sõprade mustad näod või ülihästi väljajoonistatud sõbrad, aga põlenud taeva.
Lahendus on juba ammu välja mõeldud — laiendada valgustugevuse vahemikku HDR-i (kõrge dünaamiline vahemik) abil. Tuleb teha mitu kaader erineva eksponeerimisega ja need kokku liita. Üks peab olema "normaalne", teine heledam, kolmas tumedam. Võtame tumedatest kohtadest valgema kaadri, liialdatud kohad täidame tumedast — kasum. Jäänud on vaid lahendada automaatse bracketing'i probleem — kui palju igas kaadris eksponeerimist nihutada, et mitte üle pingutada, kuid keskmise heledusastme määramine on nüüd teise kursuse tehnikaüliõpilase mure.
Viimastel iPhone'idel, Pixelitel ja Galaxy'del lülitub HDR režiim automaatselt sisse, kui kaamera sees olev lihtne algoritm tuvastab, et pildistatav on selge päevase kontrasti. Võite isegi märgata, kuidas telefon vahetab salvestamise režiimi, et säilitada valgustuse poolest nihutatud kaadreid — kaamera fps langeb ja pilt muutub rikkalikumaks. Lülitushetk on hästi nähtav minu iPhone X-il, kui filmida väljas. Vaadake oma nutitelefoni järgmine kord ka.
HDR-i puhul, kus on kasutusel eksponeerimise braketit, on selle läbimatu abitunne halvas valguses. Isegi köögilambi valguses on kaadrid nii tumedad, et arvuti ei suuda neid joondada ja kokku liita. Valguse probleemi lahendamiseks näitas Google 2013. aastal uut lähenemist HDR-ile tol ajal välja tulnud Nexus nutitelefonis. See kasutas ajaliselt stekimist.
Ajaline stekimine — pika säriaja ja ajavõtte simuleerimine.
Ajaline stekimine võimaldab saada pikka säriaega lühikeste järjestikuste kaadritega. Esimesed, kes seda kasutasid, olid öist taeva tähistaevast jäädvustada soovijad, kes leidsid loomulikku kaameraga avada proportsioonide palju tunde. Kõigi seadete eelnevalt kalkuleerimine oli keeruline ja igasugune raputamine rikkus kogu kaadri. Nad otsustasid avada säri vaid paariks minutiks, kuid palju kordi ja seejärel koju minnes liitsid saadud kaadrid Photoshopis.
Seega ei pildistanud kaamera tegelikult kunagi pika säriaja jooksul, kuid me saime selle simuleerimise efekti, liites mitu järjestikku pildistatud kaadrit. Nutitelefonide jaoks on juba ammu kirjutatud hulgaliselt rakendusi, mis kasutavad seda trikki, kuid kõik need pole enam vajalikud, alates hetkest, kui funktsioon on lisatud peaaegu kõikidesse standardsetesse kaameratesse. Täna suudab isegi iPhone lihtsalt liita pika säriaja Live Photo'st.
Tagasi Google'i juurde ja nende öise HDR-i juurde. Selgus, et ajaliselt braketimise abil saab saavutada korraliku HDR-i pimeduses. Tehnoloogia esmakordselt ilmus Nexus 5-s ja seda kutsuti HDR+. Teised Androidi telefonid said selle kinkeena. Tehnoloogia on endiselt nii populaarne, et selle üle kiidetakse isegi viimaste Pixelite esitluses.
HDR+ töötab piisavalt lihtsalt: kui kaamera tuvastab, et pildistatakse pimedas, salvestab see 8-15 viimast RAW-fotot vahemälu, et need üksteise peale asetada. Nii kogub algoritm rohkem teavet kaadri tumes kohtades, et vähendada müra – pikslid, kus kaamera ei suuda mingil põhjusel kogu informatsiooni koguda ja ebaõnnestub.
Kujutage ette, et te ei tea, kuidas kapibara välja näeb, ja palute viiel inimesel seda kirjeldada – nende jutud oleksid enam-vähem sarnased, kuid igaüks tooks esile mingisuguse ainulaadse detaili. Nii koguksite rohkem teavet, kui lihtsalt küsides ühelt inimeselt. Sama kehtib ka pikslite kohta.
Sama koha pealt tehtud kaadrite kokku liitmine annab sama vale efekti pika säriga nagu tähtede puhul. Mitme kaadri ekspositsioon kumuleerub, vea ühel minimeeritakse teisel. Kujutage ette, kui palju kordi oleks pidanud peegelkaamera sulge vajutama, et sellist tulemust saavutada.
Jäänud oli vaid lahendada automaatse värvikorrektsiooni probleem – pimedas tehtud pildid tulevad tavaliselt ülekaalukalt kollased või rohelised, samas kui me soovime pigem päevavalgel rõõmsaid toone. Varasemates HDR+ versioonides lahendati see lihtsalt seadete reguleerimise teel, nagu Instagrami filtrid. Hiljem kutsuti appi tehisintellekt.
Nii sündis Night Sight – „ööpildistamise“ tehnoloogia Pixel 2 ja 3-s. Kirjelduses öeldakse, et: „Masinõppe tehnoloogiad, mis tuginevad HDR+ sellele, et Night Sight töötaks“. Tegelikult on see värvikorrektsiooni etapi automatiseerimine. Masinat on koolitatud „enne“ ja „pärast“ fotode andmestikuga, et muuta igasuguseid tumedaid käärulisi pilte üheks ilusaks fotoks.
Andmestik, muide, on avalikult saadaval. Võib-olla võtavad Apple'i mehed selle ja õpivad lõpuks oma klaasist labidatega normaalselt pimedas pildistama.
Lisaks kasutatakse Night Sightis objekti liikumise vektori arvutamist, et normaliseerida hägusust, mis kindlasti tekib pika säriga. Nii saab nutitelefon võtta teravad osad teistest kaadritest ja lisada need juurde.
Liikumise kogumine – panoraam, superzoom ja müra kõrvaldamine.
Panoraam on populaarne meelelahutus maapiirkondade elanike seas. Seni ei ole teada juhtumit, kus sausispildist oleks keegi muu, kui selle autor, huvitatud olnud, kuid seda ei saa vahele jätta - paljude jaoks algas see hoopis stekingu teekond.
Esimene kasulik viis panoraami kasutamiseks on mitme kaadri kokkuliitmine, et saada kõrgema eraldusvõimega foto, kui mida kaamera sensor lubab. Fotograafiga on juba ammu kasutatud erinevat tarkvara nn supereraldusvõime fotode jaoks - kui veidi nihkunud fotod täiendavad üksteist pikslite vahel. Nii on võimalik saada kujutis isegi sadade gigapikslite suuruses, mis on väga kasulik, kui soovite seda reklaampostri jaoks, mis on suur nagu maja, printida.
Teine, juba huvitavam lähenemine on Pixel Shifting. Mõned peeglita kaamerad nagu Sony ja Olympus hakkasid seda toetama juba 2014. aastal, kuid tulemuste kokku liimimise osas tuli ikkagi ise vaeva näha. Tüüpilised uuendused suurtes kaamerates.
Nutitelefonid on siin saavutanud edu naljakal põhjusel - kui teete foto, värisevad teie käed. See esmapilgul probleem aitas luua natiivset supereraldusvõimet nutitelefonides.
Kuidas see töötab, on oluline meeles pidada, kuidas iga fotoaparaadi sensor töötab. Iga piksel (foto-diood) suudab registreerida ainult valguse intensiivsust - st sisenenud fotonite arvu. Kuid piksel ei suuda mõõta selle värvi (lainet). RGB-pildi saamiseks tuli ka siin juurde mõelda kiirendeid - katta kogu sensor värviliste klaasitükikestega. Kõige populaarsem selle rakendus on Bayeri filter ja seda kasutatakse tänapäeval enamikus sensorites. See näeb välja nagu alloleval pildil.
Selgub, et iga sensoripiksel püüab kinni ainult R-, G- või B-komponendi, kuna Bayeri filter peegeldab ülejäänud fotone. Puuduvad komponendid arvutatakse naeruväärse keskmistamise kaudu naaberpikslite väärtuste põhjal.
Rohkeid rakkerakke on ostukeskuses rohkem - see tehti sarnanedes inime silmale. Selgub, et 50 miljonist pikslist matriisis suudab roheline värv haarata 25 miljonit, punane ja sinine - mõlemad 12,5 miljonit. Ülejäänud väärtused koondatakse - see protsess kannab nime debaayeriseerimine või demosaik, ja see on selline suur ja naljakas lahendus, mille najal kõik püsib.
Tegelikult on igal matriisil oma nutikas patenditud demosaikimise algoritm, kuid antud loo raames me sellest mööda ei vaata.
Teised matriisitüübid (nt Foveon) seni kuidagi ei ole käima läinud. Kuigi mõned tootjad püüavad kasutada matriise, mis ei kasuta Bayeri filtrit, et parandada teravust ja dünaamilist ulatust.
Kui valgust on vähe või objekti detailid on täiesti tilgad, kaotame palju teavet, kuna Bayeri filter julmalt lõikab välja fotone, mille lainepikkus on ebasoovitav. Seetõttu on välja mõeldud Pixel Shifting - matriisi nihutamine 1 piksel üles-alla-paremale-vasakule, et neid kõiki püüda. Foto ei saa sel juhul neljakordselt suurem, nagu võib tunduda, lihtsalt protsessor kasutab neid andmeid, et täpsemalt registreerida iga piksliväärtus. Keskmistamine ei toimu naaberite kaupa, vaid nelja omaenda väärtuse järgi.
Käte värin meie pildistamisel telefoniga teeb selle protsessi looduslikuks tagajärjeks. Viimastes Google Pixeli versioonides on see funktsioon rakendatud ning see lülitub alati sisse, kui kasutate telefonis suumimist - seda nimetatakse Super Res Zoomiks (jah, mulle meeldib ka nende halastamatu nimetus). Hiinlased on seda oma nutitelefonidesse kopeerinud, kuigi tulemus on olnud natuke halvem.
Üksteise peale pandud veidi nihkes fotod võimaldavad koguda rohkem teavet iga pikslivärvi kohta, mis tähendab müra vähendamist, teravuse suurendamist ja resolutsiooni tõstmist, ilma füüsilist megapikslite arvu suurendamata. Kaasaegsed Androidi lipulaevad teevad seda automaatselt, samal ajal kui nende kasutajad ei mõtle sellele isegi.
Fookuse pädevus - igasugune sügavus ja refokusseerimine postitootmises.
Meetod pärineb makrosalvestusest, kus madal teravussügavus on alati olnud probleemiks. Et kogu objekt oleks terav, tuli teha mitu kaadrit, nihutades teravust edasi-tagasi, et hiljem need üheks teravaks pildiks ühendada. Sama meetodit kasutasid sageli maastikufotograafia harrastajad, tehes esiplaani ja tagaplaani teravaks nagu kõhulahtisus.
See kõik jõudis ka nutitelefonidesse, tõsi, ilma eriliste üllatusteta. 2013. aastal tuli turule Nokia Lumia 1020 koos „Refocus App'-iga“, ja 2014. aastal Samsung Galaxy S5 koos „Selective Focus“ režiimiga. Nad toimisid sama skeemi alusel: nupule vajutades tehti kiiresti 3 pilti – üks „normaalse“ teravusega, teine nihutatud ette ja kolmas nihutatud taha. Programm joondas kaadrid ja võimaldas valida ühe neist, mis esitati kui „päris“ teravuse juhtimine postproduktionis.
Edasist töötlemist ei olnud, sest isegi sellest lihtsast lahendusest piisas, et lüüa veel üks nael Lytro ja analoogide kirstu, kellel oli aus refokus. Muide, räägime neist (ülemine 80. taseme ülemineku meistritest).
Arvutustooted — valgusväljad ja pleenoptilika
Kuidas me ülal olime aru saanud, on meie matriigid õudusunenägu kikkidena. Me oleme lihtsalt harjunud ja püüame selle kohal elada. Oma ülesehituses pole nad tegelikult alates ajaloost palju muutunud. Me oleme lihtsalt täiustanud tootmisprotsessi - vähendanud pikslite vahemaid, võidelnud müra häiretega, lisanud spetsiaalseid pikslit faasilise automaatteravustamise jaoks. Kuid kui võtta isegi kõige kallim peegelkaamera ja proovida jäädvustada jooksvat kassi toas valguses - kass, õrnalt öeldes, võidab.
Oleme pikka aega püüdnud leiutada midagi paremat. Palju katseid ja uuringuid selle valdkonnas googeldatakse termini „computational sensor” või „non-bayer sensor” all, ja isegi eespool toodud Pixel Shifting näide võib kuuluda katsete hulka matriide juhtimise parandamiseks arvutuste abil. Kuid kõige paljutõotavamad lood viimase kahekümne aasta jooksul on tulnud meile nii-öelda pleenoptiliselt kaamera maailmast.
Et te ei uinuks keeruliste sõnade ootuses, tõukame sisse teabe, et viimaste Google Pixel kaamera on just „veidi” pleenoptiline. Ainult kahe piksliga, kuid isegi see võimaldab tal arvutada ausa optilise sügavuse kaadrist ilma teise kaamera olemasoluta.
Plenoptika on jõuline tööriist, mis pole veel avalikuks saanud. Toome välja lingi ühe oma lemmikhiljutise , kust ma olen võtnud näited.
Plenoptika kaamera — varsti on see igas kodus
Kavandatud 1994. aastal, kogutud Stanfordis 2004. aastal. Esimene tarbijakaamera — Lytro, mis ilmus 2012. aastal. Sarnaste tehnoloogiatega katsetab praegu aktiivselt VR-tööstus.
Tavalistest kaameratest erineb plenoptika vaid ühe modifikatsiooniga — kaamera sensor on kaetud objektiivide võrguga, kus iga objektiiv katab mitu reaalselt olemasolevat pikslit. Nii see välja näeb:
kui õigesti arvutada kaugus võrgust sensorini ja ava suurus, saadakse lõpppildis selged klastrid pikslitest — omamoodi miniatuursed originaalpildi versioonid.
Selgub, et kui võtta igast klastrist näiteks üks keskne piksel ja pildistada neid ainult nende põhjal — ei eristu see tavalise kaamera poolt jäädvustatud pildist. Jah, me kaotame veidi resolutsioonis, aga lihtsalt palume Sony-l uutesse sensoritesse veel mõned megapikslid lisada.
Lõbu algab alles nüüd. Kui võtta iga klastrist teine piksel ja uuesti pildistada — saame jälle normaalse foto, lihtsalt nagu oleks see tehtud ühe pikseli nihkega. Nii et, kui meil on klastrid 10 × 10 pikslit, saame 100 pilti objektist «veidi» erinevatest nurkadest.
Mida suurem on klastrite suurus, seda rohkem pilte, kuid seda madalam on resolutsioon. 41-megapiksliste sensoritega nutitelefonide maailmas saame veidi resolutsioonist kõrvale hiilida, kuid igal asjal on piir. Peame säilitama tasakaalu.
Olgu, me kogusime plenoptika kaamera, ja mida see meile annab?
Aus reffokus
Omadus, millest kõik ajakirjanikud Lytro artiklites rääkisid, — aus fookuse korrigeerimise võimalus postitootmises. Ausa all mõeldakse seda, et me ei kasuta kõiksugu teravustamise algoritme, vaid kasutame ainult olemasolevaid pikslite, valides või keskmistades neid klastritest vastavalt vajadusele.
RAW-fotod koorega felülettelt tehtud pilt näeb välja kummaline. Selleks, et saada sellest tavaline terav JPEG, tuleb kõigepealt see kokku panna. Selleks tuleb valida iga JPEG-piksel RAW klastrist. Sõltuvalt sellest, kuidas me need valime, muutub tulemus.
Näiteks, mida kaugemal on klaster originaalse kiiri langemise kohast, seda rohkem läheb see kiir välja teravuse piirkonnast. See on optika põhjus. Selleks, et saada fokusseerimata pilti, tuleb meil lihtsalt valida pikslid vajalikult kauguselt originaalist – kas lähemalt või kaugemalt.
Fokuseerimisel enda poole oli keerulisem – füüsiliselt oli klastrites selliseid piksleid vähem. Alguses ei soovinud arendajad isegi anda kasutajale võimalust käsitsi fokusseerida – kaamera otsustas selle programmikaugest. Kasutajatele selline tulevik ei meeldinud, seetõttu lisati funktsioon hilisemates värskendustes nimega „loominguline režiim“, kuid seal tehti refokuseerimine tugevalt piiratud just selle tõttu.
Sügavuse kaart ja 3D ühes kaameras
Üks lihtsamaid operatsioone plenoptikas on sügavuse kaardi saamine. Selleks tuleb lihtsalt koguda kaks erinevat kaadrit ja arvutada, kui palju objektid nende vahel on nihkunud. Mida rohkem nihke, seda kaugemal kaamerast.
Hiljuti ostis Google Lytro ja tappis selle, kuid kasutas nende tehnoloogiat oma VR-is ja… Pixelis kaamera jaoks. Alates Pixel 2-st sai kaamera esmakordselt „natuke“ plenoptikaliseks, tõsi küll, ainult kahe piksliga klastritega. See andis Google'ile võimaluse mitte paigaldada teist kaamerat, nagu kõik teised, vaid arvutada sügavuse kaarti ainus pilt.
Sügavuse kaart ehitatakse kahe kaadri abil, mis on nihutatud ühe subpikseli võrra. Sellest piisab, et arvutada binaarne sügavuse kaart ja eraldada esiplaan tagaplaanist ning blurida viimast moes tagaplaanis. Selle kihistumise tulemus sujuvalt silutakse ja 'parandatakse' närvivõrkudega, mis on treenitud sügavuse kaartide parandamiseks (mitte hägustamiseks, nagu paljud arvavad).
Funktsioon on veel see, et plenootika nutitelefonides on meie jaoks peaaegu tasuta. Me juba panime läätsed nende väikeste sensorite peale, et kuidagi suurendada valguse voogu. Järgmistes Pixelites plaanib Google minna kaugemale ja katta lääts nelja fotodiidiga.
Allikas: 3dnews.ru
