Algne artikkel on veebisaidil postitatud ja avaldati 3DNewsis autori loal. Pakume artikli täisteksti, välja arvatud tohutul hulgal linke - need on kasulikud neile, kes on teemast tõsiselt huvitatud ja soovivad põhjalikumalt uurida arvutusfotograafia teoreetilisi aspekte, kuid pidasime seda materjali üleliigseks.
Tänapäeval pole ükski nutitelefoni esitlus valmis ilma kaamerat limpsimata. Iga kuu kuuleme mobiilikaamerate järgmisest edust: Google õpetab Pixelit pimedas pildistama, Huawei suumima nagu binoklit, Samsung lisab lidari ja Apple teeb maailma ümaraimad nurgad. Tänapäeval on vähe kohti, kus innovatsioon nii kiiresti voolab.
Samas tundub, et peeglid märgivad aega. Sony jagab igal aastal kõiki uute maatriksitega ning tootjad värskendavad laisalt uusimat versiooni numbrit ning jätkavad lõõgastumist ja suitsetamist. Minu laual on 3000-dollarine DSLR, aga reisides võtan kaasa iPhone'i. Miks?
Nagu klassik ütles, läksin selle küsimusega netti. Seal arutavad nad mõningaid "algoritme" ja "närvivõrke", ilma et neil oleks aimugi, kuidas need fotograafiat täpselt mõjutavad. Ajakirjanikud loevad valjuhäälselt ette megapikslite arvu, ajaveebi pidajad saagivad ühehäälselt tasulisi lahtipakke ja esteedid määrivad end "maatriksi värvipaleti sensuaalse tajumisega". Kõik on nagu tavaliselt.
Ma pidin maha istuma, veetma pool oma elust ja selle kõik ise välja mõtlema. Selles artiklis räägin teile, mida õppisin.
Mis on arvutifotograafia?
Kõikjal, sealhulgas Wikipedias, antakse umbes selline määratlus: arvutusfotograafia on igasugune kujutise jäädvustamise ja töötlemise tehnika, mis kasutab optiliste teisenduste asemel digitaalset andmetöötlust. Kõik selle juures on hea, välja arvatud see, et see ei selgita midagi. Selle jaoks sobib isegi autofookus, kuid pleenoptika, mis on meile juba palju kasulikku toonud, ei sobi. Ametlike määratluste ebamäärasus näib vihjavat, et meil pole õrna aimugi, millest jutt käib.
Arvutusfotograafia teerajaja, Stanfordi professor Marc Levoy (kes vastutab nüüd Google Pixeli kaamera eest) annab teise definitsiooni – arvutivisualiseerimismeetodite komplekti, mis parandavad või laiendavad digifotograafia võimalusi, mille abil saadakse tavaline foto, ei saanud selle kaameraga tehniliselt pildistada.kaamerat traditsioonilisel viisil. Artiklis järgin seda.
Niisiis, nutitelefonid olid kõiges süüdi.
Nutitelefonidel ei jäänud muud üle, kui sünnitada uut tüüpi fotograafia: arvutifotograafia.
Nende väikesed mürarikkad maatriksid ja tillukesed aeglase avaga objektiivid oleksid kõigi füüsikaseaduste kohaselt pidanud tooma ainult valu ja kannatusi. Nad tegid seda seni, kuni nende arendajad leidsid, kuidas nutikalt kasutada oma tugevaid külgi nõrkuste ületamiseks – kiired elektroonilised aknaluugid, võimsad protsessorid ja tarkvara.
Suurem osa kõrgetasemelisi uuringuid arvutusfotograafia valdkonnas toimus aastatel 2005–2015, mida teaduses peetakse sõna otseses mõttes eilseks. Praegu on meie silme all ja taskus arenemas uus teadmiste ja tehnoloogia valdkond, mida pole kunagi varem olnud.
Arvutusfotograafia ei seisne ainult neuro-bokeh’ga selfide tegemises. Hiljutine musta augu foto poleks olnud võimalik ilma arvutusfotograafia tehnikateta. Sellise foto tegemiseks tavalise teleskoobiga peaksime selle muutma Maa suuruseks. Kuid ühendades kaheksa raadioteleskoobi andmed meie palli erinevates kohtades ja kirjutades Pythonis mõned skriptid, saime maailma esimese foto sündmuste horisondist. Hea ka selfide tegemiseks.
Algus: digitaalne töötlemine
Kujutagem ette, et naassime 2007. aastal. Meie ema on anarhia ja meie fotod on rulal tehtud lärmakad 0,6-megapikslised džiibid. Umbes siis on meil esimene vastupandamatu soov puistata neile eelseadeid, et varjata mobiilsete maatriksite viletsust. Ärgem salgagem ennast.
Matan ja Instagram
Instagrami ilmumisega hakkasid kõik filtrite kinnisideeks. X-Pro II, Lo-Fi ja Valencia pöördprojekteerijana loomulikult uurimise eesmärgil mäletan siiani, et need koosnesid kolmest komponendist:
- Värviseaded (Hue, Saturation, Lightness, Contrast, Levels jne) – lihtsad digitaalsed koefitsiendid, täpselt nagu kõik eelseaded, mida fotograafid on iidsetest aegadest kasutanud.
- Toon Mappings on väärtuste vektorid, millest igaüks ütles meile: "Punane värv, mille varjund on 128, tuleks muuta varjundiks 240."
- Ülekate on poolläbipaistev pilt tolmu, tera, vinjeti ja kõige muuga, mida saab peale asetada, et saada vana filmi sugugi mitte banaalne efekt. Ei olnud alati kohal.
Kaasaegsed filtrid pole sellest kolmikust kaugel, vaid matemaatikas on need veidi keerulisemaks muutunud. Riistvaravarjurite ja OpenCL-i tulekuga nutitelefonidesse kirjutati need kiiresti GPU jaoks ümber ja seda peeti pööraselt lahedaks. 2012. aastaks muidugi. Tänapäeval saab CSS-is sama teha iga üliõpilane ja ta ei saa ikkagi võimalust lõpetada.
Filtrite areng pole aga tänaseks peatunud. Näiteks Dehanseri tüübid oskavad suurepäraselt kasutada mittelineaarseid filtreid - proletaarse toonide kaardistamise asemel kasutavad nad keerulisemaid mittelineaarseid teisendusi, mis nende sõnul avab palju rohkem võimalusi.
Mittelineaarsete teisendustega saab teha palju asju, kuid need on uskumatult keerulised ja meie, inimesed, oleme uskumatult rumalad. Niipea, kui tegemist on teaduse mittelineaarsete teisendustega, eelistame minna numbriliste meetodite juurde ja toppida kõikjale närvivõrke, et need meile meistriteoseid kirjutaksid. Siin oli samamoodi.
Automatiseerimine ja unistused "meistriteose" nupust
Kui kõik olid filtritega harjunud, hakkasime neid otse kaameratesse ehitama. Ajalugu varjab, milline tootja oli esimene, kuid selleks, et mõista, kui kaua see oli - iOS 5.0-s, mis ilmus juba 2011. aastal, oli juba avalik API automaatsete piltide täiustamiseks. Ainult Jobs teab, kui kaua see enne avalikkusele avamist kasutusel oli.
Automaatika tegi sama, mida igaüks meist teeb redaktoris fotot avades – tõmbas välja valguse ja varjude vahed, lisas küllastuse, eemaldas punased silmad ja fikseeris jume. Kasutajad isegi ei teadnud, et uue nutitelefoni "järsult täiustatud kaamera" oli vaid paari uue varjundi teene. Google Pixeli ilmumiseni ja arvutusfotograafia hüppe alguseni oli jäänud veel viis aastat.
Tänaseks on lahing “meistriteose” nupu pärast liikunud masinõppe valdkonda. Olles piisavalt mänginud toonide kaardistamisega, tormasid kõik treenima CNN-e ja GANe kasutaja asemel liugureid liigutama. Teisisõnu, määrake sisendpildi põhjal optimaalsete parameetrite kogum, mis tooks selle pildi lähemale teatud subjektiivsele arusaamale "heast fotograafiast". Rakendatud samas Pixelmator Pro-s ja teistes toimetajates. See töötab, nagu võite arvata, mitte väga hästi ja mitte alati.
Virnastamine on 90% mobiilikaamerate edust
Tõeline arvutusfotograafia sai alguse virnastamisest – mitme foto üksteise peale asetamisest. Nutitelefoni jaoks pole probleem klõpsata poole sekundiga tosin kaadrit. Nende kaameratel pole aeglaseid mehaanilisi osi: ava on fikseeritud ja liikuva kardina asemel on elektrooniline katik. Protsessor lihtsalt annab maatriksile käsu, mitu mikrosekundit see metsikuid footoneid püüdma peaks, ja loeb tulemuse.
Tehniliselt suudab telefon pildistada videokiirusel, videot aga foto eraldusvõimega, aga kõik sõltub siini ja protsessori kiirusest. Seetõttu seavad nad alati programmi piirangud.
Staking ise on meiega olnud pikka aega. Isegi vanaisad installisid Photoshop 7.0-sse pistikprogrammid, et koondada mitu fotot pilkupüüdvaks HDR-iks või ühendada kokku 18000 × 600 piksliline panoraam ja... tegelikult ei mõelnud keegi kunagi, mida nendega edasi teha. Kahju, et ajad olid rikkad ja metsikud.
Nüüd oleme täiskasvanuks saanud ja kutsume seda “epsilonfotograafiaks” – kui üht kaamera parameetrit (säritus, fookus, asend) muutes ja saadud kaadreid kokku õmmeldes saame midagi, mida ühte kaadrisse ei saanud jäädvustada. Kuid see on teoreetikute termin, praktikas on juurdunud teine nimi – panustamine. Tänapäeval põhineb tegelikult 90% kõigist mobiilikaamerate uuendustest.
Midagi, millele paljud inimesed ei mõtle, kuid oluline on mõista kogu mobiili- ja arvutifotograafiat: moodsa nutitelefoni kaamera hakkab pildistama kohe, kui selle rakenduse avate. Mis on loogiline, sest ta peab pildi kuidagi ekraanile üle kandma. Kuid lisaks ekraanile salvestab see kõrge eraldusvõimega kaadreid oma silmuspuhvrisse, kus see salvestab need veel paariks sekundiks.
Kui vajutate nuppu “pildista”, on see tegelikult juba tehtud, kaamera teeb lihtsalt puhvrist viimase foto.
Nii töötab tänapäeval iga mobiilikaamera. Vähemalt kõigis lipulaevades mitte prügihunnikutest. Puhverdamine võimaldab realiseerida mitte ainult nulli katiku viivitust, millest fotograafid on juba ammu unistanud, vaid isegi negatiivset – nupule vajutades vaatab nutitelefon minevikku, laadib puhvrist välja viimased 5-10 fotot ja hakkab meeletult analüüsima. ja kleepige need. Enam pole vaja oodata, kuni telefon HDR-i või öörežiimi jaoks kaadritel klõpsab – lihtsalt võtke need puhvrist, kasutaja ei saa isegi teada.
Muide, just negatiivse katiku viivituse abil realiseeritakse Live Photo iPhone'ides ja midagi sarnast oli HTC-l veel 2013. aastal kummalise nimetuse Zoe all.
Särituse virnastamine – HDR ja heleduse muutustega võitlemine
See, kas kaamera andurid on võimelised jäädvustama kogu meie silmadele kättesaadavat heleduse vahemikku, on vana kuum aruteluteema. Mõned ütlevad, et ei, sest silm on võimeline nägema kuni 25 f-stoppi, samas kui isegi ülemisest täiskaadrimaatriksist saab maksimaalselt 14. Teised nimetavad võrdlust valeks, sest aju aitab silma automaatselt kohanedes. pupill ja pildi täiendamine selle närvivõrkudega ning silmapilkne dünaamiline ulatus on tegelikult vaid 10-14 f-peatust. Jätame selle arutelu Interneti parimatele tugitoolimõtlejatele.
Fakt jääb faktiks: kui pildistate sõpru heleda taeva taustal ilma HDR-ita ühegi mobiilikaameraga, saate kas tavalise taeva ja sõprade mustad näod või hästi joonistatud sõbrad, kuid surnuks kõrbenud taeva.
Lahendus on juba ammu leiutatud – laiendada heledusvahemikku HDR-i (High Dynamic Range) abil. Peate võtma mitu kaadrit erinevate säriaegadega ja need kokku õmblema. Nii et üks on "tavaline", teine on heledam, kolmas on tumedam. Tumedad kohad võtame heledast kaadrist, ülesäritused täidame tumedast - kasum. Jääb üle vaid lahendada automaatkahvelduse probleem – kui palju iga kaadri säritust nihutada, et mitte üle pingutada, aga tehnikaülikooli teise kursuse tudeng saab nüüd hakkama pildi keskmise heleduse määramisega.
Uusimate iPhone'i, Pixeli ja Galaxy puhul lülitatakse HDR-režiim tavaliselt automaatselt sisse, kui kaamera sees olev lihtne algoritm tuvastab, et pildistate päikesepaistelisel päeval midagi kontrastset. On isegi märgata, kuidas telefon lülitab salvestusrežiimi puhvrile, et säästa särituses nihutatud kaadreid - kaadrid sekundis kaameras langevad ja pilt ise muutub mahlamaks. Ümberlülitusmoment on minu iPhone X-is õues filmides selgelt näha. Vaadake ka järgmisel korral oma nutitelefoni lähemalt.
Särikahvliga HDR-i puuduseks on selle läbimatu abitus kehva valgustuse korral. Isegi toalambi valguses lähevad raamid nii tumedaks, et arvuti ei suuda neid joondada ja kokku õmmelda. Valgusega probleemi lahendamiseks näitas Google 2013. aastal toona välja antud Nexuse nutitelefonis HDR-ile teistsugust lähenemist. Ta kasutas aja virnastamist.
Aja virnastamine – pika särituse simulatsioon ja ajavahe
Aja virnastamine võimaldab teil luua pika särituse, kasutades lühikesi seeriaid. Teerajajad olid öises taevas täheradade pildistamise fännid, kelle arvates oli katiku kaheks tunniks korraga avamine ebamugav. Nii raske oli kõiki seadistusi ette arvutada ja vähimgi raputamine rikuks kogu kaadri ära. Nad otsustasid avada katiku vaid mõneks minutiks, kuid mitu korda, ja läksid siis koju ja kleepisid saadud raamid Photoshopi.
Selgub, et tegelikult ei pildistanud kaamera kunagi pika säriajaga, vaid saime selle simuleerimise efekti, liites kokku mitu järjest tehtud kaadrit. Nutitelefonidele on kirjutatud hunnik rakendusi, mis seda nippi kasutavad, kuid neid kõiki pole vaja, kuna see funktsioon lisati peaaegu kõikidele tavakaameratele. Tänapäeval saab isegi iPhone'iga hõlpsalt kokku õmmelda pika särituse reaalajas fotost.
Lähme tagasi Google'i öise HDR-i juurde. Selgus, et ajalise kahvelduse abil saate hämaras hämaras HDR-i rakendada. Tehnoloogia ilmus esmakordselt Nexus 5-s ja kandis nime HDR+. Ülejäänud Androidi telefonid said selle justkui kingituseks. Tehnoloogia on endiselt nii populaarne, et seda kiidetakse isegi uusimate Pixelite esitlusel.
HDR+ töötab üsna lihtsalt: olles tuvastanud, et pildistate pimedas, laadib kaamera puhvrist välja viimased 8–15 RAW-fotot, et need üksteise peale asetada. Seega kogub algoritm müra minimeerimiseks rohkem infot kaadri tumedate alade kohta – piksleid, kus kaamera mingil põhjusel ei suutnud kogu infot koguda ja läks valesti.
See on sama, kui te ei teaks, milline kapübara välja näeb ja paluksite viiel inimesel seda kirjeldada, oleksid nende lood ligikaudu samad, kuid igaüks mainiks mõnda ainulaadset detaili. Nii kogute rohkem teavet kui lihtsalt küsite. Sama on pikslitega.
Ühest punktist võetud kaadrite lisamine annab samasuguse võlts-pika särituse efekti nagu ülaltoodud tähtede puhul. Kümnete kaadrite säritus on kokku võetud, ühes on vead teistes minimeeritud. Kujutage ette, mitu korda peaksite selle saavutamiseks iga kord DSLR-päästikut klõpsama.
Jäi vaid lahendada automaatse värvikorrektsiooni probleem - pimedas pildistatud kaadrid osutuvad tavaliselt täiesti kollaseks või roheliseks ja me nagu tahaksime päevavalguse küllust. HDR+ varasemates versioonides lahendati see lihtsalt seadete muutmisega, nagu Instagrami filtrites. Seejärel kutsusid nad appi närvivõrke.
Nii ilmus Night Sight – Pixel 2 ja 3 "ööfotograafia" tehnoloogia. Kirjelduses öeldakse: "HDR+ peale ehitatud masinõppetehnikad, mis panevad öönägemise tööle." Sisuliselt on see värviparanduse etapi automatiseerimine. Masinat õpetati kasutama “enne” ja “pärast” fotode andmekogu, et teha igast tumedatest kõveratest fotodest üks ilus.
Muide, andmestik tehti avalikult kättesaadavaks. Ehk võtavad Apple’i tüübid kätte ja õpetavad lõpuks oma klaaslabidad ka pimedas korralikult pildistama.
Lisaks kasutab Night Sight kaadris olevate objektide liikumisvektori arvutamist, et normaliseerida hägusust, mis kindlasti tekib pika säriajaga. Seega saab nutitelefon võtta teistelt raamidelt selgeid osi ja neid liimida.
Liikumise virnastamine – panoraam, supersuum ja müra vähendamine
Panoraam on maapiirkondade elanike populaarne meelelahutus. Ajalugu ei tea veel juhtumeid, kus vorstifoto peale selle autori kellelegi teisele huvi pakuks, kuid seda ei saa mainimata jätta – paljude jaoks sai just siit ladumise alguse.
Esimene kasulik viis panoraami kasutamiseks on saada suurema eraldusvõimega foto, kui kaamera maatriks võimaldab, ühendades mitu kaadrit. Fotograafid on nn üliresolutsiooniga fotode jaoks pikka aega kasutanud erinevat tarkvara – kui veidi nihutatud fotod näivad pikslite vahel üksteist täiendavat. Nii saab vähemalt sadade gigapikslite suuruse pildi, mis on väga kasulik, kui on vaja see majasuurusele reklaamplakatile trükkida.
Teine, huvitavam lähenemine on pikslite nihutamine. Mõned peeglita kaamerad, nagu Sony ja Olympus, hakkasid seda toetama juba 2014. aastal, kuid tulemuse tuli siiski käsitsi liimida. Tüüpilised suure kaamera uuendused.
Nutitelefonid on siin õnnestunud naljakal põhjusel – pildistades käed värisevad. See näiliselt probleem oli nutitelefonide ülieraldusvõime rakendamise aluseks.
Selle toimimise mõistmiseks peate meeles pidama, kuidas mis tahes kaamera maatriks on üles ehitatud. Iga selle piksel (fotodiood) on võimeline salvestama ainult valguse intensiivsust - see tähendab sissetulevate footonite arvu. Kuid piksel ei saa mõõta oma värvi (lainepikkust). RGB-pildi saamiseks pidime siia lisama ka kargud - katta kogu maatriks mitmevärviliste klaasitükkide ruudustikuga. Selle kõige populaarsemat teostust nimetatakse Bayeri filtriks ja seda kasutatakse tänapäeval enamikes maatriksites. Näeb välja nagu alloleval pildil.
Selgub, et maatriksi iga piksel püüab kinni ainult R-, G- või B-komponendi, sest ülejäänud footonid peegeldub halastamatult Bayeri filtrist. See tuvastab puuduvad komponendid, keskmistades naaberpikslite väärtused.
Bayeri filtris on rohkem rohelisi rakke – seda tehti analoogia põhjal inimsilmaga. Selgub, et maatriksi 50 miljonist pikslist jäädvustab roheline 25 miljonit, punane ja sinine - kumbki 12,5 miljonit. Ülejäänu arvutatakse keskmisena - seda protsessi nimetatakse debayeriseerimiseks või demosaitsiiniks ja see on nii paks naljakas kark. kus kõik puhkab.
Tegelikult on igal maatriksil oma kaval patenteeritud demosaitsiini algoritm, kuid selle loo jaoks jätame selle tähelepanuta.
Muud tüüpi maatriksid (näiteks Foveon) pole veel kuidagi külge saanud. Kuigi mõned tootjad üritavad teravuse ja dünaamilise ulatuse parandamiseks kasutada andureid ilma Bayeri filtrita.
Kui valgust on vähe või objekti detailid on väga väikesed, kaotame palju teavet, sest Bayeri filter lõikab ilmselgelt ära soovimatu lainepikkusega footonid. Seetõttu tulid nad välja pikslite nihutamise – maatriksi nihutamine 1 piksli võrra üles-alla-paremale-vasakule, et neid kõiki tabada. Sel juhul ei osutu foto 4 korda suuremaks, nagu võib tunduda, protsessor lihtsalt kasutab neid andmeid iga piksli väärtuse täpsemaks salvestamiseks. See ei ületa nii-öelda naabrite, vaid enda nelja väärtust.
Meie käte värisemine telefoniga pildistamisel muudab selle protsessi loomulikuks tagajärjeks. Google Pixeli uusimates versioonides on see asi juurutatud ja lülitub sisse alati, kui telefonis suumi kasutate – seda nimetatakse Super Res Zoom (jah, mulle meeldib ka nende halastamatu nimede panemine). Hiinlased kopeerisid selle ka oma laofonidesse, kuigi see osutus veidi hullemaks.
Veidi nihutatud fotode üksteise peale asetamine võimaldab koguda rohkem teavet iga piksli värvi kohta, mis tähendab müra vähendamist, teravuse ja eraldusvõime suurendamist ilma maatriksi megapikslite füüsilist arvu suurendamata. Kaasaegsed Androidi lipulaevad teevad seda automaatselt, ilma et nende kasutajad sellele isegi mõtleksid.
Fookuse virnastamine – mis tahes teravussügavus ja teravustamine järeltootmises
Meetod pärineb makrofotograafiast, kus madal teravussügavus on alati probleemiks olnud. Selleks, et kogu objekt oleks fookuses, tuli teha mitu kaadrit, kus fookus nihkus edasi-tagasi, ja need siis kokku õmmelda üheks teravaks. Sama meetodit kasutasid sageli maastikufotograafid, muutes esiplaani ja tausta teravaks nagu kõhulahtisus.
Kõik see on kolinud ka nutitelefonidesse, kuigi ilma suurema kärata. 2013. aastal ilmus “Refocus Appiga” Nokia Lumia 1020 ja 2014. aastal “Selective Focus” režiimiga Samsung Galaxy S5. Nad töötasid sama skeemi järgi: nupule vajutades tegid nad kiiresti 3 fotot - ühe “tavalise” fookusega, teise fookusega ettepoole nihutatud ja kolmanda fookusega tagasi. Programm joondas kaadreid ja võimaldas teil valida neist ühe, mida järeltootmises reklaamiti kui "päris" fookuse juhtimist.
Edasine töötlemine jäi tegemata, sest ka sellest lihtsast häkkimisest piisas, et Lytrole ja tema kaaslastele nende ausa ümberfookusega järjekordne nael kaane vahele lüüa. Muide, räägime neist (transition master 80 lvl).
Arvutusmaatriksid – valgusväljad ja plenoptika
Nagu me eespool aru saime, on meie maatriksid karkudel õudsed. Oleme sellega lihtsalt harjunud ja proovime sellega elada. Nende struktuur on aegade algusest vähe muutunud. Täiendasime ainult tehnilist protsessi – vähendasime pikslite vahelist kaugust, võitlesime häiremüra vastu ja lisasime faasituvastuse autofookuse jaoks spetsiaalsed pikslid. Aga kui võtta kasvõi kõige kallim peegelkaamera ja proovida sellega toavalgustuses jooksvat kassi pildistada – kass pehmelt öeldes võidab.
Oleme juba pikka aega püüdnud midagi paremat välja mõelda. Paljud selle valdkonna katsed ja uuringud on Google'is otsitud "arvutusandur" või "mitte-Bayer sensor" ja isegi ülaltoodud pikslite nihutamise näidet võib seostada katsetega parandada maatriksit arvutuste abil. Viimase paarikümne aasta lootustandvamad lood on aga meieni jõudnud just nn plenoptiliste kaamerate maailmast.
Et te ei magaks eelseisvate keeruliste sõnade ootusest, viskan siseringi, et uusima Google Pixeli kaamera on lihtsalt "veidi" pleenoptiline. Vaid kaks pikslit, kuid isegi see võimaldab arvutada kaadri õige optilise sügavuse isegi ilma teise kaamerata, nagu kõik teisedki.
Plenoptika on võimas relv, mis pole veel tulistanud. Siin on link ühele minu viimase aja lemmikule. , kust ma näited laenasin.
Plenoptiline kaamera – peagi tulemas
Leiutatud 1994. aastal, kogutud Stanfordis 2004. aastal. Esimene tarbijakaamera Lytro ilmus 2012. aastal. VR-tööstus katsetab praegu aktiivselt sarnaste tehnoloogiatega.
Plenoptiline kaamera erineb tavalisest kaamerast ainult ühe modifikatsiooni poolest - selle maatriks on kaetud objektiivide ruudustikuga, millest igaüks katab mitu reaalset pikslit. Midagi sellist:
Kui arvutate õigesti ruudustiku ja maatriksi vahelise kauguse ja ava suuruse, on lõplikul pildil selged pikslite kobarad - algse pildi omamoodi miniversioonid.
Selgub, et kui võtta igast kobarast näiteks üks keskne piksel ja ainult neid kasutades pilt kokku liimida, ei erine see tavakaameraga tehtust. Jah, me kaotasime eraldusvõime pisut, kuid palume Sonyl uutesse maatriksitesse rohkem megapiksleid lisada.
Lõbus on alles algus. kui võtate igast klastrist veel ühe piksli ja ühendate pildi uuesti kokku, saate jälle tavalise foto, ainult nii, nagu see oleks tehtud ühe piksli nihkega. Seega, omades 10 × 10 pikslite klastreid, saame objektist 100 pilti "veidi" erinevatest punktidest.
Suurem klastri suurus tähendab rohkem pilte, kuid madalamat eraldusvõimet. Kuigi 41-megapiksliste maatriksitega nutitelefonide maailmas võime eraldusvõimest veidi tähelepanuta jätta, on igal asjal piir. Peate säilitama tasakaalu.
Olgu, me oleme kokku pannud plenoptilise kaamera, mida see siis meile annab?
Aus keskendumine
Funktsioon, millest kõik ajakirjanikud Lytrot käsitlevates artiklites sumisesid, oli võimalus järeltootmises fookust ausalt reguleerida. Õiglase all peame silmas seda, et me ei kasuta hägustamisalgoritme, vaid kasutame ainult käepärast olevaid piksleid, valides või keskmistades need klastritest vajalikus järjekorras.
RAW-pildistamine pleenoptilisest kaamerast tundub kummaline. Et sealt tavalist teravat džiipi välja saada, tuleb see esmalt kokku panna. Selleks peate valima džiibi iga piksli ühest RAW-klastrist. Olenevalt sellest, kuidas me need valime, muutub tulemus.
Näiteks mida kaugemal on kobar algse kiire langemispunktist, seda rohkem on see kiir fookusest väljas. Kuna optika. Fookuse nihkega pildi saamiseks peame lihtsalt valima pikslid soovitud kaugusel algsest - kas lähemal või kaugemal.
Keerulisem oli fookust enda poole nihutada - puhtfüüsiliselt oli selliseid piksleid klastrites vähem. Alguses ei tahtnud arendajad isegi anda kasutajale kätega teravustamise võimalust – kaamera ise otsustas selle tarkvaras. Kasutajatele see tulevik ei meeldinud, nii et nad lisasid hilisemasse püsivarasse funktsiooni "loominguline režiim", kuid muutsid selle ümberfookuse just sel põhjusel väga piiratuks.
Sügavuskaart ja 3D ühest kaamerast
Üks pleenoptika lihtsamaid toiminguid on sügavuskaardi saamine. Selleks peate lihtsalt koguma kaks erinevat kaadrit ja arvutama, kui palju neis olevaid objekte nihutatakse. Suurem nihe tähendab kaamerast kaugemal.
Google ostis ja tappis hiljuti Lytro, kuid kasutas nende tehnoloogiat selle VR-i ja ... Pixeli kaamera jaoks. Alates Pixel 2-st muutus kaamera esimest korda "veidi" pleenoptiliseks, ehkki ainult kahe piksliga klastritega. See andis Google'ile võimaluse mitte paigaldada teist kaamerat, nagu kõik teised tüübid, vaid arvutada sügavuskaart ainult ühe foto põhjal.
Sügavuskaart koostatakse kahe kaadri abil, mida on nihutatud ühe alampiksli võrra. See on täiesti piisav, et arvutada binaarne sügavuskaart ja eraldada esiplaan taustast ja hägustada viimast nüüd moekas bokehis. Sellise kihistamise tulemust siluvad ja “parandavad” ka närvivõrgud, mis on treenitud sügavuskaarte parandama (ja mitte hägustama, nagu paljud arvavad).
Nipp seisneb selles, et saime nutitelefonidesse pleenoptika peaaegu tasuta. Nendele pisikestele maatriksitele panime juba läätsed, et kuidagi valgusvoogu suurendada. Järgmises Pixelis plaanib Google minna kaugemale ja katta objektiiviga neli fotodioodi.
Allikas: 3dnews.ru