Alkuperäinen artikkeli on julkaistu verkkosivustolla ja julkaistu 3DNewsissa kirjoittajan luvalla. Tarjoamme artikkelin koko tekstin, lukuun ottamatta valtavaa määrää linkkejä - niistä on hyötyä niille, jotka ovat vakavasti kiinnostuneita aiheesta ja haluavat tutkia laskennallisen valokuvauksen teoreettisia näkökohtia syvällisemmin, mutta Yleisölle katsoimme tämän materiaalin tarpeettomaksi.
Nykyään yksikään älypuhelimen esitys ei ole valmis nuolematta sen kameraa. Joka kuukausi kuulemme mobiilikameroiden seuraavasta menestyksestä: Google opettaa Pixelin kuvaamaan pimeässä, Huawein zoomaamaan kuin kiikarit, Samsung lisää lidarin ja Apple tekee maailman pyöreimmät kulmat. Harvoissa paikoissa innovaatio virtaa näin nopeasti nykyään.
Samalla peilit näyttävät merkitsevän aikaa. Sony antaa jokaiselle vuosittain uusia matriiseja, ja valmistajat päivittävät laiskasti uusimman version numeron ja jatkavat rentoutumista ja tupakointia sivussa. Minulla on 3000 XNUMX dollarin DSLR pöydälläni, mutta matkustaessani otan iPhoneni mukaan. Miksi?
Kuten klassikko sanoi, menin verkkoon tämän kysymyksen kanssa. Siellä he keskustelevat joistakin "algoritmeista" ja "hermoverkoista", ilman aavistustakaan siitä, miten ne tarkalleen vaikuttavat valokuvaukseen. Toimittajat lukevat äänekkäästi megapikseleiden määrää, bloggaajat sahaavat yhdessä maksettuja laatikoiden purkuja, ja esteetit tahraavat itseään "matriisin väripaletin aistillisella havainnolla". Kaikki on kuten tavallista.
Minun piti istua alas, viettää puolet elämästäni ja selvittää kaikki itse. Tässä artikkelissa kerron sinulle, mitä olen oppinut.
Mitä on laskennallinen valokuvaus?
Kaikkialla, myös Wikipediassa, he antavat jotain tämän kaltaista määritelmää: laskennallinen valokuvaus on mikä tahansa kuvanotto- ja käsittelytekniikka, joka käyttää digitaalista laskentaa optisten muunnosten sijaan. Kaikki siinä on hyvää, paitsi että se ei selitä mitään. Jopa automaattitarkennus sopii siihen, mutta plenoptiikka, joka on jo tuonut meille paljon hyödyllistä, ei sovi. Virallisten määritelmien epämääräisyys näyttää viittaavan siihen, että meillä ei ole aavistustakaan, mistä puhumme.
Laskennallisen valokuvauksen edelläkävijä, Stanfordin professori Marc Levoy (joka vastaa nyt Google Pixelin kamerasta) antaa toisen määritelmän - joukon tietokonevisualisointimenetelmiä, jotka parantavat tai laajentavat digitaalisen valokuvauksen mahdollisuuksia ja joiden avulla saadaan tavallinen valokuva, joka ei teknisesti voitu ottaa tällä kameralla.kameralla perinteisellä tavalla. Artikkelissa noudatan tätä.
Joten älypuhelimet olivat syyllisiä kaikkeen.
Älypuhelimilla ei ollut muuta vaihtoehtoa kuin synnyttää uudenlainen valokuvaus: laskennallinen valokuvaus.
Niiden pienten meluisten matriisien ja pienten hitaan aukon linssien olisi kaikkien fysiikan lakien mukaan pitänyt tuoda vain kipua ja kärsimystä. He tekivät niin, kunnes niiden kehittäjät keksivät, kuinka taitavasti käyttää vahvuuksiaan voittaakseen heikkoutensa - nopeat elektroniset ikkunaluukut, tehokkaat prosessorit ja ohjelmistot.
Suurin osa korkean profiilin laskennallisen valokuvauksen alan tutkimuksesta tapahtui vuosien 2005 ja 2015 välillä, jota tieteessä pidetään kirjaimellisesti eilisenä. Juuri nyt, silmiemme edessä ja taskuissamme, kehittyy uusi tiedon ja teknologian ala, jota ei ole koskaan ennen ollut.
Laskennallinen valokuvaus ei ole vain selfieitä neuro-bokehilla. Tuore valokuva mustasta aukosta ei olisi ollut mahdollinen ilman laskennallisia valokuvaustekniikoita. Jotta voisimme ottaa tällaisen valokuvan tavallisella kaukoputkella, meidän on tehtävä siitä Maan kokoinen. Yhdistämällä tiedot kahdeksasta radioteleskoopilla eri kohdista pallomme ja kirjoittamalla muutaman Python-skriptin saimme kuitenkin maailman ensimmäisen valokuvan tapahtumahorisontista. Sopii hyvin myös selfieiksi.
Aloitus: digitaalinen käsittely
Kuvitellaan, että palasimme vuonna 2007. Äitimme on anarkia ja valokuvamme ovat meluisia 0,6 megapikselin jeepejä, jotka on otettu rullalaudalla. Silloin meillä on ensimmäinen vastustamaton halu ripotella niihin esiasetuksia piilottaaksemme mobiilimatriisien kurjuuden. Älä kiellä itseämme.
Matan ja Instagram
Instagramin julkaisun myötä kaikki tulivat pakkomielle suodattimiin. X-Pro II:n, Lo-Fi:n ja Valencian käännöstyönä tietysti tutkimustarkoituksiin muistan edelleen, että ne koostuivat kolmesta osasta:
- Väriasetukset (Hue, Saturation, Lightness, Contrast, Levels jne.) - yksinkertaiset digitaaliset kertoimet, aivan kuten kaikki esiasetukset, joita valokuvaajat ovat käyttäneet muinaisista ajoista lähtien.
- Tone Mappings ovat arvojen vektoreita, joista jokainen kertoi meille: "Punainen väri, jonka sävy on 128, tulisi muuttaa sävyksi 240."
- Peittokuva on läpikuultava kuva, jossa on pölyä, rakeita, vinjettiä ja kaikkea muuta, mikä voidaan laittaa päälle saadakseen vanhan elokuvan ei ollenkaan banaalin vaikutelman. Ei ollut aina läsnä.
Nykyaikaiset suodattimet eivät ole kaukana tästä kolmiosta, niistä on tullut vain hieman monimutkaisempia matematiikassa. Kun älypuhelimiin tulivat laitteistovarjostimet ja OpenCL, ne kirjoitettiin nopeasti uudelleen GPU:ta varten, ja tätä pidettiin hurjan siistinä. Vuodelle 2012 tietysti. Nykyään kuka tahansa opiskelija voi tehdä saman CSS:ssä, eikä hän silti saa mahdollisuutta valmistua.
Suodattimien kehitys ei kuitenkaan ole pysähtynyt tänään. Esimerkiksi Dehanserin kaverit osaavat hyvin käyttää epälineaarisia suodattimia - proletaarisen sävykartoituksen sijaan he käyttävät monimutkaisempia epälineaarisia muunnoksia, mikä heidän mukaansa avaa paljon enemmän mahdollisuuksia.
Voit tehdä monia asioita epälineaarisilla muunnoksilla, mutta ne ovat uskomattoman monimutkaisia, ja me ihmiset olemme uskomattoman tyhmiä. Heti kun on kyse tieteen epälineaarisista muunnoksista, käytämme mieluummin numeerisia menetelmiä ja tukahdutamme hermoverkkoja kaikkialle, jotta ne kirjoittavat mestariteoksia meille. Sama oli täällä.
Automaatio ja unelmat "mestariteos"-painikkeesta
Kun kaikki tottuivat suodattimiin, aloimme rakentaa niitä suoraan kameroiksi. Historia piilottaa, mikä valmistaja oli ensimmäinen, mutta vain ymmärtääkseni kuinka kauan se oli - iOS 5.0:ssa, joka julkaistiin vuonna 2011, oli jo julkinen API automaattisille kuville. Vain Jobs tietää, kuinka kauan se oli käytössä ennen kuin se avattiin yleisölle.
Automaatio teki saman asian kuin jokainen meistä avatessaan valokuvan editorissa - se poisti aukkoja valossa ja varjoissa, lisäsi kylläisyyttä, poisti punaiset silmät ja kiinnitti ihon. Käyttäjät eivät edes tajunneet, että uuden älypuhelimen "dramaattisesti parannettu kamera" oli vain muutaman uuden varjostimen ansio. Google Pixelin julkaisuun ja laskennallisen valokuvaushypeen alkamiseen oli vielä viisi vuotta jäljellä.
Tänään taistelu "mestariteos"-painikkeesta on siirtynyt koneoppimisen kentälle. Pelattuaan tarpeeksi sävykartoituksella, kaikki ryntäsivät kouluttamaan CNN:itä ja GANeja siirtämään liukusäätimiä käyttäjän sijasta. Toisin sanoen, määritä syötekuvasta joukko optimaalisia parametreja, jotka tuovat tämän kuvan lähemmäksi tiettyä subjektiivista käsitystä "hyvästä valokuvauksesta". Toteutettu samassa Pixelmator Prossa ja muissa muokkausohjelmissa. Se toimii, kuten arvata saattaa, ei kovin hyvin eikä aina.
Pinoaminen on 90 % mobiilikameroiden menestyksestä
Todellinen laskennallinen valokuvaus alkoi pinoamisesta – useiden valokuvien kerrostamisesta päällekkäin. Älypuhelimelle ei ole ongelma napsauttaa tusinaa kuvaa puolessa sekunnissa. Heidän kameroissaan ei ole hitaita mekaanisia osia: aukko on kiinteä, ja liikkuvan verhon sijaan on elektroninen suljin. Prosessori yksinkertaisesti käskee matriisille, kuinka monta mikrosekuntia sen tulee ottaa kiinni villifotoneista, ja se lukee tuloksen.
Teknisesti puhelin voi ottaa kuvia videonopeudella ja videota valokuvaresoluutiolla, mutta kaikki riippuu väylän ja prosessorin nopeudesta. Siksi he asettavat aina ohjelmarajoituksia.
Staking itse on ollut kanssamme jo pitkään. Jopa isoisät asensivat Photoshop 7.0:aan laajennuksia, jotka koosivat useita valokuvia katseenvangitsijaksi HDR:ksi tai yhdistävät 18000 600 × XNUMX pikselin panoraaman, ja... itse asiassa kukaan ei koskaan keksinyt, mitä niillä tekisi seuraavaksi. Oli sääli, että ajat olivat rikkaat ja villit.
Nyt meistä on tullut aikuisia ja kutsumme sitä "epsilon-valokuvaukseksi" - kun muuttamalla yhtä kameran parametreista (valotus, tarkennus, asento) ja ompelemalla tuloksena olevat kehykset yhteen saamme jotain, jota ei voitu ottaa yhteen ruutuun. Mutta tämä on termi teoreetiikoille; käytännössä on juurtunut toinen nimi - panos. Nykyään itse asiassa 90 % kaikista mobiilikameroiden innovaatioista perustuu siihen.
Asia, jota monet eivät ajattele, mutta on tärkeää ymmärtää kaikkea mobiili- ja tietokonevalokuvausta: nykyaikaisen älypuhelimen kamera alkaa ottaa kuvia heti, kun avaat sen sovelluksen. Mikä on loogista, koska hänen on jotenkin siirrettävä kuva näytölle. Se kuitenkin tallentaa näytön lisäksi korkearesoluutioiset kehykset omaan silmukkapuskuriinsa, jossa se tallentaa niitä vielä pari sekuntia.
Kun painat "ota valokuva" -painiketta, se on itse asiassa jo otettu, kamera vain ottaa viimeisen kuvan puskurista.
Näin kaikki mobiilikamerat toimivat nykyään. Ainakin kaikissa lippulaivoissa ei roskakasoista. Puskuroinnin avulla voit toteuttaa paitsi nollasuljinviiveen, josta valokuvaajat ovat pitkään haaveilleet, myös negatiivisen - kun painat painiketta, älypuhelin katsoo menneisyyteen, lataa viimeiset 5-10 valokuvaa puskurista ja alkaa kiihkeästi analysoida. ja liitä ne. Ei enää odottelua, että puhelin napsauttaa kehyksiä HDR- tai yötilaa varten – ota ne puskurista, käyttäjä ei edes tiedä.
Muuten, negatiivisen suljinviiveen avulla Live Photo on toteutettu iPhoneissa, ja HTC:llä oli jotain vastaavaa vuonna 2013 oudolla nimellä Zoe.
Valotuksen pinoaminen – HDR ja kirkkauden muutosten torjunta
Vanha kuuma keskustelunaihe on se, pystyvätkö kameran anturit tallentamaan koko silmiemme käytettävissä olevan kirkkausalueen. Jotkut sanovat ei, koska silmä pystyy näkemään jopa 25 f-pysähdystä, kun taas huippukokoisesta matriisista saa maksimissaan 14. Toiset kutsuvat vertailua virheelliseksi, koska aivot auttavat silmää säätymällä automaattisesti pupilli ja kuvan täydentäminen sen hermoverkkoineen, ja välitön Silmän dynaaminen alue on itse asiassa vain 10-14 f-pistettä. Jätetään tämä keskustelu Internetin parhaille nojatuoliajattelijoille.
Tosiasia on: kun kuvaat ystäviä kirkasta taivasta vasten ilman HDR:ää millään mobiilikameralla, saat joko normaalin taivaan ja ystävien mustat kasvot tai hyvin piirretyt ystävät, mutta kuoliaaksi palaneen taivaan.
Ratkaisu on keksitty pitkään - laajentaa kirkkausaluetta HDR:n (High dynamic range) avulla. Sinun on otettava useita kuvia eri suljinnopeuksilla ja liitettävä ne yhteen. Joten yksi on "normaali", toinen on vaaleampi, kolmas on tummempi. Otamme tummat paikat vaaleasta kehyksestä, täytämme ylivalotukset tummasta - voittoa. Jäljelle jää vain automaattisen haarukoinnin ongelma - kuinka paljon siirtää kunkin kuvan valotusta, jotta sitä ei liioitella, mutta nyt teknisen yliopiston toisen vuoden opiskelija pystyy määrittämään kuvan keskimääräisen kirkkauden.
Uusimmissa iPhonessa, Pixelissä ja Galaxyssa HDR-tila kytkeytyy yleensä automaattisesti päälle, kun kameran sisällä oleva yksinkertainen algoritmi määrittää, että kuvaat jotain kontrastista aurinkoisena päivänä. Voit jopa huomata, kuinka puhelin vaihtaa tallennustilan puskuriin säästääkseen valotuksessa siirtyneitä kehyksiä - kameran fps putoaa ja itse kuvasta tulee mehukkaampi. Vaihtohetki näkyy selvästi iPhone X:ssäni ulkona kuvattaessa. Katso myös älypuhelintasi tarkemmin ensi kerralla.
HDR:n haittana valotuksen haarukoinnin kanssa on sen läpäisemätön avuttomuus huonossa valaistuksessa. Jopa huonevalaisimen valossa kehykset muuttuvat niin tummiksi, että tietokone ei pysty kohdistamaan ja ompelemaan niitä yhteen. Valon ongelman ratkaisemiseksi Google esitti vuonna 2013 erilaisen lähestymistavan HDR:ään tuolloin julkaistussa Nexus-älypuhelimessa. Hän käytti ajan pinoamista.
Aika pinoaminen - pitkän valotuksen simulointi ja aikaviive
Aikapinoamisen avulla voit luoda pitkän valotuksen käyttämällä sarjaa lyhyitä valotuksia. Pioneerit olivat yötaivaalla tähtipolkujen kuvaamisen faneja, joiden mielestä oli hankalaa avata suljin kahdeksi tunniksi kerralla. Kaikkien asetusten laskeminen etukäteen oli niin vaikeaa, ja pienikin tärinä pilaisi koko kuvan. He päättivät avata sulkimen vain muutamaksi minuutiksi, mutta monta kertaa, ja sitten menivät kotiin ja liimasivat tuloksena olevat kehykset Photoshopiin.
Osoittautuu, että kamera ei koskaan kuvannut pitkällä suljinnopeudella, mutta saimme sen simuloinnin vaikutuksen laskemalla yhteen useita peräkkäin otettuja kuvia. Tätä temppua käyttäville älypuhelimille on kirjoitettu joukko sovelluksia jo pitkään, mutta kaikkia niitä ei tarvita, koska ominaisuus lisättiin melkein kaikkiin vakiokameroihin. Nykyään jopa iPhone voi helposti yhdistää pitkän valotusajan Live Photosta.
Palataan Googleen sen yön HDR:ään. Kävi ilmi, että aikahaarukoinnin avulla voit toteuttaa hyvän HDR:n pimeässä. Tekniikka ilmestyi ensimmäisen kerran Nexus 5:ssä ja sen nimi oli HDR+. Muut Android-puhelimet saivat sen kuin lahjaksi. Tekniikka on edelleen niin suosittu, että sitä kehutaan jopa uusimpien Pikselien esittelyssä.
HDR+ toimii yksinkertaisesti: kun kamera on määrittänyt, että kuvaat pimeässä, se purkaa viimeiset 8–15 RAW-kuvaa puskurista peittääkseen ne päällekkäin. Siten algoritmi kerää lisää tietoa kehyksen tummista alueista kohinan minimoimiseksi – pikseleitä, joissa kamera ei jostain syystä pystynyt keräämään kaikkea tietoa ja meni pieleen.
Se on kuin jos et tietäisi miltä kapybara näyttää ja pyytäisit viittä ihmistä kuvaamaan sitä, heidän tarinansa olisivat suunnilleen samat, mutta jokainen mainitsisi jonkin ainutlaatuisen yksityiskohdan. Näin voit kerätä enemmän tietoa kuin vain kysyä. Sama juttu pikseleiden kanssa.
Yhdestä pisteestä otettujen ruutujen lisääminen antaa saman fake-pitkän valotusefektin kuin yllä olevilla tähdillä. Kymmenien ruutujen valotus summataan, yhden virheet minimoidaan toisissa. Kuvittele, kuinka monta kertaa sinun on napsautettava DSLR-suljinta joka kerta saavuttaaksesi tämän.
Jäljelle jäi vain automaattisen värinkorjauksen ongelma - pimeässä otetut kehykset muuttuvat yleensä keltaisiksi tai vihreiksi, ja haluamme tavallaan päivänvalon rikkautta. HDR+:n varhaisissa versioissa tämä ratkaistiin yksinkertaisesti säätämällä asetuksia, kuten Instagramin suodattimissa. Sitten he kutsuivat hermoverkkoja auttamaan.
Näin ilmestyi Night Sight - Pixel 2:n ja 3:n "yökuvauksen" tekniikka. Kuvauksessa sanotaan: "HDR+:n päälle rakennettu koneoppimistekniikka, joka saa Night Sightin toimimaan." Pohjimmiltaan tämä on värinkorjausvaiheen automatisointia. Kone oli koulutettu "ennen" ja "jälkeen" -kuvien tietojoukolle, jotta kaikista tummista vinoista valokuvista saadaan yksi kaunis.
Muuten, tietojoukko asetettiin julkisesti saataville. Ehkä Applen kaverit ottavat sen vastaan ja opettavat vihdoin lasilapiot ottamaan kuvia kunnolla pimeässä.
Lisäksi Night Sight käyttää kuvassa olevien kohteiden liikevektorin laskentaa normalisoidakseen epäterävyyden, joka taatusti esiintyy pitkällä suljinnopeudella. Joten älypuhelin voi ottaa selkeitä osia muista kehyksistä ja liimata ne.
Liikkeen pinoaminen - panoraama, superzoom ja kohinanvaimennus
Panorama on suosittu viihde maaseutualueiden asukkaille. Historian tiedossa ei ole vielä tapauksia, joissa makkarakuva kiinnostaisi ketään muuta kuin sen tekijää, mutta sitä ei voi sivuuttaa - monelle pinoaminen alkoi alun perin tästä.
Ensimmäinen hyödyllinen tapa käyttää panoraamaa on saada valokuva, jonka resoluutio on suurempi kuin kameran matriisi sallii yhdistämällä useita kehyksiä. Valokuvaajat ovat pitkään käyttäneet erilaisia ohjelmistoja niin sanotuille superresoluutiovalokuville - kun hieman siirtyneet valokuvat näyttävät täydentävän toisiaan pikselien välillä. Näin saat ainakin satojen gigapikseleiden kuvan, mikä on erittäin hyödyllistä, jos haluat tulostaa sen talon kokoiselle mainosjulisteelle.
Toinen, mielenkiintoisempi lähestymistapa on Pixel Shifting. Jotkut peilittömät kamerat, kuten Sony ja Olympus, alkoivat tukea sitä jo vuonna 2014, mutta niiden piti silti liimata tulos käsin. Tyypillisiä isojen kameroiden innovaatioita.
Älypuhelimet ovat onnistuneet täällä hauskasta syystä - kun otat valokuvan, kätesi tärisevät. Tämä näennäinen ongelma muodosti perustan alkuperäisen superresoluution käyttöönotolle älypuhelimissa.
Ymmärtääksesi, miten tämä toimii, sinun on muistettava, kuinka minkä tahansa kameran matriisi on rakennettu. Jokainen sen pikseli (fotodiodi) pystyy tallentamaan vain valon voimakkuuden - eli saapuvien fotonien määrän. Pikseli ei kuitenkaan voi mitata väriään (aallonpituutta). RGB-kuvan saamiseksi meidän piti lisätä tähän myös kainalosauvat - peittää koko matriisi moniväristen lasipalojen ruudukolla. Sen suosituin toteutus on nimeltään Bayer-suodatin, ja sitä käytetään nykyään useimmissa matriiseissa. Näyttää alla olevalta kuvalta.
Osoittautuu, että jokainen matriisin pikseli saa kiinni vain R-, G- tai B-komponentin, koska Bayer-suodatin heijastaa armottomasti jäljellä olevat fotonit. Se tunnistaa puuttuvat komponentit laskemalla naapuripikseleiden arvojen keskiarvon suoraan.
Bayer-suodattimessa on enemmän vihreitä soluja - tämä tehtiin analogisesti ihmissilmän kanssa. Osoittautuu, että matriisin 50 miljoonasta pikselistä vihreä kaappaa 25 miljoonaa, punainen ja sininen - kumpikin 12,5 miljoonaa. Loput lasketaan keskiarvoiksi - tätä prosessia kutsutaan debayerisaatioksi tai demosaisiiniksi, ja tämä on niin lihava hauska kainalosauva. jossa kaikki lepää.
Itse asiassa jokaisella matriisilla on oma ovela patentoitu demosaisiinialgoritmi, mutta tämän tarinan kannalta jätämme tämän huomiotta.
Muuntyyppiset matriisit (kuten Foveon) eivät ole jotenkin vielä tarttuneet. Vaikka jotkut valmistajat yrittävät käyttää antureita ilman Bayer-suodatinta terävyyden ja dynaamisen alueen parantamiseksi.
Kun valoa on vähän tai kohteen yksityiskohdat ovat hyvin pieniä, menetämme paljon tietoa, koska Bayer-suodatin leikkaa räikeästi pois ei-toivotun aallonpituuden omaavat fotonit. Siksi he keksivät Pixel Shifting -toiminnon – siirtämällä matriisia 1 pikselin verran ylös-alas-oikealle-vasemmalle saadakseen ne kaikki kiinni. Tässä tapauksessa valokuva ei ole 4 kertaa suurempi, koska se saattaa näyttää, prosessori yksinkertaisesti käyttää näitä tietoja tallentaakseen tarkemmin kunkin pikselin arvon. Se ei ole niin sanotusti naapureidensa keskiarvo, vaan yli neljä itsensä arvoa.
Käsien täriseminen puhelimella otettaessa tekee tästä prosessista luonnollisen seurauksen. Google Pixelin uusimmissa versioissa tämä asia on toteutettu ja kytkeytyy päälle aina, kun käytät puhelimen zoomia – sitä kutsutaan Super Res Zoomiksi (kyllä, pidän myös niiden armottomasta nimeämisestä). Kiinalaiset kopioivat sen myös laofoneihinsa, vaikka se osoittautuikin hieman huonommaksi.
Hieman siirtyneiden valokuvien päällekkäin asettaminen mahdollistaa lisätietojen keräämisen kunkin pikselin väristä, mikä tarkoittaa kohinan vähentämistä, terävyyden ja resoluution nostamista ilman, että matriisin fyysinen megapikselien määrä kasvaa. Nykyaikaiset Android-lippulaivat tekevät tämän automaattisesti ilman, että niiden käyttäjät edes ajattelevat sitä.
Focus pinoaminen - mikä tahansa syväterävyys ja tarkennus uudelleen jälkituotannossa
Menetelmä on peräisin makrokuvauksesta, jossa syväterävyys on aina ollut ongelma. Jotta koko kohde olisi tarkennettu, piti ottaa useita kehyksiä, joissa tarkennus siirtyi edestakaisin, ja ompele ne sitten yhteen teräväksi kuvaksi. Maisemakuvaajat käyttivät usein samaa menetelmää, jolloin etualalla ja taustalla oli yhtä terävää kuin ripuli.
Kaikki tämä on siirtynyt myös älypuhelimiin, tosin ilman suurta hypeä. Vuonna 2013 julkaistiin Nokia Lumia 1020 "Refocus App" -sovelluksella ja vuonna 2014 Samsung Galaxy S5 "Selective Focus" -tilassa. He työskentelivät saman kaavan mukaan: nappia painamalla he ottivat nopeasti 3 valokuvaa - yhden "normaalilla" tarkennuksella, toisen tarkennusta eteenpäin ja kolmannen taaksepäin. Ohjelma kohdistai kehykset ja antoi sinun valita niistä yhden, jota mainostettiin "todellisena" tarkennuksen ohjauksena jälkituotannossa.
Jatkokäsittelyä ei ollut, koska tämäkin yksinkertainen hakkerointi riitti lyömään uuden naulan Lytron ja sen ikäisensä kanteen rehellisillä uudelleentarkastuksilla. Muuten, puhutaanpa niistä (transition master 80 lvl).
Laskennalliset matriisit - valokentät ja plenoptiikan
Kuten yllä ymmärsimme, matriisimme ovat kauhua kainalosauvoissa. Olemme vain tottuneet siihen ja yritämme elää sen kanssa. Niiden rakenne ei ole juurikaan muuttunut aikojen alusta. Paransimme vain teknistä prosessia - pienensimme pikselien välistä etäisyyttä, taistelimme häiriökohinaa vastaan ja lisäsimme erityisiä pikseleitä vaiheentunnistuksen automaattitarkennukseen. Mutta jos otat kalleimmankin DSLR-kameran ja yrität kuvata sillä juoksevaa kissaa huoneen valaistuksessa - kissa lievästi sanottuna voittaa.
Olemme yrittäneet keksiä jotain parempaa jo pitkään. Monet yritykset ja tutkimukset tällä alalla ovat googletettuja termillä "laskennallinen sensori" tai "ei-bayer-anturi", ja jopa yllä oleva Pixel Shifting -esimerkki voidaan selittää yrityksillä parantaa matriiseja laskelmien avulla. Viimeisen kahdenkymmenen vuoden lupaavimmat tarinat ovat kuitenkin tulleet meille juuri niin sanottujen plenoptisten kameroiden maailmasta.
Jotta et nukahtaisi lähestyvien monimutkaisten sanojen odotuksesta, esitän sisäpiirin, että uusimman Google Pixelin kamera on vain "hieman" plenoptinen. Vain kaksi pikseliä, mutta jopa tämä mahdollistaa kuvan oikean optisen syvyyden laskemisen jopa ilman toista kameraa, kuten kaikki muutkin.
Plenoptics on voimakas ase, jota ei ole vielä ammuttu. Tässä linkki yhteen viimeaikaisista lemppareistani. , josta lainasin esimerkit.
Plenoptinen kamera - tulossa pian
Keksitty vuonna 1994, kerätty Stanfordissa vuonna 2004. Ensimmäinen kuluttajakamera, Lytro, julkaistiin vuonna 2012. VR-ala kokeilee nyt aktiivisesti vastaavia teknologioita.
Plenoptinen kamera eroaa perinteisestä kamerasta vain yhdellä versiolla - sen matriisi on peitetty linssiruudukolla, joista jokainen peittää useita todellisia pikseleitä. Jotain tällaista:
Jos lasket oikein etäisyyden ruudukosta matriisiin ja aukon koon, lopullisessa kuvassa on selkeitä pikseleitä - eräänlaisia miniversioita alkuperäisestä kuvasta.
Osoittautuu, että jos otat jokaisesta klusterista esimerkiksi yhden keskuspikselin ja liimaa kuvan yhteen vain niitä käyttämällä, se ei eroa tavallisella kameralla otetusta kuvasta. Kyllä, olemme menettäneet hieman resoluutiossa, mutta pyydämme vain Sonya lisäämään megapikseleitä uusiin matriiseihin.
Hauskuus on vasta alussa. jos otat toisen pikselin jokaisesta klusterista ja liität kuvan uudelleen yhteen, saat taas normaalin valokuvan, vain kuin se olisi otettu yhden pikselin siirrolla. Näin ollen 10 × 10 pikselin klustereilla saamme kohteesta 100 kuvaa "hieman" eri kohdista.
Suurempi klusterin koko tarkoittaa enemmän kuvia, mutta pienempi resoluutio. 41 megapikselin matriiseilla varustettujen älypuhelimien maailmassa, vaikka resoluutiota voidaan hieman jättää huomioimatta, kaikella on rajansa. Sinun on säilytettävä tasapaino.
Okei, olemme koonneet plenoptisen kameran, joten mitä se antaa meille?
Rehellinen keskittyminen
Ominaisuus, josta kaikki toimittajat kiinnostivat Lytroa koskevissa artikkeleissa, oli kyky rehellisesti säätää tarkennusta jälkituotannossa. Reilulla tarkoitetaan sitä, että emme käytä hämärtämisalgoritmeja, vaan käytämme yksinomaan käsillä olevia pikseleitä valitseen tai laskemalla ne klustereista vaaditussa järjestyksessä.
RAW-valokuvaus plenoptisella kameralla näyttää oudolta. Saadaksesi tavallisen terävän jeepin irti siitä, sinun on ensin koottava se. Tätä varten sinun on valittava jokainen jeepin pikseli jostakin RAW-klusterista. Riippuen siitä, kuinka valitsemme ne, tulos muuttuu.
Esimerkiksi mitä kauempana klusteri on alkuperäisen säteen tulopisteestä, sitä epätarkempi tämä säde on. Koska optiikka. Tarkennussiirretyn kuvan saamiseksi meidän tarvitsee vain valita pikselit halutulla etäisyydellä alkuperäisestä - joko lähempänä tai kauempana.
Oli vaikeampaa siirtää fokusta itseäsi kohti - puhtaasti fyysisesti tällaisia pikseleitä klustereissa oli vähemmän. Aluksi kehittäjät eivät edes halunneet antaa käyttäjälle mahdollisuutta tarkentaa käsillään – kamera itse päätti tämän ohjelmistossa. Käyttäjät eivät pitäneet tästä tulevaisuudesta, joten he lisäsivät myöhempään laiteohjelmistoon ominaisuuden nimeltä "luova tila", mutta tekivät tarkennusta siihen erittäin rajoitetusti juuri tästä syystä.
Syvyyskartta ja 3D yhdestä kamerasta
Yksi plenoptiikan yksinkertaisimmista toiminnoista on syvyyskartan saaminen. Tätä varten sinun tarvitsee vain kerätä kaksi erilaista kehystä ja laskea, kuinka paljon niissä olevia kohteita on siirretty. Enemmän siirtoa tarkoittaa kauempana kamerasta.
Google osti ja tappoi äskettäin Lytron, mutta käytti heidän tekniikkaansa VR:ään ja... Pixel-kameraan. Pixel 2:sta alkaen kamerasta tuli ensimmäistä kertaa "hieman" pleenoptinen, vaikkakin vain kahden pikselin klustereilla. Tämä antoi Googlelle mahdollisuuden olla asentamatta toista kameraa, kuten kaikki muut kaverit, vaan laskea syvyyskartan vain yhdestä valokuvasta.
Syvyyskartta on rakennettu käyttämällä kahta kehystä, jotka on siirretty yhden alipikselin verran. Tämä riittää laskemaan binäärisyvyyskartan ja erottamaan etualan taustasta ja sumentamaan jälkimmäisen nyt muodikkaassa bokehissa. Tällaisen kerrostuksen tulosta myös tasoittavat ja "parantavat" neuroverkot, jotka on koulutettu parantamaan syvyyskarttoja (eikä sumentaa, kuten monet ihmiset ajattelevat).
Temppu on, että saimme plenoptiikan älypuhelimiin lähes ilmaiseksi. Olemme jo laittaneet linssejä näihin pieniin matriiseihin lisätäksemme jotenkin valovirtaa. Seuraavassa Pixelissä Google aikoo mennä pidemmälle ja peittää neljä valodiodia linssillä.
Lähde: 3dnews.ru