Den originale artikkelen er lagt ut på nettsiden og publisert på 3DNews med tillatelse fra forfatteren. Vi gir hele teksten til artikkelen, med unntak av et stort antall lenker - de vil være nyttige for de som er seriøst interessert i emnet og ønsker å studere de teoretiske aspektene ved beregningsfotografering mer i dybden, men for en generelt publikum vi anså dette materialet som overflødig.
I dag er ikke en eneste smarttelefonpresentasjon komplett uten å slikke kameraet. Hver måned hører vi om mobilkameraenes neste suksess: Google lærer Pixel å skyte i mørket, Huawei å zoome som en kikkert, Samsung setter inn lidar, og Apple lager verdens rundeste hjørner. Det er få steder hvor innovasjon flyter så raskt i disse dager.
Samtidig ser speilene ut til å markere tid. Sony overøser hvert år alle med nye matriser, og produsenter oppdaterer dovent siste versjonssiffer og fortsetter å slappe av og røyke på sidelinjen. Jeg har et DSLR på 3000 dollar på skrivebordet mitt, men når jeg reiser, tar jeg iPhonen min. Hvorfor?
Som klassikeren sa, gikk jeg på nettet med dette spørsmålet. Der diskuterer de noen "algoritmer" og "nevrale nettverk", uten å ha noen formening om hvordan akkurat de påvirker fotografering. Journalister leser høyt opp antall megapiksler, bloggere ser betalte unboxings unisont, og esteter smører seg med «sensuell oppfatning av fargepaletten til matrisen». Alt er som vanlig.
Jeg måtte sette meg ned, bruke halve livet mitt og finne ut av alt selv. I denne artikkelen vil jeg fortelle deg hva jeg lærte.
Hva er databasert fotografering?
Overalt, inkludert Wikipedia, gir de noe sånt som denne definisjonen: beregningsfotografering er enhver bildefangst- og prosesseringsteknikk som bruker digital databehandling i stedet for optiske transformasjoner. Alt om det er bra, bortsett fra at det ikke forklarer noe. Selv autofokus er egnet for det, men plenoptikk, som allerede har brakt oss mange nyttige ting, passer ikke. Uklarheten i offisielle definisjoner ser ut til å antyde at vi ikke aner hva vi snakker om.
Pioneren innen beregningsfotografering, Stanford-professor Marc Levoy (som nå er ansvarlig for kameraet hos Google Pixel) gir en annen definisjon - et sett med datavisualiseringsmetoder som forbedrer eller utvider mulighetene til digital fotografering, ved hjelp av hvilke et vanlig fotografi oppnås som kunne teknisk sett ikke tas med dette kameraet.kamera på tradisjonell måte. I artikkelen forholder jeg meg til dette.
Så smarttelefoner hadde skylden for alt.
Smarttelefoner hadde ikke noe annet valg enn å føde en ny type fotografering: databasert fotografering.
Deres små støyende matriser og små linser med sakte blenderåpning, ifølge alle fysikkens lover, skulle bare ha ført til smerte og lidelse. De gjorde det helt til utviklerne deres fant ut hvordan de kunne bruke sine styrker på en smart måte for å overvinne svakhetene deres – raske elektroniske lukkere, kraftige prosessorer og programvare.
Mesteparten av den høyprofilerte forskningen innen databasert fotografering skjedde mellom 2005 og 2015, som i vitenskap regnes som bokstavelig talt i går. Akkurat nå, foran øynene våre og i lommene våre, utvikler det seg et nytt kunnskaps- og teknologifelt som aldri har eksistert før.
Beregningsfotografering handler ikke bare om selfies med neuro-bokeh. Det nylige fotografiet av et sort hull ville ikke vært mulig uten beregningstekniske fotograferingsteknikker. For å ta et slikt bilde med et vanlig teleskop, må vi gjøre det på størrelse med jorden. Men ved å kombinere data fra åtte radioteleskoper på forskjellige punkter på ballen vår og skrive noen få manus i Python, fikk vi verdens første fotografi av hendelseshorisonten. Bra for selfies også.
Start: digital behandling
La oss forestille oss at vi kom tilbake i 2007. Moren vår er anarki, og bildene våre er støyende 0,6 megapikslers jeeper tatt på et skateboard. Rundt da har vi det første uimotståelige ønsket om å strø forhåndsinnstillinger på dem for å skjule elendigheten til mobile matriser. La oss ikke fornekte oss selv.
Matan og Instagram
Med utgivelsen av Instagram ble alle besatt av filtre. Som en som reverserte X-Pro II, Lo-Fi og Valencia for selvfølgelig forskningsformål, husker jeg fortsatt at de besto av tre komponenter:
- Fargeinnstillinger (nyanse, metning, lyshet, kontrast, nivåer osv.) - enkle digitale koeffisienter, akkurat som alle forhåndsinnstillinger som fotografer har brukt siden antikken.
- Tonemappinger er vektorer av verdier, som hver fortalte oss: "Den røde fargen med en nyanse på 128 bør gjøres om til en nyanse på 240."
- Et overlegg er et gjennomskinnelig bilde med støv, korn, vignett og alt annet som kan legges på toppen for å få den slett ikke banale effekten av en gammel film. Var ikke alltid tilstede.
Moderne filtre er ikke langt unna denne trioen, de har bare blitt litt mer komplekse i matematikk. Med bruken av hardware shaders og OpenCL på smarttelefoner ble de raskt skrevet om for GPU, og dette ble ansett som veldig kult. For 2012, selvfølgelig. I dag kan enhver student gjøre det samme i CSS, og han vil fortsatt ikke få sjansen til å oppgradere.
Fremdriften av filtre har imidlertid ikke stoppet i dag. Gutta fra Dehanser er for eksempel flinke til å bruke ikke-lineære filtre – i stedet for proletarisk tonekartlegging bruker de mer komplekse ikke-lineære transformasjoner, som ifølge dem åpner for mye flere muligheter.
Du kan gjøre mange ting med ikke-lineære transformasjoner, men de er utrolig komplekse, og vi mennesker er utrolig dumme. Så snart det kommer til ikke-lineære transformasjoner i vitenskapen, foretrekker vi å gå til numeriske metoder og pugge nevrale nettverk overalt slik at de skriver mesterverk for oss. Det var det samme her.
Automatisering og drømmer om et "mesterverk"-knapp
Når alle ble vant til filtre, begynte vi å bygge dem direkte inn i kameraer. Historien skjuler hvilken produsent som var den første, men bare for å forstå hvor lenge siden det var - i iOS 5.0, som ble utgitt tilbake i 2011, fantes det allerede en offentlig API for automatisk forbedring av bilder. Bare Jobs vet hvor lenge den var i bruk før den ble åpnet for publikum.
Automatiseringen gjorde det samme som hver enkelt av oss gjør når vi åpner et bilde i redigeringsprogrammet – den trakk ut hull i lys og skygger, la til metning, fjernet røde øyne og fikset hudfarge. Brukere skjønte ikke engang at det "dramatisk forbedrede kameraet" i den nye smarttelefonen bare var fordelen med et par nye shaders. Det var fortsatt fem år igjen før lanseringen av Google Pixel og starten på datafotograferingshypen.
I dag har kampen om "mesterverk"-knappen flyttet til feltet maskinlæring. Etter å ha lekt nok med tonekartlegging, skyndte alle seg for å trene CNN-er og GAN-er til å flytte glidere i stedet for brukeren. Med andre ord, ut fra inngangsbildet, bestem et sett med optimale parametere som vil bringe dette bildet nærmere en viss subjektiv forståelse av "god fotografering." Implementert i samme Pixelmator Pro og andre redaktører. Det fungerer, som du kanskje gjetter, ikke veldig bra og ikke alltid.
Stabling er 90 % av suksessen til mobilkameraer
Ekte beregningsfotografering begynte med stabling – å legge flere fotografier oppå hverandre. Det er ikke et problem for en smarttelefon å klikke et dusin bilder på et halvt sekund. Kameraene deres har ingen trege mekaniske deler: blenderåpningen er fast, og i stedet for en bevegelig gardin er det en elektronisk lukker. Prosessoren kommanderer ganske enkelt matrisen hvor mange mikrosekunder den skal fange ville fotoner, og den leser resultatet.
Teknisk sett kan telefonen ta bilder med videohastighet, og video med bildeoppløsning, men alt avhenger av hastigheten på bussen og prosessoren. Derfor setter de alltid programgrenser.
Selve stakingen har vært med oss lenge. Til og med bestefedre installerte plugins på Photoshop 7.0 for å sette sammen flere fotografier til iøynefallende HDR eller sette sammen et panorama på 18000 × 600 piksler og... faktisk fant ingen ut hva de skulle gjøre med dem neste gang. Det var synd at tidene var rike og ville.
Nå har vi blitt voksne og kaller det "epsilon-fotografering" - når vi, ved å endre en av kameraparametrene (eksponering, fokus, posisjon) og sy sammen de resulterende rammene, får noe som ikke kunne fanges i én ramme. Men dette er en betegnelse for teoretikere, i praksis har et annet navn slått rot – staking. I dag er faktisk 90 % av alle innovasjoner innen mobilkameraer basert på det.
Noe som mange ikke tenker på, men det er viktig å forstå all mobil- og datafotografering: Kameraet på en moderne smarttelefon begynner å ta bilder så snart du åpner appen. Noe som er logisk, fordi hun på en eller annen måte trenger å overføre bildet til skjermen. Men i tillegg til skjermen, lagrer den høyoppløselige rammer i sin egen sløyfebuffer, hvor den lagrer dem i et par sekunder til.
Når du trykker på "ta bilde"-knappen er det faktisk allerede tatt, kameraet tar ganske enkelt det siste bildet fra bufferen.
Slik fungerer et hvilket som helst mobilkamera i dag. I alle fall i alle flaggskip ikke fra søppelhaugene. Bufring lar deg realisere ikke bare null lukkerforsinkelse, som fotografer lenge har drømt om, men til og med negativ - når du trykker på en knapp, ser smarttelefonen inn i fortiden, laster ut de siste 5-10 bildene fra bufferen og begynner å analysere febrilsk. og lim dem inn. Ikke mer å vente på at telefonen skal klikke på rammer for HDR- eller nattmodus - bare ta dem fra bufferen, brukeren vet ikke engang.
Det er forresten ved hjelp av negativ lukkerforsinkelse at Live Photo er implementert i iPhone, og HTC hadde noe lignende tilbake i 2013 under det merkelige navnet Zoe.
Eksponeringsstabling - HDR og bekjempelse av lysstyrkeendringer
Hvorvidt kamerasensorer er i stand til å fange opp hele spekteret av lysstyrke som er tilgjengelig for øynene våre, er et gammelt, hett debattemne. Noen sier nei, fordi øyet er i stand til å se opptil 25 f-stopp, mens selv fra en topp full-frame matrise kan du få maksimalt 14. Andre kaller sammenligningen feil, fordi hjernen hjelper øyet ved automatisk å justere pupillen og fullføre bildet med dets nevrale nettverk, og øyeblikket. Øyets dynamiske rekkevidde er faktisk ikke mer enn bare 10-14 f-stopp. La oss overlate denne debatten til de beste lenestoltenkerne på Internett.
Faktum gjenstår: Når du fotograferer venner mot en lys himmel uten HDR på noe mobilkamera, får du enten en normal himmel og venners svarte ansikter, eller godt tegnede venner, men en himmel som er svidd i hjel.
Løsningen har lenge vært oppfunnet - å utvide lysstyrkeområdet ved hjelp av HDR (High dynamic range). Du må ta flere bilder med forskjellige lukkerhastigheter og sy dem sammen. Slik at den ene er "normal", den andre er lysere, den tredje er mørkere. Vi tar mørke steder fra en lys ramme, fyller ut overeksponeringer fra en mørk - profitt. Alt som gjenstår er å løse problemet med automatisk bracketing - hvor mye skal eksponeringen for hver ramme forskyves for ikke å overdrive det, men nå kan en andreårsstudent ved et teknisk universitet håndtere å bestemme den gjennomsnittlige lysstyrken til et bilde.
På de nyeste iPhone, Pixel og Galaxy slås HDR-modus vanligvis på automatisk når en enkel algoritme inne i kameraet fastslår at du fotograferer noe med kontrast på en solrik dag. Du kan til og med legge merke til hvordan telefonen bytter opptaksmodus til bufferen for å spare rammer forskjøvet i eksponering - fps i kameraet synker, og selve bildet blir saftigere. Byttemomentet er godt synlig på min iPhone X når jeg filmer utendørs. Ta en nærmere titt på smarttelefonen neste gang også.
Ulempen med HDR med eksponeringsbracketing er dens ugjennomtrengelige hjelpeløshet i dårlig belysning. Selv med lyset fra en romlampe blir rammene så mørke at datamaskinen ikke kan justere og sy dem sammen. For å løse problemet med lys, viste Google i 2013 en annen tilnærming til HDR i den da utgitte Nexus-smarttelefonen. Han brukte timestabling.
Tidsstabling - simulering av lang eksponering og tidsforløp
Tidsstabling lar deg lage en lang eksponering ved å bruke en rekke korte. Pionerene var fans av å fotografere stjernestier på nattehimmelen, som syntes det var upraktisk å åpne lukkeren i to timer samtidig. Det var så vanskelig å beregne alle innstillingene på forhånd, og den minste risting ville ødelegge hele rammen. De bestemte seg for å åpne lukkeren bare i et par minutter, men mange ganger, og dro deretter hjem og limte inn de resulterende rammene i Photoshop.
Det viser seg at kameraet faktisk aldri tok en lang lukkerhastighet, men vi fikk effekten av å simulere det ved å legge sammen flere bilder tatt på rad. Det har vært en haug med apper skrevet for smarttelefoner som bruker dette trikset i lang tid, men alle er ikke nødvendig siden funksjonen ble lagt til nesten alle standardkameraer. I dag kan selv en iPhone enkelt sy sammen en lang eksponering fra et Live Photo.
La oss gå tilbake til Google med natt-HDR. Det viste seg at ved å bruke tidsavgrensning kan du implementere god HDR i mørket. Teknologien dukket først opp i Nexus 5 og ble kalt HDR+. Resten av Android-telefonene fikk det som en gave. Teknologien er fortsatt så populær at den til og med får ros i presentasjonen av de nyeste Pixels.
HDR+ fungerer ganske enkelt: etter å ha bestemt at du fotograferer i mørket, laster kameraet ut de siste 8-15 RAW-bildene fra bufferen for å legge dem oppå hverandre. Dermed samler algoritmen inn mer informasjon om de mørke områdene i rammen for å minimere støy – piksler der kameraet av en eller annen grunn ikke klarte å samle all informasjon og gikk galt.
Det er som at hvis du ikke visste hvordan en kapybara så ut og du spurte fem personer om å beskrive den, ville historiene deres være omtrent de samme, men hver av dem ville nevne noen unike detaljer. På denne måten vil du samle mer informasjon enn bare å spørre en. Det er det samme med piksler.
Å legge til rammer tatt fra ett punkt gir den samme falske langeksponeringseffekten som med stjernene ovenfor. Eksponeringen av dusinvis av rammer er oppsummert, feil i en er minimert i andre. Tenk deg hvor mange ganger du må klikke på DSLR-lukkeren hver gang for å oppnå dette.
Alt som gjensto var å løse problemet med automatisk fargekorrigering - rammer tatt i mørket blir vanligvis gule eller grønne, og vi ønsker på en måte rikdommen av dagslys. I tidlige versjoner av HDR+ ble dette løst ved ganske enkelt å justere innstillingene, som i filter a la Instagram. Deretter ba de nevrale nettverk for å hjelpe.
Dette er hvordan Night Sight dukket opp - teknologien til "nattfotografering" i Pixel 2 og 3. I beskrivelsen sier de: "Maskinlæringsteknikker bygget på toppen av HDR+, som får Night Sight til å fungere." I hovedsak er dette automatiseringen av fargekorrigeringsstadiet. Maskinen ble trent på et datasett med "før" og "etter"-bilder for å lage ett vakkert fra ethvert sett med mørke, skjeve bilder.
Datasettet ble forresten gjort offentlig tilgjengelig. Kanskje gutta fra Apple tar det og til slutt lærer glassskuffene sine å ta bilder skikkelig i mørket.
I tillegg bruker Night Sight beregningen av bevegelsesvektoren til objekter i bildet for å normalisere uskarphet som garantert vil oppstå med lang lukkerhastighet. Så smarttelefonen kan ta klare deler fra andre rammer og lime dem.
Bevegelsesstabling - panorama, superzoom og støyreduksjon
Panorama er en populær underholdning for innbyggere i landlige områder. Historien kjenner ennå ikke til noen tilfeller der et pølsebilde ville være av interesse for andre enn forfatteren, men det kan ikke ignoreres - for mange var det her stablingen begynte i utgangspunktet.
Den første nyttige måten å bruke et panorama på er å få et fotografi med høyere oppløsning enn kameramatrisen tillater ved å sy sammen flere bilder. Fotografer har lenge brukt ulik programvare for såkalte superoppløsningsfotografier – når litt forskjøvede fotografier ser ut til å utfylle hverandre mellom pikslene. På denne måten kan du få et bilde på minst hundrevis av gigapiksler, noe som er veldig nyttig hvis du trenger å skrive det ut på en reklameplakat på størrelse med et hus.
En annen, mer interessant tilnærming er Pixel Shifting. Noen speilløse kameraer som Sony og Olympus begynte å støtte det tilbake i 2014, men de måtte fortsatt lime resultatet for hånd. Typiske storkamerainnovasjoner.
Smarttelefoner har lykkes her av en morsom grunn - når du tar et bilde, rister hendene dine. Dette tilsynelatende problemet dannet grunnlaget for implementeringen av innfødt superoppløsning på smarttelefoner.
For å forstå hvordan dette fungerer, må du huske hvordan matrisen til et kamera er strukturert. Hver av dens piksler (fotodiode) er i stand til å registrere bare intensiteten av lys - det vil si antall innkommende fotoner. En piksel kan imidlertid ikke måle fargen (bølgelengden). For å få et RGB-bilde måtte vi legge til krykker også her - dekk hele matrisen med et rutenett av flerfargede glassbiter. Den mest populære implementeringen kalles Bayer-filteret og brukes i de fleste matriser i dag. Ser ut som bildet nedenfor.
Det viser seg at hver piksel i matrisen bare fanger opp R-, G- eller B-komponenten, fordi de gjenværende fotonene reflekteres nådeløst av Bayer-filteret. Den gjenkjenner de manglende komponentene ved å ta et direkte gjennomsnitt av verdiene til nabopiksler.
Det er flere grønne celler i Bayer-filteret - dette ble gjort i analogi med det menneskelige øyet. Det viser seg at av 50 millioner piksler på matrisen, vil grønt fange opp 25 millioner, rødt og blått - 12,5 millioner hver. Resten vil være gjennomsnittlig - denne prosessen kalles debayerization eller demosaicing, og dette er en så fet, morsom krykke på som alt hviler.
Faktisk har hver matrise sin egen utspekulerte patenterte demosaicing-algoritme, men for denne historiens formål vil vi overse dette.
Andre typer matriser (som Foveon) har på en eller annen måte ikke fått med seg ennå. Selv om noen produsenter prøver å bruke sensorer uten Bayer-filter for å forbedre skarpheten og dynamisk rekkevidde.
Når det er lite lys eller detaljene til en gjenstand er veldig små, mister vi mye informasjon fordi Bayer-filteret åpenbart kutter av fotoner med en uønsket bølgelengde. Det er derfor de kom opp med Pixel Shifting – å flytte matrisen med 1 piksel opp-ned-høyre-venstre for å fange dem alle. I dette tilfellet viser ikke bildet seg å være 4 ganger større, som det kan virke, prosessoren bruker ganske enkelt disse dataene for mer nøyaktig å registrere verdien av hver piksel. Det er ikke gjennomsnittlig over naboene, så å si, men over fire verdier av seg selv.
Håndristingen når vi tar bilder på telefonen gjør denne prosessen til en naturlig konsekvens. I de nyeste versjonene av Google Pixel er denne tingen implementert og slås på når du bruker zoom på telefonen – den kalles Super Res Zoom (ja, jeg liker også deres nådeløse navn). Kineserne kopierte det også inn i laofonene sine, selv om det ble litt verre.
Ved å legge litt forskjøvede bilder oppå hverandre kan du samle mer informasjon om fargen på hver piksel, noe som betyr å redusere støy, øke skarpheten og øke oppløsningen uten å øke det fysiske antallet megapiksler i matrisen. Moderne Android-flaggskip gjør dette automatisk, uten at brukerne deres engang tenker på det.
Fokusstabling - hvilken som helst dybdeskarphet og refokus i etterproduksjon
Metoden kommer fra makrofotografering, hvor grunt dybdeskarphet alltid har vært et problem. For at hele objektet skulle være i fokus, måtte du ta flere bilder med fokus skiftende frem og tilbake, og deretter sy dem sammen til en skarp. Den samme metoden ble ofte brukt av landskapsfotografer, og gjorde forgrunnen og bakgrunnen like skarp som diaré.
Alt dette har også flyttet til smarttelefoner, dog uten mye hype. I 2013 ble Nokia Lumia 1020 med «Refocus App» utgitt, og i 2014, Samsung Galaxy S5 med «Selective Focus»-modus. De jobbet i henhold til samme skjema: ved å trykke på en knapp tok de raskt 3 bilder - ett med "normal" fokus, det andre med fokus flyttet fremover og det tredje med fokus flyttet tilbake. Programmet justerte rammer og tillot deg å velge en av dem, som ble utpekt som "ekte" fokuskontroll i etterproduksjon.
Det var ingen videre prosessering, for selv dette enkle hacket var nok til å slå enda en spiker inn i lokket til Lytro og jevnaldrende med deres ærlige refokusering. La oss forresten snakke om dem (transition master 80 lvl).
Beregningsmatriser - lysfelt og plenoptikk
Som vi forsto ovenfor, er matrisene våre skrekk på krykker. Vi har akkurat blitt vant til det og prøver å leve med det. Strukturen deres har endret seg lite siden tidenes begynnelse. Vi forbedret bare den tekniske prosessen - vi reduserte avstanden mellom pikslene, kjempet mot interferensstøy og la til spesielle piksler for fasedeteksjonsautofokus. Men hvis du tar selv det dyreste DSLR og prøver å fotografere en løpende katt med den i rombelysning - vil katten mildt sagt vinne.
Vi har lenge prøvd å finne på noe bedre. Mange forsøk og forskning på dette området er googlet etter "beregningssensor" eller "ikke-bayer-sensor", og til og med Pixel Shifting-eksemplet ovenfor kan tilskrives forsøk på å forbedre matriser ved hjelp av beregninger. Imidlertid har de mest lovende historiene de siste tjue årene kommet til oss nettopp fra verden av såkalte plenoptiske kameraer.
For at du ikke skal sovne fra forventningen om forestående komplekse ord, vil jeg legge inn en insider om at kameraet til den nyeste Google Pixel bare er "litt" plenoptisk. Bare to piksler, men selv dette lar den beregne den korrekte optiske dybden til rammen selv uten et ekstra kamera, som alle andre.
Plenoptikk er et kraftig våpen som ennå ikke har avfyrt. Her er en lenke til en av mine favoritter nylig. , hvor jeg har lånt eksemplene fra.
Plenoptisk kamera - kommer snart
Oppfunnet i 1994, samlet på Stanford i 2004. Det første forbrukerkameraet, Lytro, ble utgitt i 2012. VR-industrien eksperimenterer nå aktivt med lignende teknologier.
Et plenoptisk kamera skiller seg fra et konvensjonelt kamera i bare én modifikasjon - matrisen er dekket med et rutenett av linser, som hver dekker flere ekte piksler. Noe sånt som dette:
Hvis du riktig beregner avstanden fra rutenettet til matrisen og størrelsen på blenderåpningen, vil det endelige bildet ha klare klynger av piksler - en slags miniversjoner av originalbildet.
Det viser seg at hvis du tar for eksempel én sentral piksel fra hver klynge og limer sammen bildet bare ved å bruke dem, vil det ikke være annerledes enn det som er tatt med et vanlig kamera. Ja, vi har mistet litt i oppløsning, men vi ber Sony bare legge til flere megapiksler i de nye matrisene.
Moroa har bare så vidt begynt. hvis du tar en annen piksel fra hver klynge og syr bildet sammen igjen, vil du få et normalt fotografi igjen, bare som om det ble tatt med en forskyvning på en piksel. Med klynger på 10 × 10 piksler vil vi dermed få 100 bilder av objektet fra "litt" forskjellige punkter.
Større klyngestørrelse betyr flere bilder, men lavere oppløsning. I en verden av smarttelefoner med 41 megapikslers matriser, selv om vi kan neglisjere oppløsningen litt, er det en grense for alt. Du må opprettholde balansen.
Ok, vi har satt sammen et plenoptisk kamera, så hva gir det oss?
Ærlig refokusering
Funksjonen som alle journalistene surret om i artikler om Lytro var muligheten til å ærlig justere fokus i etterproduksjonen. Med rettferdig mener vi at vi ikke bruker noen uskarphet algoritmer, men bruker utelukkende piksler for hånden, velger eller tar gjennomsnitt av dem fra klynger i ønsket rekkefølge.
RAW-fotografering fra et plenoptisk kamera ser rart ut. For å få den vanlige skarpe jeepen ut av den, må du først montere den. For å gjøre dette må du velge hver piksel av jeepen fra en av RAW-klyngene. Avhengig av hvordan vi velger dem, vil resultatet endre seg.
For eksempel, jo lenger klyngen er fra innfallspunktet til den opprinnelige strålen, jo mer ute av fokus er denne strålen. Fordi optikk. For å få et fokusforskjøvet bilde trenger vi bare å velge piksler i ønsket avstand fra originalen – enten nærmere eller lenger.
Det var vanskeligere å flytte fokus mot seg selv – rent fysisk var det færre slike piksler i klyngene. Til å begynne med ønsket ikke utviklerne engang å gi brukeren muligheten til å fokusere med hendene - kameraet selv bestemte dette i programvaren. Brukere likte ikke denne fremtiden, så de la til en funksjon i senere fastvare kalt "kreativ modus", men gjorde refokusering i den svært begrenset av akkurat denne grunnen.
Dybdekart og 3D fra ett kamera
En av de enkleste operasjonene innen plenoptikk er å skaffe et dybdekart. For å gjøre dette trenger du bare å samle to forskjellige rammer og beregne hvor mye objektene i dem er forskjøvet. Mer skift betyr lenger unna kameraet.
Google kjøpte og drepte nylig Lytro, men brukte teknologien deres for VR og ... for Pixel-kameraet. Fra og med Pixel 2 ble kameraet "litt" plenoptisk for første gang, om enn med klynger på bare to piksler. Dette ga Google muligheten til ikke å installere et ekstra kamera, som alle de andre gutta, men å beregne dybdekartet utelukkende fra ett bilde.
Dybdekartet er bygget ved å bruke to rammer forskjøvet med én underpiksel. Dette er ganske nok til å beregne et binært dybdekart og skille forgrunnen fra bakgrunnen og uskarpe sistnevnte i den nå fasjonable bokeh. Resultatet av slik lagdeling blir også jevnet ut og "forbedret" av nevrale nettverk som er opplært til å forbedre dybdekart (og ikke uskarphet, som mange tror).
Trikset er at vi fikk plenoptikk i smarttelefoner nesten gratis. Vi har allerede satt linser på disse bittesmå matrisene for på en eller annen måte å øke lysstrømmen. I den neste Pixel planlegger Google å gå lenger og dekke fire fotodioder med en linse.
Kilde: 3dnews.ru