Den originale artikel er lagt på hjemmesiden og offentliggjort på 3DNews med tilladelse fra forfatteren. Vi leverer artiklens fulde tekst med undtagelse af et stort antal links - de vil være nyttige for dem, der er seriøst interesserede i emnet og gerne vil studere de teoretiske aspekter af computerfotografering mere i dybden, men for en generelt publikum betragtede vi dette materiale som overflødigt.
I dag er ikke en eneste smartphone-præsentation komplet uden at slikke sit kamera. Hver måned hører vi om mobilkameraernes næste succes: Google lærer Pixel at skyde i mørke, Huawei at zoome som en kikkert, Samsung introducerer lidar, og Apple laver verdens rundeste hjørner. Der er få steder, hvor innovation flyder så hurtigt i disse dage.
Samtidig ser spejlene ud til at markere tid. Sony overøser hvert år alle med nye matricer, og producenterne opdaterer dovent det seneste versionsciffer og fortsætter med at slappe af og ryge på sidelinjen. Jeg har et DSLR til $3000 på mit skrivebord, men når jeg rejser, tager jeg min iPhone. Hvorfor?
Som klassikeren sagde, gik jeg online med dette spørgsmål. Der diskuterer de nogle "algoritmer" og "neurale netværk", uden at have nogen idé om, hvordan de præcist påvirker fotografiet. Journalister læser højlydt antallet af megapixels op, bloggere ser betalte unboxings i forening, og æstetikere smører sig med "sensuel opfattelse af matrixens farvepalet." Alt er som det plejer.
Jeg måtte sætte mig ned, bruge halvdelen af mit liv og finde ud af det hele selv. I denne artikel vil jeg fortælle dig, hvad jeg har lært.
Hvad er computerfotografering?
Overalt, inklusive Wikipedia, giver de noget som denne definition: computerfotografering er enhver billedoptagelses- og behandlingsteknik, der bruger digital databehandling i stedet for optiske transformationer. Alt ved det er godt, bortset fra at det ikke forklarer noget. Selv autofokus er velegnet til det, men plenoptik, som allerede har bragt os en masse nyttige ting, passer ikke. Uklarheden af officielle definitioner synes at antyde, at vi ikke aner, hvad vi taler om.
Pioneren inden for computerfotografering, Stanford-professor Marc Levoy (som nu er ansvarlig for kameraet hos Google Pixel) giver en anden definition - et sæt computervisualiseringsmetoder, der forbedrer eller udvider mulighederne for digital fotografering, ved hjælp af hvilke et almindeligt fotografi opnås, som kunne teknisk set ikke tages med dette kamera.kamera på traditionel vis. I artiklen holder jeg mig til dette.
Så smartphones var skyld i alt.
Smartphones havde intet andet valg end at føde en ny slags fotografi: computerfotografering.
Deres små støjende matricer og små linser med langsom blænde skulle ifølge alle fysikkens love kun have medført smerte og lidelse. De bragte dem, indtil deres udviklere fandt ud af, hvordan de smart kunne bruge deres styrker til at overvinde deres svagheder - hurtige elektroniske lukkere, kraftfulde processorer og software.
Det meste af den højprofilerede forskning inden for computerfotografering fandt sted mellem 2005 og 2015, hvilket i videnskaben betragtes som bogstaveligt talt i går. Lige nu, foran vores øjne og i vores lommer, udvikler der sig et nyt viden- og teknologifelt, som aldrig har eksisteret før.
Computerfotografering handler ikke kun om selfies med neuro-bokeh. Det nylige fotografi af et sort hul ville ikke have været muligt uden beregningstekniske fotograferingsteknikker. For at tage sådan et billede med et almindeligt teleskop, skulle vi gøre det på størrelse med Jorden. Men ved at kombinere data fra otte radioteleskoper på forskellige punkter på vores bold og skrive et par scripts i Python, fik vi verdens første fotografi af begivenhedshorisonten. Også god til selfies.
Start: digital behandling
Lad os forestille os, at vi vendte tilbage i 2007. Vores mor er anarki, og vores billeder er støjende 0,6 megapixel jeeps taget på et skateboard. Omkring da har vi det første uimodståelige ønske om at drysse forudindstillinger på dem for at skjule det elendige ved mobile matricer. Lad os ikke fornægte os selv.
Matan og Instagram
Med udgivelsen af Instagram blev alle besat af filtre. Som en, der reverse-designede X-Pro II, Lo-Fi og Valencia til selvfølgelig forskningsformål, husker jeg stadig, at de bestod af tre komponenter:
- Farveindstillinger (Hue, Saturation, Lightness, Contrast, Levels osv.) - simple digitale koefficienter, præcis som alle forudindstillinger, som fotografer har brugt siden oldtiden.
- Tone Mappings er vektorer af værdier, som hver især fortalte os: "Den røde farve med en nuance på 128 skal omdannes til en nuance på 240."
- Et overlay er et gennemsigtigt billede med støv, korn, vignet og alt det andet, der kan lægges ovenpå for at få den slet ikke banale effekt af en gammel film. Var ikke altid til stede.
Moderne filtre er ikke langt fra denne trio, de er kun blevet lidt mere komplekse i matematik. Med fremkomsten af hardware shaders og OpenCL på smartphones blev de hurtigt omskrevet til GPU'en, og dette blev betragtet som vildt fedt. For 2012, selvfølgelig. I dag kan enhver studerende gøre det samme i CSS, og han vil stadig ikke få chancen for at opgradere.
Fremgangen med filtre er dog ikke stoppet i dag. Fyrene fra Dehanser er for eksempel gode til at bruge ikke-lineære filtre – i stedet for proletarisk tonemapping bruger de mere komplekse ikke-lineære transformationer, hvilket ifølge dem åbner op for langt flere muligheder.
Man kan gøre mange ting med ikke-lineære transformationer, men de er utrolig komplekse, og vi mennesker er utroligt dumme. Så snart det kommer til ikke-lineære transformationer i videnskaben, foretrækker vi at gå til numeriske metoder og proppe neurale netværk overalt, så de skriver mesterværker til os. Det var det samme her.
Automatisering og drømme om et "mesterværk"-knap
Da alle var vant til filtre, begyndte vi at bygge dem direkte ind i kameraer. Historien skjuler, hvilken producent der var den første, men bare for at forstå, hvor lang tid siden det var - i iOS 5.0, som blev udgivet tilbage i 2011, var der allerede en offentlig API til Auto Enhancing Images. Kun Jobs ved, hvor længe det var i brug, før det åbnede for offentligheden.
Automatiseringen gjorde det samme, som vi hver især gør, når vi åbner et billede i editoren - den fjernede huller i lys og skygger, tilføjede mætning, fjernede røde øjne og fikserede teint. Brugerne var ikke engang klar over, at det "dramatisk forbedrede kamera" i den nye smartphone kun var fordelen ved et par nye shaders. Der var stadig fem år tilbage før udgivelsen af Google Pixel og starten på computerfotograferingshypen.
I dag er kampen om "mesterværket"-knappen flyttet til feltet maskinlæring. Efter at have spillet nok med tonemapping skyndte alle sig at træne CNN'er og GAN'er til at flytte skydere i stedet for brugeren. Med andre ord, ud fra inputbilledet, bestem et sæt optimale parametre, der ville bringe dette billede tættere på en vis subjektiv forståelse af "god fotografering." Implementeret i samme Pixelmator Pro og andre editorer. Det virker, som du måske kan gætte, ikke særlig godt og ikke altid.
Stabling er 90 % af mobilkameraernes succes
Ægte computerfotografering begyndte med at stable flere fotografier oven på hinanden. Det er ikke et problem for en smartphone at klikke på et dusin billeder på et halvt sekund. Deres kameraer har ingen langsomme mekaniske dele: blænden er fast, og i stedet for et bevægeligt gardin er der en elektronisk lukker. Processoren kommanderer simpelthen matrixen, hvor mange mikrosekunder den skal fange vilde fotoner, og den læser resultatet.
Teknisk set kan telefonen tage billeder med videohastighed og video med billedopløsning, men det hele afhænger af bussens og processorens hastighed. Derfor sætter de altid programgrænser.
Selve satsningen har været med os længe. Selv bedstefædre installerede plugins på Photoshop 7.0 for at samle flere fotografier til iøjnefaldende HDR eller sammensætte et panorama på 18000 × 600 pixels og... faktisk fandt ingen nogensinde ud af, hvad de skulle gøre med dem næste gang. Det var ærgerligt, at tiderne var rige og vilde.
Nu er vi blevet voksne og kalder det "epsilon-fotografering" - når vi ved at ændre et af kameraparametrene (eksponering, fokus, position) og sy de resulterende billeder sammen, får noget, der ikke kunne fanges i én ramme. Men dette er en betegnelse for teoretikere; i praksis har et andet navn slået rod - staking. I dag er faktisk 90 % af alle innovationer inden for mobilkameraer baseret på det.
Noget, som mange mennesker ikke tænker over, men det er vigtigt at forstå al mobil- og computerfotografering: Kameraet på en moderne smartphone begynder at tage billeder, så snart du åbner dens app. Hvilket er logisk, for hun skal på en eller anden måde overføre billedet til skærmen. Ud over skærmen gemmer den dog højopløselige rammer i sin egen loop-buffer, hvor den gemmer dem i et par sekunder mere.
Når du trykker på knappen “tag billede”, er det faktisk allerede taget, kameraet tager blot det sidste billede fra bufferen.
Sådan fungerer ethvert mobilkamera i dag. I hvert fald i alle flagskibe ikke fra skraldebunkerne. Buffering giver dig mulighed for at indse ikke bare nul lukkerforsinkelse, som fotografer længe har drømt om, men endda negativ - når du trykker på en knap, ser smartphonen ind i fortiden, læsser de sidste 5-10 billeder fra bufferen og begynder febrilsk at analysere og indsæt dem. Ikke mere at vente på, at telefonen klikker på rammer til HDR- eller nattilstand - bare tag dem fra bufferen, brugeren ved det ikke engang.
Det er i øvrigt ved hjælp af negativ lukkerforsinkelse, at Live Photo er implementeret i iPhones, og HTC havde noget lignende tilbage i 2013 under det mærkelige navn Zoe.
Eksponeringsstabling - HDR og bekæmpelse af lysstyrkeændringer
Hvorvidt kamerasensorer er i stand til at fange hele rækkevidden af lysstyrke, der er tilgængelig for vores øjne, er et gammelt varmt debatemne. Nogle siger nej, fordi øjet er i stand til at se op til 25 f-stop, mens man selv fra en top fuld-frame matrix kan få maksimalt 14. Andre kalder sammenligningen forkert, fordi hjernen hjælper øjet ved automatisk at justere pupillen og fuldende billedet med dets neurale netværk, og det øjeblik Øjets dynamiske rækkevidde er faktisk ikke mere end blot 10-14 f-stop. Lad os overlade denne debat til de bedste lænestolstænkere på internettet.
Faktum er stadig: Når du skyder venner mod en lys himmel uden HDR på noget mobilkamera, får du enten en normal himmel og venners sorte ansigter eller veltegnede venner, men en himmel svedet ihjel.
Løsningen er længe blevet opfundet - at udvide lysstyrkeområdet ved hjælp af HDR (High dynamic range). Du skal tage flere billeder med forskellige lukkerhastigheder og sy dem sammen. Så den ene er "normal", den anden er lysere, den tredje er mørkere. Vi tager mørke steder fra en lys ramme, udfylder overeksponeringer fra en mørk - profit. Det eneste, der er tilbage, er at løse problemet med automatisk bracketing - hvor meget skal eksponeringen af hvert billede flyttes for ikke at overdrive det, men nu kan en andenårsstuderende på et teknisk universitet håndtere at bestemme den gennemsnitlige lysstyrke af et billede.
På den nyeste iPhone, Pixel og Galaxy slås HDR-tilstand generelt til automatisk, når en simpel algoritme inde i kameraet bestemmer, at du optager noget med kontrast på en solskinsdag. Du kan endda bemærke, hvordan telefonen skifter optagetilstand til bufferen for at gemme billeder, der er flyttet i eksponering - fps i kameraet falder, og selve billedet bliver saftigere. Skiftemomentet er tydeligt synligt på min iPhone X, når jeg filmer udendørs. Se også nærmere på din smartphone næste gang.
Ulempen ved HDR med eksponeringsbracketing er dens uigennemtrængelige hjælpeløshed i dårlig belysning. Selv med lyset fra en rumlampe bliver rammerne så mørke, at computeren ikke kan justere og sy dem sammen. For at løse problemet med lys viste Google i 2013 en anden tilgang til HDR i den dengang frigivne Nexus-smartphone. Han brugte timestabling.
Tidsstabling - simulering af lang eksponering og time lapse
Tidsstabling giver dig mulighed for at oprette en lang eksponering ved hjælp af en række korte. Pionererne var fans af at fotografere stjernestier på nattehimlen, som fandt det ubelejligt at åbne lukkeren i to timer på én gang. Det var så svært at beregne alle indstillinger på forhånd, og den mindste rysten ville ødelægge hele rammen. De besluttede kun at åbne lukkeren i et par minutter, men mange gange, og gik derefter hjem og indsatte de resulterende rammer i Photoshop.
Det viser sig, at kameraet faktisk aldrig optog med en lang lukkerhastighed, men vi fik effekten af at simulere det ved at lægge flere billeder sammen taget i træk. Der har været skrevet en masse apps til smartphones, der bruger dette trick i lang tid, men alle er ikke nødvendige, da funktionen blev tilføjet til næsten alle standardkameraer. I dag kan selv en iPhone nemt sy sammen en lang eksponering fra et Live Photo.
Lad os gå tilbage til Google med dets nat-HDR. Det viste sig, at man ved at bruge time bracketing kan implementere god HDR i mørke. Teknologien dukkede først op i Nexus 5 og blev kaldt HDR+. Resten af Android-telefonerne modtog det som en gave. Teknologien er stadig så populær, at den endda bliver rost i præsentationen af de nyeste Pixels.
HDR+ fungerer ganske enkelt: Efter at have fastslået, at du fotograferer i mørke, udlæser kameraet de sidste 8-15 RAW-billeder fra bufferen for at overlejre dem oven på hinanden. Algoritmen indsamler således mere information om de mørke områder i rammen for at minimere støj - pixels, hvor kameraet af en eller anden grund ikke var i stand til at indsamle al information og gik galt.
Det er som om, at hvis du ikke vidste, hvordan en kapybara så ud, og du bad fem personer om at beskrive den, ville deres historier være nogenlunde de samme, men hver ville nævne nogle unikke detaljer. På denne måde ville du indsamle flere oplysninger end blot at spørge om en. Det er det samme med pixels.
Tilføjelse af rammer taget fra ét punkt giver den samme falske langeksponeringseffekt som med stjernerne ovenfor. Eksponeringen af snesevis af frames er opsummeret, fejl i én minimeres i andre. Forestil dig, hvor meget du skal klikke på DSLR-udløseren hver gang for at opnå dette.
Tilbage var kun at løse problemet med automatisk farvekorrektion - rammer taget i mørke bliver som regel helt gule eller grønne, og vi vil gerne have rigdommen af dagslys. I tidlige versioner af HDR+ blev dette løst ved blot at justere indstillingerne, som i filtre a la Instagram. Så opfordrede de neurale netværk til at hjælpe.
Sådan fremstod Night Sight - teknologien til "natfotografering" i Pixel 2 og 3. I beskrivelsen siger de: "Machine learning-teknikker bygget oven på HDR+, som får Night Sight til at fungere." I det væsentlige er dette automatiseringen af farvekorrektionsstadiet. Maskinen blev trænet på et datasæt af "før" og "efter" billeder for at lave et smukt ud fra ethvert sæt mørke skæve billeder.
Datasættet blev i øvrigt gjort offentligt tilgængeligt. Måske vil gutterne fra Apple tage det og til sidst lære deres glasskovle at tage billeder ordentligt i mørke.
Derudover bruger Night Sight beregningen af bevægelsesvektoren for objekter i billedet til at normalisere sløringen, der med sikkerhed vil opstå med en lang lukkerhastighed. Så smartphonen kan tage klare dele fra andre rammer og lime dem.
Bevægelsesstabling - panorama, superzoom og støjreduktion
Panorama er en populær underholdning for beboere i landdistrikter. Historien kender endnu ikke til tilfælde, hvor et pølsefoto ville være interessant for andre end dets forfatter, men det kan ikke ignoreres - for mange er det her, stablingen begyndte i første omgang.
Den første brugbare måde at bruge et panorama på er at få et fotografi med en højere opløsning end kameramatricen tillader ved at sy flere billeder sammen. Fotografer har længe brugt forskellig software til såkaldte superopløsningsfotografier – når let forskudte fotografier synes at komplementere hinanden mellem pixels. På denne måde kan du få et billede på mindst hundrede af gigapixels, hvilket er meget nyttigt, hvis du skal printe det på en reklameplakat på størrelse med et hus.
En anden, mere interessant tilgang er Pixel Shifting. Nogle spejlløse kameraer som Sony og Olympus begyndte at understøtte det tilbage i 2014, men de skulle stadig lime resultatet i hånden. Typiske innovationer til store kameraer.
Smartphones er lykkedes her af en sjov grund – når du tager et billede, ryster dine hænder. Dette tilsyneladende problem dannede grundlaget for implementeringen af native super opløsning på smartphones.
For at forstå, hvordan dette fungerer, skal du huske, hvordan matrixen for ethvert kamera er opbygget. Hver af dens pixels (fotodiode) er kun i stand til at optage lysets intensitet - det vil sige antallet af indkommende fotoner. En pixel kan dog ikke måle sin farve (bølgelængde). For at få et RGB-billede var vi også nødt til at tilføje krykker her - dække hele matrixen med et gitter af flerfarvede glasstykker. Dens mest populære implementering kaldes Bayer-filteret og bruges i de fleste matricer i dag. Ser ud som billedet nedenfor.
Det viser sig, at hver pixel i matrixen kun fanger R-, G- eller B-komponenten, fordi de resterende fotoner nådesløst reflekteres af Bayer-filteret. Den genkender de manglende komponenter ved direkte at tage et gennemsnit af værdierne af nabopixels.
Der er flere grønne celler i Bayer-filteret - dette blev gjort i analogi med det menneskelige øje. Det viser sig, at ud af 50 millioner pixels på matrixen, vil grøn fange 25 millioner, rød og blå - 12,5 millioner hver. Resten vil blive beregnet i gennemsnit - denne proces kaldes debayerization eller demosaicing, og det er sådan en fed sjov krykke på som alt hviler.
Faktisk har hver matrix sin egen snedige patenterede demosaicing-algoritme, men i forbindelse med denne historie vil vi negligere dette.
Andre typer matricer (såsom Foveon) har på en eller anden måde ikke fået fat endnu. Selvom nogle producenter forsøger at bruge sensorer uden et Bayer-filter for at forbedre skarpheden og det dynamiske område.
Når der er lidt lys, eller detaljerne i et objekt er meget små, mister vi en masse information, fordi Bayer-filteret åbenlyst afskærer fotoner med en uønsket bølgelængde. Det er derfor, de fandt på Pixel Shifting - at flytte matrixen med 1 pixel op-ned-højre-venstre for at fange dem alle. I dette tilfælde viser billedet sig ikke at være 4 gange større, som det ser ud til, processoren bruger simpelthen disse data til mere præcist at registrere værdien af hver pixel. Det gennemsnit ikke over sine naboer, så at sige, men over fire værdier af sig selv.
Rysten på vores hænder, når vi tager billeder på telefonen, gør denne proces til en naturlig konsekvens. I de nyeste versioner af Google Pixel er denne ting implementeret og tændes, når du bruger zoom på telefonen – det hedder Super Res Zoom (ja, jeg kan også godt lide deres nådesløse navngivning). Kineserne kopierede det også ind i deres laofoner, selvom det blev lidt værre.
Overlejring af let forskudte billeder oven på hinanden giver dig mulighed for at indsamle mere information om farven på hver pixel, hvilket betyder at reducere støj, øge skarpheden og hæve opløsningen uden at øge det fysiske antal megapixel i matrixen. Moderne Android-flagskibe gør dette automatisk, uden at deres brugere selv tænker over det.
Fokusstabling - enhver dybdeskarphed og genfokus i postproduktion
Metoden kommer fra makrofotografering, hvor lav dybdeskarphed altid har været et problem. For at hele objektet skulle være i fokus, skulle du tage flere billeder med fokus skiftende frem og tilbage og derefter sy dem sammen til en skarp. Den samme metode blev ofte brugt af landskabsfotografer, hvilket gjorde forgrunden og baggrunden så skarp som diarré.
Alt dette er også flyttet til smartphones, dog uden den store hype. I 2013 blev Nokia Lumia 1020 med "Refocus App" udgivet, og i 2014 Samsung Galaxy S5 med "Selective Focus"-tilstand. De arbejdede efter samme skema: ved at trykke på en knap tog de hurtigt 3 billeder - et med "normal" fokus, det andet med fokus flyttet fremad og det tredje med fokus flyttet tilbage. Programmet justerede rammer og gav dig mulighed for at vælge en af dem, som blev udråbt som "rigtig" fokuskontrol i post-produktion.
Der var ingen yderligere bearbejdning, for selv dette simple hack var nok til at slå endnu et søm i låget på Lytro og dets jævnaldrende med deres ærlige omfokusering. Lad os forresten tale om dem (transition master 80 lvl).
Beregningsmatricer - lysfelter og plenoptik
Som vi forstod ovenfor, er vores matricer rædsel på krykker. Vi har lige vænnet os til det og prøver at leve med det. Deres struktur har ændret sig lidt siden tidernes begyndelse. Vi forbedrede kun den tekniske proces - vi reducerede afstanden mellem pixels, kæmpede mod interferensstøj og tilføjede specielle pixels til fasedetekteringsautofokus. Men hvis du tager selv det dyreste spejlreflekskamera og forsøger at fotografere en løbende kat med det i rumbelysning - vil katten mildt sagt vinde.
Vi har i lang tid forsøgt at opfinde noget bedre. En masse forsøg og forskning på dette område er googlet efter "computational sensor" eller "non-bayer sensor", og selv Pixel Shifting-eksemplet ovenfor kan tilskrives forsøg på at forbedre matricer ved hjælp af beregninger. Men de mest lovende historier i de sidste tyve år er kommet til os netop fra verden af såkaldte plenoptiske kameraer.
For at du ikke falder i søvn fra forventningen om forestående komplekse ord, vil jeg indsende en insider om, at kameraet på den nyeste Google Pixel bare er "lidt" plenoptisk. Kun to pixels, men selv dette gør det muligt at beregne den korrekte optiske dybde af rammen selv uden et ekstra kamera, som alle andre.
Plenoptik er et kraftfuldt våben, der endnu ikke er affyret. Her er et link til en af mine seneste yndlings. , hvor jeg har lånt eksemplerne fra.
Plenoptisk kamera - kommer snart
Opfundet i 1994, samlet på Stanford i 2004. Det første forbrugerkamera, Lytro, blev udgivet i 2012. VR-industrien eksperimenterer nu aktivt med lignende teknologier.
Et plenoptisk kamera adskiller sig fra et konventionelt kamera i kun en modifikation - dets matrix er dækket af et gitter af linser, som hver dækker flere rigtige pixels. Noget som dette:
Hvis du korrekt beregner afstanden fra gitteret til matrixen og størrelsen af blænden, vil det endelige billede have klare klynger af pixels - en slags miniversioner af det originale billede.
Det viser sig, at hvis du f.eks. tager en central pixel fra hver klynge og limer billedet sammen kun ved hjælp af dem, vil det ikke være anderledes end det, der er taget med et almindeligt kamera. Ja, vi har mistet lidt i opløsning, men vi vil bare bede Sony om at tilføje flere megapixel i de nye matricer.
Det sjove er kun lige begyndt. hvis du tager endnu en pixel fra hver klynge og syr billedet sammen igen, får du et normalt fotografi igen, kun som om det var taget med et skift på en pixel. Med klynger på 10 × 10 pixels vil vi således få 100 billeder af objektet fra "lidt" forskellige punkter.
Større klyngestørrelse betyder flere billeder, men lavere opløsning. I en verden af smartphones med 41-megapixel matricer, selvom vi kan negligere opløsningen lidt, er der en grænse for alt. Du skal bevare balancen.
Okay, vi har samlet et plenoptisk kamera, så hvad giver det os?
Ærlig omfokusering
Det træk, som alle journalisterne summede om i artikler om Lytro, var evnen til ærligt at justere fokus i postproduktionen. Med retfærdig mener vi, at vi ikke bruger nogen sløringsalgoritmer, men udelukkende bruger de pixel, der er ved hånden, og vælger eller sætter et gennemsnit af dem fra klynger i den påkrævede rækkefølge.
RAW-fotografering fra et plenoptisk kamera ser mærkeligt ud. For at få den sædvanlige skarpe jeep ud af den, skal du først samle den. For at gøre dette skal du vælge hver pixel i jeepen fra en af RAW-klyngerne. Afhængigt af hvordan vi vælger dem, vil resultatet ændre sig.
For eksempel, jo længere klyngen er fra indfaldspunktet for den oprindelige stråle, jo mere ude af fokus er denne stråle. Fordi optik. For at få et fokusforskudt billede skal vi blot vælge pixels i den ønskede afstand fra det originale - enten tættere på eller længere.
Det var sværere at flytte fokus mod sig selv – rent fysisk var der færre sådanne pixels i klyngerne. Til at begynde med ønskede udviklerne ikke engang at give brugeren mulighed for at fokusere med deres hænder - kameraet selv besluttede dette i software. Brugere kunne ikke lide denne fremtid, så de tilføjede en funktion i senere firmware kaldet "kreativ tilstand", men gjorde omfokusering i den meget begrænset af netop denne grund.
Dybdekort og 3D fra ét kamera
En af de enkleste operationer inden for plenoptik er at få et dybdekort. For at gøre dette skal du blot samle to forskellige rammer og beregne, hvor meget objekterne i dem er forskudt. Mere skift betyder længere væk fra kameraet.
Google købte og dræbte for nylig Lytro, men brugte deres teknologi til sin VR og... til Pixel-kameraet. Fra Pixel 2 blev kameraet for første gang "lidt" plenoptisk, dog med klynger på kun to pixels. Dette gav Google mulighed for ikke at installere et andet kamera, som alle de andre fyre, men at beregne dybdekortet udelukkende ud fra ét billede.
Dybdekortet er bygget ved hjælp af to rammer, der er forskudt med én subpixel. Dette er ganske nok til at beregne et binært dybdekort og adskille forgrunden fra baggrunden og sløre sidstnævnte i den nu fashionable bokeh. Resultatet af en sådan lagdeling udjævnes og "forbedres" af neurale netværk, der er trænet til at forbedre dybdekort (og ikke sløre, som mange mennesker tror).
Tricket er, at vi fik plenoptik i smartphones næsten gratis. Vi har allerede sat linser på disse små matricer for på en eller anden måde at øge lysstrømmen. I den næste Pixel planlægger Google at gå videre og dække fire fotodioder med en linse.
Kilde: 3dnews.ru