Den originale artikel er offentliggjort på hjemmesiden og offentliggjort på 3DNews med forfatterens tilladelse. Vi præsenterer den fulde tekst af artiklen, undtagen de mange links — de vil være nyttige for dem, der er seriøst interesserede i emnet og ønsker at studere de teoretiske aspekter af beregningsfotografi mere grundigt, men for den brede offentlighed fandt vi dette materiale overflødigt.
I dag undgår ingen smartphone-præsentation at kæle for sit kamera. Hver måned hører vi om den nyeste succes fra mobilkameraer: Google lærer Pixel at tage billeder i mørket, Huawei zoomer som en kikkert, Samsung tilføjer lidar, og Apple laver de rundeste hjørner i verden. Innovationer strømmer næsten aldrig så rigt her.
Spejlreflekskameraer ser ud til at stå stille. Sony drysser årligt nye sensorer over os, mens producenterne dovent opdaterer den sidste versionssiffer og fortsætter med at slappe af i baggrunden. Jeg har et spejlreflekskamera til $3000 liggende på mit bord, men når jeg rejser tager jeg min iPhone. Hvorfor?
Som klassikeren sagde — jeg gik på internettet med dette spørgsmål. Der diskuteres om 'algoritmer' og 'neurale netværk', uden at nogen forstår hvordan de specifikt påvirker fotografi. Journalister oplæser højlydt antallet af megapixler, bloggere laver betalte unboxing-videoer, og æsteter smørre sig ind i 'sensuel modtagelse af matrixens farvepalet'. Alt som sædvanligt.
Jeg måtte sætte mig ned, bruge halvdelen af mit liv og finde ud af det hele selv. I denne artikel vil jeg dele, hvad jeg har lært.
Hvad er beregningsfotografi?
Overalt, inklusive Wikipedia, gives der omtrent denne definition: beregningsfotografi — enhver teknik til optagelse og behandling af billeder, hvor digitale beregninger anvendes i stedet for optiske transformationer. Det lyder godt, men forklarer intet. Autofokus falder ind under det, men ikke plenoptik, som allerede har givet os meget nyttig information. Uklart formulerede definitioner antyder, at vi ikke har den fjerneste idé om, hvad vi taler om.
Pioneren inden for computerfotografi, Stanford-professor Marc Levoy (som nu også er ansvarlig for kameraet i Google Pixel), giver en anden definition — et sæt metoder til computer vision, der forbedrer eller udvider mulighederne for digital fotografering, hvorved der skabes et almindeligt billede, der teknisk set ikke kunne være taget med dette kamera på traditionel vis. I artiklen holder jeg mig netop til hans definition.
Så smartphones havde skylden for alt.
Smartphones havde ikke noget valg, andet end at give liv til en ny form for fotografering — computerfotografi.
Deres små, støjende sensorer og mikroskopiske, lysstærke linser burde ifølge fysikkens love kun resultere i smerte og lidelse. Og det gjorde de, indtil deres udviklere opdagede den geniale måde at udnytte deres styrker for at overvinde svaghederne — hurtige elektroniske lukkere, kraftige processorer og software.
De fleste bemærkelsesværdige undersøgelser inden for computerfotografi finder sted mellem 2005 og 2015, hvilket i videnskaben betragtes som bogstaveligt talt i går. Lige nu, lige foran vores øjne og i vores lommer, er der udvikling af et nyt vidensområde og teknologi, som aldrig før har eksisteret.
Computerfotografi er ikke kun selfies med neuro-bokeh. Det nylige billede af et sort hul ville aldrig være blevet til uden metoderne fra computerfotografi. For at tage et sådant billede med et almindeligt teleskop, skulle vi have lavet det på størrelse med Jorden. Men ved at kombinere data fra otte radioteleskoper på forskellige steder på vores klode og skrive lidt scripts i Python, fik vi det første billede af en begivenhedshorisont i verden. Det kan også bruges til selfies.
Begyndelsen: digital behandling
Forestil dig, at vi er tilbage i 2007. Vores mor er kaos, og vores billeder er støjende 0,6-Mp JPEG'er taget med en skateboard. Omkring dette tidspunkt får vi det første uimodståelige behov for at tilføje filtre for at skjule elendigheden fra mobilkameraerne. Lad os ikke nægte os selv dette.
Matematik og Instagram
Med lanceringen af Instagram blev alle besat af filtre. Som en, der engang reverse-engineered X-Pro II, Lo-Fi og Valencia til, selvfølgelig, forskningsmæssige (hehe) formål, husker jeg stadig, at de bestod af tre komponenter:
- Farveskaber (Hue, Saturation, Lightness, Contrast, Levels osv.) – enkle digitale koefficienter, præcist som i enhver præset, som fotografer har anvendt siden tidernes morgen.
- Tone Mapping-kort – vektorer af værdier, hvor hver sagde: 'Den røde farve med en værdi på 128 skal ændres til en farve med værdi 240.'
- Overlay – et semi-gennemsigtigt billede med støv, korn, vignettering og alt andet, der kan lægges ovenpå for at opnå en noget utraditionel effekt af gammelt film. Det var ikke altid til stede.
Moderne filtre har ikke bevæget sig langt fra denne trio, men er blevet lidt mere komplekse matematisk. Med introduktionen af hardware-shaders og OpenCL på smartphones blev de hurtigt omskrevet til GPU, og det blev betragtet som ekstremt cool. I 2012, selvfølgelig. I dag kan enhver skoleelev lave det samme i CSS, og de får stadig ikke chancen for at tage det med til graduation.
Men filterudviklingen er ikke stoppet. Folkene fra Dehancer for eksempel, arbejder hårdt med ikke-lineære filtre – i stedet for proletarisk tone-mapping bruger de mere komplekse ikke-lineære transformationer, hvilket, ifølge dem, åbner op for mange flere muligheder.
Ikke-lineære transformationer kan gøre meget, men de er utrolig komplekse, og vi mennesker er utrolig dumme. Så snart det kommer til ikke-lineære transformationer inden for videnskab, foretrækker vi at gå til numeriske metoder og proppe neurale netværk overalt, så de kan skrive mesterværker for os. Det var også tilfældet her.
Automatik og drømmen om knappen 'mesterværk'
Da alle var vant til filtre, begyndte vi at integrere dem direkte i kameraerne. Historien gemmer på, hvilken producent der var først, men for at forstå, hvor længe siden det var – i iOS 5.0, der blev lanceret helt tilbage i 2011, var der allerede en offentlig API til Auto Enhancing Images. Kun Jobs ved, hvor længe det blev brugt før det blev offentligt.
Automatikken gjorde det samme, som vi alle gør, når vi åbner et billede i redigeringsprogrammet – den hævede skygger og højlys, tilføjede saturation, fjernede røde øjne og rettede hudfarven. Brugerne anede ikke, at 'dramatiske forbedrede kameraer' i den nye smartphone kun var resultatet af et par nye shaders. Der gik stadig fem år, før Google Pixel blev lanceret og hype omkring beregningsfotografi tog fart.
I dag er kampen om knappen „mesterverk“ flyttet til maskinlæringens område. Efter at have leget med tone-mapping er alle blevet opslugt af at træne CNN'er og GAN'er for at bevæge skyderegulatorerne i stedet for brugeren. Med andre ord, at bestemme et sæt optimale parametre ud fra det indgående billede, der ville bringe dette billede tættere på en eller anden subjektiv forståelse af „et godt foto“. Dette er implementeret i Pixelmator Pro og andre editorer. Det fungerer, som man kan gætte, ikke altid og ikke meget godt.
Stacking - 90% af succes med mobilkameraer
Ægte nummerisk fotografering begyndte med stacking - at overlejre flere billeder oven på hinanden. For en smartphone er det ikke et problem at tage det samme shot ti gange på en halv sekund. Der er ingen langsomme mekaniske dele i deres kameraer: blænden er fast, og i stedet for en bevægelig lukker er der en elektronisk lukker. Processoren kommanderer blot sensoren om, hvor mange mikrosekunder den skal fange de vilde fotoner, mens den selv aflæser resultatet.
Teknisk set kan telefonen tage billeder med videohastighed og video med billedopløsning, men alt afhænger af hastigheden på bussen og processoren. Derfor sætter man altid softwaremæssige grænser.
Stacking har været blandt os i lang tid. Allerede i gamle dage installerede folk plugins til Photoshop 7.0 for at samle flere billeder til et blændende HDR eller sy sammen et panorama på 18000 × 600 pixel, og... faktisk har ingen gjort sig klart, hvad man skulle gøre med dem bagefter. Det var rige tider, men desværre vildt.
Nu er vi voksne og kalder det „epsilon-fotografi“ - når man ændrer et af kameraparaterne (belystning, fokus, position) og samler de resulterende billeder, får man noget, der ikke kunne være taget med et enkelt skud. Men dette er et begreb for teoretikere, i praksis har et andet navn vundet indpas - stacking. I dag er 90% af alle innovationer i mobilkameraer i realiteten bygget på det.
En ting, som mange ikke tænker over, men som er vigtig for at forstå hele mobil- og beregningsfotografi: kameraet i en moderne smartphone begynder straks at tage billeder, så snart du åbner dets app. Det giver mening, for det skal jo på en eller anden måde kunne vise billedet på skærmen. Dog gemmer det, ud over skærmen, billeder med høj opløsning i sin egen cykliske buffer, hvor det opbevarer dem i et par sekunder.
Når du trykker på knappen "tag billede", er billedet faktisk allerede taget; kameraet henter bare det nyeste billede fra bufferen.
I dag fungerer enhver mobilkamera på denne måde. I hvert fald i alle flagkibsenheder og ikke fra skraldespandene. Buffersystemet muliggør ikke blot den nul forsinkelse, som fotografer har drømt om så længe, men endda en negativ forsinkelse — når du trykker på knappen, kigger smartphone ind i fortiden, henter de 5-10 seneste billeder fra bufferen og begynder ivrigt at analysere og kombinere dem. Du behøver ikke længere at vente på, at telefonen tager billeder til HDR eller nattilstand — du henter dem blot fra bufferen; brugeren vil ikke engang opdage det.
For resten er det med hjælp fra negativ lukkertid, at Live Photo er realiseret i iPhones, og HTC havde noget lignende allerede i 2013 under den underlige betegnelse Zoe.
Eksponeringsstacking — HDR og kampen mod lysforskelle
Om kameraernes sensorer kan registrere hele det lysområde, vores øjne kan se, er et gammelt og varmt emne til debat. Nogle siger nej, for øjet kan se op til 25 f-stop, mens selv den bedste full-frame sensor kun kan trække maksimalt 14. Andre mener, at sammenligningen er ukorrekt, da øjet får hjælp fra hjernen, som automatisk justerer pupillen og forbedrer billedet med sine neurale netværk, og den momentane dynamiske rækkevidde for øjet er faktisk ikke mere end 10-14 f-stop. Lad os overlade disse debatter til de bedste sofa-filosoffer på internettet.
Faktum er, at når du tager billeder af venner foran en lys himmel uden HDR på ethvert mobilkamera, får du enten en normal himmel med sorte ansigtstræk eller tydeligt tegnede venner, men en blændet himmel.
Løsningen er længe blevet opfundet — at udvide lysområdet med HDR (High dynamic range). Du skal tage flere billeder med forskellige lukketider og sammensætte dem. Én skal være "normal", den anden lidt lysere, den tredje mørkere. Tag de mørke områder fra det lyse billede, fyld de lysende områder med fra det mørke — så er der profit. Det eneste der er tilbage, er at løse opgaven med automatisk bracketing — hvor meget eksponeringen for hvert billede skal flyttes for ikke at overdrive, men en andenårs teknisk studerende kan nu klare at bestemme den gennemsnitlige lysstyrke af billedet.
På de nyeste iPhone, Pixel og Galaxy aktiveres HDR-tilstand automatisk, når en enkel algoritme inde i kameraet registrerer, at du tager billeder af noget kontrastfyldt på en solfyldt dag. Man kan endda bemærke, hvordan telefonen skifter til optagelse i buffer, for at gemme billeder med forskudt eksponering — fps i kameraet falder, og billedet bliver mere livligt. Skiftet er tydeligt synligt på min iPhone X, hvis jeg optager udenfor. Tag et nærmere kig på din smartphone næste gang også.
En ulempe ved HDR med eksponeringsbracketing er dets næsten totale hjælpeløshed i svagt lys. Selv ved lyset fra en lampe i rummet bliver billederne så mørke, at computeren ikke kan justere og sy i dem. For at løse belysningsproblemet viste Google i 2013 en alternativ tilgang til HDR i den daværende smartphone Nexus. Den anvendte tidsstacking.
Tidsstacking — simulering af lang eksponering og timelapse
Tidsstacking gør det muligt at opnå lang eksponering ved hjælp af en række korte eksponeringer. Pionererne var entusiaster, der forsøgte at tage billeder af stjernesporet på nattehimlen, men som havde det besværligt med at åbne lukkeren i to timer. Det var svært at forudberegne alle indstillinger, og ved den mindste rystelse blev hele billedet ødelagt. De besluttede at åbne lukkeren i et par minutter ad gangen, men mange gange, og så gik de hjem og satte de optagne billeder sammen i Photoshop.
Det betyder, at kameraet faktisk aldrig tog billeder med lang eksponering, men vi opnåede effekten af at simulere det ved at kombinere flere sammenkædede billeder. Der findes allerede mange apps til smartphones, der bruger dette trick, men de er blevet unødvendige, siden funktionen næsten er blevet standard i alle kameraer. I dag kan selv iPhone nemt kombinere en lang eksponering fra Live Photo.
Lad os vende tilbage til Google med deres natte-HDR. Det viste sig, at man med tidsbracketing kan implementere en ret god HDR i mørket. Teknologien blev først introduceret i Nexus 5 og blev kaldt HDR+. Andre Android-telefoner fik den som en gave. Teknologien er stadig så populær, at den endda fremhæves i præsentationen af de nyeste Pixel-modeller.
HDR+ fungerer ret enkelt: når den registrerer, at du tager billeder i mørket, henter kameraet 8-15 af de seneste billeder i RAW fra bufferen for at overlappe dem. På den måde indsamler algoritmen mere information om de mørke områder af billedet for at minimere støj – pixels, hvor kameraet ikke har været i stand til at indsamle al information af en eller anden grund.
Det er som hvis du ikke vidste, hvordan en capybara ser ud, og bad fem personer beskrive den – deres fortællinger ville være temmelig ens, men hver ville nævne en eller anden unik detalje. Så ville du indsamle mere information, end hvis du bare havde spurgt én. Det samme gælder for pixels.
Sammenlægning af billeder taget fra ét sted giver den samme falske effekt af lang eksponering som med stjernerne ovenfor. Eksponeringen fra titusindvis af billeder opsummeres, og fejl i ét minimeres i de andre. Forestil dig, hvor mange gange man skulle trykke på udløserknappen på et spejlreflekskamera for at opnå det.
Man skulle bare løse problemet med automatisk farvekorrektion – billeder taget i mørket viser sig typisk at være gullige eller grønne, mens vi ønsker noget saftigt dagslys. I de tidlige versioner af HDR+ blev det løst med simple justeringer, ligesom i filtre ala Instagram. Senere blev neurale netværk kaldt til hjælp.
Og således blev Night Sight til – teknologien til 'nattens fotografi' i Pixel 2 og 3. Beskrivelsen siger netop: 'Machine learning teknikker bygget ovenpå HDR+, som gør Night Sight funktionelt'. I bund og grund er det en automatik af farvekorrektionsstadiet. Maskinen blev trænet på datasættet af billeder 'før' og 'efter' for at skabe et smukt billede ud af en bunke mørke, krumme billeder.
Datasættet er i øvrigt blevet offentliggjort. Måske kan folkene fra Apple tage det og endelig lære deres glasblokke at tage ordentlige billeder i mørket.
Desuden anvender Night Sight beregningen af bevægelsesvektoren for objekter i billedet for at normalisere uskarpheden, som uundgåeligt opstår ved lang eksponering. Smartphone'en kan således tage skarpe sektioner fra andre billeder og 'klæbe' dem sammen.
Bevægelsestacking – panorama, superzoom og støjbekæmpelse
Panorama er en populær underholdning blandt landdistrikterne. Der er endnu ikke registreret nogen tilfælde, hvor en pølsefotografi har været interessant for nogen anden end dens skaber, men man kan ikke undlade at nævne den — for mange begyndte hele steking-processen her.
Den første nyttige anvendelse af panoramaet er at opnå billeder med højere opløsning end hvad kameraets matrix tillader ved at sammenkæde flere optagelser. Fotografer har i lang tid anvendt forskellige softwareprogrammer til det, der kaldes superopløsning — når lidt forskudte fotos komplementerer hinanden mellem pixel. På denne måde kan man opnå billeder i størrelsesordenen hundrede gigapixel, hvilket er meget nyttigt, hvis du skal trykke det på et reklamebanner i husstørrelse.
En anden, allerede mere interessant tilgang er Pixel Shifting. Nogle spejlløse kameramodeller som Sony og Olympus begyndte at understøtte det allerede i 2014, men man måtte stadig samle resultaterne manuelt. Typiske innovationer fra større kameraer.
Smartphones har dog haft større succes med dette af en komisk grund — når du tager et foto, ryster dine hænder. Dette tilsyneladende problem lagde grundlaget for implementeringen af nativ superopløsning på smartphones.
For at forstå, hvordan dette fungerer, må vi huske, hvordan enhver kameras matrix er opbygget. Hvert pixel (fotodiode) kan kun registrere lysintensitet — dvs. antallet af indkommende fotoner. Dog kan pixel ikke måle farven (bølgelængden). For at få et RGB-billede var man nødt til at konstruere en slags netværk af farvede glasstykker over hele matrixen. Den mest populære implementering kaldes Bayer-filteret og bruges i dag i de fleste matrixer. Det ser ud som på billedet nedenfor.
Det betyder, at hvert pixel kun fanger R-, G- eller B-komponenten, da de øvrige fotoner bliver ubarmhjertigt reflekteret af Bayer-filteret. De manglende komponenter genkendes ved simpel gennemsnitning af værdierne fra de tilstødende pixels.
Der er flere grønne celler i Bayer-filteret – det er lavet analogt med det menneskelige øje. Det vil sige, at ud af 50 millioner pixel på sensoren vil den grønne farve opfange 25 millioner, mens rød og blå opdager 12,5 millioner hver. Det resterende vil blive gennemsnitligt – denne proces kaldes debayering eller demosaicing, og det er en klodset løsning, som alt hviler på.
I virkeligheden har hver matrice sin egen snedige patenterede demosaicing-algoritme, men i denne historie vil vi se bort fra det.
Andre typer matricer (som Foveon) har endnu ikke rigtig slået igennem. Selvom nogle producenter forsøger at bruge matricer uden Bayer-filteret for at forbedre skarpheden og det dynamiske omfang.
Når lyset er svagt eller detaljerne i objektet er meget små, mister vi en masse information, fordi Bayer-filteret uhæmmet skærer fotoner med uønskede bølgelængder fra. Derfor blev Pixel Shifting opfundet – man flytter matricen 1 pixel op, ned, til højre og til venstre for at fange dem alle. Fotografiet bliver ikke 4 gange større, som man måske kunne tro; det er bare, at processoren bruger disse data for mere præcist at registrere værdien af hver pixel. Den gennemsnitlige værdi er ikke baseret på naboer, men på de fire værdier fra den samme pixel.
Rystelserne fra vores hænder, når vi tager billeder med telefonen, gør denne proces til en naturlig følge. I de seneste versioner af Google Pixel er denne funktion implementeret og aktiveres altid, når du bruger zoom på din telefon – kaldet Super Res Zoom (ja, jeg kan også lide deres ubarmhjertige navngivning). Kineserne har også kopieret det til deres smartphones, selvom det blev lidt dårligere.
Overlapning af lidt forskydte billeder giver mulighed for at samle flere informationer om farven for hver pixel, hvilket kan reducere støj, øge skarpheden og hæve opløsningen uden at øge det fysiske antal megapixels på sensoren. Nutidens Android-flagships gør dette automatisk, mens deres brugere slet ikke tænker over det.
Fokusstabling – enhver dybde af skarphed og re-fokus i postproduktion
Metoden kom fra makrofotografi, hvor en lille blændeåbning altid har været et problem. For at få hele objektet i fokus måtte man tage flere billeder med fokus skiftende frem og tilbage, som derefter skulle samles til ét skarpt billede. Den samme metode blev ofte anvendt af landskabsfotografer, som gjorde for- og baggrund skarpe som en kniv.
Dette er også blevet overført til smartphones, dog uden særlig opmærksomhed. I 2013 blev Nokia Lumia 1020 lanceret med 'Refocus App', og i 2014 kom Samsung Galaxy S5 med 'Selective Focus'. De arbejdede efter den samme metode: ved at trykke på knappen tog de hurtigt tre billeder - ét med 'normal' fokus, det andet med fokus flyttet frem og det tredje med fokus flyttet tilbage. Programmet justerede billederne og gjorde det muligt at vælge ét af dem, hvilket blev præsenteret som 'ægte' fokusstyring i post-produktionen.
Der var ingen yderligere behandling, da selv denne enkle hack var nok til at slå endnu et søm i kisten for Lytro og deres ærlige refokus. Forresten, lad os tale om dem (overgangsmester 80 lvl).
Beregningsmatricer - lysfelter og plenoptik.
Som vi har forstået ovenfor, er vores matricer et mareridt på kæder. Vi har bare vænnet os til det og forsøger at leve med det. I deres opbygning har de næppe ændret sig siden tidernes begyndelse. Vi har kun forbedret produktionsprocessen - reduceret afstanden mellem pixel, bekæmpet støj og interferens, tilføjet specielle piksler til faseautofokus. Men selv den dyreste spejlreflekskamera vil have problemer med at tage billeder af en løbende kat i rumlys - katten vil, mildt sagt, vinde.
Vi har længe forsøgt at opfinde noget bedre. Mange forsøg og undersøgelser på dette område kan findes ved at søge efter 'computational sensor' eller 'non-bayer sensor', og selv eksemplet med Pixel Shifting ovenfor kan betragtes som et forsøg på at forbedre matricer ved hjælp af beregninger. Men de mest lovende historier i de seneste tyve år kommer netop fra den såkaldte plenoptik kameraer.
For at du ikke skal falde i søvn af forventningen om de kommende komplekse ord, vil jeg afsløre, at kameraet i de seneste Google Pixel er 'lidt' plenoptisk. Kun to pixel, men selv dette gør det muligt for det at beregne ægte optisk dybde af billedet uden et ekstra kamera som de fleste har.
Plenoptik er et kraftfuldt værktøj, der endnu ikke er blevet skudt af. Jeg vil give et link til en af mine yndlingsartikler om mulighederne for plenoptiske kameraer og vores fremtid med dem. , hvorfra jeg har lånt eksempler.
Snart vil hver husstand have et plenoptisk kamera.
Opfundet i 1994, samlet i Stanford i 2004. Det første forbruger kamera – Lytro, blev lanceret i 2012. VR-industrien eksperimenterer nu aktivt med lignende teknologier.
Det, der adskiller et plenoptisk kamera fra et almindeligt kamera, er kun en enkelt modification – matricen er dækket af et netværk af linser, hvor hver linse dækker flere faktiske pixels. Lidt sådan her:
Hvis man korrekt beregner afstanden fra nettet til matricen og størrelsen af blænden, vil de resulterende billeder have skarpe klynger af pixels – små versioner af det originale billede.
Det viser sig, at hvis vi tager et centralt pixel fra hver klynge og samler billedet kun ud fra dem – vil det ikke adskille sig fra et billede taget med et almindeligt kamera. Ja, vi har mistet lidt opløsning, men vi kan bare bede Sony om at tilføje flere megapixels i de nye matricer.
Sjovet begynder først her. Hvis vi tager et andet pixel fra hver klynge og igen samler billedet – får vi igen et normalt fotografi, men som om det er taget med en pixel-offset. På den måde, med klynger på 10×10 pixels, får vi 100 billeder af objektet fra "lidt" forskellige vinkler.
Større klynger betyder flere billeder, men lavere opløsning. I verden af smartphones med 41-megapixel matricer kan vi dog lidt ignorere opløsningen, men alt har en grænse. Vi er nødt til at finde en balance.
Okay, vi har samlet et plenoptisk kamera, hvad giver det os?
Ærlig refokusering
Funktionen, som alle journalister summede om i artiklerne om Lytro, er muligheden for ærlig justering af fokus i postproduktion. Her med "ærlig" mener vi, at vi ikke bruger forskellige deblurring-algoritmer, men udelukkende de pixels, der er tilgængelige, ved at vælge eller gennemsnitligt dem fra klumper i den ønskede rækkefølge.
RAW-fotografier fra plenoptiske kameraer ser mærkelige ud. For at få et skarpt JPEG-billede fra dem, skal vi først samle det. For dette skal vi vælge hver pixel i JPEG-en fra en af RAW-klyngerne. Afhængigt af hvordan vi vælger dem, vil resultatet variere.
For eksempel, jo længere klyngen er fra stedet, hvor den originale stråle ramte, desto mere uskarp bliver strålen. Det skyldes optikken. For at få et billede med et fokusforskydning skal vi blot vælge pixels i den afstand fra originalen, vi ønsker – enten tættere eller længere væk.
Det var sværere at fokusere på sig selv – rent fysisk var der færre pixels i klyngerne. Først ønskede udviklerne slet ikke at give brugerne mulighed for at fokusere manuelt – kameraet tog denne beslutning programmatisk. Brugerne kunne ikke lide en sådan fremtid, så funktionen blev tilføjet i senere firmwareopdateringer under navnet "kreativ tilstand", men de gjorde refokuseringen stærkt begrænset netop af denne årsag.
Dybdekort og 3D med ét kamera
En af de nemmeste operationer inden for plenoptik er at få et dybdekort. For at gøre dette skal vi bare samle to forskellige billeder og beregne, hvor meget objekterne er forskudt på dem. Jo mere forskydning – jo længere væk fra kameraet.
For nylig købte Google og lukkede Lytro, men brugte deres teknologi til deres VR og… til kameraet i Pixel. Fra og med Pixel 2 blev kameraet for første gang "lidt" plenoptisk, dog med klynger bestående af kun to pixels. Det gav Google mulighed for ikke at installere et ekstra kamera som alle andre, men at beregne dybdekortet udelukkende ud fra ét billede.
Dybdekortet opbygges af to billeder, der er forskudt med en subpixel. Dette er tilstrækkeligt til at beregne et binært dybdekort og adskille forgrunden fra baggrunden og gøre sidstnævnte uskarp i den populære bokeh-effekt. Resultatet af en sådan lagdeling bliver endnu mere glattet og 'forbedret' af neurale netværk, der er trænet til at forbedre dybdekort (og ikke til at sløre, som mange tror).
Det interessante er også, at plenoptikken i smartphones næsten er kommet gratis til os. Vi satte allerede linser på disse små sensorer for at øge lysstrømmen. I de kommende Pixel-modeller planlægger Google at gå videre og dække fire fotodioder med en linse.
Kilde: 3dnews.ru
