Originalartikeln publicerades på webbplatsen och publicerades på 3DNews med författarens tillåtelse. Vi återger hela texten, med undantag för det stora antalet länkar – de kommer att vara användbara för dem som är verkligen intresserade av ämnet och skulle vilja studera de teoretiska aspekterna av beräkningsfotografi djupare, men för en bredare publik ansåg vi att detta material var överflödigt.
Idag går ingen presentation av en smartphone förbi utan att nämna dess kamera. Varje månad hör vi om ännu en framgång för mobilkameror: Google lär Pixel att fotografera i mörker, Huawei zoomar som en kikare, Samsung lägger till lidar, och Apple gör de mest rundade hörnen i världen. Det är sällan så mycket innovationer flödar nu.
Spegelreflexkameror verkar stå stilla. Sony regnar årligen ner nya sensorstorlekar, medan tillverkare latar sig och bara uppdaterar den sista siffran i versionen medan de fortsätter att slappna av undan för undan. Jag har en spegelreflexkamera som kostar $3000 liggande på mitt skrivbord, men på resor tar jag med mig min iPhone. Varför?
Som en klassiker sade – jag gick ut på nätet med denna fråga. Där diskuterar de några "algoritmer" och "neuronätverk" utan att veta hur de konkret påverkar fotografering. Journalister högläser antalet megapixlar, bloggare gör en kör av betalda unboxing-videor, och esteter smörjer sig med "känslig uppfattning av färgpaletten i sensorn". Allt är som vanligt.
Jag var tvungen att sätta mig ner, lägga ner halva mitt liv och själv reda ut allt. I denna artikel kommer jag att berätta vad jag har lärt mig.
Vad är beräkningsfotografi?
Överallt, inklusive Wikipedia, ges ungefär denna definition: beräkningsfotografi – alla tekniker för fångst och bearbetning av bilder där digitala beräkningar används istället för optiska transformationer. Det är bra, förutom att det inte förklarar något. Autofokus passar in i detta, men inte plenopten, som redan har gett oss mycket användbarhet. Oklarheten i de officiella definitionerna antyder att vi inte har någon aning om vad vi pratar om.
Pionjär inom datorsyn, Stanford-professorn Marc Levoy (som nu också ansvarar för kameran i Google Pixel) ger en annan definition — en uppsättning metoder för datorseende som förbättrar eller utökar digital fotograferingsmöjligheter, där resultatet är en vanlig bild som tekniskt sett inte kunde ha tagits med denna kamera på traditionellt sätt. I artikeln följer jag just hans synpunkt.
Så allt var smartphones fel.
Smartphones hade inget annat val än att ge liv åt en ny form av fotografering — datorsyn.
Deras små, brusiga sensorer och pyttesmå optik med låg ljusstyrka borde enligt fysikens lagar endast orsaka smärta och lidande. Och det gjorde de, tills deras utvecklare smart nog insåg hur man kan använda deras starka sidor för att övervinna svagheterna — snabba elektroniska slutare, kraftfulla processorer och mjukvara.
De flesta kända studier inom datorsyn gjordes mellan 2005 och 2015, vilket inom vetenskapen bokstavligt talat betraktas som igår. Just nu utvecklas ett nytt kunskaps- och teknikområde framför våra ögon och i våra fickor, ett som aldrig tidigare funnits.
Datorsyn handlar inte bara om selfies med neuro-bokeh. Den senaste bilden av ett svart hål skulle inte ha blivit till utan metoder för datorsyn. För att ta en sådan bild med en vanlig teleskop skulle vi ha behövt göra den lika stor som jorden. Men genom att sammanfoga data från åtta radioteleskop på olika punkter på vår planet och skriva lite skript i Python, fick vi världens första bild av händelsehorisonten. Det fungerar även för selfies.
Början: digital bildbehandling
Låt oss föreställa oss att vi har återvänt till 2007. Vår mamma är anarki och våra bilder är brusiga 0,6 Mp JPEG-filer tagna med en skateboard. Ungefär då får vi den första oemotståndliga önskan att lägga på presets för att dölja eländet hos mobila sensorer. Låt oss inte avstå från detta.
Matte och Instagram
Med lanseringen av Instagram blev alla besatta av filter. Som någon som en gång gjorde en reverse engineering av X-Pro II, Lo-Fi och Valencia för, naturligtvis, forskningsändamål, minns jag fortfarande att de bestod av tre komponenter:
- Färginställningar (Hue, Saturation, Lightness, Contrast, Levels etc.) — enkla digitala koefficienter, precis som i de förinställningar som fotografer har använt sedan urminnes tider.
- Tonmappingskartor (Tone Mapping) — vektorer av värden, där varje enskilt värde uttryckte: "Den röda färgen med nyans 128 bör omvandlas till nyans 240."
- Överlägg — en halvgenomskinlig bild med damm, korn, vinjettering och allt annat som kan läggas ovanpå för att skapa en allt annat än banal effekt av gammal film. Förekom inte alltid.
Moderna filter har inte kommit långt ifrån denna trio, de har bara blivit något mer komplexa matematiskt. Med införandet av hårdvaru-shaders och OpenCL på smartphones skrevs de snabbt om för GPU, och det ansågs vara otroligt häftigt. För 2012 var det förstås. Idag kan vilken skolelev som helst göra något liknande med CSS, och han kommer ändå inte att få mer än ett diplom.
Men filterutvecklingen har inte stannat av idag. Grabbarna från Dehancer, till exempel, dyker djupt ner i icke-linjära filter — istället för proletära tonmappings använder de mer komplexa icke-linjära transformationer, som enligt dem öppnar upp för mycket fler möjligheter.
Icke-linjära transformationer kan skapa mycket, men de är otroligt komplexa, och vi, människor, är otroligt begränsade. Så snart vetenskapen når icke-linjära transformationer föredrar vi att gå mot numeriska metoder och trycka in neurala nätverk överallt för att låta dem skapa mästerverk åt oss. Så var det även här.
Automatik och drömmar om en "mästerverk"-knapp
När alla hade vant sig vid filter började vi integrera dem direkt i kameror. Historien döljer vilken tillverkare som var den första, men för att förstå hur länge sedan det var — i iOS 5.0, som kom ut redan 2011, fanns det en offentlig API för Auto Enhancing Images. Endast Jobs vet hur länge den användes innan den offentliggjordes.
Automatiken gjorde detsamma som var och en av oss gör när vi öppnar ett foto i redigeraren — den lyfte upp mörka partier i ljus och skuggor, tryckte på färgmättnad, tog bort röda ögon och justerade hudtonen. Användarna anade inte ens att den "dramatiskt förbättrade kameran" i den nya smartphonen bara var ett resultat av ett par nya shaders. Det dröjde ytterligare fem år innan Google Pixel släppte och hype:n kring beräkningsfotografi började.
Idag har kampen om knappen "mästerverk" flyttat till området för maskininlärning. Efter att ha lekt med ton-mappning rusade alla för att träna CNN och GAN för att justera parametrarna istället för användaren. Med andra ord, att utifrån en ingångsbild bestämma en uppsättning optimala parametrar som skulle göra att bilden närmade sig en viss subjektiv uppfattning av en "bra fotografi". Detta har implementerats i Pixelmator Pro och andra bildredigerare. Det fungerar, som man kan gissa, inte alltid så bra.
Stackning – 90% av framgången för mobilkameror
Den verkliga datorkonsten inom fotografering började med stackning – att överlappa flera bilder på varandra. För en smartphone är det ingen svårighet att ta ett dussin bilder på en halv sekund. I deras kameror finns inga långsamma mekaniska delar: bländaren är fast och i stället för en rörlig slutare finns en elektronisk.
Tekniskt sett kan telefonen ta bilder i videohastighet och video i fotokvalitet, men allt hänger på bussens och processorns hastighet. Därför sätter man alltid programbegränsningar.
Stackning har funnits länge. Redan våra farfäder installerade plugins på Photoshop 7.0 för att skapa flera bilder till en fantastiskt HDR eller för att sy ihop panoramor på 18000 × 600 pixlar och... egentligen har ingen kommit på vad man ska göra med dem efter det. De var rika tider, sorgligt nog, vilda.
Nu har vi blivit vuxna och kallar det "epsilon-fotografi" – när vi genom att ändra en av kamerans parametrar (exponering, fokus, position) och sy ihop de resulterande bilderna får något som inte kunde fångas med en enda bild. Men det är en term för teoretiker; i praktiken har ett annat namn slagit rot – stackning. Idag bygger 90% av alla innovationer i mobilkameror faktiskt på detta.
En sak som många inte tänker på, men som är viktig för att förstå all mobil och datorfotografi: Kameran i den moderna smartphone börjar ta bilder så fort du öppnar dess applikation. Vilket är logiskt, den måste ju på något sätt överföra bild till skärmen. Men förutom skärmen sparar den bilder med hög upplösning i sin egen cykliska buffert, där de lagras i ytterligare några sekunder.
När du trycker på knappen "ta bild" är bilden faktiskt redan tagen; kameran hämtar bara den senaste bilden från minnet.
Så fungerar alla mobilkameror idag. Åtminstone i alla flaggskepp, inte från skräpet. Buffring möjliggör inte bara en noll fördröjning av slutaren, som fotografer länge har drömt om, utan även en negativ — när du trycker på knappen kan smartphones titta bakåt, ladda ner 5-10 senaste bilder från minnet och börja intensivt analysera och kombinera dem. Du behöver inte längre vänta på att telefonen ska ta bilder för HDR eller nattläge; bara hämta dem från minnet, användaren märker inte ens.
Förresten, det är just med hjälp av negativ fördröjning av slutaren som Live Photo har realiserats på iPhones, medan HTC hade något liknande redan 2013 under det konstiga namnet Zoe.
Stackning baserat på exponering — HDR och kampen mot ljusvariationer
Kan kamerans sensorer registrera hela ljusets dynamiska intervall som vårt öga kan se? Det är en gammal het debatt. Vissa säger nej, eftersom ögat kan se upp till 25 f-stopp, medan man från även den bästa fullformatssensorn bara kan dra ut maximalt 14. Andra anser att jämförelsen är felaktig, eftersom hjärnan hjälper ögat genom att automatiskt justera pupillen och skapa bilden med sina neurala nätverk, och det momentana dynamiska intervallet för ögat är faktiskt inte mer än just 10-14 f-stopp. Låt oss lämna dessa diskussioner till de bästa soffforskare på internet.
Faktum kvarstår: när du fotar vänner mot en ljus himmel utan HDR med vilken mobilkamera som helst, får du antingen en normal himmel och svarta ansikten på dina vänner, eller tydliga vänner men en brännhet himmel.
Lösningen är länge känd — att utöka ljusets dynamiska intervall med hjälp av HDR (High dynamic range). Du behöver ta flera bilder med olika slutartider och kombinera dem. Så att en är "normal", en annan lite ljusare och en tredje mörkare. Ta de mörka partierna från den ljusa bilden, fyll i överexponeringarna med den mörka — vinst. Det kvarstår bara att lösa problemet med automatisk bracketting — hur mycket man ska justera exponeringen för varje bild för att inte överdriva, men att definiera medelvärdet för bildens ljusstyrka klarar nu en andraårsstudente i teknisk högskola.
På de senaste iPhone, Pixel och Galaxy aktiveras HDR-läget automatiskt när en enkel algoritm inuti kameran upptäcker att du fotograferar något med hög kontrast en solig dag. Du kan till och med märka hur telefonen växlar inspelningsläge för att lagra bilder med förändrad exponering — fps sjunker i kameran och bilden blir mer mättad. Växlingen är tydlig på min iPhone X när jag fotograferar utomhus. Titta noga på din smartphone nästa gång också.
Nackdelen med HDR med exponering bracketting är dess totala hjälplöshet i svagt ljus. Även i ljuset från en glödlampa blir bilderna så mörka att datorn inte kan justera och sammanfoga dem. För att lösa belysningsproblem visade Google 2013 en annan metod för HDR i den då nyligen lanserade smartphonen Nexus. Den använde tidsstackning.
Tidsstackning — simulering av lång slutartid och timelapse
Tidsstackning gör det möjligt att uppnå en lång slutartid genom en serie korta. Pionjärerna var personer som gillade att fotografera stjärnspår på natthimlen, som hade svårt att hålla slutaren öppen i två timmar. Det var svårt att på förhand beräkna alla inställningar, och så fort det blev minsta skakningar förstördes hela bilden. De beslutade sig för att öppna slutaren i bara några minuter, men flera gånger, och sedan gick de hem och limmade de tagna bilderna i Photoshop.
Således har kameran aldrig egentligen fotograferat med lång slutartid, men vi fick effekten av dess simulering genom att sammanfoga flera tagna bilder på rad. Det finns redan länge massor av appar för smartphones som använder det här tricket, men de har blivit onödiga sedan funktionen lades till nästan alla standardkameror. Idag kan till och med en iPhone enkelt skapa en lång slutartid från Live Photo.
Låt oss återvända till Google med dess natt-HDR. Det visade sig att med tidsbracketing kan man åstadkomma ganska bra HDR i mörker. Tekniken dök först upp i Nexus 5 och kallades HDR+. Andra Android-telefoner fick den så att säga i present. Tekniken är fortfarande så populär att den även omnämns i presentationer av de senaste Pixel.
HDR+ fungerar rätt enkelt: när kameran registrerar att du fotograferar i mörker, laddar den upp de senaste 8-15 bilderna i RAW från minnet för att överlagra dem. På så sätt samlar algoritmen mer information om de mörka delarna av bilden för att minimera brus — pixlar där kameran av olika anledningar inte lyckades samla all information och misslyckades.
Tänk på det som om du inte visste hur en capybara ser ut och bad fem personer att beskriva den — deras berättelser skulle vara ungefär desamma, men varje person skulle nämna en unik detalj. Så skulle du samla mer information än om du bara frågade en. Detsamma gäller pixlar.
Att lägga samman bilder tagna från en och samma plats ger den samma falska effekten som lång exponering som med stjärnor ovan. Exponeringen av dussintals bilder sammanfogas, fel på en minimeras på andra. Tänk dig hur många gånger du måste trycka på avlösaren på en spegelreflex för att uppnå det.
Det återstod bara att lösa problemet med automatisk färgkorrigering — bilder tagna i mörker blir oftast överlag gula eller gröna, medan vi på något sätt vill ha saftigt dagsljus. I tidiga versioner av HDR+ löstes detta med enkel justering av inställningarna, som i filter som liknar Instagram. Senare åkallades hjälp från neurala nätverk.
Så skapades Night Sight — teknologin för "nattfotografi" i Pixel 2 och 3. I beskrivningen sägs det så här: "Maskininlärningstekniker byggda ovanpå HDR+, som gör att Night Sight fungerar". Det är i grund och botten automatiseringen av färgkorrigeringssteget. Maskinen tränades på ett dataset av bilder "före" och "efter", för att omvandla en mängd mörka, krummiga bilder till en vacker.
Datasetet, för övrigt, gjordes offentligt tillgängligt. Kanske kan killarna på Apple ta det och äntligen lära sina glasburkar att riktigt fotografera i mörker.
Dessutom används rörelseskattning av objekt i bilden i Night Sight för att normalisera oskärpa, som oundvikligen uppstår vid lång exponering. Så smartphonen kan ta tydliga delar från andra bilder och sätta ihop dem.
Stakning baserat på rörelse — panorering, superzoom och bekämpning av brus
Panorama är ett populärt nöje för invånarna i landsbygden. Det finns ännu inga kända fall av att en korvfoto skulle intressera någon annan än dess skapare, men den kan inte lämnas utan omtanke — för många började stakning överhuvudtaget härifrån.
Det första nyttiga sättet att använda panorama är att få en bild med högre upplösning än kamerans sensor tillåter genom att sätta ihop flera bilder. Fotografier har länge använt olika mjukvaror för så kallade superupplösta bilder — där något förskjutna bilder kompletterar varandra mellan pixlarna. På så sätt kan man få en bild på flera hundra gigapixlar, vilket är mycket användbart om man behöver skriva ut den på en reklamplansch i storlek med ett hus.
En annan, mer intressant metod är Pixel Shifting. Vissa spegellösa kameror som Sony och Olympus började stödja detta redan 2014, men man ombads fortfarande att foga samman resultaten för hand. Typiska innovationer hos stora kameror.
Smartphones har dock överträffat detta av en rolig anledning — när du tar en bild, skakar dina händer. Detta till synes enkla problem låg till grund för implementeringen av inbyggd superupplösning på smartphones.
För att förstå hur detta fungerar, måste man minnas hur sensorn i varje kamera är uppbyggd. Varje pixel (fotodiod) kan endast registrera ljusets intensitet — det vill säga antalet inkommande fotoner. Dock kan en pixel inte mäta dess färg (våglängd). För att få en RGB-bild var man tvungen att övervinna ett hinder — att täcka hela sensorn med ett nät av färgade glasbitar. Den mest populära implementeringen kallas Bayer-filter och används idag i de flesta sensorer. Den ser ut som på bilden nedan.
Det visar sig att varje pixel på sensorn fångar endast R-, G- eller B-komponenten, eftersom övriga fotoner obarmhärtigt reflekteras av Bayer-filtret. De saknade komponenterna beräknas genom ett enkelt genomsnitt av värdena från omgivande pixlar.
Det finns fler gröna celler i Bayer-filteret — detta gjordes som en analogi med det mänskliga ögat. Det betyder att av 50 miljoner pixlar på sensorn kommer den gröna färgen att fånga 25 miljoner, medan röd och blå får 12,5 miljoner vardera. Resten kommer att genomsnittas — denna process kallas debayering eller demosaikering, och det är en fiffig liten lösning som allt hänger på.
Faktum är att varje sensor har sin egen smarta patenterade algoritm för demosaikering, men i den här historien vi bortser från det.
Andra typer av sensorer (som Foveon) har ännu inte riktigt slagit igenom. Även om vissa tillverkare försöker använda sensorer utan Bayer-filter för att förbättra skärpan och det dynamiska omfånget.
När ljuset är svagt eller detaljerna i objektet är mycket små, förlorar vi en hel del information eftersom Bayer-filtret avvisar fotoner med ogynnsamma våglängder. Därför kom man på att använda Pixel Shifting — för att flytta sensorn 1 pixel upp, ner, vänster, höger för att fånga dem alla. Fotografiet blir dock inte 4 gånger större, som man kanske skulle tro, utan processorn använder dessa data för att mer exakt registrera värdet av varje pixel. Den genomsnittar inte utifrån grannar, så att säga, utan utifrån fyra värden av sig själv.
Skakningarna av våra händer när vi tar foton med mobiltelefonen gör denna process till en naturlig följd. I de senaste versionerna av Google Pixel har denna funktion implementerats och aktiveras alltid när du använder zoom på telefonen — det kallas Super Res Zoom (ja, jag gillar också deras obarmhärtliga namngivning). Kineserna har också kopierat den till sina smartphones, även om det blev lite sämre.
Överlagring av något förskjutna foton gör att man kan samla mer information om färgen på varje pixel, vilket minskar brus, ökar skärpan och höjer upplösningen utan att öka det fysiska antalet megapixlar på sensorn. Moderna Android-flaggskepp gör detta automatiskt, medan deras användare knappt tänker på det.
Stackning efter fokus — valfri skärpedjup och refokusering i efterproduktionen.
Metoden kommer från makrofotografi, där en liten skärpedjup alltid har varit ett problem. För att hela objektet skulle vara i fokus var man tvungen att ta flera bilder med fokus förskjutet fram och tillbaka för att sedan sy ihop dem till en skarp bild. Denna metod användes ofta av landskapsfotografer, där både för- och bakgrund blev skarpa som diarré.
Allt detta flyttade också till smartphones, men utan någon större hype. År 2013 släpptes Nokia Lumia 1020 med "Refocus App", och 2014 kom Samsung Galaxy S5 med läget "Selective Focus". De fungerade enligt samma princip: med ett knapptryck tog de snabbt tre bilder — en med "normalt" fokus, en med förskjutet fokus framåt och en med förskjutet fokus bakåt. Programmet justerade bilderna och lät användaren välja en av dem, vilket presenterades som "äktenskaplig" styrning av fokus i efterbearbetningen.
Ingen ytterligare bearbetning gjordes, eftersom även denna enkla hack var tillräckligt för att driva in en spik till Lytros och liknande med deras äkta refokus. Förresten, låt oss prata om dem (övergångsmästarna på nivå 80).
Beräkningsmatriser — ljusfält och plenoptik
Som vi förstod ovan är våra matriser ett hemskt kollage. Vi har helt enkelt blivit vana vid detta och försöker leva med det. Gällande sin konstruktion har de förändrats lite sedan tidernas begynnelse. Vi har bara förbättrat tillverkningsprocessen — minskat avståndet mellan pixlarna, bekämpat brusinterferenser, och lagt till specialpixlar för att hantera fasautofokus. Men om man tar den dyraste spegelreflexkameran och försöker fånga en springande katt under inomhusbelysning — katten kommer, mild sagt, att vinna.
Vi har länge försökt att hitta något bättre. Många försök och forskning inom detta område kan googlas med sökorden "computational sensor" eller "non-bayer sensor", och även exemplet med Pixel Shifting kan betraktas som ett försök att förbättra matriser med hjälp av beräkningar. Men de mest lovande historierna de senaste tjugo åren kommer just från världen av så kallade plenoptiska kameror.
Så att ni inte somnar av förväntan över de kommande komplexa orden, så ge jag ett insiderinsikter att kameran på senaste Google Pixel faktiskt är "lite" plenoptisk. Endast två pixlar, men även detta gör att den kan beräkna äkta optisk skärpedjup utan en andra kamera som alla andra.
Plenoptik är ett kraftfullt verktyg som än så länge inte har fått sitt genombrott. Jag hänvisar till en av mina favoriter bland de senaste , från vilken jag lånat exempel.
En plenoptisk kamera — snart kommer alla att ha en
Uppfunnen 1994 och byggd vid Stanford 2004. Den första konsumtionskameran — Lytro, lanserad 2012. Med liknande teknologier experimenterar VR-industrin nu aktivt.
Skillnaden mellan en vanlig kamera och en plenoptisk är en enda modifiering — sensorn i den är täckt av ett nät av linser, var och en av vilka täcker flera verkliga pixlar. Något sånt:
om man korrekt beräknar avståndet mellan nätet och sensorn och storleken på bländaren, kommer de slutliga bilderna att resultera i tydliga kluster av pixlar — små versioner av den ursprungliga bilden.
Det visar sig att om man tar en central pixel från varje kluster och sammanfogar bilden endast utifrån dem — kommer den inte att skilja sig från en som tagits med en vanlig kamera. Ja, vi har förlorat lite i upplösning, men vi kan helt enkelt be Sony att lägga till fler megapixlar i de nya sensorerna.
Det roliga börjar just här. Om man tar en annan pixel från varje kluster och återigen sammanfogar bilden — kommer vi att få en vanlig fotografi igen, men som om den var tagen med en förskjutning på en pixel. På så sätt, med kluster på 10 × 10 pixlar, får vi 100 bilder av objektet från "lite" olika vinklar.
Ju större klustret är — desto fler bilder får vi, men med lägre upplösning. I en värld av smartphones med 41-megapixlar kan vi kanske lite bortse från upplösningen, men det finns alltid en gräns. Vi måste hitta en balans.
Okej, vi har samlat ihop den plenoptiska kameran, och vad ger det oss?
Ärlig refokusering
Funktionen som alla journalister pratade om i artiklarna om Lytro — möjligheten till ärlig justering av fokus i efterbearbetningen. Med ärlig menas att vi inte tillämpar några algoritmer för att ta bort oskärpa, utan använder uteslutande de pixlar vi har tillgängliga, väljer eller genomsnittliga dem från kluster i rätt ordning.
RAW-bilder från en plenoptisk kamera ser konstiga ut. För att få en vanlig skarp JPEG från dem måste vi först sätta ihop dem. För detta måste vi välja varje JPEG-pixel från en av RAW-klusterna. Beroende på hur vi väljer dem kommer resultatet att förändras.
Till exempel, ju längre bort ett kluster är från platsen där det ursprungliga ljuset faller, desto mer oskarpt blir ljuset. Det beror på optiken. För att få en bild som är ur fokus behöver vi bara välja pixlar på det avstånd vi önskar från originalet — antingen närmare eller längre bort.
Det var svårare med fokus på sig själv — rent fysiskt fanns det färre sådana pixlar i klusterna. I början ville utvecklarna inte ens ge användarna möjlighet att fokusera manuellt — kameran bestämde detta programvarumässigt. Användarna gillade inte denna framtid, så funktionen lades till i senare versioner under namnet "kreativt läge", men refokuseringen gjorde de starkt begränsad just av den anledningen.
Djupkarta och 3D med en kamera
En av de enklaste operationerna inom plenoptik är att få en djupkarta. För detta måste man bara samla två olika bilder och beräkna hur mycket objekten i dem är förskjutna. Mer förskjutning — längre bort från kameran.
Nyligen köpte Google och avvecklade Lytro, men använde deras teknik för sin VR och... för kameran i Pixel. Från och med Pixel 2 blev kameran för första gången "lite" plenoptisk, även om klustren bara hade två pixlar. Detta gav Google möjlighet att inte sätta in en andra kamera, som alla andra, utan beräkna djupkartan enbart utifrån en bild.
Djupkartan byggs upp av två bilder, förskjutna med en subpixel. Det är tillräckligt för att beräkna en binär djupkarta och separera förgrunden från bakgrunden samt sudda ut den senare i den trendiga boken. Resultatet av denna separation släpps också ner och "förbättras" av neurala nätverk som är tränade att förbättra djupkartor (och inte sudda, som många tror).
Detta är också ett plus eftersom plenoptik i smartphones nästan kom gratis till oss. Vi satte redan linser på dessa små matriser för att öka ljusflödet. I kommande Pixel planerar Google att gå längre och täcka fyra fotodioder med en lins.
Källa: 3dnews.ru
