Originalartikeln läggs ut på hemsidan och publiceras på 3DNews med tillstånd av författaren. Vi tillhandahåller hela texten till artikeln, med undantag för ett stort antal länkar - de kommer att vara användbara för dem som är seriöst intresserade av ämnet och skulle vilja studera de teoretiska aspekterna av datorfotografering mer djupgående, men för en allmän publik ansåg vi att detta material var överflödigt.
Idag är inte en enda smartphonepresentation komplett utan att slicka på kameran. Varje månad får vi höra om nästa framgång för mobilkameror: Google lär Pixel att fotografera i mörker, Huawei att zooma som en kikare, Samsung sätter in lidar och Apple gör världens rundaste hörn. Det finns få platser där innovation flödar så snabbt nuförtiden.
Samtidigt verkar speglarna markera tid. Sony överöser varje år alla med nya matriser, och tillverkarna uppdaterar lätt den senaste versionssiffran och fortsätter att slappna av och röka vid sidan av. Jag har en DSLR på 3000 XNUMX $ på mitt skrivbord, men när jag reser tar jag min iPhone. Varför?
Som klassikern sa gick jag online med den här frågan. Där diskuterar de några "algoritmer" och "neurala nätverk", utan att ha någon aning om hur exakt de påverkar fotograferingen. Journalister läser högt upp antalet megapixlar, bloggare sågar betalda unboxningar unisont, och esteter smetar in sig med "sensuell uppfattning om matrisens färgpalett." Allt är som vanligt.
Jag var tvungen att sätta mig ner, spendera halva mitt liv och komma på allt själv. I den här artikeln kommer jag att berätta vad jag lärde mig.
Vad är datorfotografering?
Överallt, inklusive Wikipedia, ger de ungefär den här definitionen: datorfotografering är vilken bildfångst- och bearbetningsteknik som helst som använder digital datoranvändning istället för optiska transformationer. Allt med det är bra, förutom att det inte förklarar någonting. Även autofokus är lämplig för det, men plenoptik, som redan har gett oss många användbara saker, passar inte. De officiella definitionernas vaghet verkar antyda att vi inte har någon aning om vad vi pratar om.
Pionjären inom datorfotografering, Stanford-professorn Marc Levoy (som nu är ansvarig för kameran på Google Pixel) ger en annan definition - en uppsättning datorvisualiseringsmetoder som förbättrar eller utökar möjligheterna för digital fotografering, med hjälp av vilka ett vanligt fotografi erhålls som kunde tekniskt inte tas med denna kamera.kamera på traditionellt sätt. I artikeln ansluter jag mig till detta.
Så smartphones var skyldiga till allt.
Smartphones hade inget annat val än att föda upp en ny typ av fotografi: datorfotografering.
Deras små bullriga matriser och små linser med långsam bländare borde, enligt fysikens alla lagar, bara ha medfört smärta och lidande. De gjorde det tills deras utvecklare kom på hur de på ett smart sätt kan använda sina styrkor för att övervinna sina svagheter – snabba elektroniska slutare, kraftfulla processorer och mjukvara.
Det mesta av den högprofilerade forskningen inom beräkningsfotografi ägde rum mellan 2005 och 2015, vilket inom vetenskapen anses bokstavligen igår. Just nu, framför våra ögon och i våra fickor, utvecklas ett nytt kunskaps- och teknikområde som aldrig funnits tidigare.
Beräkningsfotografering handlar inte bara om selfies med neuro-bokeh. Det senaste fotografiet av ett svart hål hade inte varit möjligt utan beräkningstekniker. För att ta ett sådant foto med ett vanligt teleskop måste vi göra det till jordens storlek. Men genom att kombinera data från åtta radioteleskop på olika ställen på vår boll och skriva några manus i Python, fick vi världens första fotografi av händelsehorisonten. Bra för selfies också.
Start: digital bearbetning
Låt oss föreställa oss att vi återvände 2007. Vår mamma är anarki, och våra bilder är bullriga 0,6-megapixeljeepar tagna på en skateboard. Ungefär då har vi den första oemotståndliga önskan att strö förinställningar på dem för att dölja det eländiga med mobila matriser. Låt oss inte förneka oss själva.
Matan och Instagram
Med lanseringen av Instagram blev alla besatta av filter. Som någon som reverse-konstruerade X-Pro II, Lo-Fi och Valencia för, naturligtvis, forskningsändamål, minns jag fortfarande att de bestod av tre komponenter:
- Färginställningar (Hue, Saturation, Lightness, Contrast, Levels, etc.) - enkla digitala koefficienter, precis som alla förinställningar som fotografer har använt sedan urminnes tider.
- Tonmappningar är vektorer av värden, som var och en sa till oss: "Den röda färgen med en nyans av 128 bör förvandlas till en nyans av 240."
- En overlay är en genomskinlig bild med damm, korn, vinjett och allt annat som kan placeras ovanpå för att få den inte alls banala effekten av en gammal film. Var inte alltid närvarande.
Moderna filter ligger inte långt från denna trio, de har bara blivit lite mer komplexa inom matematiken. Med tillkomsten av hårdvarushaders och OpenCL på smartphones skrevs de snabbt om för GPU:n, och detta ansågs vara väldigt coolt. För 2012 förstås. Idag kan vilken student som helst göra detsamma i CSS, och han kommer fortfarande inte att få chansen att ta examen.
Men framstegen med filter har inte slutat idag. Killarna från Dehanser är till exempel bra på att använda olinjära filter – istället för proletär tonkartläggning använder de mer komplexa olinjära transformationer, vilket enligt dem öppnar upp för mycket fler möjligheter.
Du kan göra många saker med icke-linjära transformationer, men de är otroligt komplexa, och vi människor är otroligt dumma. Så fort det kommer till icke-linjära transformationer inom vetenskapen föredrar vi att gå till numeriska metoder och tränga in neurala nätverk överallt så att de skriver mästerverk åt oss. Det var samma sak här.
Automatisering och drömmer om ett "mästerverk"-knapp
När alla vant sig vid filter började vi bygga in dem direkt i kameror. Historien döljer vilken tillverkare som var den första, men bara för att förstå hur länge sedan det var - i iOS 5.0, som släpptes redan 2011, fanns det redan ett offentligt API för Auto Enhancing Images. Endast Jobs vet hur länge den användes innan den öppnades för allmänheten.
Automatiseringen gjorde samma sak som var och en av oss gör när vi öppnar ett foto i redigeraren - den drog ut luckor i ljus och skuggor, lade till mättnad, tog bort röda ögon och fixerade hy. Användare insåg inte ens att den "dramatiskt förbättrade kameran" i den nya smarttelefonen bara var fördelen med ett par nya shaders. Det var fortfarande fem år kvar till lanseringen av Google Pixel och starten på hypen för datorfotografering.
Idag har kampen om "mästerverk"-knappen flyttat till området för maskininlärning. Efter att ha spelat tillräckligt med tonmapping skyndade alla för att träna CNN:er och GAN:er att flytta reglagen istället för användaren. Med andra ord, från ingångsbilden, bestäm en uppsättning optimala parametrar som skulle föra denna bild närmare en viss subjektiv förståelse av "bra fotografi." Implementerad i samma Pixelmator Pro och andra redigerare. Det fungerar, som du kanske kan gissa, inte särskilt bra och inte alltid.
Stapling är 90 % av framgången för mobilkameror
Sann beräkningsfotografering började med att stapla – flera fotografier lades i lager ovanpå varandra. Det är inte ett problem för en smartphone att klicka på ett dussin bildrutor på en halv sekund. Deras kameror har inga långsamma mekaniska delar: bländaren är fixerad, och istället för en rörlig gardin finns en elektronisk slutare. Processorn beordrar helt enkelt matrisen hur många mikrosekunder den ska fånga vilda fotoner, och den läser resultatet.
Tekniskt sett kan telefonen ta bilder i videohastighet och video med fotoupplösning, men allt beror på bussens och processorns hastighet. Det är därför de alltid sätter programgränser.
Själva satsningen har funnits med oss länge. Till och med farfäder installerade plugins på Photoshop 7.0 för att sätta ihop flera fotografier till iögonfallande HDR eller sy ihop ett panorama på 18000 600 × XNUMX pixlar och... faktiskt, ingen har någonsin kommit på vad de ska göra med dem härnäst. Det var synd att tiderna var rika och vilda.
Nu har vi blivit vuxna och kallar det "epsilon-fotografering" - när vi, genom att ändra en av kameraparametrarna (exponering, fokus, position) och sy ihop de resulterande ramarna, får något som inte kunde fångas i en bildruta. Men detta är en term för teoretiker, i praktiken har ett annat namn slagit rot - staking. Idag är faktiskt 90 % av alla innovationer inom mobilkameror baserade på det.
Något som många inte tänker på, men det är viktigt att förstå all mobil- och datorfotografering: kameran på en modern smartphone börjar ta bilder så fort du öppnar dess app. Vilket är logiskt, eftersom hon på något sätt måste överföra bilden till skärmen. Men förutom skärmen sparar den högupplösta ramar i sin egen loopbuffert, där den lagrar dem i ett par sekunder till.
När du trycker på "ta foto"-knappen har den faktiskt redan tagits, kameran tar helt enkelt det sista fotot från bufferten.
Så här fungerar vilken mobilkamera som helst idag. Åtminstone i alla flaggskepp inte från sophögarna. Buffring låter dig inse inte bara noll slutarfördröjning, som fotografer länge har drömt om, utan till och med negativa - när du trycker på en knapp tittar smarttelefonen in i det förflutna, laddar ur de sista 5-10 bilderna från bufferten och börjar frenetiskt analysera och klistra in dem. Du behöver inte längre vänta på att telefonen ska klicka på ramar för HDR- eller nattläge - ta dem bara från bufferten, användaren vet inte ens.
Det är förresten med hjälp av negativ slutarfördröjning som Live Photo implementeras i iPhones, och HTC hade något liknande redan 2013 under det märkliga namnet Zoe.
Exponeringsstapling - HDR och bekämpar ljusstyrkaförändringar
Huruvida kamerasensorer är kapabla att fånga hela ljusstyrkan som är tillgänglig för våra ögon är ett gammalt hett debattämne. Vissa säger nej, eftersom ögat klarar av att se upp till 25 f-stopp, medan man även från en toppmatris i fullformat kan få max 14. Andra kallar jämförelsen felaktig, eftersom hjärnan hjälper ögat genom att automatiskt justera pupillen och fullborda bilden med dess neurala nätverk, och ögonblicket. Ögats dynamiska omfång är faktiskt inte mer än bara 10-14 f-stopp. Låt oss överlåta denna debatt till de bästa fåtöljstänkarna på Internet.
Faktum kvarstår: när du fotograferar vänner mot en ljus himmel utan HDR på någon mobilkamera får du antingen en normal himmel och vänners svarta ansikten, eller välritade vänner, men en himmel som bränds ihjäl.
Lösningen har länge uppfunnits - att utöka ljusstyrkan med hjälp av HDR (High dynamic range). Du måste ta flera bilder med olika slutartider och sy ihop dem. Så att en är "normal", den andra är ljusare, den tredje är mörkare. Vi tar mörka platser från en ljus ram, fyller i överexponeringar från en mörk - vinst. Allt som återstår är att lösa problemet med automatisk bracketing - hur mycket man ska flytta exponeringen för varje bildruta för att inte överdriva det, men nu kan en andraårsstudent vid ett tekniskt universitet hantera att bestämma den genomsnittliga ljusstyrkan för en bild.
På de senaste iPhone, Pixel och Galaxy slås HDR-läget i allmänhet på automatiskt när en enkel algoritm inuti kameran avgör att du fotograferar något med kontrast en solig dag. Du kan till och med märka hur telefonen växlar inspelningsläge till bufferten för att spara bildrutor som ändrats i exponering - fps i kameran sjunker, och själva bilden blir saftigare. Växlingsmomentet syns tydligt på min iPhone X när jag filmar utomhus. Titta närmare på din smartphone nästa gång också.
Nackdelen med HDR med exponeringsvariation är dess ogenomträngliga hjälplöshet i dålig belysning. Även med ljuset från en rumslampa blir ramarna så mörka att datorn inte kan rikta in och sy ihop dem. För att lösa problemet med ljus visade Google 2013 ett annat förhållningssätt till HDR i den då släppta Nexus-smarttelefonen. Han använde tidstapling.
Time stacking - simulering av lång exponering och time lapse
Tidsstackning låter dig skapa en lång exponering med en serie korta. Pionjärerna var fans av att fotografera stjärnspår på natthimlen, som fann det obekvämt att öppna slutaren i två timmar på en gång. Det var så svårt att beräkna alla inställningar i förväg, och minsta skakning skulle förstöra hela ramen. De bestämde sig för att bara öppna slutaren i ett par minuter, men många gånger, och gick sedan hem och klistrade in de resulterande ramarna i Photoshop.
Det visar sig att kameran faktiskt aldrig tog med lång slutartid, men vi fick effekten av att simulera det genom att lägga ihop flera bilder tagna i rad. Det har funnits ett gäng appar skrivna för smartphones som använder detta trick under lång tid, men alla behövs inte eftersom funktionen lades till nästan alla vanliga kameror. Idag kan även en iPhone enkelt sy ihop en lång exponering från ett Live Photo.
Låt oss gå tillbaka till Google med dess nattliga HDR. Det visade sig att man med hjälp av tidsvariation kan implementera bra HDR i mörker. Tekniken dök upp först i Nexus 5 och kallades HDR+. Resten av Android-telefonerna fick det som en present. Tekniken är fortfarande så populär att den till och med hyllas i presentationen av de senaste Pixels.
HDR+ fungerar helt enkelt: efter att ha fastställt att du fotograferar i mörker, laddar kameran ut de sista 8-15 RAW-bilderna från bufferten för att lägga dem ovanpå varandra. Algoritmen samlar alltså in mer information om de mörka områdena i ramen för att minimera brus – pixlar där kameran av någon anledning inte kunde samla in all information och gick fel.
Det är som att om du inte visste hur en kapybara såg ut och du bad fem personer att beskriva den, skulle deras berättelser vara ungefär desamma, men var och en skulle nämna någon unik detalj. På så sätt skulle du samla mer information än att bara fråga en. Det är samma sak med pixlar.
Att lägga till ramar tagna från en punkt ger samma falska långexponeringseffekt som med stjärnorna ovan. Exponeringen av dussintals bildrutor summeras, fel i en minimeras i andra. Föreställ dig hur många gånger du skulle behöva klicka på DSLR-slutaren varje gång för att uppnå detta.
Allt som återstod var att lösa problemet med automatisk färgkorrigering - ramar tagna i mörker blir oftast gula eller gröna, och vi vill ha rikedomen av dagsljus. I tidiga versioner av HDR+ löstes detta genom att helt enkelt justera inställningarna, som i filter a la Instagram. Sedan bad de neurala nätverk för att hjälpa till.
Så här såg Night Sight ut - tekniken för "nattfotografering" i Pixel 2 och 3. I beskrivningen säger de: "Machine learning-tekniker byggda ovanpå HDR+, som får Night Sight att fungera." I huvudsak är detta automatiseringen av färgkorrigeringssteget. Maskinen tränades på en datauppsättning av "före" och "efter"-foton för att göra en vacker av vilken uppsättning mörka sneda bilder som helst.
Datauppsättningen gjordes förresten allmänt tillgänglig. Kanske kommer killarna från Apple att ta det och äntligen lära sina glasskyfflar att fota ordentligt i mörkret.
Dessutom använder Night Sight beräkningen av rörelsevektorn för objekt i bilden för att normalisera oskärpan som säkerligen kommer att inträffa med en lång slutartid. Så smarttelefonen kan ta tydliga delar från andra ramar och limma dem.
Rörelsestapling - panorama, superzoom och brusreducering
Panorama är en populär underhållning för invånare på landsbygden. Historien känner ännu inte till några fall där ett korvfoto skulle vara av intresse för någon annan än dess författare, men det går inte att ignorera – för många var det här staplingen började i första hand.
Det första användbara sättet att använda ett panorama är att få ett fotografi med högre upplösning än vad kameramatrisen tillåter genom att sy ihop flera bildrutor. Fotografer har länge använt olika mjukvaror för så kallade superupplösta fotografier – när lätt förskjutna fotografier verkar komplettera varandra mellan pixlarna. På så sätt kan du få en bild på minst hundratals gigapixlar, vilket är mycket användbart om du behöver skriva ut den på en reklamaffisch i storleken av ett hus.
En annan, mer intressant metod är Pixel Shifting. Vissa spegellösa kameror som Sony och Olympus började stödja det redan 2014, men de var fortfarande tvungna att limma fast resultatet för hand. Typiska storkamerainnovationer.
Smartphones har lyckats här av en rolig anledning - när du tar ett foto skakar händerna. Detta till synes problem låg till grund för implementeringen av inbyggd superupplösning på smartphones.
För att förstå hur detta fungerar måste du komma ihåg hur matrisen för en kamera är uppbyggd. Var och en av dess pixlar (fotodiod) kan endast registrera ljusets intensitet - det vill säga antalet inkommande fotoner. En pixel kan dock inte mäta sin färg (våglängd). För att få en RGB-bild var vi tvungna att lägga till kryckor även här - täck hela matrisen med ett rutnät av flerfärgade glasbitar. Dess mest populära implementering kallas Bayer-filtret och används i de flesta matriser idag. Ser ut som bilden nedan.
Det visar sig att varje pixel i matrisen bara fångar R-, G- eller B-komponenten, eftersom de återstående fotonerna skoningslöst reflekteras av Bayer-filtret. Den känner igen de saknade komponenterna genom att på ett rakt sätt beräkna medelvärdena för närliggande pixlar.
Det finns fler gröna celler i Bayer-filtret - detta gjordes i analogi med det mänskliga ögat. Det visar sig att av 50 miljoner pixlar på matrisen kommer grönt att fånga 25 miljoner, rött och blått - 12,5 miljoner vardera. Resten kommer att beräknas i medeltal - denna process kallas debayerization eller demosaicing, och det här är en så fet rolig krycka på som allt vilar.
Faktum är att varje matris har sin egen listiga patenterade demosaicing-algoritm, men för denna berättelses syfte kommer vi att försumma detta.
Andra typer av matriser (som Foveon) har på något sätt inte kommit ikapp ännu. Även om vissa tillverkare försöker använda sensorer utan Bayer-filter för att förbättra skärpan och dynamiskt omfång.
När det är lite ljus eller detaljerna i ett objekt är mycket små, förlorar vi mycket information eftersom Bayer-filtret på ett flagrant sätt skär bort fotoner med en oönskad våglängd. Det är därför de kom på Pixel Shifting – att flytta matrisen med 1 pixel upp-ned-höger-vänster för att fånga dem alla. I det här fallet visar sig bilden inte vara 4 gånger större, som det kan tyckas, processorn använder helt enkelt dessa data för att mer exakt registrera värdet på varje pixel. Det är i genomsnitt inte över sina grannar, så att säga, utan över fyra värden av sig själv.
Att vi skakar på händerna när vi tar bilder på telefonen gör denna process till en naturlig konsekvens. I de senaste versionerna av Google Pixel är den här saken implementerad och slås på när du använder zoom på telefonen - den kallas Super Res Zoom (ja, jag gillar också deras skoningslösa namngivning). Kineserna kopierade det också till sina laofoner, även om det blev lite värre.
Genom att lägga lite förskjutna fotografier ovanpå varandra kan du samla in mer information om färgen på varje pixel, vilket innebär att minska brus, öka skärpan och höja upplösningen utan att öka det fysiska antalet megapixlar i matrisen. Moderna Android-flaggskepp gör detta automatiskt, utan att deras användare ens tänker på det.
Fokusstapling - vilket skärpedjup som helst och omfokus i efterproduktion
Metoden kommer från makrofotografering, där grunt skärpedjup alltid varit ett problem. För att hela objektet skulle vara i fokus var man tvungen att ta flera bildrutor med fokus flyttande fram och tillbaka, och sedan sy ihop dem till en skarp. Samma metod användes ofta av landskapsfotografer, vilket gjorde förgrunden och bakgrunden lika skarp som diarré.
Allt detta har också flyttat till smartphones, dock utan större hype. 2013 släpptes Nokia Lumia 1020 med "Refocus App" och 2014 Samsung Galaxy S5 med läget "Selective Focus". De arbetade enligt samma schema: genom att trycka på en knapp tog de snabbt 3 bilder - en med "normal" fokus, den andra med fokus flyttad framåt och den tredje med fokus flyttad bakåt. Programmet justerade ramar och tillät dig att välja en av dem, vilket utsågs som "riktig" fokuskontroll i efterproduktion.
Det fanns ingen ytterligare bearbetning, för även detta enkla hack räckte för att slå ytterligare en spik i locket på Lytro och dess kamrater med sin ärliga omfokusering. Förresten, låt oss prata om dem (transition master 80 lvl).
Beräkningsmatriser - ljusfält och plenoptik
Som vi förstod ovan är våra matriser skräck på kryckor. Vi har precis vant oss vid det och försöker leva med det. Deras struktur har förändrats lite sedan tidernas begynnelse. Vi förbättrade bara den tekniska processen - vi minskade avståndet mellan pixlarna, kämpade mot störningsbrus och lade till speciella pixlar för fasdetekteringsautofokus. Men om du tar även den dyraste DSLR och försöker fotografera en springande katt med den i rumsbelysning - så vinner katten milt sagt.
Vi har länge försökt hitta på något bättre. Många försök och forskning inom detta område googlas efter "beräkningssensor" eller "icke-bayer-sensor", och även Pixel Shifting-exemplet ovan kan tillskrivas försök att förbättra matriser med hjälp av beräkningar. Men de mest lovande berättelserna under de senaste tjugo åren har kommit till oss just från världen av så kallade plenoptiska kameror.
För att du inte ska somna från förväntan på kommande komplexa ord, ska jag slänga in en insider om att kameran på den senaste Google Pixel bara är "något" plenoptisk. Bara två pixlar, men även detta gör att den kan beräkna det korrekta optiska djupet för ramen även utan en andra kamera, som alla andra.
Plenoptik är ett kraftfullt vapen som ännu inte har avfyrats. Här är en länk till en av mina senaste favoriter. , där jag lånade exemplen ifrån.
Plenoptisk kamera - kommer snart
Uppfunnet 1994, samlat på Stanford 2004. Den första konsumentkameran, Lytro, släpptes 2012. VR-branschen experimenterar nu aktivt med liknande tekniker.
En plenoptisk kamera skiljer sig från en konventionell kamera i endast en modifiering - dess matris är täckt med ett rutnät av linser, som var och en täcker flera riktiga pixlar. Något som det här:
Om du korrekt beräknar avståndet från rutnätet till matrisen och storleken på bländaren, kommer den slutliga bilden att ha tydliga kluster av pixlar - en sorts miniversioner av originalbilden.
Det visar sig att om du tar, säg, en central pixel från varje kluster och limmar ihop bilden endast med hjälp av dem, kommer den inte att skilja sig från den som tas med en vanlig kamera. Ja, vi har tappat lite i upplösning, men vi ber bara Sony att lägga till fler megapixlar i de nya matriserna.
Det roliga har bara börjat. om du tar ytterligare en pixel från varje kluster och syr ihop bilden igen får du ett normalt fotografi igen, bara som om det togs med en pixelförskjutning. Med kluster på 10 × 10 pixlar kommer vi alltså att få 100 bilder av objektet från "något" olika punkter.
Större klusterstorlek betyder fler bilder, men lägre upplösning. I en värld av smartphones med 41-megapixelmatriser, även om vi kan försumma upplösningen lite, finns det en gräns för allt. Du måste hålla balansen.
Okej, vi har satt ihop en plenoptisk kamera, så vad ger det oss?
Ärlig omfokusering
Funktionen som alla journalister surrade om i artiklar om Lytro var möjligheten att ärligt justera fokus i efterproduktionen. Med rättvist menar vi att vi inte använder några avskärningsalgoritmer, utan endast använder pixlarna till hands, väljer eller tar ett medelvärde för dem från kluster i önskad ordning.
RAW-fotografering från en plenoptisk kamera ser konstigt ut. För att få ut den vanliga vassa jeepen ur den måste du först montera ihop den. För att göra detta måste du välja varje pixel i jeepen från ett av RAW-klustren. Beroende på hur vi väljer dem kommer resultatet att förändras.
Till exempel, ju längre klustret är från infallspunkten för den ursprungliga strålen, desto mer oskarp är denna stråle. Eftersom optik. För att få en fokusförskjuten bild behöver vi bara välja pixlar på önskat avstånd från originalet - antingen närmare eller längre.
Det var svårare att flytta fokus mot sig själv – rent fysiskt fanns det färre sådana pixlar i klustren. Till en början ville utvecklarna inte ens ge användaren möjligheten att fokusera med händerna - kameran själv bestämde detta i mjukvara. Användare gillade inte den här framtiden, så de lade till en funktion i senare firmware som kallas "kreativt läge", men gjorde omfokusering i den mycket begränsad av exakt denna anledning.
Djupkarta och 3D från en kamera
En av de enklaste operationerna inom plenoptik är att få fram en djupkarta. För att göra detta behöver du bara samla två olika ramar och beräkna hur mycket objekten i dem är förskjutna. Mer skift betyder längre bort från kameran.
Google köpte och dödade nyligen Lytro, men använde deras teknik för sin VR och... för Pixel-kameran. Från och med Pixel 2 blev kameran "något" plenoptisk för första gången, om än med kluster på bara två pixlar. Detta gav Google möjligheten att inte installera en andra kamera, som alla andra killar, utan att beräkna djupkartan enbart från ett foto.
Djupkartan är byggd med hjälp av två bildrutor förskjutna med en subpixel. Detta är tillräckligt för att beräkna en binär djupkarta och separera förgrunden från bakgrunden och sudda ut den senare i den nu fashionabla bokeh. Resultatet av sådan skiktning jämnas ut och "förbättras" av neurala nätverk som är tränade för att förbättra djupkartor (och inte suddas ut, som många tror).
Tricket är att vi fick plenoptik i smartphones nästan gratis. Vi har redan satt linser på dessa små matriser för att på något sätt öka ljusflödet. I nästa Pixel planerar Google att gå längre och täcka fyra fotodioder med en lins.
Källa: 3dnews.ru