Originální článek byl zveřejněn na webu a byl publikován na 3DNews se souhlasem autora. Přinášíme úplný text článku, s výjimkou obrovského množství odkazů – ty přijdou vhod těm, kteří se vážně zajímají o téma a chtěli by si důkladně prostudovat teoretické aspekty výpočetní fotografie, ale pro širokou veřejnost jsme tento materiál považovali za nadbytečný.
Dnes se žádná prezentace smartphonu neobejde bez oslavování jeho fotoaparátu. Každý měsíc slyšíme o dalším úspěchu mobilních kamer: Google učí Pixel fotit ve tmě, Huawei zoomuje jako dalekohled, Samsung přidává lidar a Apple dělá nejkulatější úhly na světě. Mnozí inovace v této oblasti skutečně vzkvétají.
Zrcadlovky přitom jakoby stagnují. Sony každoročně představuje nové snímače, zatímco výrobci líně aktualizují poslední číslici verze a dál si s úsměvem užívají klidu. Na mém stole leží zrcadlovka za 3000 dolarů, ale na cesty si beru iPhone. Proč?
Jak říkal klasik – vyšel jsem na internet s touto otázkou. Tam diskutují o nějakých „algoritmech“ a „neuronových sítích“, aniž by měli tušení, jak konkrétně ovlivňují fotografii. Novináři hlučně oznamují počet megapixelů, blogeři hromadně točí zaplacené unboxingy a estetici se roztékají nad „citlivým vnímáním barevné palety snímače“. Všechno jako obvykle.
Musel jsem si sednout, strávit polovinu života a všechno si sám prostudovat. V tomto článku vám povím, co jsem zjistil.
Co je to výpočetní fotografie?
Všude, včetně Wikipedie, se uvádí přibližně toto vysvětlení: výpočetní fotografie – jakékoli techniky zachycování a zpracování obrazů, kde se místo optických transformací používají digitální výpočty. V tomto je vše v pořádku, kromě toho, že to nic nevysvětluje. Pasuje sem dokonce autofokus, ale nepasuje sem plenoptická optika, která nám již přinesla mnoho užitečného. Nejasnost oficiálních definic jakoby naznačuje, že nemáme tušení, o čem mluvíme.
Pionýr počítačové fotografie, profesor Stanfordské univerzity Marc Levoy (který nyní vede kameru v Google Pixel) přináší jiné definice — soubor metod počítačového vidění, které zlepšují nebo rozšiřují možnosti digitální fotografie, přičemž díky nim vznikne obyčejná fotografie, která nemohla být technicky pořízena tímto fotoaparátem tradičním způsobem. V článku se držím právě jeho definice.
Takže za všechno mohly chytré telefony.
Chytré telefony neměly jinou možnost, než dát život novému druhu fotografie — počítačové.
Jejich malé šumové senzory a drobné slabosvětelné objektivy podle všech fyzikálních zákonů měly přinášet pouze bolest a utrpení. A také přinášely, dokud jejich vývojáři nezjistili, jak chytře využít jejich silné stránky k překonání slabých — rychlé elektronické závěrky, výkonné procesory a software.
Většina známých výzkumů v oblasti počítačové fotografie spadá do let 2005–2015, což je v vědeckém měřítku doslova včera. Přímo nyní se před našima očima a v našich kapsách vyvíjí nová disciplína znalostí a technologií, jaká tu nikdy předtím nebyla.
Počítačová fotografie není jen o selfie s neuro-bokem. Nedávná fotografie černé díry by nevznikla bez metod počítačové fotografie. Abychom pořídili takový obrázek pomocí běžného teleskopu, museli bychom ho udělat velikým jako Země. Nicméně, kombinováním dat z osmi rádioteleskopů na různých místech naší planety a napsáním několika skriptů v Pythonu jsme získali první fotografii horizontu události na světě. Na selfie taky poslouží.
Začátek: digitální zpracování
Představme si, že jsme se vrátili do roku 2007. Naše matka je anarchie a naše fotografie jsou šumové 0,6-Mp jpeg, pořízené na skateboardu. Přibližně tehdy máme první nezvladatelné přání nasypat na ně presety, abychom skryli ubóství mobilních senzorů. Neodmítejme si to.
Matan a Instagram
S příchodem Instagramu se všichni zbláznili do filtrů. Jako člověk, který v minulosti reverzně inženýroval X-Pro II, Lo-Fi a Valencia za, jak jinak, výzkumnými (kek) účely, si stále pamatuji, že se skládaly ze tří komponentů:
- Nastavení barev (Hue, Saturation, Lightness, Contrast, Levels atd.) — jednoduché digitální koeficienty, přesně jako v jakýchkoliv presetech, které fotografové používali od nepaměti.
- Mapy tónování (Tone Mapping) — vektory hodnot, z nichž každé říkalo: „Červená barva s tónem 128 by měla být změněna na tón 240.“
- Overlay — poloprůhledný obrázek s prachem, zrnítkem, vinětací a vším ostatním, co lze překrýt pro dosažení nijak banálního efektu starého filmu. Nebyl vždy přítomen.
Moderní filtry se od této trojice až tak daleko nevzdálily, jen se mírně zkomplikovaly v matematice. Se vznikem hardwarových shaderů a OpenCL na smartphonech byly rychle přepsány na GPU a to se považovalo za ohromně skvělé. Samozřejmě v roce 2012. Dnes to může udělat každý školák pomocí CSS a na maturitním vysvědčení mu to stejně neutíká.
Pokrok filtrů se však dnes nezastavil. Kluci z Dehanceru se například skvěle zabývají nelineárními filtry — místo proletářského tónování používají složitější nelineární transformace, což, jak říkají, otevírá mnohem více možností.
Nelineárními transformacemi se dá napáchat spousta věcí, ale jsou neuvěřitelně složité, a my, lidi, jsme neuvěřitelně hloupí. Jakmile se věda dostane k nelineárním transformacím, raději přecházíme k numerickým metodám a cpeme všude neuronové sítě, aby vytvářely mistrovská díla za nás. To bylo i zde.
Automatika a sny o tlačítku „mistr“
Když si lidé zvykli na filtry, začali jsme je integrovat přímo do fotoaparátů. Historie skrývá, který výrobce byl první, ale pro pochopení, jak dávno to bylo — v iOS 5.0, která vyšla již v roce 2011, již existovalo veřejné API pro automatické zlepšení obrázků. Jen Jobs ví, jak dlouho bylo používáno před zveřejněním.
Automatika dělala to, co každý z nás při otevření fotky v editoru — vytahovala propady ve světle a stínech, přidávala saturaci, odstraňovala červené oči a opravovala tón pleti. Uživatelé si ani nepředstavovali, že „dramaticky vylepšený fotoaparát“ v novém smartphonu byl jen zásluhou pár nových shaderů. Do vydání Google Pixel a začátku hypu kolem výpočetní fotografie zbývalo ještě pět let.
Dnes boje o tlačítko „šampion“ přešly na pole strojového učení. Pohrávali si s tonální mapováním, všichni se vrhli na školení CNN a GAN, aby posouvali posuvníky místo uživatele. Jinými slovy, určovat na základě vstupního obrázku sadu optimálních parametrů, které by přibližovaly daný obrázek k určitému subjektivnímu pochopení „dobré fotografie“. Bylo to realizováno ve stejné aplikaci Pixelmator Pro a v dalších editorech. Funguje to, jak lze tušit, ne vždy a ne moc dobře.
Staking – 90% úspěchu mobilních kamer.
Skutečná výpočetní fotografie začala se stakingem – překrýváním několika fotografií. Pro smartphone není problém pořídit desítky snímků za půl sekundy. V jejich kamerách nejsou žádné pomalé mechanické části: clona je pevná a místo pohyblivé závěrky je elektronická. Procesor jednoduše příkazuje snímači, kolik mikrosekund má zachytit divoké fotony, a sám čte výsledek.
Technicky může telefon pořizovat fotografie rychlostí videa a videa s rozlišením fotografie, ale vše závisí na rychlosti sběrnice a procesoru. Proto jsou vždy stanoveny softwarové limity.
Samotný stacking je s námi už dlouho. Už naši předci instalovali pluginy do Photoshopu 7.0, aby spojili několik fotografií do zářivě barevného HDR nebo poskládali panoráma 18000 × 600 pixelů a… ve skutečnosti nikdo pořádně nevymyslel, co s nimi dál dělat. To byly bohaté časy, škoda, že divoké.
Teď jsme vyrostli a nazýváme to „epsilon-fotografií“ – když měníme jeden z parametrů kamery (expozice, ostření, umístění) a spojujeme získané snímky, dostaneme něco, co nemohlo být pořízeno jedním snímkem. Ale to je termín pro teoretiky, v praxi se však ujalo jiné názvosloví – stacking. Dnes na něm vlastně stojí 90% všech inovací v mobilních kamerách.
Důležitá věc, o které mnozí nepřemýšlejí, ale je klíčová pro porozumění celé mobilní a výpočetní fotografii: kamera v moderním smartphonu začíná pořizovat fotografie hned, jakmile otevřete její aplikaci. Což je logické, musí nějak předávat obraz na obrazovku. Nicméně kromě obrazovky ukládá snímky vysokého rozlišení do vlastního cyklického bufferu, kde je uchovává ještě pár sekund.
Když stisknete tlačítko „pořídit foto“, vlastně už je pořízené, kamera jednoduše vezme poslední foto z bufferu.
Dnes tak funguje jakákoli mobilní kamera. Minimálně ve všech vlajkových lodích, nikoli z odpadků. Bufferování umožňuje realizovat nejen nulové zpoždění spouště, o kterém fotografové tak dlouho snili, ale dokonce i záporné zpoždění – při stisknutí tlačítka smartphone nahlíží do minulosti, načítá 5-10 posledních fotek z bufferu a začíná je intenzivně analyzovat a spojovat. Už není třeba čekat, než telefon pořídí snímky pro HDR nebo noční režim – jednoduše je vezměte z bufferu, uživatel to ani nezjistí.
Mimochodem, právě pomocí záporného zpoždění spouště je realizováno Live Photo na iPhonech, a v HTC něco podobného bylo již v roce 2013 pod podivným názvem Zoe.
Skládání podle expozice – HDR a boj s výkyvy jasu
Zda jsou snímače fotoaparátů schopny zachytit celý rozsah jasu, který je dostupný našim očím, je staré a živé téma prodebating. Někteří tvrdí, že ne, protože oko dokáže vidět až 25 f-stopů, zatímco i z nejlepší full-frame snímače lze vytáhnout maximálně 14. Jiní nazývají porovnání nevhodným, protože oku pomáhá mozek, který automaticky přizpůsobuje zornici a dotváří obraz svými neuronovými sítěmi, a okamžitý dynamický rozsah oka ve skutečnosti není víc než právě 10-14 f-stopů. Tyto debaty ponechme nejlepším myšlenkovým kritikům internetu.
Fakt je fakt: když fotíte přátele na pozadí jasné oblohy bez HDR na jakoukoli mobilní kameru, dostanete buď normální oblohu a černé obličeje přátel, nebo vymodelované přátele, ale všeho všudy spálenou oblohu.
Řešení je již dávno vymyšlené – rozšíření rozsahu jasu pomocí HDR (High dynamic range). Je třeba pořídit několik snímků s různou expozicí a spojit je dohromady. Aby jedna byla „normální“, druhá světlejší, třetí tmavší. Bereme tmavá místa ze světlejšího snímku, překročení vyplňujeme z tmavého – profit. Zůstává pouze vyřešit úkol automatického bracketingu – jak moc posunout expozici každého snímku, abychom to nepřehnali, ale určení průměrné jasnosti obrázku teď zvládne i druhák technické univerzity.
Na posledních iPhonech, Pixelech a Galaxiích se režim HDR zapíná automaticky, když jednoduchý algoritmus uvnitř fotoaparátu zjistí, že snímáte něco kontrastního za slunečného dne. Můžete si dokonce všimnout, jak telefon přepíná režim nahrávání do vyrovnávací paměti, aby ukládal snímky s posunutou expozicí – ve fotoaparátu klesá fps a obrázek se stává sytějším. Přepnutí je dobře patrné na mém iPhone X, když fotím venku. Podívejte se na svůj smartphone příště také.
Nevýhodou HDR s bracketingem podle expozice je jeho naprostá bezmocnost při špatném osvětlení. I při světle z běžné lampy jsou snímky tak tmavé, že je počítač nemůže vyrovnat a slepit. Pro řešení problémů se světlem v roce 2013 Google představil jiný přístup k HDR v tehdy vydaném smartphonu Nexus. Použil časové skládání.
Časové skládání – simulace dlouhé expozice a timelapse
Časové skládání umožňuje získat dlouhou expozici pomocí série krátkých. Prvovýzkumníci byli nadšenci, kteří fotografovali stopy hvězd na nočním nebi a kterým bylo nepohodlné otevřít závěrku hned na dvě hodiny. Bylo těžké předem spočítat všechny nastavení a i drobné otřesy kazily celý snímek. Rozhodli se otevírat závěrku jen na pár minut, ale mnohokrát, a pak šli domů a skládali získané snímky ve Photoshopu.
To znamená, že fotoaparát nikdy ve skutečnosti nefotografoval na dlouhou expozici, ale my jsme získávali efekt její imitace složením několika po sobě jdoucích snímků. Pro smartphony byla už dávno napsána spousta aplikací, které tento trik využívají, ale všechny jsou zbytečné od té doby, co byla tato funkce přidána téměř do všech standardních fotoaparátů. Dnes iPhone snadno složí dlouhou expozici z Live Photo.
Vraťme se k Googlu s jeho nočním HDR. Ukázalo se, že pomocí bracketingu podle času lze realizovat slušné HDR ve tmě. Technologie se poprvé objevila v Nexus 5 a nazývala se HDR+. Ostatní telefony na Androidu ji dostaly jakoby jako dárek. Technologie je dodnes tak populární, že se jí chlubí i v prezentaci posledních Pixelů.
HDR+ funguje velmi jednoduše: když kameru detekuje, že fotíte ve tmě, uloží do bufferu 8-15 posledních fotografií ve formátu RAW, aby je superponovala. Tímto způsobem algoritmus shromažďuje více informací o tmavých částech snímku, aby minimalizoval šum – pixely, kde z nějakého důvodu kamera nedokázala shromáždit všechny informace a selhala.
Je to jako byste nevěděli, jak kapybara vypadá, a požádali pět lidí, aby ji popsali – jejich příběhy by byly přibližně stejné, ale každý by zmínil nějaký jedinečný detail. Takhle byste shromáždili více informací, než kdybyste se ptali jen jednoho. Stejné je to i s pixely.
Sčítání snímků pořízených z jednoho místa dává stejný falešný efekt dlouhé expozice jako se hvězdami výše. Expozice desítek snímků se sčítá, chyby na jednom se minimalizují na ostatních. Představte si, kolikrát byste museli stisknout spoušť zrcadlovky, abyste dosáhli něčeho takového.
Zbylo jen vyřešit problém automatické barevné korekce – snímky pořízené ve tmě obvykle vycházejí žluté nebo zelené, a my přece chceme šťavnatosti denního osvětlení. V raných verzích HDR+ se to řešilo jednoduchým nastavením jako ve filtrech ala Instagram. Později přišly na pomoc neuronové sítě.
Tak se zrodil Night Sight – technologie "noční fotografie" v modelech Pixel 2 a 3. V popisu se říká: "Techniky strojového učení postavené na HDR+, které činí Night Sight funkčním". V podstatě se jedná o automatizaci kroku barevné korekce. Stroj byl vycvičen na datovém souboru fotografií "před" a "po", aby z různých sad tmavých křivých snímků vytvořil jeden krásný.
Datový soubor, mimochodem, byl zveřejněn jako open-source. Možná si ho vezmou kluci z Apple a konečně naučí své skleněné pláty normálně fotit ve tmě.
Kromě toho Night Sight používá výpočet vektoru pohybu objektů v záběru, aby normalizoval rozostření, které nevyhnutelně vznikne při dlouhé expozici. Díky tomu může smartphone vzít ostré části z jiných snímků a sloučit je.
Sčítání při pohybu – panorama, superzoom a boj proti šumu.
Panorama je populární zábava obyvatel venkova. Zatím není známo, že by se někomu jinému kromě autora tato „sosiscofotka“ zamlouvala, ale nelze ji opomenout - pro mnohé to bylo vůbec začátkem stacking.
Prvním užitečným způsobem, jak panoramu využít, je získání fotografie s vyšším rozlišením, než nabízí snímač fotoaparátu, spojením několika záběrů. Fotografové již dlouho používají různé programy pro takzvané fotografie se superrozlišením - kdy se mírně posunuté fotografie doplňují navzájem mezi pixely. Tímto způsobem lze získat obraz až ve stovkách gigapixelů, což je velmi užitečné, pokud potřebujete vytisknout plakát velikosti domu.
Dalším, již zajímavějším přístupem, je Pixel Shifting. Některé bezzrcadlovky typu Sony a Olympus začaly podporovat tuto funkci již od roku 2014, ale výsledky bylo stále třeba montovat ručně. Typické inovace velkých fotoaparátů.
Smartphony v této oblasti uspěly z úsměvného důvodu - když fotíte, vaše ruce se třesou. Tento na první pohled problém se stal základem pro implementaci nativního superrozlišení na smartphonech.
Abychom pochopili, jak to funguje, musíme si vzpomenout, jak je uspořádán snímač každého fotoaparátu. Každý pixel (fotodiody) dokáže zachytit pouze intenzitu světla - tedy počet dopadajících fotonů. Avšak pixel nemůže měřit jeho barvu (vlnovou délku). Abychom získali RGB obrázek, museli jsme si zde také vyrobit kličkovanou konstrukci - zakrýt celý snímač síťkou různobarevných sklíček. Nejpopulárnější realizace se nazývá Bayerův filtr a dnes se používá v většině snímačů. Vypadá jako na obrázku níže.
Ukazuje se, že každý pixel snímače zachytí pouze R-, G- nebo B-složku, neboť ostatní fotony se zkrátka odrážejí Bayerovým filtrem. Chybějící složky jsou pak odvozeny prostým průměrováním hodnot sousedních pixelů.
Zelených buněk ve Bayerově filtru je více — bylo to uděláno podle analogy s lidským okem. To znamená, že z 50 milionů pixelů na matrici bude zelenou barvu zachycovat 25 milionů, červenou a modrou po 12,5 milionu. Zbytek bude průměrován — tento proces se nazývá debayerizace nebo demosaik a je to takový silný vtipný berlička, na které všechno drží.
Ve skutečnosti má každá matrice svůj vlastní chytrý patentovaný algoritmus demosaikování, ale v rámci tohoto příběhu to opomineme.
Jiné typy matric (například Foveon) se zatím moc neujaly. I když někteří výrobci se snaží používat matrice bez Bayerova filtru pro zvýšení ostrosti a dynamického rozsahu.
Když je světla málo nebo detaily objektu jsou velmi malé, ztrácíme spoustu informací, protože Bayerův filtr bezostyšně blokuje fotony s nežádoucí vlnovou délkou. Proto se vymyslel Pixel Shifting — posunout matrici o 1 pixel nahoru-dolů-vpravo-vlevo, aby je všechny zachytil. Fotografie při tom nevznikne 4krát větší, jak by se mohlo zdát, procesor tyto údaje používá, aby přesněji zaznamenal hodnotu každého pixelu. Průměruje ne podle sousedů, říkajíce tak, ale podle čtyř hodnot sama sebe.
Trhání našich rukou při fotografování na telefon tuto situaci činí přirozeným důsledkem. V posledních verzích Google Pixel je tato funkce implementována a je zapnuta vždy, když používáte zoom na telefonu — nazývá se Super Res Zoom (ano, mně se taky líbí jejich neúprosné pojmenování). Číňané to také zkopírovali do svých smartphonů, i když to dopadlo trochu hůř.
Překryvání mírně posunutých fotografií umožňuje shromáždit více informací o barvě každého pixelu, čímž se snižuje šum, zvyšuje ostrost a zvedá rozlišení, aniž by se zvyšoval fyzický počet megapixelů matrice. Moderní Android vlajkové lodě to provádějí automaticky, zatímco jejich uživatelé o tom ani nepřemýšlejí.
Stacking podle ostrosti — jakákoliv hloubka ostrosti a refokus v postprodukci.
Metoda pochází z makrofotografie, kde byla malá hloubka ostrosti vždy problémem. Aby byl celý objekt zaostřený, bylo nutné pořídit několik snímků se změnou ostrosti vpřed a vzad, které se pak spojily do jednoho ostrého. Tímto způsobem často pracovali i nadšenci v krajinářské fotografii, aby zpřesnili přední a zadní plán.
To se přeneslo i na smartphony, ovšem bez většího rozruchu. V roce 2013 vyšla Nokia Lumia 1020 s aplikací "Refocus App", a v roce 2014 Samsung Galaxy S5 s režimem "Selective Focus". Fungovaly podle stejného schématu: stisknutím tlačítka rychle vyfotily 3 obrázky - jeden s "normálním" zaostřením, druhý se zaostřením vpřed a třetí se zaostřením vzad. Program zarovnal snímky a umožnil vybrat jeden z nich, což bylo prezentováno jako "skutečná" kontrola ostrosti v postprodukci.
Nebyla potřeba žádná další úprava, protože i tento jednoduchý trik stačil k tomu, aby se položil další hřebíček do rakve Lytro a podobných s jejich poctivým refokusováním. Mimochodem, pojďme se teď podívat na ně (mistři přechodů 80 lvl).
Výpočetní matice — světelná pole a plenoptika
Jak jsme pochopili výše, naše matice jsou hrůzné na kostkách. Jen jsme si na to zvykli a snažíme se s tím žít. Co se týče konstrukce, od počátku se příliš nezměnily. Pouze jsme zdokonalili technologický proces — zmenšovali jsme rozestupy mezi pixely, bojovali jsme s šumy a přidávali speciální pixely pro fázový autofocus. Ale i když vezmete tu nejdražší zrcadlovku a pokusíte se vyfotit běžícího kocoura při pokojovém osvětlení — kocour, abych to řekl slušně, vyhraje.
Už dlouho se snažíme vymyslet něco lepšího. Mnoho pokusů a výzkumů v této oblasti se dá nalézt na dotaz "computational sensor" nebo "non-bayer sensor", a dokonce i příklad s Pixel Shifting, který jsme viděli výše, lze považovat za pokus o zlepšení matic pomocí výpočtů. Nejvíce nadějných příběhů za posledních dvacet let nám však přichází ze světa takzvaných plenoptických kamer.
Aby vás to neusnulo z očekávání složitých slov, prozradím, že kamera posledního Google Pixel je vlastně "trochu" plenoptická. Pouze s dvěma pixely, ale i to jí umožňuje vypočítat poctivou optickou hloubku snímku bez druhé kamery, jako mají ostatní.
Plenoptika je mocná technologie, která ještě nebyla dostatečně využita. Odkážu na jeden z mých oblíbených nedávných , odkud jsem čerpal příklady.
Plenoptická kamera — brzy bude mít každá domácnost
Vymyslena v roce 1994, sestavená ve Stanfordu v roce 2004. První spotřebitelská kamera — Lytro, vydaná v roce 2012. S podobnými technologiemi nyní aktivně experimentuje průmysl virtuální reality.
Od obyčejné kamery se plenoptická liší pouze jednou modifikací — čip v ní je pokryt mřížkou čoček, z nichž každá pokrývá několik reálných pixelů. Tak nějak to vypadá:
Pokud správně vypočítáme vzdálenost od mřížky k čipu a velikost clony, v konečném obraze získáme jasné shluky pixelů — takové mini-verze originálního obrazu.
Ukazuje se, že pokud vezmeme z každého shluku například jeden střední pixel a spojíme obraz pouze podle nich — nebude se od běžného snímku lišit. Ano, trochu jsme ztratili na rozlišení, ale prostě požádáme Sony, aby dodala více megapixelů do nových čipů.
Zábava tím teprve začíná. Pokud vezmeme jiný pixel z každého shluku a opět spojíme obrázek — opět získáme normální fotografii, jen jakoby pořízenou s posunem o jeden pixel. Tímto způsobem, s 10 × 10 pixely shluky, získáme 100 snímků objektu z "trochu" různých úhlů.
Větší velikost shluku — více snímků, ale menší rozlišení. V době smartphonů s 41-megapixelovými čipy si sice můžeme trochu dovolit ignorovat rozlišení, ale každá věc má své meze. Musíme zachovat rovnováhu.
Dobře, sestavili jsme plenoptickou kameru, a co nám to vlastně dává?
Opravené zaostření
Funkce, o které mluvili všichni novináři ve článcích o Lytro, — možnost realistické úpravy zaostření v postprodukci. Pod realistickou se míní, že nepoužíváme žádné algoritmy na odstranění rozmazání, ale využíváme pouze dostupné pixely, volíme nebo průměrujeme je ze shluků ve správném pořadí.
RAW fotografia z plenoptické kamery vypadá podivně. Abyste z ní získali obvyklý ostrý JPEG, musíte ji nejprve složit. K tomu je nutné vybrat každý pixel JPEG z jednoho z clusterů RAW. V závislosti na tom, jak je vybereme, se bude měnit výsledek.
Například, čím dále se cluster nachází od místa dopadu původního paprsku, tím více je tento paprsek neostře. To je způsobeno optikou. Abyste získali nesouhlasící zaostřené obraz, stačí nám vybrat pixely na požadované vzdálenosti od originálu — buď blíže, nebo dále.
S posunem zaostření na sebe to bylo složitější — čistě fyzicky takových pixelů v clusterech bylo méně. Zpočátku vývojáři ani nechtěli uživateli umožnit ruční zaostření — kamera to rozhodovala programově. Uživatelům se taková budoucnost nelíbila, a proto byla funkce přidána v pozdějších verzích firmwaru pod názvem "kreativní režim", ale učinili ji výrazně omezenou právě kvůli této příčině.
Mapa hloubky a 3D z jedné kamery
Jedna z nejjednodušších operací v plenoptice — získání mapy hloubky. K tomu je potřeba jednoduše poskládat dva různé snímky a spočítat, jak jsou objekty na nich posunuty. Větší posun — dále od kamery.
Nedávno Google koupil a zabil Lytro, ale použil jejich technologie pro svůj VR a… pro kameru v Pixelu. Od Pixel 2 se kamera poprvé stala "trochu" plenoptickou, i když s clustry pouze po dvou pixelech. To umožnilo Googlu nezapojit druhou kameru, jak to dělají ostatní, a vypočítat mapu hloubky výhradně z jedné fotografie.
Mapa hloubky se vytváří z dvou snímků, posunutých o jeden subpixel. To je zcela dostatečné pro výpočet binární mapy hloubky a oddělení předního plánu od pozadí a rozmazání posledního v nyní módním bokeh. Výsledek takového rozložení se dále vyhladí a "vylepší" neurálními sítěmi, které byly trénovány na vylepšení map hloubky (a ne na rozmazání, jak si mnozí myslí).
Funkce je ještě v tom, že plenoptika v chytrých telefonech nám přišla téměř zdarma. Už jsme na tyto drobné matice umisťovali čočky, abychom nějakým způsobem zvýšili světelný tok. V budoucích Pixelech plánuje Google jít dále a zakrýt čočkou čtyři fotodetektory.
Zdroj: 3dnews.ru
