Původní článek je zveřejněn na webu a zveřejněny na 3DNews se svolením autora. Poskytujeme plné znění článku, s výjimkou obrovského množství odkazů - budou užitečné pro ty, kteří se o téma vážně zajímají a chtěli by teoretické aspekty počítačové fotografie studovat hlouběji, ale pro obecné publikum jsme považovali tento materiál za nadbytečný.
Dnes se ani jedna prezentace smartphonu neobejde bez olíznutí jeho fotoaparátu. Každý měsíc slyšíme o dalším úspěchu mobilních fotoaparátů: Google učí Pixel fotit ve tmě, Huawei přibližovat jako dalekohled, Samsung vkládá lidar a Apple dělá ty nejkulatější kouty světa. V dnešní době je jen málo míst, kde inovace proudí tak rychle.
Zároveň se zdá, že zrcadla označují čas. Sony každoročně zasypává každého novými matricemi a výrobci líně aktualizují číslici nejnovější verze a nadále odpočívají a kouří na vedlejší koleji. Na stole mám DSLR za 3000 dolarů, ale když cestuji, beru si iPhone. Proč?
Jak řekl klasik, šel jsem na internet s touto otázkou. Tam probírají některé „algoritmy“ a „neuronové sítě“, aniž by tušili, jak přesně ovlivňují fotografii. Novináři hlasitě předčítají počet megapixelů, blogeři unisono pilují placené unboxingy a estéti se potírají „smyslovým vnímáním barevné palety matrixu“. Všechno je jako obvykle.
Musel jsem si sednout, strávit polovinu života a přijít na to všechno sám. V tomto článku vám řeknu, co jsem se naučil.
Co je to počítačová fotografie?
Všude, včetně Wikipedie, dávají něco jako tuto definici: počítačová fotografie je jakákoli technika snímání a zpracování obrazu, která místo optických transformací využívá digitální výpočetní techniku. Všechno je na tom dobré, až na to, že to nic nevysvětluje. Hodí se na to i autofokus, ale nesedí plenoptika, která nám přinesla už spoustu užitečného. Vágnost oficiálních definic jako by naznačovala, že vůbec netušíme, o čem mluvíme.
Průkopník výpočetní fotografie, stanfordský profesor Marc Levoy (který je nyní zodpovědný za fotoaparát v Google Pixel) uvádí další definici – soubor metod počítačové vizualizace, které zlepšují nebo rozšiřují možnosti digitální fotografie, pomocí nichž se získá běžná fotografie, která nelze technicky pořídit tímto fotoaparátem tradičním způsobem. V článku se toho držím.
Za všechno tedy mohly chytré telefony.
Smartphony neměly jinou možnost, než zrodit nový druh fotografie: počítačovou fotografii.
Jejich malé hlučné matrice a malinké čočky s pomalou clonou měly podle všech fyzikálních zákonů přinášet jen bolest a utrpení. Činili tak, dokud jejich vývojáři nepřišli na to, jak chytře využít své přednosti k překonání slabých stránek – rychlé elektronické závěrky, výkonné procesory a software.
Většina významných výzkumů v oblasti počítačové fotografie se odehrála v letech 2005 až 2015, což je ve vědě považováno doslova za včerejšek. Právě teď se před našima očima a v našich kapsách rozvíjí nová oblast znalostí a technologií, která nikdy předtím neexistovala.
Počítačová fotografie není jen o selfie s neuro-bokeh. Nedávná fotografie černé díry by nebyla možná bez výpočetních fotografických technik. Abychom takovou fotku pořídili běžným dalekohledem, museli bychom ji vyrobit o velikosti Země. Avšak spojením dat z osmi radioteleskopů na různých místech naší koule a napsáním několika skriptů v Pythonu jsme získali první fotografii horizontu událostí na světě. Dobré i na selfie.
Start: digitální zpracování
Představme si, že jsme se vrátili do roku 2007. Naše matka je anarchie a naše fotky jsou hlučné 0,6megapixelové džípy pořízené na skateboardu. Zhruba v tu chvíli máme první neodolatelnou touhu posypat je presety, abychom skryli ubohost mobilních matric. Nezapírejme sami sebe.
Matan a Instagram
S vydáním Instagramu se všichni stali posedlí filtry. Jako někdo, kdo provedl reverzní inženýrství X-Pro II, Lo-Fi a Valencia, samozřejmě pro výzkumné účely, si stále pamatuji, že se skládaly ze tří komponent:
- Nastavení barev (Hue, Saturation, Lightness, Contrast, Levels, atd.) – jednoduché digitální koeficienty, přesně jako jakékoli přednastavení, které fotografové používali od pradávna.
- Tónová mapování jsou vektory hodnot, z nichž každá nám říká: „Červená barva s odstínem 128 by se měla změnit na odstín 240.“
- Overlay je průsvitný obrázek s prachem, zrnem, vinětou a vším ostatním, co lze umístit navrch, aby se dosáhlo vůbec banálního efektu starého filmu. Nebyl vždy přítomen.
Moderní filtry k této trojici nemají daleko, jen se v matematice trochu zkomplikovaly. S příchodem hardwarových shaderů a OpenCL na smartphonech byly rychle přepsány pro GPU a to bylo považováno za velmi cool. Pro rok 2012, samozřejmě. Dnes to v CSS umí každý student a stejně nedostane šanci odmaturovat.
Pokrok filtrů se však dnes nezastavil. Kluci z Dehanseru jsou například skvělí v používání nelineárních filtrů - místo proletářského mapování tónů používají složitější nelineární transformace, což podle nich otevírá mnohem více možností.
S nelineárními transformacemi můžete dělat spoustu věcí, ale jsou neuvěřitelně složité a my lidé jsme neuvěřitelně hloupí. Jakmile dojde ve vědě na nelineární transformace, raději jdeme na numerické metody a všude cpeme neuronové sítě, aby nám psaly mistrovská díla. Tady to bylo stejné.
Automatizace a sny o tlačítku „mistrovské dílo“.
Jakmile si všichni na filtry zvykli, začali jsme je stavět přímo do kamer. Historie skrývá, který výrobce byl první, ale jen pro pochopení, jak je to dávno - v iOS 5.0, který byl vydán již v roce 2011, již existovalo veřejné API pro Auto Enhancing Images. Jen Jobs ví, jak dlouho byl používán, než byl otevřen pro veřejnost.
Automatizace udělala to samé, co každý z nás při otevírání fotky v editoru – vytáhla mezery ve světlech a stínech, přidala sytost, odstranila červené oči a zpevnila pleť. Uživatelé si ani neuvědomili, že „dramaticky vylepšený fotoaparát“ v novém smartphonu byl jen zásluhou několika nových shaderů. Do vydání Google Pixel a zahájení počítačového fotografického humbuku zbývalo ještě pět let.
Dnes se bitva o tlačítko „mistrovské dílo“ přesunula do oblasti strojového učení. Když si všichni pohráli s mapováním tónů, vrhli se na trénování CNN a GAN, aby pohybovali posuvníky místo uživatele. Jinými slovy, ze vstupního snímku určete sadu optimálních parametrů, které by tento snímek přiblížily určitému subjektivnímu chápání „dobré fotografie“. Implementováno ve stejném Pixelmator Pro a dalších editorech. Funguje to, jak asi tušíte, ne moc dobře a ne vždy.
Stohování je 90 % úspěchu mobilních fotoaparátů
Skutečná počítačová fotografie začala vrstvením – vrstvením více fotografií na sebe. Pro chytrý telefon není problém cvaknout tucet snímků za půl vteřiny. Jejich fotoaparáty nemají žádné pomalé mechanické části: clona je pevná a místo pohyblivé opony je zde elektronická závěrka. Procesor jednoduše přikáže matici, kolik mikrosekund má zachytit divoké fotony, a ta přečte výsledek.
Technicky telefon umí fotit rychlostí videa a video rozlišením fotografie, ale vše závisí na rychlosti sběrnice a procesoru. Proto vždy stanovují programové limity.
Samotný staking nás provází již dlouhou dobu. Dokonce i dědové nainstalovali pluginy do Photoshopu 7.0, aby sestavili několik fotografií do poutavého HDR nebo spojili panorama 18000 600 × XNUMX pixelů a... ve skutečnosti nikdo nikdy nepřišel na to, co s nimi dělat dál. Byla škoda, že doba byla bohatá a divoká.
Nyní jsme dospělí a nazýváme to „fotografií epsilon“ – kdy změnou jednoho z parametrů fotoaparátu (expozice, zaostření, pozice) a sešitím výsledných snímků získáme něco, co nelze zachytit na jeden snímek. To je ale termín pro teoretiky, v praxi se vžilo jiné pojmenování – staking. Dnes je na něm vlastně založeno 90 % všech inovací mobilních fotoaparátů.
Něco, o čem mnoho lidí nepřemýšlí, ale pro pochopení celé mobilní a počítačové fotografie je důležité: fotoaparát na moderním smartphonu začne fotit, jakmile otevřete jeho aplikaci. Což je logické, protože ona potřebuje nějak přenést obraz na obrazovku. Kromě obrazovky však ukládá snímky s vysokým rozlišením do vlastní vyrovnávací paměti smyčky, kde je ukládá ještě na několik sekund.
Když stisknete tlačítko „vyfotit“, ve skutečnosti již byla pořízena, fotoaparát jednoduše pořídí poslední fotografii z vyrovnávací paměti.
Takto dnes funguje každý mobilní fotoaparát. Alespoň ve všech vlajkových lodích ne z hromady odpadků. Ukládání do vyrovnávací paměti vám umožňuje realizovat nejen nulové zpoždění závěrky, o kterém fotografové dlouho snili, ale dokonce i negativní – když stisknete tlačítko, smartphone se podívá do minulosti, vyjme posledních 5–10 fotografií z vyrovnávací paměti a začne zběsile analyzovat a nalepte je. Už žádné čekání, až telefon klikne na snímky pro HDR nebo noční režim – stačí je vzít z vyrovnávací paměti, uživatel o tom ani nebude vědět.
Mimochodem, právě pomocí negativního zpoždění závěrky je v iPhonech implementována Live Photo a něco podobného mělo HTC už v roce 2013 pod podivným názvem Zoe.
Stohování expozice – HDR a boj proti změnám jasu
Zda jsou kamerové senzory schopny zachytit celý rozsah jasu dostupný našim očím, je staré horké téma debat. Někteří říkají, že ne, protože oko je schopno vidět až 25 f-stop, zatímco i ze špičkové full-frame matice můžete získat maximálně 14. Jiní označují srovnání za nesprávné, protože mozek pomáhá oku automatickým nastavením zornice a dokončování obrazu svými neuronovými sítěmi a okamžik Dynamický rozsah oka není ve skutečnosti více než pouhých 10-14 f-stop. Nechme tuto debatu nejlepším myslitelům křesel na internetu.
Faktem zůstává: když natočíte přátele proti jasné obloze bez HDR na jakékoli mobilní kameře, získáte buď normální oblohu a černé tváře přátel, nebo dobře vykreslené přátele, ale obloha spálená k smrti.
Řešení je již dávno vynalezeno – rozšířit rozsah jasu pomocí HDR (High dynamic range). Musíte pořídit několik snímků při různých rychlostech závěrky a spojit je dohromady. Takže jeden je „normální“, druhý je světlejší, třetí je tmavší. Ze světlého snímku vezmeme tmavá místa, z tmavého vyplníme přeexponování - zisk. Zbývá vyřešit problém automatického bracketingu – jak moc posunout expozici každého snímku, aby se to nepřehnalo, ale teď už si s určením průměrného jasu snímku poradí student druhého ročníku technické univerzity.
Na nejnovějších iPhonech, Pixelech a Galaxy se režim HDR obecně zapne automaticky, když jednoduchý algoritmus uvnitř fotoaparátu určí, že fotografujete něco s kontrastem za slunečného dne. Dokonce si můžete všimnout, jak telefon přepne režim nahrávání do vyrovnávací paměti, aby ušetřil snímky posunuté v expozici - poklesne fps ve fotoaparátu a samotný snímek bude šťavnatější. Okamžik přepnutí je na mém iPhonu X při natáčení venku jasně vidět. Příště se také blíže podívejte na svůj smartphone.
Nevýhodou HDR s expozičním bracketingem je jeho neprostupná bezradnost při horším osvětlení. I při světle pokojové lampy jsou rámečky tak tmavé, že je počítač nedokáže zarovnat a sešít dohromady. Aby Google vyřešil problém se světlem, v roce 2013 ukázal jiný přístup k HDR v tehdy vydaném smartphonu Nexus. Použil time stacking.
Time stacking - simulace dlouhé expozice a časosběr
Časové skládání umožňuje vytvořit dlouhou expozici pomocí série krátkých. Průkopníci byli příznivci fotografování hvězdných stop na noční obloze, kterým bylo nepohodlné otevírat závěrku na dvě hodiny najednou. Bylo tak těžké vypočítat všechna nastavení předem a sebemenší zatřesení by zničilo celý rám. Rozhodli se otevřít závěrku jen na pár minut, ale mnohokrát, a pak šli domů a výsledné snímky vložili do Photoshopu.
Ukázalo se, že fotoaparát ve skutečnosti nikdy nefotil s dlouhou rychlostí závěrky, ale dosáhli jsme efektu simulace sečtením několika snímků pořízených za sebou. Již dlouhou dobu existuje spousta aplikací napsaných pro smartphony, které tento trik používají, ale všechny nejsou potřeba, protože tato funkce byla přidána do téměř všech standardních fotoaparátů. Dnes může i iPhone snadno spojit dlouhou expozici z živé fotografie.
Vraťme se ke Googlu s jeho nočním HDR. Ukázalo se, že pomocí časového bracketingu můžete implementovat dobré HDR ve tmě. Technologie se poprvé objevila v Nexus 5 a nesla označení HDR+. Zbytek telefonů s Androidem jej dostal jako dárek. Technologie je stále tak populární, že ji chválí i v prezentaci nejnovějších Pixelů.
HDR+ funguje zcela jednoduše: jakmile fotoaparát zjistí, že fotografujete ve tmě, vyjme z vyrovnávací paměti posledních 8–15 snímků RAW, aby je překryl přes sebe. Algoritmus tedy shromažďuje více informací o tmavých oblastech snímku, aby minimalizoval šum – pixely, u kterých fotoaparát z nějakého důvodu nebyl schopen shromáždit všechny informace a pokazil se.
Je to jako kdybyste nevěděli, jak kapybara vypadá, a požádali byste pět lidí, aby ji popsali, jejich příběhy by byly zhruba stejné, ale každý by zmínil nějaký jedinečný detail. Tímto způsobem byste získali více informací, než byste se jen zeptali na jednu. Stejné je to s pixely.
Přidáním snímků pořízených z jednoho bodu získáte stejný efekt falešné dlouhé expozice jako u hvězd nahoře. Expozice desítek snímků je sečtena, chyby v jednom jsou minimalizovány v ostatních. Představte si, kolikrát byste museli pokaždé stisknout spoušť DSLR, abyste toho dosáhli.
Zbývalo vyřešit problém automatické korekce barev – snímky pořízené ve tmě jsou většinou žluté nebo zelené a my tak trochu chceme sytost denního světla. V raných verzích HDR+ se to řešilo jednoduchým doladěním nastavení, jako ve filtrech a la Instagram. Pak si na pomoc zavolali neuronové sítě.
Tak se objevil Night Sight – technologie „noční fotografie“ v Pixel 2 a 3. V popisu se píše: „Techniky strojového učení postavené na HDR+, díky kterým funguje Night Sight.“ V podstatě se jedná o automatizaci stupně korekce barev. Stroj byl trénován na datové sadě fotografií „před“ a „po“, aby z jakékoli sady tmavých křivých fotografií vytvořil jednu krásnou.
Mimochodem, datový soubor byl zpřístupněn veřejnosti. Třeba se toho chopí kluci z Applu a konečně naučí své skleněné lopatky pořádně fotit ve tmě.
Noční vidění navíc využívá výpočet vektoru pohybu objektů v záběru k normalizaci rozmazání, ke kterému jistě dojde při dlouhé rychlosti závěrky. Smartphone tedy může vzít čiré části z jiných rámečků a slepit je.
Skládání pohybu - panorama, superzoom a redukce šumu
Panorama je oblíbenou zábavou pro obyvatele venkovských oblastí. Historie zatím nezná případy, kdy by fotka párku zajímala i někoho jiného než jejího autora, ale nelze ji ignorovat – pro mnohé právě zde začalo skládání.
První užitečný způsob, jak použít panorama, je získat fotografii s vyšším rozlišením, než umožňuje matice fotoaparátu, spojením několika snímků. Fotografové již dlouho používají jiný software pro tzv. superrozlišovací fotografie – kdy se zdá, že se mírně posunuté fotografie mezi pixely navzájem doplňují. Takto můžete získat obrázek o velikosti minimálně stovek gigapixelů, což se velmi hodí, pokud jej potřebujete vytisknout na reklamní plakát velikosti domu.
Dalším, zajímavějším přístupem je Pixel Shifting. Některé bezzrcadlovky jako Sony a Olympus jej začaly podporovat již v roce 2014, ale výsledek musely stále lepit ručně. Typické velké inovace fotoaparátu.
Smartphony zde uspěly z vtipného důvodu – při focení se vám třesou ruce. Tento zdánlivě problém vytvořil základ pro implementaci nativního super rozlišení na smartphony.
Abyste pochopili, jak to funguje, musíte si zapamatovat, jak je strukturována matrice libovolné kamery. Každý jeho pixel (fotodioda) je schopen zaznamenat pouze intenzitu světla – tedy počet přicházejících fotonů. Pixel však nedokáže změřit svou barvu (vlnovou délku). Abychom získali RGB obraz, museli jsme i zde přidat berle – pokrýt celou matrici mřížkou z různobarevných kousků skla. Jeho nejoblíbenější implementace se nazývá Bayerův filtr a dnes se používá ve většině matic. Vypadá to jako na obrázku níže.
Ukazuje se, že každý pixel matice zachytí pouze R-, G- nebo B- složku, protože zbylé fotony nemilosrdně odráží Bayerův filtr. Rozpozná chybějící komponenty tupým zprůměrováním hodnot sousedních pixelů.
Ve filtru Bayer je více zelených buněk - to bylo provedeno analogicky s lidským okem. Ukazuje se, že z 50 milionů pixelů na matrici zelená zachytí 25 milionů, červená a modrá – každá 12,5 milionu. na kterém všechno spočívá.
Ve skutečnosti má každá matice svůj vlastní mazaný patentovaný demosaicingový algoritmus, ale pro účely tohoto příběhu to zanedbáme.
Jiné typy matric (třeba Foveon) se zatím nějak neuchytily. I když někteří výrobci se snaží pro zlepšení ostrosti a dynamického rozsahu používat snímače bez Bayerova filtru.
Když je málo světla nebo jsou detaily objektu velmi malé, ztrácíme spoustu informací, protože Bayerův filtr očividně odřezává fotony s nežádoucí vlnovou délkou. Proto přišli s Pixel Shifting – posunutím matice o 1 pixel nahoru-dolů-vpravo-doleva, aby je všechny chytili. Fotografie v tomto případě nevyjde 4x větší, jak by se mohlo zdát, procesor jednoduše tato data využije k přesnějšímu zaznamenání hodnoty každého pixelu. Neprůměruje, abych tak řekl, své sousedy, ale čtyři hodnoty sebe sama.
Třes našich rukou při focení telefonem činí z tohoto procesu přirozený důsledek. V nejnovějších verzích Google Pixel je tato věc implementována a zapne se vždy, když na telefonu použijete zoom – jmenuje se Super Res Zoom (ano, líbí se mi i jejich nemilosrdné pojmenování). Číňané to zkopírovali i do svých laofonů, i když to dopadlo trochu hůř.
Překrývání mírně posunutých fotografií přes sebe umožňuje shromáždit více informací o barvě každého pixelu, což znamená snížení šumu, zvýšení ostrosti a zvýšení rozlišení bez zvýšení fyzického počtu megapixelů matice. Moderní vlajkové lodě Androidu to dělají automaticky, aniž by o tom jejich uživatelé vůbec přemýšleli.
Focus stacking - libovolná hloubka ostrosti a přeostření v postprodukci
Metoda pochází z makrofotografie, kde byla malá hloubka ostrosti vždy problémem. Aby byl celý objekt zaostřený, museli jste pořídit několik snímků s posunem zaostření tam a zpět a poté je spojit do jednoho ostrého. Stejnou metodu často používali krajináři, díky čemuž bylo popředí a pozadí ostré jako průjem.
To vše se také přesunulo do smartphonů, i když bez většího humbuku. V roce 2013 byla vydána Nokia Lumia 1020 s „Refocus App“ a v roce 2014 Samsung Galaxy S5 s režimem „Selective Focus“. Pracovali podle stejného schématu: stisknutím tlačítka rychle pořídili 3 fotografie – jednu s „normálním“ zaostřením, druhou s ohniskem posunutým dopředu a třetí s ohniskem posunutým dozadu. Program zarovnal snímky a umožnil vám vybrat jeden z nich, což bylo v postprodukci nabízeno jako „skutečné“ ovládání zaostření.
K dalšímu zpracování nedošlo, protože i tento jednoduchý hack stačil k zaražení dalšího hřebíku do víka Lytro a jeho vrstevníků s jejich poctivým přeostřováním. Mimochodem, pojďme si o nich něco říct (transition master 80 lvl).
Výpočtové matice - světelná pole a plenooptika
Jak jsme pochopili výše, naše matrice jsou hrůza o berlích. Prostě jsme si na to zvykli a snažíme se s tím žít. Jejich struktura se od počátku věků změnila jen málo. Vylepšili jsme pouze technický postup – zmenšili jsme vzdálenost mezi pixely, bojovali proti rušivému šumu a přidali speciální pixely pro automatické ostření s fázovou detekcí. Pokud ale vezmete i tu nejdražší DSLR a zkusíte s ní vyfotografovat běžící kočku při osvětlení místnosti – kočka, mírně řečeno, vyhraje.
Už dlouho se snažíme vymyslet něco lepšího. Spousta pokusů a výzkumů v této oblasti je vygooglována jako „počítačový senzor“ nebo „nebayerový senzor“ a dokonce i výše uvedený příklad Pixel Shifting lze připsat pokusům o vylepšení matic pomocí výpočtů. Nejslibnější příběhy za posledních dvacet let k nám ale přicházejí právě ze světa takzvaných plenoptických kamer.
Abyste neusnuli z očekávání blížících se složitých slov, přihodím zasvěcence, že fotoaparát nejnovějšího Google Pixel je jen „lehce“ plenoptický. Pouhé dva pixely, ale i to mu umožňuje vypočítat správnou optickou hloubku snímku i bez druhého fotoaparátu, jako všem ostatním.
Plenooptika je mocná zbraň, která ještě nestřílela. Zde je odkaz na jednu z mých oblíbených z poslední doby. , odkud jsem si vypůjčil příklady.
Plenoptic kamera – již brzy
Vynalezeno v roce 1994, shromážděno ve Stanfordu v roce 2004. První spotřebitelský fotoaparát, Lytro, byl uveden na trh v roce 2012. VR průmysl nyní aktivně experimentuje s podobnými technologiemi.
Plenoptická kamera se od běžné kamery liší pouze jednou modifikací - její matrice je pokryta mřížkou čoček, z nichž každá pokrývá několik skutečných pixelů. Něco takového:
Pokud správně spočítáte vzdálenost od mřížky k matici a velikost otvoru, výsledný obrázek bude mít jasné shluky pixelů - jakési miniverze původního obrázku.
Ukazuje se, že pokud vezmete, řekněme, jeden centrální pixel z každého shluku a slepíte obrázek pouze pomocí nich, nebude se lišit od toho, který byl pořízen běžným fotoaparátem. Ano, trochu jsme ztratili rozlišení, ale požádáme společnost Sony, aby do nových matric přidala více megapixelů.
Zábava teprve začíná. pokud z každého shluku vezmete další pixel a obrázek znovu spojíte, získáte opět normální fotografii, pouze jako by byla pořízena s posunem o jeden pixel. Pokud tedy máme shluky 10 × 10 pixelů, získáme 100 snímků objektu z „trochu“ různých bodů.
Větší velikost clusteru znamená více obrázků, ale nižší rozlišení. Ve světě smartphonů s maticemi 41 megapixelů sice můžeme rozlišení trochu zanedbávat, ale vše má své meze. Musíte udržovat rovnováhu.
Dobře, sestavili jsme plenooptickou kameru, tak co nám to dá?
Poctivé přeostření
Funkce, o které všichni novináři bzučeli v článcích o Lytru, byla schopnost poctivě upravovat zaměření v postprodukci. Spravedlivým máme na mysli, že nepoužíváme žádné deblurring algoritmy, ale používáme výhradně pixely, které máme k dispozici, vybíráme nebo zprůměrujeme je ze shluků v požadovaném pořadí.
RAW fotografie z plenoptického fotoaparátu vypadá zvláštně. Abyste z něj dostali obvyklý ostrý džíp, musíte jej nejprve sestavit. Chcete-li to provést, musíte vybrat každý pixel džípu z jednoho ze shluků RAW. Podle toho, jak je vybereme, se bude výsledek měnit.
Například, čím dále je shluk od bodu dopadu původního paprsku, tím více je tento paprsek rozostřený. Protože optika. Abychom získali snímek s posunutým ohniskem, stačí vybrat pixely v požadované vzdálenosti od původního – buď blíže, nebo dále.
Složitější bylo přesunout ohnisko k sobě – čistě fyzicky bylo takových pixelů ve shlucích méně. Zpočátku vývojáři ani nechtěli dát uživateli možnost zaostřit rukama – o tom rozhodl v softwaru samotný fotoaparát. Uživatelům se tato budoucnost nelíbila, a tak do pozdějšího firmwaru přidali funkci nazvanou „kreativní režim“, ale přesně z tohoto důvodu v ní provedli velmi omezené zaměření.
Hloubková mapa a 3D z jedné kamery
Jednou z nejjednodušších operací v plenooptice je získání hloubkové mapy. K tomu stačí sesbírat dva různé snímky a vypočítat, jak moc jsou objekty v nich posunuté. Více posunu znamená dále od fotoaparátu.
Google nedávno koupil a zabil Lytro, ale použil jejich technologii pro svou VR a... pro fotoaparát Pixel. Počínaje Pixel 2 se fotoaparát poprvé stal „mírně“ plenooptickým, i když se shluky pouze dvou pixelů. To dalo Googlu příležitost neinstalovat druhý fotoaparát, jako všichni ostatní, ale vypočítat hloubkovou mapu pouze z jedné fotografie.
Hloubková mapa je vytvořena pomocí dvou snímků posunutých o jeden subpixel. To je docela dost pro výpočet binární hloubkové mapy a oddělení popředí od pozadí a jeho rozmazání v nyní módním bokehu. Výsledek takového vrstvení je také vyhlazený a „vylepšený“ neuronovými sítěmi, které jsou trénovány tak, aby zlepšovaly hloubkové mapy (a ne rozmazávaly, jak si mnoho lidí myslí).
Trik je v tom, že jsme dostali plenoptiku do smartphonů téměř zdarma. Na tyto drobné matrice jsme již nasadili čočky, abychom nějak zvýšili světelný tok. V příštím Pixelu má Google v plánu jít ještě dál a pokrýt čtyři fotodiody čočkou.
Zdroj: 3dnews.ru