Pôvodný článok je zverejnený na webovej stránke a zverejnené na 3DNews so súhlasom autora. Poskytujeme plné znenie článku s výnimkou veľkého množstva odkazov - budú užitočné pre tých, ktorí sa o tému vážne zaujímajú a chceli by hlbšie študovať teoretické aspekty počítačovej fotografie, ale na verejnosti sme považovali tento materiál za nadbytočný.
Dnes sa ani jedna prezentácia smartfónu nezaobíde bez obliznutia fotoaparátu. Každý mesiac počúvame o ďalšom úspechu mobilných fotoaparátov: Google učí Pixel strieľať v tme, Huawei približovať ako ďalekohľad, Samsung vkladá lidar a Apple robí tie najokrúhlejšie kúty sveta. V súčasnosti je len málo miest, kde inovácie prúdia tak rýchlo.
Zároveň sa zdá, že zrkadlá označujú čas. Sony každoročne zasypáva každého novými matricami a výrobcovia lenivo aktualizujú číslicu najnovšej verzie a naďalej relaxujú a fajčia na vedľajšej koľaji. Na stole mám DSLR za 3000 dolárov, ale keď cestujem, beriem si svoj iPhone. prečo?
Ako povedal klasik, s touto otázkou som išiel na internet. Tam diskutujú o niektorých „algoritmoch“ a „neurónových sieťach“ bez toho, aby tušili, ako presne ovplyvňujú fotografiu. Novinári nahlas odčítajú počet megapixelov, blogeri unisono pília platené unboxingy a esteti sa natierajú „zmyslovým vnímaním farebnej palety matrice“. Všetko je ako obvykle.
Musel som si sadnúť, stráviť polovicu života a prísť na to sám. V tomto článku vám poviem, čo som sa naučil.
Čo je to počítačová fotografia?
Všade, vrátane Wikipédie, dávajú niečo ako túto definíciu: počítačová fotografia je akákoľvek technika snímania a spracovania obrazu, ktorá namiesto optických transformácií využíva digitálne výpočty. Všetko je na ňom dobré, až na to, že to nič nevysvetľuje. Hodí sa na to dokonca aj automatické zaostrovanie, ale nesedí plenooptika, ktorá nám už priniesla veľa užitočného. Nejasnosť oficiálnych definícií akoby naznačovala, že netušíme, o čom hovoríme.
Priekopník výpočtovej fotografie, Stanfordský profesor Marc Levoy (ktorý je teraz zodpovedný za fotoaparát v Google Pixel) uvádza inú definíciu – súbor metód počítačovej vizualizácie, ktoré zlepšujú alebo rozširujú možnosti digitálnej fotografie, pomocou ktorej sa získa bežná fotografia, ktorá nebolo možné technicky nasnímať týmto fotoaparátom tradičným spôsobom. V článku sa toho držím.
Za všetko teda mohli smartfóny.
Smartfóny nemali inú možnosť, ako zrodiť nový druh fotografie: počítačovú fotografiu.
Ich malé hlučné matrice a maličké šošovky s pomalou clonou mali podľa všetkých fyzikálnych zákonov prinášať len bolesť a utrpenie. Robili to dovtedy, kým ich vývojári neprišli na to, ako šikovne využiť svoje silné stránky na prekonanie slabých stránok – rýchle elektronické uzávierky, výkonné procesory a softvér.
Väčšina významných výskumov v oblasti počítačovej fotografie sa uskutočnila v rokoch 2005 až 2015, čo sa vo vede považuje doslova za včerajšok. Práve teraz, pred našimi očami a v našich vreckách, sa rozvíja nová oblasť vedomostí a technológie, ktorá nikdy predtým neexistovala.
Počítačová fotografia nie je len o selfie s neuro-bokehom. Nedávna fotografia čiernej diery by nebola možná bez výpočtových fotografických techník. Aby sme urobili takúto fotografiu bežným teleskopom, museli by sme mať veľkosť Zeme. Avšak spojením údajov z ôsmich rádioteleskopov na rôznych miestach našej gule a napísaním niekoľkých skriptov v Pythone sme získali prvú fotografiu horizontu udalostí na svete. Dobré aj na selfie.
Začiatok: digitálne spracovanie
Predstavme si, že sme sa vrátili do roku 2007. Naša matka je anarchia a naše fotografie sú hlučné 0,6-megapixelové džípy nasnímané na skateboarde. Zhruba vtedy máme prvú neodolateľnú túžbu posypať im predvoľby, aby sme skryli úbohosť mobilných matríc. Nezapierajme sa.
Matan a Instagram
S vydaním Instagramu sa všetci stali posadnutými filtrami. Ako niekto, kto reverzne skonštruoval X-Pro II, Lo-Fi a Valencia, samozrejme na výskumné účely, si stále pamätám, že pozostávali z troch komponentov:
- Nastavenia farieb (Odtieň, Sýtosť, Svetlosť, Kontrast, Úrovne atď.) – jednoduché digitálne koeficienty, presne ako akékoľvek predvoľby, ktoré fotografi používali od staroveku.
- Tónové mapovania sú vektory hodnôt, z ktorých každá nám hovorí: „Červená farba s odtieňom 128 by sa mala zmeniť na odtieň 240.“
- Prekrytie je priesvitný obrázok s prachom, zrnom, vinetou a všetkým ostatným, čo sa dá umiestniť na vrch, aby sa dosiahol vôbec nie banálny efekt starého filmu. Nebol vždy prítomný.
Moderné filtre k tejto trojici nemajú ďaleko, len v matematike sa trochu skomplikovali. S príchodom hardvérových shaderov a OpenCL na smartfónoch boli rýchlo prepísané na GPU, čo sa považovalo za veľmi cool. Na rok 2012, samozrejme. Dnes to v CSS zvládne každý študent a aj tak nedostane šancu vyštudovať.
Pokrok filtrov sa však ani dnes nezastavil. Chalani z Dehanseru sú napríklad skvelí v používaní nelineárnych filtrov - namiesto proletárskeho mapovania tónov používajú zložitejšie nelineárne transformácie, čo podľa nich otvára oveľa viac možností.
S nelineárnymi transformáciami môžete robiť veľa vecí, ale sú neuveriteľne zložité a my ľudia sme neskutočne hlúpi. Akonáhle príde na nelineárne transformácie vo vede, radšej prejdeme k numerickým metódam a všade napcháme neurónové siete, aby nám napísali majstrovské diela. Rovnako to bolo aj tu.
Automatizácia a sny o tlačidle „majstrovského diela“.
Keď si všetci zvykli na filtre, začali sme ich stavať priamo do kamier. História skrýva, ktorý výrobca bol prvý, no len pre pochopenie, ako dávno to bolo – v iOS 5.0, ktorý vyšiel ešte v roku 2011, už existovalo verejné API pre Auto Enhancing Images. Len Jobs vie, ako dlho sa používal pred otvorením pre verejnosť.
Automatika urobila to isté, čo každý z nás pri otváraní fotografie v editore – vytiahla medzery vo svetle a tieňoch, pridala sýtosť, odstránila červené oči a zafixovala pleť. Používatelia si ani neuvedomili, že „dramaticky vylepšený fotoaparát“ v novom smartfóne bol len zásluhou niekoľkých nových shaderov. Do vydania Google Pixel a začiatku počítačovej fotografie zostávalo ešte päť rokov.
Dnes sa boj o tlačidlo „majstrovské dielo“ presunul do oblasti strojového učenia. Keď sa už dosť pohrali s mapovaním tónov, všetci sa ponáhľali trénovať CNN a GAN, aby posúvali posúvače namiesto používateľa. Inými slovami, zo vstupného obrázku určte súbor optimálnych parametrov, ktoré by tento obrázok priblížili k určitému subjektívnemu chápaniu „dobrej fotografie“. Implementované v rovnakom Pixelmator Pro a ďalších editoroch. Funguje to, ako by ste mohli hádať, nie veľmi dobre a nie vždy.
Stohovanie je 90 % úspechu mobilných fotoaparátov
Skutočná počítačová fotografia začala stohovaním – vrstvením viacerých fotografií na seba. Pre smartfón nie je problém kliknúť tucet snímok za pol sekundy. Ich fotoaparáty nemajú žiadne pomalé mechanické časti: clona je pevná a namiesto pohyblivej clony je elektronická uzávierka. Procesor jednoducho prikáže matici, koľko mikrosekúnd má zachytiť divoké fotóny, a tá prečíta výsledok.
Technicky môže telefón fotiť rýchlosťou videa a video v rozlíšení fotografie, ale všetko závisí od rýchlosti zbernice a procesora. Preto vždy stanovujú programové limity.
Samotný staking je tu s nami už dlho. Dokonca aj starí otcovia nainštalovali pluginy do Photoshopu 7.0, aby poskladali niekoľko fotografií do pútavého HDR alebo spojili panorámu s rozlíšením 18000 600 × XNUMX pixelov a... v skutočnosti nikto nikdy neprišiel na to, čo s nimi ďalej robiť. Škoda, že časy boli bohaté a divoké.
Teraz sme dospelí a nazývame to „epsilon fotografia“ - keď zmenou jedného z parametrov fotoaparátu (expozícia, zaostrenie, poloha) a spojením výsledných snímok získame niečo, čo sa nedalo zachytiť na jednom snímku. Ale to je termín pre teoretikov v praxi sa udomácnil iný názov – staking; Dnes je na ňom v skutočnosti založených 90 % všetkých inovácií mobilných fotoaparátov.
Niečo, o čom veľa ľudí nepremýšľa, no je dôležité pochopiť celú mobilnú a počítačovú fotografiu: fotoaparát na modernom smartfóne začne fotiť hneď, ako otvoríte jeho aplikáciu. Čo je logické, pretože potrebuje nejakým spôsobom preniesť obraz na obrazovku. Okrem obrazovky však ukladá snímky s vysokým rozlíšením do vlastnej vyrovnávacej pamäte slučky, kde ich ukladá ešte niekoľko sekúnd.
Keď stlačíte tlačidlo „fotiť“, v skutočnosti už bola nasnímaná, fotoaparát jednoducho urobí poslednú fotografiu z vyrovnávacej pamäte.
Takto dnes funguje každý mobilný fotoaparát. Aspoň vo všetkých vlajkových lodiach nie zo smetí. Ukladanie do vyrovnávacej pamäte vám umožňuje realizovať nielen nulové oneskorenie uzávierky, o ktorom fotografi dlho snívali, ale dokonca aj negatívne - keď stlačíte tlačidlo, smartfón sa pozrie do minulosti, vytiahne posledných 5-10 fotografií z vyrovnávacej pamäte a začne horúčkovito analyzovať a prilepte ich. Už žiadne čakanie, kým telefón klikne na snímky pre HDR alebo nočný režim – stačí ich vybrať z vyrovnávacej pamäte, používateľ o tom ani nebude vedieť.
Mimochodom, práve pomocou negatívneho oneskorenia uzávierky je v iPhonoch implementovaná Live Photo a niečo podobné malo HTC ešte v roku 2013 pod zvláštnym názvom Zoe.
Skladanie expozície - HDR a boj proti zmenám jasu
Či sú kamerové snímače schopné zachytiť celý rozsah jasu dostupného našim očiam, je stará horúca téma diskusie. Niektorí tvrdia, že nie, pretože oko je schopné vidieť až 25 f-stop, zatiaľ čo aj zo špičkovej full-frame matice môžete získať maximálne 14. Iní označujú porovnanie za nesprávne, pretože mozog pomáha oku automatickým nastavením zornička a dokončenie obrazu svojimi neurónovými sieťami a okamžite Dynamický rozsah oka v skutočnosti nie je väčší ako len 10-14 f-stop. Prenechajme túto debatu najlepším kresličským mysliteľom na internete.
Faktom zostáva: keď natáčate priateľov proti jasnej oblohe bez HDR na akomkoľvek mobilnom fotoaparáte, získate buď normálnu oblohu a čierne tváre priateľov, alebo dobre vykreslených priateľov, ale obloha spálená na smrť.
Riešenie je už dávno vynájdené – rozšíriť rozsah jasu pomocou HDR (High dynamic range). Musíte nasnímať niekoľko snímok pri rôznych rýchlostiach uzávierky a spojiť ich. Takže jeden je „normálny“, druhý je svetlejší, tretí je tmavší. Zo svetlého rámu berieme tmavé miesta, z tmavého vypĺňame preexponovanie - zisk. Ostáva už len vyriešiť problém s automatickým bracketingom – o koľko posunúť expozíciu jednotlivých záberov, aby sa to neprehnalo, no teraz si s určovaním priemerného jasu snímky poradí aj študent druhého ročníka na technickej univerzite.
Na najnovších zariadeniach iPhone, Pixel a Galaxy sa režim HDR vo všeobecnosti automaticky zapne, keď jednoduchý algoritmus vo fotoaparáte určí, že snímate niečo s kontrastom počas slnečného dňa. Dokonca si môžete všimnúť, ako telefón prepne režim nahrávania do vyrovnávacej pamäte, aby ušetril snímky posunuté v expozícii - vo fotoaparáte klesá snímka za sekundu a samotný obraz je šťavnatejší. Moment prepnutia je jasne viditeľný na mojom iPhone X pri natáčaní vonku. Nabudúce sa tiež pozrite bližšie na svoj smartfón.
Nevýhodou HDR s expozičným bracketingom je jeho nepreniknuteľná bezradnosť pri horšom osvetlení. Dokonca aj pri svetle izbovej lampy sú rámy také tmavé, že ich počítač nedokáže zarovnať a spojiť. Aby Google vyriešil problém so svetlom, v roku 2013 ukázal iný prístup k HDR vo vtedy vydanom smartfóne Nexus. Použil time stacking.
Time stacking – simulácia dlhej expozície a časozber
Časové stohovanie vám umožňuje vytvoriť dlhú expozíciu pomocou série krátkych. Priekopníkmi boli fanúšikovia fotografovania hviezdnych stôp na nočnej oblohe, ktorým bolo nepohodlné otvárať uzávierku na dve hodiny naraz. Bolo tak ťažké vypočítať všetky nastavenia vopred a najmenšie zatrasenie by zničilo celý rám. Rozhodli sa otvoriť uzávierku iba na pár minút, ale mnohokrát, a potom sa vrátili domov a výsledné snímky prilepili do Photoshopu.
Ukázalo sa, že fotoaparát v skutočnosti nikdy nefotografoval s dlhou rýchlosťou uzávierky, ale dosiahli sme efekt simulácie sčítaním niekoľkých snímok nasnímaných za sebou. Už dlho existuje veľa aplikácií napísaných pre smartfóny, ktoré používajú tento trik, ale všetky nie sú potrebné, pretože táto funkcia bola pridaná takmer do všetkých štandardných fotoaparátov. Dnes dokonca aj iPhone dokáže jednoducho spojiť dlhú expozíciu zo živej fotografie.
Vráťme sa ku Googlu s jeho nočným HDR. Ukázalo sa, že pomocou časového bracketingu môžete implementovať dobré HDR v tme. Táto technológia sa prvýkrát objavila v Nexus 5 a volala sa HDR+. Zvyšok telefónov s Androidom ho dostal ako darček. Technológia je stále taká populárna, že ju chvália aj v podaní najnovších Pixelov.
HDR+ funguje celkom jednoducho: keď zistí, že fotíte v tme, fotoaparát odoberie z vyrovnávacej pamäte posledných 8 – 15 fotografií RAW, aby ich prekryl na seba. Algoritmus teda zhromažďuje viac informácií o tmavých oblastiach snímky, aby sa minimalizoval šum – pixely, pri ktorých fotoaparát z nejakého dôvodu nedokázal zhromaždiť všetky informácie a pokazil sa.
Je to ako keby ste nevedeli, ako kapybara vyzerá, a požiadali by ste päť ľudí, aby ju opísali, ich príbehy by boli približne rovnaké, ale každý by spomenul nejaký jedinečný detail. Týmto spôsobom by ste získali viac informácií, ako keby ste sa ich len pýtali. Rovnako je to s pixelmi.
Pridaním snímok nasnímaných z jedného bodu získate rovnaký efekt falošnej dlhej expozície ako pri hviezdach vyššie. Expozícia desiatok snímok je zhrnutá, chyby v jednom sú minimalizované v iných. Predstavte si, koľkokrát by ste museli zakaždým stlačiť spúšť DSLR, aby ste to dosiahli.
Ostávalo už len vyriešiť problém s automatickou korekciou farieb – snímky nasnímané v tme sú zvyčajne žlté alebo zelené a my tak trochu chceme sýtosť denného svetla. V skorých verziách HDR+ sa to riešilo jednoduchým ladením nastavení, ako vo filtroch a la Instagram. Potom si na pomoc zavolali neurónové siete.
Takto sa objavil Night Sight – technológia „nočnej fotografie“ v Pixeloch 2 a 3. V popise sa hovorí: „Techniky strojového učenia postavené na HDR+, vďaka ktorým funguje Night Sight.“ V podstate ide o automatizáciu fázy korekcie farieb. Stroj bol trénovaný na súbore údajov „pred“ a „po“ s cieľom vytvoriť jednu krásnu z akejkoľvek sady tmavých krivých fotografií.
Mimochodom, súbor údajov bol verejne dostupný. Možno sa toho chopia chalani z Apple a konečne naučia svoje sklenené lopatky poriadne fotiť v tme.
Nočné videnie navyše využíva výpočet vektora pohybu objektov v zábere na normalizáciu rozmazania, ktoré sa určite vyskytne pri dlhej rýchlosti uzávierky. Smartfón teda môže zobrať číre časti z iných rámov a prilepiť ich.
Pohybové stohovanie – panoráma, superzoom a redukcia šumu
Panoráma je obľúbenou zábavou pre obyvateľov vidieckych oblastí. História zatiaľ nepozná prípady, v ktorých by fotka klobásy zaujímala aj niekoho iného ako jej autora, no nemožno ju ignorovať – pre mnohých sa tu stohovanie začalo ako prvé.
Prvým užitočným spôsobom použitia panorámy je získať fotografiu s vyšším rozlíšením, než umožňuje matica fotoaparátu, spojením niekoľkých snímok. Fotografi už dlho používajú rôzne softvéry na takzvané fotografie v super rozlíšení – keď sa zdá, že mierne posunuté fotografie sa medzi pixelmi navzájom dopĺňajú. Takto môžete získať obraz minimálne stoviek gigapixelov, čo je veľmi užitočné, ak ho potrebujete vytlačiť na reklamný plagát veľkosti domu.
Ďalším, zaujímavejším prístupom je Pixel Shifting. Niektoré bezzrkadlovky ako Sony a Olympus ho začali podporovať už v roku 2014, no výsledok museli stále lepiť ručne. Typické veľké inovácie fotoaparátu.
Smartfóny tu uspeli z vtipného dôvodu – pri fotení sa vám trasú ruky. Tento zdanlivo problém vytvoril základ pre implementáciu natívneho super rozlíšenia na smartfónoch.
Aby ste pochopili, ako to funguje, musíte si zapamätať, ako je štruktúrovaná matrica akéhokoľvek fotoaparátu. Každý jeho pixel (fotodióda) je schopný zaznamenať len intenzitu svetla – teda počet prichádzajúcich fotónov. Pixel však nedokáže zmerať svoju farbu (vlnovú dĺžku). Aby sme získali RGB obraz, museli sme aj tu pridať barle – celú matricu pokryť mriežkou z viacfarebných kúskov skla. Jeho najpopulárnejšia implementácia sa nazýva Bayerov filter a dnes sa používa vo väčšine matíc. Vyzerá ako na obrázku nižšie.
Ukazuje sa, že každý pixel matice zachytí len R-, G- alebo B- zložku, pretože zvyšné fotóny nemilosrdne odráža Bayerov filter. Rozpoznáva chýbajúce komponenty tupým spriemerovaním hodnôt susedných pixelov.
Vo filtri Bayer je viac zelených buniek - to bolo urobené analogicky s ľudským okom. Ukazuje sa, že z 50 miliónov pixelov na matrici zelená zachytí 25 miliónov, červená a modrá – každý 12,5 milióna, zvyšok sa spriemeruje – tento proces sa nazýva debayerizácia alebo demosaicing, a to je taká tučná vtipná barlička. na ktorom všetko spočíva.
V skutočnosti má každá matica svoj vlastný prefíkaný patentovaný algoritmus demosaicing, ale pre účely tohto príbehu to zanedbáme.
Iné typy matríc (napríklad Foveon) sa zatiaľ akosi neuchytili. Niektorí výrobcovia sa síce snažia na zlepšenie ostrosti a dynamického rozsahu použiť snímače bez Bayerovho filtra.
Keď je málo svetla alebo sú detaily objektu veľmi malé, strácame veľa informácií, pretože Bayerov filter nehanebne oddeľuje fotóny s nežiaducou vlnovou dĺžkou. Preto prišli s Pixel Shifting – posunutím matice o 1 pixel hore-dole-vpravo-vľavo, aby ich všetky zachytili. V tomto prípade sa fotografia neukáže byť 4-krát väčšia, ako by sa mohlo zdať, procesor jednoducho použije tieto údaje na presnejšie zaznamenanie hodnoty každého pixelu. Nie je priemerom takpovediac nad svojimi susedmi, ale nad štyrmi hodnotami seba samého.
Trasenie rúk pri fotografovaní telefónom robí z tohto procesu prirodzený dôsledok. V najnovších verziách Google Pixel je táto vec implementovaná a zapne sa vždy, keď na telefóne použijete zoom – volá sa Super Res Zoom (áno, páči sa mi aj ich nemilosrdné pomenovanie). Číňania to skopírovali aj do svojich laofónov, aj keď to dopadlo trochu horšie.
Prekrytie mierne posunutých fotografií na seba umožňuje zhromaždiť viac informácií o farbe každého pixelu, čo znamená zníženie šumu, zvýšenie ostrosti a zvýšenie rozlíšenia bez zvýšenia fyzického počtu megapixelov matice. Moderné vlajkové lode Androidu to robia automaticky, bez toho, aby na to ich používatelia čo i len mysleli.
Focus stacking – ľubovoľná hĺbka ostrosti a preostrenie v postprodukcii
Metóda pochádza z makrofotografie, kde bola malá hĺbka ostrosti vždy problémom. Aby bol celý objekt zaostrený, museli ste nasnímať niekoľko záberov s posúvaním ohniska tam a späť a potom ich spojiť do jedného ostrého. Rovnakú metódu často používali krajinkári, vďaka čomu bolo popredie a pozadie ostré ako hnačka.
To všetko sa presunulo aj do smartfónov, aj keď bez veľkého humbuku. V roku 2013 bola vydaná Nokia Lumia 1020 s aplikáciou „Refocus App“ a v roku 2014 Samsung Galaxy S5 s režimom „Selective Focus“. Pracovali podľa rovnakej schémy: stlačením tlačidla rýchlo nasnímali 3 fotografie – jednu s „normálnym“ zaostrením, druhú s posunutým ohniskom dopredu a tretiu so zaostrením dozadu. Program zarovnal snímky a umožnil vám vybrať jeden z nich, ktorý bol v postprodukcii ponúkaný ako „skutočné“ ovládanie zaostrenia.
K ďalšiemu spracovaniu nedošlo, pretože aj tento jednoduchý hack stačil na to, aby zatĺkol ďalší klinec do veka Lytro a jeho rovesníkov s ich poctivým preostrovaním. Mimochodom, povedzme si o nich (transition master 80 lvl).
Výpočtové matice - svetelné polia a plenooptika
Ako sme pochopili vyššie, naše matrice sú horor o barlách. Len sme si na to zvykli a snažíme sa s tým žiť. Ich štruktúra sa od počiatku vekov zmenila len málo. Vylepšili sme len technický proces – zmenšili sme vzdialenosť medzi pixelmi, bojovali proti rušivému šumu a pridali špeciálne pixely pre automatické zaostrovanie fázovej detekcie. Ale ak zoberiete aj tú najdrahšiu DSLR a pokúsite sa s ňou odfotiť bežiacu mačku pri osvetlení miestnosti – mačka, mierne povedané, vyhrá.
Už dlho sa snažíme vymyslieť niečo lepšie. Veľa pokusov a výskumov v tejto oblasti sa hľadá na googli ako „výpočtový senzor“ alebo „nebayerový senzor“ a dokonca aj vyššie uvedený príklad posunu pixelov možno pripísať pokusom o zlepšenie matíc pomocou výpočtov. Najsľubnejšie príbehy za posledných dvadsať rokov k nám však prichádzajú práve zo sveta takzvaných plenooptikov.
Aby ste nezaspali od očakávania blížiacich sa zložitých slov, prezradím zasvätencom, že fotoaparát najnovšieho Google Pixel je len „mierne“ plenooptikálny. Len dva pixely, no aj to mu umožňuje vypočítať správnu optickú hĺbku záberu aj bez druhého fotoaparátu, ako každému.
Plenooptika je silná zbraň, ktorá ešte nevystrelila. Tu je odkaz na jeden z mojich obľúbených posledných. , odkiaľ som si požičal príklady.
Plenoptic kamera – už čoskoro
Vynájdený v roku 1994, zozbieraný v Stanforde v roku 2004. Prvý spotrebiteľský fotoaparát, Lytro, bol uvedený na trh v roku 2012. Odvetvie VR teraz aktívne experimentuje s podobnými technológiami.
Plenoptická kamera sa líši od bežnej kamery iba v jednej modifikácii - jej matrica je pokrytá mriežkou šošoviek, z ktorých každá pokrýva niekoľko skutočných pixelov. Niečo také:
Ak správne vypočítate vzdialenosť od mriežky k matici a veľkosť otvoru, konečný obrázok bude mať jasné zhluky pixelov - akési mini verzie pôvodného obrázka.
Ukazuje sa, že ak vezmete, povedzme, jeden centrálny pixel z každého klastra a zlepíte obrázok len pomocou nich, nebude sa líšiť od toho, ktorý bol nasnímaný bežným fotoaparátom. Áno, trochu sme stratili rozlíšenie, ale požiadame spoločnosť Sony, aby do nových matríc pridala viac megapixelov.
Zábava ešte len začína. ak z každého zhluku vezmete ďalší pixel a obrázok znova spojíte, získate opäť normálnu fotografiu, len ako keby bola nasnímaná s posunom o jeden pixel. Pri zhlukoch 10 × 10 pixelov teda získame 100 obrázkov objektu z „mierne“ odlišných bodov.
Väčšia veľkosť klastra znamená viac obrázkov, ale nižšie rozlíšenie. Vo svete smartfónov so 41-megapixlovými maticami síce môžeme rozlíšenie trochu zanedbať, no všetko má svoje hranice. Musíte udržiavať rovnováhu.
Dobre, zostavili sme plenoptickú kameru, tak čo nám to dáva?
Poctivé preorientovanie
Funkciou, o ktorej buzerovali všetci novinári v článkoch o Lytro, bola schopnosť poctivo upravovať zameranie v postprodukcii. Spravodlivým máme na mysli, že nepoužívame žiadne algoritmy na odstraňovanie rozmazania, ale používame výlučne pixely, ktoré máme k dispozícii, pričom ich vyberáme alebo spriemerujeme zo zhlukov v požadovanom poradí.
RAW fotografia z plenooptika vyzerá zvláštne. Aby ste z neho dostali obvyklý ostrý džíp, musíte ho najskôr zostaviť. Ak to chcete urobiť, musíte vybrať každý pixel džípu z jedného z klastrov RAW. Podľa toho, ako si ich vyberieme, sa bude meniť aj výsledok.
Napríklad, čím ďalej je zhluk od bodu dopadu pôvodného lúča, tým viac je tento lúč rozostrený. Lebo optika. Aby sme získali obraz s posunutým ohniskom, stačí vybrať pixely v požadovanej vzdialenosti od pôvodného – buď bližšie alebo ďalej.
Ťažšie bolo posunúť ohnisko smerom k sebe – čisto fyzicky bolo takýchto pixelov v zhlukoch menej. Vývojári spočiatku ani nechceli dať používateľovi možnosť zaostrovať rukami – o tom rozhodol softvérovo samotný fotoaparát. Používateľom sa táto budúcnosť nepáčila, a tak do neskoršieho firmvéru pridali funkciu nazvanú „kreatívny režim“, ale presne z tohto dôvodu v ňom boli zmeny zaostrenia veľmi obmedzené.
Hĺbková mapa a 3D z jednej kamery
Jednou z najjednoduchších operácií v plenooptike je získanie hĺbkovej mapy. Aby ste to dosiahli, stačí zhromaždiť dva rôzne snímky a vypočítať, o koľko sú objekty v nich posunuté. Viac posunu znamená ďalej od fotoaparátu.
Google nedávno kúpil a zabil Lytro, ale použil ich technológiu pre svoju VR a... pre fotoaparát Pixel. Počnúc Pixelom 2 sa fotoaparát po prvýkrát stal „mierne“ plenooptickým, aj keď s klastrami iba dvoch pixelov. To dalo Googlu príležitosť neinštalovať druhý fotoaparát, ako všetci ostatní, ale vypočítať hĺbkovú mapu iba z jednej fotografie.
Hĺbková mapa je vytvorená pomocou dvoch snímok posunutých o jeden subpixel. To úplne stačí na výpočet binárnej mapy hĺbky a oddelenie popredia od pozadia a jeho rozmazanie v teraz módnom bokehu. Výsledok takéhoto vrstvenia je tiež vyhladený a „vylepšený“ neurónovými sieťami, ktoré sú trénované na zlepšenie hĺbkových máp (a nie rozmazanie, ako si mnohí myslia).
Trik je v tom, že sme dostali plenoptiku do smartfónov takmer zadarmo. Na tieto drobné matrice sme už nasadili šošovky, aby sme nejako zvýšili svetelný tok. V ďalšom Pixeli má Google v pláne ísť ešte ďalej a pokryť štyri fotodiódy objektívom.
Zdroj: 3dnews.ru