Az eredeti cikk a weboldalon található és a 3DNews oldalán lett közzétéve a szerző engedélyével. A cikk teljes szövegét bemutatjuk, a hatalmas mennyiségű linket kivéve - ezek hasznosak lesznek azok számára, akik komolyan érdeklődnek a téma iránt és szeretnék mélyebben tanulmányozni a számítási fényképezés elméleti aspektusait, de a széles közönség számára ezt a tartalmat túlzóan bőségesnek találtuk.
Ma már egyetlen okostelefon bemutatója sem telik el anélkül, hogy ne emelnék ki a kameráját. Minden hónapban hallunk egy újabb sikerről a mobil kamerák terén: a Google megtanítja a Pixel-t sötétben fényképezni, a Huawei úgy zoomol, mint egy távcső, a Samsung lidart épít be, az Apple pedig a világ legkerekebb sarkait készíti. Sehol sem tapasztalható manapság annyi innováció.
A tükörreflexes fényképezőgépek látszólag helyben toporognak. A Sony évente új érzékelőkkel bombázza a piacon, míg a gyártók lustán frissítik a verziószám utolsó számjegyét, miközben kényelmesen elszívják a cigarettájukat. Az asztalomon egy 3000 dolláros tükörreflexes fényképezőgép hever, de utazásra az iPhone-t viszem. Miért?
Ahogy a klasszikus mondja - feltettem ezt a kérdést az interneten. Ott valamilyen "algoritmusokról" és "neurális hálózatokról" beszélgetnek, nem tudva, hogy ezek pontosan hogyan befolyásolják a fényképeket. Az újságírók hangosan felolvassák a megapixelek számát, a bloggerek együttesen készítik el a megfizetett unboxingokat, míg az esztéták "érzéki színpaletta észlelése" köré kapaszkodnak. Minden úgy, ahogy általában.
Muszáj volt leülni, eltölteni az életem felét és magamnak utánanézni mindennek. Ebben a cikkben meg fogom osztani, amit megtudtam.
Mi az a számítási fényképezés?
Mindenhol, beleértve a Wikipédiát is, nagyjából a következő meghatározást adják: a számítási fényképezés - bármely olyan technika, amely képek rögzítésére és feldolgozására szolgál, ahol az optikai átalakítások helyett digitális számításokat alkalmaznak. Ez rendben van, kivéve, hogy nem magyaráz semmit. Ide tartozik még az autofókusz is, de a pleonoptika, amely már sok hasznos dolgot hozott nekünk, nem fér bele. A hivatalos definíciók homályossága mintha arra utalna, hogy fogalmunk sincs, miről beszélünk.
A számítógépes fényképezés úttörője, a Stanford professzora, Marc Levoy (ő felel most a Google Pixel kamerájáért) egy másik definíciót ad — a számítógépes látás módszereinek összessége, amelyek javítják vagy bővítik a digitális fényképezés lehetőségeit, olyan hagyományos fényképet előállítva, amit technikailag nem lehetett volna elkészíteni a kamera hagyományos módon. A cikkben pontosan ezt követem.
Tehát a smartphone-ok voltak a hibásak mindenért.
A smartphone-oknak nem volt más választásuk, mint életet adni egy új fényképezési formának — a számítógépes fényképezésnek.
Kicsi zajos érzékelőik és apró, gyenge fényerőjű lencséik fizikailag csak fájdalmat és szenvedést kellett volna, hogy okozzanak. Valóban okoztak is, amíg a fejlesztőik rá nem jöttek, hogy ügyesen ki tudják használni a erősségeiket, hogy legyőzzék a gyengeségeiket — gyors elektronikus zárakat, erőteljes processzorokat és szoftvert.
A számítógépes fényképezés területén a legtöbb figyelemre méltó kutatás 2005 és 2015 között zajlott, ami a tudományban szinte tegnapnak számít. Jelenleg szemünk előtt és zsebünkben fejlődik egy új tudományág és technológia, amely sohasem létezett.
A számítógépes fényképezés nem csak a neurális háttérrel készült szelfikről szól. A fekete lyukak legutóbbi fényképe sem jöhetett volna létre a számítógépes fényképezési módszerek nélkül. Egy hagyományos távcsővel a fénykép elkészítéséhez a Föld méretűre kellett volna növelni. Azonban, a bolygónk különböző pontjain lévő nyolc rádiótávcső adatainak összegyűjtésével és egy kis Python-ban írt szkripttel megkaptuk a világ első esemény-horizont fényképét. A szelfikhez is felhasználható.
Kezdet: digitális feldolgozás
Képzeljük el, mintha 2007-et élnénk. Anyánk anarchia, és a fényképeink zajos 0,6 MP-jpegek, amelyeket gördeszkán készítettek. Körülbelül ekkor merül fel először a megállíthatatlan vágy, hogy előpresetekkel leplezzük a mobil érzékelők csúnyaságát. Ne tagadjuk meg magunktól.
Matan és Instagram
Az Instagram megjelenésével mindenki a szűrők megszállottja lett. Mint valaki, aki valaha visszafejtette az X-Pro II, Lo-Fi és Valencia algoritmusait, természetesen kutatási (kek) célokból, még mindig emlékszem, hogy három összetevőből álltak:
- A színek beállításai (Hue, Saturation, Lightness, Contrast, Levels stb.) - egyszerű digitális koefficiensek, pontosan úgy, mint bármelyik preset, amit a fényképészek évezredek óta használnak.
- A tónusleképezési térképek (Tone Mapping) - az értékek vektorai, amelyek mindegyike azt mondta: "A 128 árnyalatú piros színt át kell alakítani 240 árnyalattá."
- A rétegek - félig átlátszó képek, porral, szemcsékkel, vignettákkal és mindennel, amit rá lehet tenni, hogy nem kicsit banális hatást érjünk el a régi filmes fényképezés stílusában. Ez nem mindig volt jelen.
A modern szűrők nem mentek messze ettől a háromtól, csupán a matematikájuk lett kicsit bonyolultabb. A hardveres árnyékolók és az OpenCL megjelenésével a telefonokon gyorsan átkonvertálták őket GPU-ra, és ez elképesztően menőnek számított. 2012-ben, persze. Ma már bármelyik iskolás gyerek képes hasonlót csinálni CSS-sel, és így is marad a végzősök között.
A szűrők fejlődése azonban ma sem állt meg. A Dehancer srácok például remekül dolgoznak nemlineáris szűrőkkel - a proletár tónusleképezés helyett bonyolultabb nemlineáris transzformációkat használnak, ami szerintük jóval több lehetőséget kínál.
A nemlineáris transzformációkkal sok mindent el lehet érni, de rendkívül bonyolultak, és mi, emberek, rendkívül ostobák vagyunk. Amint a tudomány a nemlineáris transzformációkhoz érkezik, inkább a numerikus módszerek felé fordulunk, és mindenhová mesterséges intelligenciát illesztünk, hogy a gép művészi alkotásokat írjon helyettünk. Itt is így történt.
Automatika és az álom a "mesteri mű" gombra
Amikor mindenki hozzászokott a szűrőkhöz, elkezdtük beépíteni őket a fényképezőgépekbe. A történelem elhomályosítja, hogy pontosan ki volt az első gyártó, de hogy megértsük, mennyire régen történt - az iOS 5.0-ban, amely 2011-ben jelent meg, már volt nyilvános API az Auto Enhancing Images-hez. Csak Jobs tudja, mennyi ideig használták mielőtt nyilvánossá vált.
Az automatika pontosan azt tette, amit mindannyian csinálunk, amikor megnyitunk egy képet egy szerkesztőben - kiemelte a fény- és árnyékzónák mélyütéseit, növelte a telítettséget, eltávolította a vörös szemeket és javította a bőrszínt. A felhasználók mit sem sejtettek arról, hogy az új okostelefon "dramatikusan javított kamerája" valójában csak néhány új árnyékoló érdeme volt. Még öt évig tartott, amíg megjelent a Google Pixel és elkezdődött a számítógépes fényképezés körüli hírverés.
Ma már a „mestermű” gombért folytatott harc átkerült a gépi tanulás területére. Miután éppen eljátszottak a tónusmappálással, mindenki nekilátott a CNN-ek és GAN-ok edzésének, hogy a csúszkákat mozgatják a felhasználó helyett. Más szóval, a bemeneti kép alapján meghatározzák az optimális paraméterek halmazát, amelyek közelebb viszik a képet egy szubjektív „jó fénykép” megértéshez. Ezt a Pixelmator Pro-ban és más szerkesztőkben is megvalósították. Ahogy sejthető, nem mindig és nem túl jól működik.
A stakking a mobil kamerák 90%-os sikerét jelenti.
A valódi számítógépes fényképezés a stakkinggal kezdődött — több fénykép egymásra helyezésével. Egy okostelefon számára nem nehéz fél másodperc alatt tucatnyi felvételt készíteni. A kameráikban nincsenek lassú mechanikai alkatrészek: a rekesz fix, és az elektronikus zár helyettesíti a mozgó redőnyt. A processzor egyszerűen utasítja a szenzort, hogy hány mikro másodpercig rögzítse a vad fotonokat, és magát a végeredményt olvassa ki.
Technikailag a telefon képes fényképet készíteni videósebességgel, és videót fényképező felbontással, de minden a busz és a processzor sebességén múlik. Ezért mindig szoftveres korlátokat állítanak be.
A stakking már régóta velünk van. Még a nagyszülők is használtak pluginokat a Photoshop 7.0-hoz, hogy több képet összeállítsanak egy élénk HDR-képpé, vagy összerakjanak egy 18000 × 600 képpontos panorámát, és... valójában senki sem találta ki, mit kellene tenni velük tovább. Gazdag időszak volt, kár, hogy vad.
Most felnőttünk, és ezt „epsilon-fotográfiának” nevezzük — amikor a kamera egyik paraméterének (expozíció, fókusz, pozíció) megváltoztatásával és a kapott képek összerakásával olyan dolgokat kapunk, amelyeket egyetlen képkockával nem lehetett volna megörökíteni. De ez egy elméleti kifejezés, a gyakorlatban más néven terjedt el — stakking. Ma gyakorlatilag minden innováció 90%-a a mobil kamerákban ezen alapul.
Egy dolog, amire sokan nem gondolnak, de fontos a modern mobil és számítógépes fényképezés megértéséhez: a modern okostelefon kamerája elkezd fényképeket készíteni, amint megnyitja az alkalmazását. Ami logikus, hiszen valahogy át kell adnia a képet a képernyőre. Azonban a képernyő mellett magas felbontású képeket is tárol a saját ciklikus pufferében, ahol még néhány másodpercig tárolja őket.
Amikor megnyomod a „fénykép készítése” gombot – a kép már készen is van, a kamera valójában csak a pufferből veszi az utolsó felvételt.
Ma már így működik bármelyik mobilkamera. Legalábbis a csúcskategóriások esetében nem a kukából. A pufferelés lehetővé teszi, hogy ne csak nulla záridő legyen, amiről a fotósok régóta álmodtak, hanem még negatív is – a telefonnyomás pillanatában a smartphone a múltba néz, a pufferből kiadja az elmúlt 5-10 képet, és elkezdi két képet fúzni. Többé nem kell várakozni, amíg a telefon szedi a képeket HDR vagy éjszakai módhoz – csak szedjék ki őket a pufferről, a felhasználó még csak nem is tudja.
Egyébként éppen a negatív záridő koncepciója tette lehetővé a Live Photo-t az iPhone-okban, a HTC hasonló megoldása pedig már 2013-ban létezett a Zoe furcsa nevén.
Expozíciós stacking – HDR és a fényesség ingadozása ellen
A fotókamerák érzékelői képesek-e rögzíteni a szemünkhöz elérhető összes fényességi tartományt? – régi, nagyon vitatott téma. Egyesek azt mondják, hogy nem, hiszen a szem akár 25 f-stopot is lát, míg még a legjobb full frame érzékelő is maximum 14-et tud nyújtani. Mások azt mondják, hogy a hasonlítás nem korrekt, mivel a szemnek a agy segít, automatikusan állítva a pupillát és a képet saját neurális hálózataival kiegészítve, tehát a szem azonnali dinamikus tartománya valójában nem több, mint 10-14 f-stop. Hagyd ezeket a vitákat az internet legjobb kanapébölcsészeire.
A tény tény marad: ha barátokat fényképezel élénk égbolttal HDR nélkül bármelyik mobilkamerával, akkor vagy normális égboltot és fekete arcú barátokat, vagy szépen kidolgozott barátokat, de égett égboltot kapsz.
A megoldás régóta létezik – a fényességi tartomány kiterjesztése HDR (magas dinamikus tartomány) segítségével. Több felvételt kell készíteni eltérő expozícióval, és azokat össze kell illeszteni. Az egyik „normális” legyen, a második világosabb, a harmadik sötétebb. A sötét helyeket a világos képből, a túlexponálásokat a sötétből töltjük ki – profitt! Csak a automatikus bracketálás feladatát kell megoldani – mennyire mozdítsuk el a következő felvétel expozícióját, hogy ne toljuk túl, de a képek átlagos fényességének meghatározásával már másodéves technikai egyetemista is elboldogul.
Az utolsó iPhone-okon, Pixel-eken és Galaxy-ken az HDR mód automatikusan bekapcsol, amikor a kamerában egy egyszerű algoritmus észleli, hogy kontrasztos dolgot fényképezünk napos napon. Észreveheti, hogy a telefon átkapcsol a felvételi buffermódba, hogy tárolja az expozícióval elmozdított képkockákat – a kamera fps-e csökken, a kép pedig teltebbé válik. Az átkapcsolás pillanata jól észlelhető az iPhone X-em esetében, ha kint fényképezek. Figyeljen a telefonjára legközelebb is.
Az HDR expozíciós bracketing hátránya a teljes tehetetlensége gyenge világításban. Még szobai lámpa fénye mellett is annyira sötétek a képek, hogy a számítógép nem tudja őket kiegyenlíteni és egyesíteni. A fényprobléma megoldására 2013-ban a Google egy másik megközelítést mutatott be az HDR-ben a Nexus okostelefonban. Időbeli stacking-et használt.
Az időbeli stacking – a hosszú expozíció és a timelapse szimulációja
Az időbeli stacking lehetővé teszi a hosszú expozíció elérését rövid sorozatokon keresztül. Az úttörők olyan amatőrök voltak, akik csillagok nyomait fényképezték az éjszakai égen, akikkel nehéz volt két órára egyszerre megnyitni a zárat. Nehéz volt előre kiszámítani az összes beállítást, és a legkisebb remegés miatt az egész kép elrontódott. Úgy döntöttek, hogy csak néhány percre nyitják meg a zárat, de sokszor megteszik, majd hazamennek és a Photoshopban összeillesztik a kapott képeket.
Ezért a kamera soha nem fényképezett valójában hosszú expozícióval, de az expozíciók sorozatának összeillesztésével imitálhatjuk annak hatását. Manapság már sok alkalmazást írtak a mobiltelefonokhoz, amelyek ezt a trükköt használják, de mivel ez a funkció szinte minden alapvető kamerába bekerült, ezekre az alkalmazásokra már nincs szükség. Ma már az iPhone is könnyen készít hosszú expozíciós fényképet a Live Photo-ból.
Térjünk vissza a Google-hoz és az éjszakai HDR-jéhez. Kiderült, hogy az időbeli bracketing segítségével viszonylag jó HDR érhető el sötétben. A technológia először a Nexus 5-ben jelent meg, és HDR+ néven vált ismertté. Más Android telefonok is „ajándékba” megkapták ezt. A technológia annyira népszerű, hogy még az utolsó Pixel bemutatójában is dicsekednek vele.
A HDR+ működése meglehetősen egyszerű: ha észleli, hogy sötétben fényképez, a kamera 8-15 legutolsó RAW fényképet húz le a pufferből, hogy azokat egymásra rakja. Ezáltal az algoritmus több információt gyűjt a képkivágat sötét részeiről, hogy minimalizálja a zajt – azoknál a pixelknél, ahol valamilyen okból nem tudott összegyűjteni minden információt, és így nem elég jól sikerültek.
Mintha nem tudná, hogyan néz ki egy víziló, és öt embert kérne meg, hogy írjon róla – a beszámolóik körülbelül hasonlóak lennének, de mindenképpen említenének valamilyen egyedi részletet. Így több információt gyűjtené, mint ha csak egyet kérdezne. Ugyanez vonatkozik a pixelekre is.
A különböző szögből készült képek összevonása ugyanazt a hamis hosszú expozíciós hatást adja, mint a fent említett csillagok esetében. Tíz kép expozíciója összeadódik, a hibák egyiken minimalizálódnak a másikon. Képzelje el, mennyit kellene kattintania a tükörreflexes fényképezőgép zárszerkezetére, hogy ezt elérje.
Csak a probléma automatikus színkorrekció megoldásának kérdése maradt – a sötétben készült fényképek általában sárgásak vagy zöldesek, miközben mi a nappali fény élénkségét szeretnénk. Az HDR+ korai verzióiban ezt egyszerű beállítások módosításával oldották meg, ahogyan az Instagram-szerű szűrők működnek. Később azonban a mesterséges intelligenciát hívták segítségül.
Így született meg a Night Sight – a "éjszakai fényképészet" technológia a Pixel 2 és 3 készülékekben. A leírásban is azt mondják: "A HDR+ technikáira épülő gépi tanulási módszerek, amelyek működésbe hozzák a Night Sight-ot". Lényegében ez a színkorrekciós lépés automatizálása. A gépet a "előtte" és "utána" fényképeken alapuló adathalmazon képezték ki, hogy a sötét, görbékből álló fényképekből egy szép képet alkosson.
Az adathalmaz egyébként nyilvánosan elérhetővé vált. Talán az Apple srácok átveszik, és végre megtanítják a üveg darabjaikat rendesen fényképezni sötétben.
Ráadásul a Night Sight során a mozgó objektumok vektorának számítását is alkalmazzák, hogy normalizálják a bemozdulásokat, amelyek a hosszú expozíciónál elkerülhetetlenek. Így a telefon képes elkészíteni a tiszta részeket más képekből és azokat összerakni.
Mozaikozás mozgás alapján – panoráma, szuperzoom és a zajok elleni küzdelem
A panoráma népszerű szórakozási forma a vidéki lakosok körében. Eddig nem tudunk olyan esetről, amikor egy virsli-fotó érdekelte volna valakit, kivéve az alkotóját, de megemlíteni nem lehet kihagyni — sokak számára éppen itt kezdődött a steking.
Az első hasznos alkalmazás a panoráma révén — élesebb felbontású fénykép készítése, mint amit a kamera érzékelője lehetővé tesz, több felvétel összeillesztésével. A fotósok régóta használnak különböző szoftvereket az úgynevezett szuperfelbontású fényképekhez — amikor kissé elmozdított képek kiegészítik egymást a pixelek között. Így akár több száz gigapixeles képet is létrehozhatunk, ami nagyon hasznos lehet, ha ezt egy házméretű reklámplakátra kell kinyomtatni.
Egy másik, már érdekesebb megközelítés a Pixel Shifting. Néhány tükör nélküli fényképezőgép, mint például a Sony és az Olympus, már 2014 óta támogatja, de az eredmények összerakásához eddig is kézi munkára volt szükség. Tipikus újítások a nagy fényképezőgépeknél.
A okostelefonok azonban itt nevetséges okból kiemelkedtek — amikor fényképet készítünk, a kezünk remeg. Ez a látszólagos probléma alapozta meg a natív szuperfelbontás megvalósítását okostelefonokon.
Ahhoz, hogy megértsük, hogyan működik, emlékeznünk kell arra, hogyan működik bármely fényképezőgép érzékelője. Minden egyes pixel (fotodióda) csak a fény intenzitását képes rögzíteni — azaz a beeső fotonok számát. Azonban a pixel nem tudja megmérni a színét (hullámhosszát). Ahhoz, hogy RGB-képet nyerjünk, itt is szükség volt különféle trükkökre — a teljes érzékelőt különböző színű üvegszemcsék hálójával kellett lefedni. A legnépszerűbb megoldás a Bayer-szűrő, amelyet ma a legtöbb érzékelő használ. Így néz ki az alábbi képen.
Az eredmény, hogy minden egyes pixel csak az R-, G- vagy B-komponenst érzékeli, mivel a többi foton kegyetlenül visszaverődik a Bayer-szűrőről. A hiányzó komponenseket átlagolással ismeri fel a szomszédos pixelek értékeiből.
A Bayer-szűrőben több zöld pixel van — ezt az emberi szem működése alapján alakították ki. Ez azt jelenti, hogy az 50 millió pixelből 25 millió zöld színt észlel, míg a vörös és kék színek 12,5 milliót rögzítenek. A többit averaged hozzák — ezt a folyamatot debayerizálásnak vagy demozikálásnak hívják, és ez egy igencsak nevetséges megoldás, ami mindent összetart.
Valójában minden szenzornak megvan a maga trükkös, szabadalmaztatott demozikálási algoritmus, de az adott kontextusban ezt most figyelmen kívül hagyjuk.
Más típusú szenzorok (például Foveon) eddig még nem terjedtek el túlságosan. Bár egyes gyártók próbálják alkalmazni a Bayer-szűrő nélküli érzékelőket, hogy javítsák a részletességet és a dinamikai tartományt.
Amikor a fény kevés, vagy a tárgy részletei nagyon kicsik, rengeteg információt veszítünk, mert a Bayer-szűrő pofátlanul kizárja az nem kívánt hullámhosszon lévő fotonokat. Ezért találták ki a Pixel Shiftinget — a szenzor 1 pixelre elmozdítását fel és le, jobbra és balra, hogy mindet elkapja. A fénykép nem lesz négyszer nagyobb, mint gondolnánk, a processzor csak ezeket az adatokat használja arra, hogy pontosabban rögzítse minden egyes pixel értékét. Nem a szomszédokból átlagol, mondhatni, hanem a saját négy értékéből.
A kezünkből eredő remegés, miközben fényképet készítünk a telefonnal, természetes következményévé teszi ezt a folyamatot. A legújabb Google Pixel verziókban ez a funkció valósult meg, és mindig aktiválódik, amikor zoomol a telefonján — Super Res Zoomnak hívják (igen, nekem is tetszik az ő kegyetlen elnevezésük). A kínaiak is lemásolták ezt a saját telefonjaikba, bár az egy kicsit gyengébben sikerült.
A kicsit elmozdított fényképek egymásra helyezése lehetővé teszi, hogy több információval rendelkezzünk minden pixel színéről, ezzel csökkentve a zajt, növelve a részletességet és emelve a felbontást anélkül, hogy a szenzor fizikai megapixel számát növelnénk. A modern Android zászlóshajók automatikusan végzik ezt, míg a felhasználók erre nem is gondolnak.
Élesség szerinti egyesítés — bármilyen mélységű élesség és újrafókuszálás utómunka során.
A módszer a makrófotózásból származik, ahol a sekély mélységélesség mindig is problémát jelentett. Ahhoz, hogy az egész objektum éles legyen, több felvételt kellett készíteni, a fókusz előre-hátra elmozdításával, majd ezeket egy éles képbe kellett összeilleszteni. Ezt a módszert sok tájfotós is alkalmazta, hogy az előtér és a háttér is éles legyen, mint a hasmenés.
Mindez a mobilokra is átterjedt, igaz, nem volt különösebb felhajtás. 2013-ban megjelent a Nokia Lumia 1020 a "Refocus App"-pal, 2014-ben pedig a Samsung Galaxy S5 a "Selective Focus" móddal. Ugyanazon elv szerint működtek: egy gombnyomásra gyorsan 3 fényképet készítettek - egyet "normális" fókuszban, egyet előre, és egyet hátra elmozdítva. A program igazította a képeket és lehetővé tette egy kiválasztását, amit "igazi" fókuszkezelésként tüntettek fel a post-produkcióban.
További feldolgozásra nem volt szükség, hiszen ez az egyszerű trükk is elegendő volt ahhoz, hogy újabb szöget üssön a Lytro és analógjai koporsójába, akik a valódi refókuszálásukkal nem tudtak lépést tartani. Egyébként beszéljünk róluk (a 80. szintű átmenetek mestereiről).
Számítási mátrixok - fénymezők és plenoptika
Ahogy azt fentebb láttuk, a mi mátrixaink - szörnyűségek mankókon. Csak megszoktuk, és próbálunk együtt élni vele. Szerkezetükben nagyon keveset változtak az idők kezdetétől fogva. Csak a gyártási folyamatot tökéletesítettük - csökkentettük a pixelek közötti távolságot, küzdöttünk a zajokkal, és speciális pixeleket adtunk hozzá a fázisautófókusz munkájához. De ha megvennénk a legdrágább tükörreflexes fényképezőgépet és megpróbálnánk lefényképezni egy szaladó macskát szoba világításnál - a macska, finoman szólva, nyerni fog.
Már régóta próbálkozunk valami jobbat kitalálni. Sok próbálkozás és kutatás található ebben a témában a "computational sensor" vagy "non-bayer sensor" kifejezések alatt, és még a fenti Pixel Shifting példa is a mátrixok számításra alapozott javítási kísérleteihez kapcsolható. Azonban az utolsó húsz év legígéretesebb történetei a úgynevezett plenoptikus kamerák világából érkeznek.
Annak érdekében, hogy ne aludj el az elközelgő bonyolult szavak előrehaladásától, elárulom, hogy a legújabb Google Pixel kamera "kicsit" plenoptikus. Mindössze két pixel, de ez még így is lehetővé teszi számára, hogy számítson éles optikai mélységet a képen, úgy, hogy nem szükséges a második kamera, mint a többinél.
A plenoptic camera is a powerful tool that hasn't yet made its mark. Let me link to one of my favorite recent , from which I borrowed examples.
Soon, every camera will be a plenoptic one.
Invented in 1994, built at Stanford in 2004. The first consumer camera, Lytro, was released in 2012. The VR industry is actively experimenting with similar technologies now.
The only difference between a regular camera and a plenoptic one is a modification—the sensor is covered with a grid of lenses, each of which covers several real pixels. Something like this:
if you correctly calculate the distance from the grid to the sensor and the size of the aperture, the resulting image will feature clear clusters of pixels—miniature versions of the original image.
It turns out that if you take one central pixel from each cluster and stitch the image only from them, it will be indistinguishable from a photo taken with a regular camera. Yes, we lose some resolution, but we can just ask Sony for additional megapixels in new sensors.
The fun doesn't stop there. If you take another pixel from each cluster and stitch the image again, you'll get a normal photo, but as if taken with a shift of one pixel. Thus, with clusters of 10 × 10 pixels, we get 100 images of the object from "slightly" different perspectives.
The larger the cluster size, the more images, but the lower the resolution. In a world of smartphones with 41-megapixel sensors, we can afford to overlook resolution a bit, but everything has its limits. A balance must be maintained.
Okay, we've built a plenoptic camera, so what does it give us?
Honest refocusing
The feature that all journalists buzzed about in articles about Lytro— the ability for honest focus adjustment in post-production. By "honest," it means we don't apply any deblurring algorithms but instead use only the pixels at hand, choosing or averaging them from the clusters in the necessary order.
A RAW photo from a plenoptic camera looks strange. To obtain a familiar sharp JPEG from it, you need to first assemble it. For this, you have to select each pixel of the JPEG from one of the RAW clusters. Depending on how we choose them, the result will vary.
For instance, the further away a cluster is from the point where the original ray falls, the more out of focus that ray becomes. That's because of optics. To get an image shifted in focus, we just need to select pixels at the desired distance from the original—either closer or further away.
Focusing closer was more challenging—physically, there were fewer such pixels in the clusters. Initially, the developers didn't even want to give the user the ability to focus manually—the camera decided this programmatically. Users didn't like this future, so the feature was added in later firmware under the name 'creative mode,' but they made the refocus heavily limited for exactly this reason.
Depth map and 3D from a single camera
One of the simplest operations in plen optics is obtaining a depth map. For this, you just need to assemble two different frames and calculate how much the objects in them are shifted. The more the shift, the further from the camera.
Recently, Google bought and killed Lytro, but used their technology for its VR and... for the camera in Pixel. Starting with Pixel 2, the camera finally became 'somewhat' plenoptic, although with clusters of just two pixels each. This allowed Google to avoid adding a second camera, like all the other guys, and to compute the depth map solely from a single photo.
The depth map is built from two frames shifted by one subpixel. This is quite enough to compute a binary depth map and separate the foreground from the background, blurring the latter in the currently fashionable bokeh. The result of such layering is further smoothed and 'improved' by neural networks trained to enhance depth maps (not just blur them, as many think).
The catch is that plen optics on smartphones came to us almost for free. We were already putting lenses on these tiny sensors to somehow increase the light flow. In the next Pixels, Google plans to go further and cover four photodiodes with a lens.
Forrás: 3dnews.ru
