Articolul original este postat pe site și publicat pe 3DNews cu permisiunea autorului. Oferim textul integral al articolului, cu excepția unui număr mare de link-uri - acestea vor fi utile celor care sunt interesați serios de subiect și ar dori să studieze aspectele teoretice ale fotografiei computaționale mai aprofundat, dar pentru o publicul general am considerat acest material redundant.
Astăzi, nicio prezentare de smartphone nu este completă fără să-și lingă camera. În fiecare lună auzim despre următorul succes al camerelor mobile: Google învață Pixel să filmeze în întuneric, Huawei să mărească ca un binoclu, Samsung introduce lidar, iar Apple face colțurile cele mai rotunjite din lume. Există puține locuri în care inovația curge atât de rapid în zilele noastre.
În același timp, oglinzile par să marcheze timpul. Sony oferă anual pe toată lumea matrice noi, iar producătorii actualizează leneș cea mai recentă versiune cifră și continuă să se relaxeze și să fumeze pe margine. Am un DSLR de 3000 USD pe birou, dar când călătoresc, îmi iau iPhone-ul. De ce?
După cum spunea clasicul, am intrat online cu această întrebare. Acolo se discută despre niște „algoritmi” și „rețele neuronale”, fără să aibă idee cum afectează exact fotografia. Jurnaliştii citesc cu voce tare numărul de megapixeli, bloggerii văd unboxing-uri plătite la unison, iar esteţii se ung cu „percepţia senzuală a paletei de culori a matricei”. Totul este ca de obicei.
A trebuit să mă așez, să-mi petrec jumătate din viață și să-mi dau seama singur. În acest articol vă voi spune ce am învățat.
Ce este fotografia computațională?
Peste tot, inclusiv Wikipedia, ei dau ceva de genul acestei definiții: fotografia computațională este orice tehnică de captare și procesare a imaginii care utilizează computerul digital în loc de transformări optice. Totul este bun, cu excepția faptului că nu explică nimic. Chiar și autofocusul este potrivit pentru el, dar plenoptica, care ne-a adus deja o mulțime de lucruri utile, nu se potrivește. Vagul definițiilor oficiale pare să sugereze că nu avem idee despre ce vorbim.
Pionierul fotografiei computaționale, profesorul de la Stanford Marc Levoy (care este acum responsabil de camera la Google Pixel) dă o altă definiție - un set de metode de vizualizare pe computer care îmbunătățesc sau extind capacitățile fotografiei digitale, folosindu-se o fotografie obișnuită care din punct de vedere tehnic nu a putut fi luată cu acest aparat foto în mod tradițional. În articol ader la asta.
Deci, smartphone-urile au fost de vină pentru tot.
Smartphone-urile nu au avut de ales decât să dea naștere unui nou tip de fotografie: fotografia computațională.
Micile lor matrici zgomotoase și lentilele minuscule cu deschidere lentă, conform tuturor legile fizicii, ar fi trebuit să aducă doar durere și suferință. Au făcut asta până când dezvoltatorii lor și-au dat seama cum să-și folosească în mod inteligent punctele forte pentru a-și depăși punctele slabe - obturatoare electronice rapide, procesoare și software puternice.
Cea mai mare parte a cercetărilor de mare profil din domeniul fotografiei computaționale au avut loc între 2005 și 2015, ceea ce în știință este considerat literalmente ieri. Chiar acum, sub ochii noștri și în buzunarele noastre, se dezvoltă un nou domeniu de cunoaștere și tehnologie care nu a mai existat până acum.
Fotografia computațională nu este doar despre selfie-uri cu neuro-bokeh. Fotografia recentă a unei găuri negre nu ar fi fost posibilă fără tehnici de fotografie computațională. Pentru a face o astfel de fotografie cu un telescop obișnuit, ar trebui să o facem de dimensiunea Pământului. Cu toate acestea, combinând datele de la opt radiotelescoape în diferite puncte ale mingii noastre și scriind câteva scripturi în Python, am obținut prima fotografie din lume a orizontului evenimentelor. Bun și pentru selfie-uri.
Început: procesare digitală
Să ne imaginăm că ne-am întors în 2007. Mama noastră este anarhie, iar fotografiile noastre sunt jeep-uri zgomotoase de 0,6 megapixeli făcute pe un skateboard. Pe atunci avem prima dorinta irezistibila de a le presara presetari pentru a ascunde mizeriile matricelor mobile. Să nu ne lepădăm de noi înșine.
Matan și Instagram
Odată cu lansarea Instagramului, toată lumea a devenit obsedată de filtre. Fiind cineva care a realizat inginerie inversă X-Pro II, Lo-Fi și Valencia pentru, bineînțeles, în scopuri de cercetare, îmi amintesc încă că acestea constau din trei componente:
- Setări de culoare (Nuanță, Saturație, Luminozitate, Contrast, Niveluri etc.) - coeficienți digitali simpli, exact ca orice presetări pe care fotografii le-au folosit din cele mai vechi timpuri.
- Tone Mapping-urile sunt vectori de valori, fiecare dintre acestea ne-a spus: „Culoarea roșie cu o nuanță de 128 ar trebui transformată într-o nuanță de 240”.
- O suprapunere este o imagine translucidă cu praf, cereale, vignetă și orice altceva care poate fi pus deasupra pentru a obține efectul deloc banal al unui film vechi. Nu a fost mereu prezent.
Filtrele moderne nu sunt departe de acest trio, ele au devenit doar puțin mai complexe la matematică. Odată cu apariția shader-urilor hardware și OpenCL pe smartphone-uri, acestea au fost rapid rescrise pentru GPU, iar acest lucru a fost considerat extrem de cool. Pentru 2012, desigur. Astăzi, orice student poate face același lucru în CSS și tot nu va avea șansa de a absolvi.
Cu toate acestea, progresul filtrelor nu s-a oprit astăzi. Băieții de la Dehanser, de exemplu, sunt grozavi la utilizarea filtrelor neliniare - în loc de maparea tonurilor proletare, folosesc transformări neliniare mai complexe, ceea ce, potrivit lor, deschide mult mai multe posibilități.
Puteți face o mulțime de lucruri cu transformări neliniare, dar sunt incredibil de complexe, iar noi, oamenii, suntem incredibil de proști. De îndată ce este vorba de transformări neliniare în știință, preferăm să mergem la metode numerice și să înghesuim rețele neuronale peste tot, astfel încât ei să scrie capodopere pentru noi. Aici a fost la fel.
Automatizare și visează la un buton „capodopera”.
Odată ce toată lumea s-a obișnuit cu filtrele, am început să le construim direct în camere. Istoria ascunde care producător a fost primul, dar doar pentru a înțelege cât de mult a fost în urmă - în iOS 5.0, care a fost lansat în 2011, exista deja un API public pentru imagini de îmbunătățire automată. Doar Jobs știe cât timp a fost folosit înainte de a fi deschis pentru public.
Automatizarea a făcut același lucru pe care îl face fiecare dintre noi când deschide o fotografie în editor - a scos lacune în lumină și umbre, a adăugat saturație, a îndepărtat ochii roșii și a fixat tenul. Utilizatorii nici măcar nu și-au dat seama că „camera îmbunătățită dramatic” din noul smartphone a fost doar meritul unor noi shadere. Au mai rămas cinci ani până la lansarea Google Pixel și la începutul hype-ului fotografiei computaționale.
Astăzi, bătălia pentru butonul „capodopera” s-a mutat în domeniul învățării automate. După ce s-au jucat suficient cu maparea tonurilor, toată lumea s-a grăbit să antreneze CNN-urile și GAN-urile să mute glisoarele în locul utilizatorului. Cu alte cuvinte, din imaginea de intrare, determinați un set de parametri optimi care ar aduce această imagine mai aproape de o anumită înțelegere subiectivă a „fotografiei bune”. Implementat în același Pixelmator Pro și alți editori. Funcționează, după cum ați putea ghici, nu foarte bine și nu întotdeauna.
Stivuirea reprezintă 90% din succesul camerelor mobile
Adevărata fotografie computațională a început cu stivuirea - stratificarea mai multor fotografii una peste alta. Nu este o problemă pentru un smartphone să facă clic pe o duzină de cadre într-o jumătate de secundă. Camerele lor nu au părți mecanice lente: diafragma este fixă, iar în loc de o perdea în mișcare există un obturator electronic. Procesorul pur și simplu comandă matricei câte microsecunde ar trebui să prindă fotoni sălbatici și citește rezultatul.
Tehnic, telefonul poate face fotografii la viteza video, și video la rezoluție foto, dar totul depinde de viteza magistralei și a procesorului. De aceea ei stabilesc întotdeauna limite de program.
Miza în sine a fost cu noi de mult timp. Chiar și bunicii au instalat pluginuri pe Photoshop 7.0 pentru a asambla mai multe fotografii într-un HDR atrăgător sau pentru a îmbina o panoramă de 18000 × 600 pixeli și... de fapt, nimeni nu și-a dat seama ce să facă cu ele în continuare. Păcat că vremurile erau bogate și sălbatice.
Acum am devenit adulți și o numim „fotografie epsilon” - când, schimbând unul dintre parametrii camerei (expunere, focalizare, poziție) și îmbinând cadrele rezultate, obținem ceva care nu a putut fi surprins într-un singur cadru. Dar acesta este un termen pentru teoreticieni; în practică, un alt nume a prins rădăcini - miza. Astăzi, de fapt, 90% din toate inovațiile în camerele mobile se bazează pe aceasta.
Ceva la care mulți oameni nu se gândesc, dar este important pentru a înțelege întreaga fotografie mobilă și computerizată: camera de pe un smartphone modern începe să facă fotografii de îndată ce deschideți aplicația. Ceea ce este logic, pentru că trebuie să transfere cumva imaginea pe ecran. Cu toate acestea, pe lângă ecran, salvează cadre de înaltă rezoluție în propriul buffer de buclă, unde le stochează pentru încă câteva secunde.
Când apăsați butonul „faceți fotografia”, aceasta a fost deja făcută, camera face pur și simplu ultima fotografie din buffer.
Așa funcționează astăzi orice cameră mobilă. Cel puțin în toate flagship-urile nu din mormanele de gunoi. Buffering-ul vă permite să realizați nu doar zero întârziere de declanșare, la care fotografii au visat de mult, ci chiar și negativ - atunci când apăsați un buton, smartphone-ul privește în trecut, descarcă ultimele 5-10 fotografii din buffer și începe să analizeze frenetic. și lipiți-le. Nu mai așteptați ca telefonul să facă clic pe cadre pentru HDR sau modul de noapte - luați-le din buffer, utilizatorul nici nu va ști.
Apropo, cu ajutorul decalajului negativ al obturatorului este implementat Live Photo în iPhone-uri, iar HTC a avut ceva asemănător în 2013 sub numele ciudat Zoe.
Stivuirea expunerii - HDR și combaterea schimbărilor de luminozitate
Dacă senzorii camerei sunt capabili să surprindă întreaga gamă de luminozitate accesibilă ochilor noștri este un subiect vechi de dezbatere. Unii spun că nu, pentru că ochiul este capabil să vadă până la 25 de trepte f, în timp ce chiar și dintr-o matrice superioară full-frame poți obține maximum 14. Alții numesc comparația incorectă, deoarece creierul ajută ochiul ajustând automat pupilei și completând imaginea cu rețelele sale neuronale și instantanee. Gama dinamică a ochiului nu este de fapt mai mult de doar 10-14 opriri f. Să lăsăm această dezbatere pe seama celor mai buni gânditori de fotolii de pe internet.
Adevărul rămâne: atunci când fotografiați prieteni pe un cer strălucitor fără HDR pe vreo cameră mobilă, obțineți fie un cer normal și fețele negre ale prietenilor, fie prieteni bine desenați, dar un cer pârjolit până la moarte.
Soluția a fost inventată de mult timp - extinderea gamei de luminozitate folosind HDR (High dynamic range). Trebuie să luați mai multe cadre la viteze diferite de expunere și să le uniți. Deci unul este „normal”, al doilea este mai deschis, al treilea este mai întunecat. Luăm locuri întunecate dintr-un cadru ușor, completăm supraexpunerile dintr-un cadru întunecat - profit. Tot ce rămâne este să rezolvi problema bracketing-ului automat - cât de mult să schimbi expunerea fiecărui cadru pentru a nu exagera, dar acum un student în anul doi la o universitate tehnică se poate descurca să determine luminozitatea medie a unei imagini.
Pe cel mai recent iPhone, Pixel și Galaxy, modul HDR este, în general, activat automat atunci când un algoritm simplu din interiorul camerei determină că fotografiați ceva cu contrast într-o zi însorită. Puteți observa chiar și cum telefonul comută modul de înregistrare în buffer pentru a salva cadrele deplasate în expunere - fps-ul din cameră scade, iar fotografia în sine devine mai suculentă. Momentul de comutare este clar vizibil pe iPhone X atunci când filmez în aer liber. Aruncă o privire mai atentă la smartphone-ul tău și data viitoare.
Dezavantajul HDR cu bracketing-ul expunerii este neputința sa impenetrabilă în lumina slabă. Chiar și la lumina unei lămpi de cameră, ramele devin atât de întunecate, încât computerul nu le poate alinia și a le împere. Pentru a rezolva problema cu lumina, în 2013, Google a arătat o abordare diferită a HDR pe smartphone-ul Nexus lansat atunci. A folosit stivuirea timpului.
Stacking time - simulare de expunere lungă și interval de timp
Stacking time vă permite să creați o expunere lungă folosind o serie de expunere scurtă. Pionierii au fost fani ai fotografierii urmelor de stele pe cerul nopții, cărora le-a fost incomod să deschidă obturatorul timp de două ore deodată. Era atât de dificil să calculezi toate setările în avans, iar cea mai mică tremurare ar strica întregul cadru. Au decis să deschidă obturatorul doar pentru câteva minute, dar de multe ori, apoi s-au dus acasă și au lipit cadrele rezultate în Photoshop.
Se pare că camera nu a filmat niciodată la o viteză mare de expunere, dar am obținut efectul de a-l simula prin adunarea mai multor cadre luate la rând. Au existat o grămadă de aplicații scrise pentru smartphone-uri care folosesc acest truc de mult timp, dar toate nu sunt necesare, deoarece caracteristica a fost adăugată la aproape toate camerele standard. Astăzi, chiar și un iPhone poate îmbina cu ușurință o expunere lungă dintr-o fotografie live.
Să revenim la Google cu HDR de noapte. S-a dovedit că folosind bracketing-ul de timp puteți implementa un HDR bun în întuneric. Tehnologia a apărut pentru prima dată în Nexus 5 și a fost numită HDR+. Restul telefoanelor Android l-au primit ca un cadou. Tehnologia este încă atât de populară încât este chiar lăudată în prezentarea celor mai noi Pixeli.
HDR+ funcționează destul de simplu: după ce a stabilit că fotografiați în întuneric, camera descarcă ultimele 8-15 fotografii RAW din buffer pentru a le suprapune una peste alta. Astfel, algoritmul colectează mai multe informații despre zonele întunecate ale cadrului pentru a minimiza zgomotul - pixeli în care, din anumite motive, camera nu a putut colecta toate informațiile și a mers prost.
Este ca și cum nu ai ști cum arată un capibara și ai cere cinci persoane să-l descrie, poveștile lor ar fi aproximativ aceleași, dar fiecare ar menționa un detaliu unic. În acest fel, ați aduna mai multe informații decât să cereți una. La fel este și cu pixelii.
Adăugarea cadrelor luate dintr-un punct oferă același efect fals de expunere lungă ca și cu stelele de mai sus. Expunerea a zeci de cadre este rezumată, erorile într-unul sunt minimizate în altele. Imaginați-vă de câte ori ar trebui să faceți clic pe obturatorul DSLR de fiecare dată pentru a realiza acest lucru.
Tot ce a rămas a fost să rezolvăm problema corecției automate a culorilor - cadrele luate în întuneric devin de obicei complet galbene sau verzi și vrem oarecum bogăția luminii zilei. În versiunile inițiale ale HDR+, acest lucru a fost rezolvat prin simpla modificare a setărilor, ca în filtrele la Instagram. Apoi au apelat la rețelele neuronale să ajute.
Așa a apărut Night Sight - tehnologia „fotografiei nocturne” în Pixel 2 și 3. În descriere se spune: „Tehnici de învățare automată construite pe baza HDR+, care fac ca Night Sight să funcționeze”. În esență, aceasta este automatizarea etapei de corecție a culorii. Aparatul a fost instruit pe un set de date de fotografii „înainte” și „după” pentru a face una frumoasă din orice set de fotografii întunecate strâmbe.
Apropo, setul de date a fost pus la dispoziția publicului. Poate că băieții de la Apple o vor lua și în cele din urmă își vor învăța lopețile de sticlă să facă poze corect în întuneric.
În plus, Night Sight folosește calculul vectorului de mișcare al obiectelor din cadru pentru a normaliza neclaritatea care va apărea cu siguranță la o viteză mare de expunere. Deci, smartphone-ul poate lua părți clare din alte rame și le poate lipi.
Stacking de mișcare - panorama, superzoom și reducerea zgomotului
Panorama este un divertisment popular pentru locuitorii zonelor rurale. Istoria nu știe încă de cazuri în care o fotografie de cârnați ar fi de interes pentru altcineva decât autorul său, dar nu poate fi ignorată - pentru mulți, aici a început stivuirea.
Prima modalitate utilă de a utiliza o panoramă este obținerea unei fotografii cu o rezoluție mai mare decât o permite matricea camerei prin îmbinarea mai multor cadre. Fotografii folosesc de mult timp software diferite pentru așa-numitele fotografii cu super-rezoluție – când fotografiile ușor deplasate par să se completeze între pixeli. Astfel poți obține o imagine de cel puțin sute de gigapixeli, ceea ce este foarte util dacă trebuie să o tipărești pe un afiș publicitar de dimensiunea unei case.
O altă abordare, mai interesantă, este Pixel Shifting. Unele camere fără oglindă, cum ar fi Sony și Olympus, au început să-l susțină încă din 2014, dar au trebuit totuși să lipească rezultatul manual. Inovații tipice ale camerelor mari.
Smartphone-urile au reușit aici dintr-un motiv amuzant - când faci o fotografie, îți tremură mâinile. Această problemă aparent a stat la baza implementării super rezoluției native pe smartphone-uri.
Pentru a înțelege cum funcționează, trebuie să vă amintiți cum este structurată matricea oricărei camere. Fiecare dintre pixelii săi (fotodioda) este capabil să înregistreze doar intensitatea luminii - adică numărul de fotoni care intră. Cu toate acestea, un pixel nu își poate măsura culoarea (lungimea de undă). Pentru a obține o imagine RGB, a trebuit să adăugăm și aici cârje - acoperiți întreaga matrice cu o rețea de bucăți de sticlă multicolore. Implementarea sa cea mai populară se numește filtru Bayer și este utilizată în majoritatea matricelor astăzi. Arata ca in poza de mai jos.
Se dovedește că fiecare pixel al matricei prinde doar componenta R-, G- sau B, deoarece fotonii rămași sunt reflectați fără milă de filtrul Bayer. Recunoaște componentele lipsă făcând o medie directă a valorilor pixelilor vecini.
Există mai multe celule verzi în filtrul Bayer - acest lucru a fost făcut prin analogie cu ochiul uman. Se pare că din 50 de milioane de pixeli de pe matrice, verdele va capta 25 de milioane, roșu și albastru - 12,5 milioane fiecare. Restul va fi mediat - acest proces se numește debayerizare sau demosaicing, iar aceasta este o cârjă atât de amuzantă. pe care totul se odihnește.
De fapt, fiecare matrice are propriul algoritm viclean de demosaicing patentat, dar în scopul acestei povești vom neglija acest lucru.
Alte tipuri de matrice (cum ar fi Foveon) nu au prins încă. Deși unii producători încearcă să folosească senzori fără filtru Bayer pentru a îmbunătăți claritatea și gama dinamică.
Când există puțină lumină sau detaliile unui obiect sunt foarte mici, pierdem o mulțime de informații, deoarece filtrul Bayer taie în mod flagrant fotonii cu o lungime de undă nedorită. De aceea au venit cu Pixel Shifting - deplasarea matricei cu 1 pixel sus-jos-dreapta-stânga pentru a le prinde pe toate. În acest caz, fotografia nu se dovedește a fi de 4 ori mai mare, așa cum ar părea, procesorul pur și simplu folosește aceste date pentru a înregistra mai precis valoarea fiecărui pixel. Are o medie nu peste vecinii săi, ca să spunem așa, ci peste patru valori ale sale.
Tremuratul mâinilor noastre când facem fotografii pe telefon face ca acest proces să fie o consecință firească. În cele mai recente versiuni de Google Pixel, acest lucru este implementat și se activează ori de câte ori utilizați zoom-ul pe telefon - se numește Super Res Zoom (da, îmi place și denumirea lor nemiloasă). Chinezii l-au copiat și în laofonele lor, deși s-a dovedit puțin mai rău.
Suprapunerea fotografiilor ușor deplasate una peste alta vă permite să colectați mai multe informații despre culoarea fiecărui pixel, ceea ce înseamnă reducerea zgomotului, creșterea clarității și creșterea rezoluției fără a crește numărul fizic de megapixeli ai matricei. Modelele Android moderne fac acest lucru automat, fără ca utilizatorii să se gândească la asta.
Focus stacking - orice adâncime de câmp și reorientare în post-producție
Metoda provine din fotografia macro, unde adâncimea mică de câmp a fost întotdeauna o problemă. Pentru ca întregul obiect să fie focalizat, a trebuit să luați mai multe cadre cu focalizarea deplasându-se înainte și înapoi, apoi să le uniți într-unul ascuțit. Aceeași metodă a fost adesea folosită de fotografi de peisaj, făcând primul plan și fundalul la fel de clare ca diareea.
Toate acestea s-au mutat și pe smartphone-uri, deși fără prea mult hype. În 2013, a fost lansat Nokia Lumia 1020 cu „Refocus App”, iar în 2014, Samsung Galaxy S5 cu modul „Selective Focus”. Au funcționat după aceeași schemă: apăsând un buton, au făcut rapid 3 fotografii - una cu focalizare „normală”, a doua cu focalizarea deplasată înainte și a treia cu focalizarea deplasată înapoi. Programul a aliniat cadrele și v-a permis să selectați unul dintre ele, care a fost prezentat drept control al focalizării „real” în post-producție.
Nu a mai fost nicio prelucrare, pentru că chiar și acest simplu hack a fost suficient pentru a bate un alt cui în capacul Lytro și a semenilor săi cu reorientarea lor sinceră. Apropo, să vorbim despre ele (master de tranziție 80 lvl).
Matrici de calcul - câmpuri luminoase și plenoptică
După cum am înțeles mai sus, matricele noastre sunt groază în cârje. Tocmai ne-am obișnuit și încercăm să trăim cu ea. Structura lor s-a schimbat puțin de la începutul timpurilor. Am îmbunătățit doar procesul tehnic - am redus distanța dintre pixeli, am luptat împotriva zgomotului de interferență și am adăugat pixeli speciali pentru autofocusul cu detecția fazei. Dar dacă luați chiar și cel mai scump DSLR și încercați să fotografiați o pisică care alergă cu ea la iluminarea camerei - pisica, ca să spunem ușor, va câștiga.
Încercăm de mult să inventăm ceva mai bun. O mulțime de încercări și cercetări în acest domeniu sunt căutate pe Google pentru „senzor de calcul” sau „senzor non-Bayer”, și chiar și exemplul de deplasare a pixelilor de mai sus poate fi atribuit încercărilor de a îmbunătăți matricele folosind calcule. Cu toate acestea, cele mai promițătoare povești din ultimii douăzeci de ani ne-au venit tocmai din lumea așa-ziselor camere plenoptice.
Pentru a nu adormi de anticiparea cuvintelor complexe iminente, voi spune un insider că camera celui mai recent Google Pixel este doar „puțin” plenoptic. Doar doi pixeli, dar chiar și acest lucru îi permite să calculeze adâncimea optică corectă a cadrului chiar și fără o a doua cameră, ca toți ceilalți.
Plenoptics este o armă puternică care nu a tras încă. Iată un link către unul dintre ultimele mele favorite. , de unde am împrumutat exemplele.
Camera Plenoptică - în curând
Inventat în 1994, colectat la Stanford în 2004. Prima cameră pentru consumatori, Lytro, a fost lansată în 2012. Industria VR experimentează acum în mod activ tehnologii similare.
O cameră plenoptică diferă de o cameră convențională printr-o singură modificare - matricea sa este acoperită cu o grilă de lentile, fiecare dintre ele acoperă mai mulți pixeli reali. Ceva de genul:
Dacă calculați corect distanța de la grilă la matrice și dimensiunea diafragmei, imaginea finală va avea grupuri clare de pixeli - un fel de mini-versiuni ale imaginii originale.
Se dovedește că dacă luați, să zicem, un pixel central din fiecare grup și lipiți imaginea împreună doar folosindu-le, nu va fi diferită de cea luată cu o cameră obișnuită. Da, am pierdut puțin în rezoluție, dar îi vom cere doar lui Sony să adauge mai mulți megapixeli în noile matrice.
Distracția abia începe. dacă luați un alt pixel din fiecare grup și legați din nou imaginea, veți obține din nou o fotografie normală, doar ca și cum a fost făcută cu o deplasare de un pixel. Astfel, având clustere de 10 × 10 pixeli, vom obține 100 de imagini ale obiectului din puncte „puțin” diferite.
Dimensiunea mai mare a clusterului înseamnă mai multe imagini, dar rezoluție mai mică. În lumea smartphone-urilor cu matrice de 41 de megapixeli, deși putem neglija puțin rezoluția, există o limită la orice. Trebuie să menții echilibrul.
Bine, am asamblat o cameră plenoptică, deci ce ne oferă asta?
Reorientare sinceră
Caracteristica despre care toți jurnaliștii au fost bâzâit în articolele despre Lytro a fost capacitatea de a ajusta cinstit focalizarea în post-producție. Prin târg ne referim la faptul că nu folosim algoritmi de deblurring, ci folosim exclusiv pixelii la îndemână, selectându-i sau făcând o medie din clustere în ordinea necesară.
Fotografia RAW de la o cameră plenoptică arată ciudat. Pentru a scoate jeep-ul obișnuit ascuțit din el, trebuie mai întâi să-l asamblați. Pentru a face acest lucru, trebuie să selectați fiecare pixel al jeep-ului dintr-unul dintre grupurile RAW. În funcție de modul în care le alegem, rezultatul se va schimba.
De exemplu, cu cât grupul este mai departe de punctul de incidență al fasciculului original, cu atât acest fascicul este mai defocalizat. Pentru că optica. Pentru a obține o imagine cu focalizarea deplasată, trebuie doar să selectăm pixeli la distanța dorită față de cea originală - fie mai aproape, fie mai departe.
A fost mai dificil să muți focalizarea către tine - pur fizic, erau mai puțini astfel de pixeli în grupuri. La început, dezvoltatorii nici nu au vrut să ofere utilizatorului capacitatea de a se concentra cu mâinile - camera însăși a decis acest lucru în software. Utilizatorilor nu le-a plăcut acest viitor, așa că au adăugat o funcție în firmware-ul ulterioară numită „modul creativ”, dar au făcut reorientarea în ea foarte limitată tocmai din acest motiv.
Hartă de adâncime și 3D de la o singură cameră
Una dintre cele mai simple operații din plenoptică este obținerea unei hărți de adâncime. Pentru a face acest lucru, trebuie doar să colectați două cadre diferite și să calculați cât de mult sunt deplasate obiectele din ele. Mai multă schimbare înseamnă mai departe de cameră.
Google a cumpărat și a ucis recent Lytro, dar și-a folosit tehnologia pentru VR și... pentru camera Pixel. Începând cu Pixel 2, camera a devenit „puțin” plenoptică pentru prima dată, deși cu grupuri de doar doi pixeli. Acest lucru a oferit lui Google posibilitatea de a nu instala oa doua cameră, ca toți ceilalți băieți, ci de a calcula harta de adâncime doar dintr-o fotografie.
Harta de adâncime este construită folosind două cadre deplasate cu un subpixel. Acest lucru este suficient pentru a calcula o hartă binară de adâncime și pentru a separa primul plan de fundal și pentru a estompa pe acesta din urmă în bokeh-ul acum la modă. Rezultatul unei astfel de straturi este, de asemenea, netezit și „îmbunătățit” de rețelele neuronale care sunt antrenate să îmbunătățească hărțile de adâncime (și nu estompate, așa cum cred mulți oameni).
Trucul este că avem plenoptics în smartphone-uri aproape gratuit. Am pus deja lentile pe aceste matrici minuscule pentru a crește cumva fluxul luminos. În următorul Pixel, Google intenționează să meargă mai departe și să acopere patru fotodiode cu o lentilă.
Sursa: 3dnews.ru