L'article original es publica al lloc i publicat a 3DNews amb el permís de l'autor. Oferim el text complet de l'article, amb l'excepció d'un gran nombre d'enllaços: seran útils per a aquells que estiguin seriosament interessats en el tema i vulguin estudiar els aspectes teòrics de la fotografia computacional amb més profunditat, però hem considerat aquest material és redundant per a un públic ampli.
Avui dia, ni una sola presentació d'un telèfon intel·ligent està completa sense llepar la seva càmera. Cada mes sentim parlar d'un altre èxit de les càmeres mòbils: Google ensenya a Pixel com disparar a la foscor, Huawei fa zoom com els prismàtics, Samsung posa lidar i Apple fa els racons més rodons del món. Hi ha pocs llocs on la innovació flueixi amb tanta valentia ara.
Els miralls al mateix temps semblen marcar el temps. Sony omple de nous matrius a tothom cada any, i els fabricants actualitzen amb mandra l'últim dígit de la versió i continuen fumant relaxats al marge. Tinc una DSLR de 3000 dòlars al meu escriptori, però quan viatjo, porto un iPhone. Per què?
Com deia el clàssic, em vaig connectar amb aquesta pregunta. S'hi comenten alguns "algorismes" i "xarxes neuronals", sense tenir ni idea de com afecten exactament la fotografia. Els periodistes van llegir en veu alta el nombre de megapíxels, els blocaires van veure desembalatges pagats en cor i els estetes es van untar amb "percepció sensual de la paleta de colors de la matriu". Tot és com de costum.
Vaig haver d'asseure, passar meitat de la meva vida i descobrir-ho jo mateix. En aquest article us explicaré el que he après.
Què és la fotografia computacional?
A tot arreu, inclosa la Viquipèdia, donen una cosa així: la fotografia computacional és qualsevol tècnica per capturar i processar imatges on s'utilitzen càlculs digitals en comptes de transformacions òptiques. Tot és bo, excepte que no explica res. Fins i tot l'enfocament automàtic hi cabe a sota, però la plenòptica, que ja ens ha aportat moltes coses útils, no encaixa. La vaguetat de les definicions oficials, per dir-ho, deixa entreveure que no tenim ni idea de què estem parlant.
El pioner de la fotografia computacional de Stanford, el professor Marc Levoy (que ara està al capdavant de la càmera a Google Pixel) dóna una definició diferent: un conjunt de tècniques d'imatge per ordinador que milloren o amplien les capacitats de la fotografia digital, que, quan s'utilitza, resulta en un fotografia que tècnicament no es podia fer amb aquesta càmera de la manera tradicional. A l'article, m'hi adhereixo.
Per tant, els telèfons intel·ligents eren els culpables de tot.
Els telèfons intel·ligents no tenien més remei que donar vida a un nou tipus de fotografia: la fotografia computacional.
Les seves petites matrius sorolloses i minúscules lents sense obertura, segons totes les lleis de la física, només haurien d'haver portat dolor i sofriment. Ho van fer, fins que els seus desenvolupadors van descobrir com utilitzar intel·ligentment els seus punts forts per superar els seus punts febles: persianes electròniques ràpides, processadors potents i programari.
La majoria de les investigacions d'alt perfil en el camp de la fotografia computacional cauen entre 2005 i 2015, que en ciència es considera literalment ahir. Ara mateix, davant els nostres ulls i a les nostres butxaques, s'està desenvolupant un nou camp de coneixement i tecnologia que mai va existir.
La fotografia computacional no es tracta només de selfies neuro-bokeh. La fotografia recent d'un forat negre no hauria estat possible sense les tècniques de fotografia computacional. Per fer una foto així amb un telescopi convencional, hauríem de fer-la de la mida de la Terra. Tanmateix, combinant les dades de vuit radiotelescopis en diferents punts del nostre globus i escrivint alguns guions de pitó, vam aconseguir la primera fotografia del món de l'horitzó d'esdeveniments. També és bo per a selfies.
Inici: processament digital
Imaginem que vam tornar el 2007. La nostra mare és anarquia i les nostres fotos són jeeps sorollosos de 0,6 MP disparats amb un monopatí. Per aquella època, tenim el primer desig irresistible d'abocar-hi presets per amagar la misèria de les matrius mòbils. No ens neguem a nosaltres mateixos.
matan i instagram
Amb el llançament d'Instagram, tothom està obsessionat amb els filtres. Com a algú que va fer enginyeria inversa de l'X-Pro II, Lo-Fi i València, per descomptat, amb finalitats d'investigació (ek), encara recordo que constaven de tres components:
- Els paràmetres de color (Tonalitat, Saturació, Lluminositat, Contrast, Nivells, etc.) són proporcions numèriques simples, igual que qualsevol configuració predeterminada que els fotògrafs han utilitzat des de l'antiguitat.
- Mapes de to: vectors de valors, cadascun dels quals ens deia: "El vermell amb una tonalitat de 128 hauria de convertir-se en una tonalitat de 240".
- Superposició: una imatge translúcida amb pols, gra, vinyeta i tota la resta que es pot superposar a la part superior per obtenir l'efecte d'una pel·lícula antiga que no és gens banal. No sempre estava present.
Els filtres moderns no estan lluny d'aquests tres, només que s'han tornat una mica més complicats en matemàtiques. Amb l'arribada dels shaders de maquinari i l'OpenCL als telèfons intel·ligents, es van reescriure ràpidament per a la GPU i es va considerar genial. Per al 2012, és clar. Avui, qualsevol estudiant pot fer el mateix en CSS, i encara no arribarà a la graduació.
Tanmateix, el progrés dels filtres avui no s'ha aturat. Els nois de Dehanser, per exemple, són excel·lents amb els filtres no lineals: en comptes del mapa de to proletari, utilitzen transformacions no lineals més complexes, que, segons ells, obre moltes més possibilitats.
Es poden fer moltes coses amb transformacions no lineals, però són increïblement complexes i els humans som increïblement ximples. Tan bon punt es tracta de transformacions no lineals en la ciència, preferim entrar en mètodes numèrics i amuntegar xarxes neuronals a tot arreu perquè escriguin obres mestres per a nosaltres. Aquí va ser el mateix.
Automatització i somnis amb el botó "obra mestra".
Un cop tothom es va acostumar als filtres, vam començar a incorporar-los directament a les càmeres. La història amaga quin fabricant va ser el primer, però només per entendre quant de temps va passar: a iOS 5.0, que ja es va publicar el 2011, ja hi havia una API pública per a imatges de millora automàtica. Només Jobs sap quant de temps va estar en ús abans de ser llançat al públic.
L'automatització va fer el mateix que cadascú de nosaltres, obrint una foto a l'editor: va treure caixes de llum i ombres, es va acumular en saturació, va eliminar els ulls vermells i va fixar la pell. Els usuaris ni tan sols sabien que la "càmera dramàticament millorada" del nou telèfon intel·ligent només era el mèrit d'un parell de nous shaders. Encara van passar cinc anys abans que aparegués el Google Pixel i comencés el bombo de fotografia computacional.
Avui, les batalles pel botó "obra mestra" s'han traslladat al camp de l'aprenentatge automàtic. Després d'haver jugat prou amb el mapa de tons, tothom es va afanyar a entrenar CNN i GAN per moure els controls lliscants en lloc de l'usuari. En altres paraules, utilitzant la imatge d'entrada, determineu un conjunt de paràmetres òptims que acostaran aquesta imatge a una comprensió subjectiva de la "bona fotografia". Implementat al mateix Pixelmator Pro i altres editors. Funciona, com podeu suposar, no gaire i no sempre.
L'apilament és el 90% de l'èxit de la càmera mòbil
La veritable fotografia computacional va començar amb l'apilament: apilar diverses fotos unes sobre les altres. No és cap problema que un telèfon intel·ligent faci una dotzena de fotogrames en mig segon. No hi ha parts mecàniques lentes a les seves càmeres: l'obertura és fixa i, en lloc d'una cortina en moviment, hi ha un obturador electrònic. El processador simplement ordena a la matriu quants microsegons capta fotons salvatges i llegeix el resultat.
Tècnicament, un telèfon pot fer fotos a velocitat de vídeo i vídeo a resolució fotogràfica, però tot depèn de la velocitat del bus i del processador. Per tant, sempre estableixen límits de programari.
L'apostament en si porta molt de temps amb nosaltres. fins i tot els avis van instal·lar complements a Photoshop 7.0 per combinar diverses fotos en un HDR atractiu o enganxar una panoràmica de 18000 × 600 píxels i... de fet, ningú no va saber què fer-hi després. Els temps rics eren, malauradament, salvatges.
Ara ens hem convertit en adults i l'anomenem "fotografia èpsilon": quan, canviant un dels paràmetres de la càmera (exposició, enfocament, posició) i enganxant els fotogrames resultants, obtenim alguna cosa que no es va poder capturar en un fotograma. Però aquest és un terme per als teòrics, però a la pràctica ha arrelat un altre nom: apostar. Avui, de fet, el 90% de totes les innovacions en càmeres mòbils es basen en ella.
Una cosa que molts no pensen, però que és essencial per entendre tota la fotografia mòbil i informàtica: la càmera d'un telèfon intel·ligent modern comença a fer fotos tan bon punt obriu la seva aplicació. La qual cosa és lògic, perquè necessita transferir d'alguna manera la imatge a la pantalla. No obstant això, a més de la pantalla, desa fotogrames d'alta resolució al seu propi buffer circular, on els guarda un parell de segons més.
Quan premeu el botó "Fes una foto", ja està feta, la càmera simplement pren l'última foto de la memòria intermèdia.
Així és com funciona qualsevol càmera mòbil avui dia. Almenys a tots els vaixells insígnia, no de les escombraries. La memòria intermèdia us permet implementar no només un retard de l'obturador zero, que els fotògrafs han somiat durant tant de temps, sinó fins i tot un negatiu: quan premeu el botó, el telèfon intel·ligent mira al passat, descarrega les últimes 5-10 fotos del buffer i comença frenèticament a analitzar-los i enganxar-los. Ja no cal esperar que el telèfon faci clic als fotogrames per al mode HDR o nocturn: només cal treure'ls de la memòria intermèdia, l'usuari ni tan sols ho sabrà.
Per cert, va ser amb l'ajuda del retard de l'obturador negatiu que Live Photo es va implementar als iPhones, i HTC va tenir alguna cosa semblant el 2013 amb l'estrany nom de Zoe.
Apilament d'exposició: HDR i lluita contra les diferències de brillantor
Si les matrius de càmeres són capaços de capturar tota la gamma de brillantor disponible per als nostres ulls és un tema candent de debat. Alguns diuen que no, perquè l'ull és capaç de veure fins a 25 parades f, mentre que fins i tot se'n poden extreure un màxim de 14 de la matriu de fotograma complet superior. Altres diuen que la comparació és incorrecta, perquè el cervell ajuda l'ull ajustant-se automàticament. la pupil·la i completant la imatge amb les seves xarxes neuronals, i instantàniament el rang dinàmic de l'ull no és més que 10-14 parades f. Deixem aquests arguments als millors pensadors de butaques d'Internet.
El fet és que quan es dispara als amics contra un cel brillant sense HDR amb cap càmera mòbil, obtens un cel normal i cares negres d'amics, o amics dibuixats, però un cel cremat fins a la mort.
La solució s'ha inventat durant molt de temps: ampliar el rang de brillantor mitjançant HDR (rang dinàmic alt). Heu de fer diverses fotografies amb diferents velocitats d'obturació i enganxar-les. Així que un és "normal", el segon és més clar, el tercer és més fosc. Prenem llocs foscos d'un marc clar, omplim la sobreexposició d'un de fosc: beneficis. Només queda resoldre el problema del bracketing automàtic: quant canviar l'exposició de cada fotograma per no excedir-ho, però un estudiant de segon d'una universitat tècnica ara s'encarregarà de determinar la brillantor mitjana de la imatge.
En els últims iPhones, Pixels i Galaxy HDR, generalment s'encén automàticament quan un algorisme senzill dins de la càmera determina que estàs gravant alguna cosa amb contrast en un dia assolellat. Fins i tot podeu observar com el telèfon canvia el mode d'enregistrament a la memòria intermèdia per tal d'estalviar fotogrames desplaçats en l'exposició: els fps cauen a la càmera i la imatge en si es torna més sucosa. El punt de canvi és clarament visible al meu iPhone X quan filmo a l'aire lliure. Fes una ullada més de prop al teu telèfon intel·ligent també la propera vegada.
El desavantatge de l'HDR amb el bracketing d'exposició és la seva impenetrable impotència amb poca il·luminació. Fins i tot sota la llum d'un llum d'habitació, els marcs són tan foscos que l'ordinador no els pot redreçar i enganxar. Per resoldre el problema amb la llum el 2013, Google va mostrar un enfocament diferent de l'HDR al telèfon intel·ligent Nexus llançat aleshores. Va utilitzar l'apostament del temps.
Apilament de temps: simulació d'exposició llarga i lapse de temps
L'apilament de temps us permet obtenir una exposició llarga amb una sèrie d'exposicions curtes. Els pioners eren amants de llançar rastres d'estrelles al cel nocturn, per als quals era inconvenient obrir la persiana durant dues hores alhora. Era tan difícil calcular tots els paràmetres per endavant, i per la més mínima sacsejada tot el marc va sortir malmès. Van decidir obrir l'obturador només durant un parell de minuts, però moltes vegades, i després anar a casa i enganxar els fotogrames resultants a Photoshop.
Resulta que la càmera mai va disparar a una velocitat d'obturació lenta, però vam aconseguir l'efecte de la seva imitació afegint diverses preses seguides. Per als telèfons intel·ligents, fa molt de temps que s'han escrit un munt d'aplicacions amb aquest truc, però totes no són necessàries, ja que la funció s'ha afegit a gairebé totes les càmeres estàndard. Avui, fins i tot un iPhone pot unir fàcilment una llarga exposició a partir d'una Live Photo.
Tornem a Google amb el seu HDR nocturn. Va resultar que amb l'ajuda de l'horari, podeu realitzar un bon HDR a les fosques. La tecnologia va aparèixer per primera vegada al Nexus 5 i es va anomenar HDR+. La resta de telèfons Android el van rebre com a regal. La tecnologia encara és tan popular que fins i tot està sent elogiada a les presentacions dels últims Pixels.
L'HDR+ funciona de manera senzilla: després d'haver determinat que esteu disparant a les fosques, la càmera descarrega les últimes 8-15 fotos en RAW de la memòria intermèdia per sobreposar-les unes sobre les altres. Així, l'algoritme recopila més informació sobre les zones fosques del marc per tal de minimitzar el soroll: píxels, on per alguna raó la càmera no va poder recollir tota la informació i es va desordenar.
És com si no sabíssiu com és un capibara i demaneu a cinc persones que el descriguin: les seves històries serien pràcticament les mateixes, però cadascuna mencionaria algun detall únic. D'aquesta manera recopilaries més informació que només demanar-ne una. El mateix amb els píxels.
Afegir fotogrames pres des d'un punt dóna el mateix efecte d'exposició llarga falsa que amb les estrelles de dalt. Es resumeix l'exposició de desenes de fotogrames, els errors d'un es minimitzen en els altres. Imagineu quantes vegades hauríeu de fer clic a l'obturador d'una DSLR per aconseguir-ho.
Només quedava resoldre el problema de la correcció automàtica del color: les fotografies fetes a la foscor solen ser grogues o verdes sense excepció, i volem la sucositat de la llum del dia. En les primeres versions d'HDR +, això es va solucionar simplement ajustant la configuració, com en els filtres a l'instagram. Després van demanar ajuda a les xarxes neuronals.
Així va aparèixer Night Sight: la tecnologia de "fotografia nocturna" a Pixel 2 i 3. La descripció així ho diu: "Tècniques d'aprenentatge automàtic basades en HDR +, que fan que Night Sight funcioni". De fet, aquesta és l'automatització de l'etapa de correcció del color. El cotxe es va entrenar amb un conjunt de dades de fotos "abans" i "després" per tal de fer-ne una de bonica a partir de qualsevol conjunt de fotos tortes fosques.
El conjunt de dades, per cert, es va posar a disposició del públic. Potser els nois d'Apple s'ho prendran i finalment ensenyaran a les seves pales de vidre a disparar correctament a les fosques.
A més, Night Sight utilitza el càlcul del vector de moviment dels objectes del marc per normalitzar el desenfocament, que segur que es produirà a velocitats d'obturació lentes. Per tant, un telèfon intel·ligent pot agafar peces clares d'altres marcs i enganxar-les.
Apilament de moviment: panoràmica, superzoom i reducció de soroll
El panorama és un passatemps popular per a la gent del camp. La història encara no sap de casos en què una foto d'embotit seria interessant per a algú que no sigui el seu autor, però és impossible no esmentar-ho; per a molts, la aposta va començar amb això.
La primera manera útil d'utilitzar una panoràmica és obtenir una foto amb una resolució més alta que la que permet la matriu de la càmera enganxant diversos fotogrames. Els fotògrafs fa temps que utilitzen programari diferent per a les anomenades fotos de super-resolució, quan les fotos lleugerament desplaçades semblen complementar-se entre píxels. D'aquesta manera, podeu obtenir una imatge d'almenys centenars de gigapíxels, la qual cosa és força útil si necessiteu imprimir-la en un cartell publicitari de la mida d'una casa.
Un altre enfocament més interessant és Pixel Shifting. Algunes càmeres sense mirall com Sony i Olympus han començat a donar-li suport des del 2014, però encara s'han obligat a enganxar el resultat a mà. Innovacions típiques de grans càmeres.
Els telèfons intel·ligents han tingut èxit aquí per una raó divertida: quan feu una foto, us tremolen les mans. Aquest problema aparentment va constituir la base per a la implementació de la superresolució nativa als telèfons intel·ligents.
Per entendre com funciona, cal recordar com està disposada la matriu de qualsevol càmera. Cadascun dels seus píxels (fotodíode) és capaç de registrar només la intensitat de la llum, és a dir, el nombre de fotons que han volat. Tanmateix, un píxel no pot mesurar el seu color (longitud d'ona). Per obtenir una imatge RGB, també vaig haver d'amuntegar crosses aquí: cobrir tota la matriu amb una reixeta de vidre multicolor. La implementació més popular s'anomena filtre Bayer i s'utilitza en la majoria de matrius actuals. Sembla la imatge de sota.
Resulta que cada píxel de la matriu capta només el component R, G o B, perquè la resta de fotons es reflecteixen sense pietat pel filtre Bayer. Reconeix els components que falten fent una mitjana contundent dels valors dels píxels veïns.
Hi ha més cèl·lules verdes al filtre Bayer; això es va fer per analogia amb l'ull humà. Resulta que dels 50 milions de píxels de la matriu, 25 milions capturaran el verd, 12,5 milions cadascun per al vermell i el blau. La resta es farà una mitjana: aquest procés s'anomena debayerització o demomosaic, i aquesta és una crossa tan divertida. que tot descansa.
De fet, cada matriu té el seu propi algorisme de demostració patentat, però en el marc d'aquesta història, ho descuidarem.
Altres tipus de matrius (com ara Foveon) encara no han arrelat gens. Tot i que alguns fabricants estan intentant utilitzar matrius sense filtre Bayer per millorar la nitidesa i el rang dinàmic.
Quan hi ha poca llum o els detalls de l'objecte són molt petits, perdem molta informació, perquè el filtre Bayer talla descaradament els fotons amb una longitud d'ona desagradable. Per tant, se'ls va ocórrer la idea de fer Pixel Shifting: desplaçant la matriu 1 píxel amunt-avall-dreta-esquerra per tal d'atrapar-los a tots. La foto no resulta ser 4 vegades més gran, com pot semblar, el processador simplement utilitza aquestes dades per registrar amb més precisió el valor de cada píxel. No fa una mitjana de veïns, per dir-ho així, sinó de quatre valors de si mateix.
El tremolor de les nostres mans quan fem fotos amb el telèfon fa que aquest procés sigui una conseqüència natural. A les últimes versions de Google Pixel, aquesta cosa s'implementa i s'activa sempre que utilitzeu el zoom al telèfon: s'anomena Super Res Zoom (sí, també m'agrada la seva denominació sense pietat). Els xinesos també ho van copiar als seus laòfons, tot i que va resultar una mica pitjor.
La superposició de fotografies lleugerament desplaçades unes sobre les altres permet recollir més informació sobre el color de cada píxel, la qual cosa significa reduir el soroll, augmentar la nitidesa i augmentar la resolució sense augmentar el nombre físic de megapíxels de la matriu. Els vaixells insígnia moderns d'Android ho fan automàticament abans que els seus usuaris ni tan sols s'ho pensin.
Apilament de focus: qualsevol profunditat de camp i reenfocament en postproducció
El mètode prové de la macrofotografia, on la poca profunditat de camp sempre ha estat un problema. Per tal que tot l'objecte estigués enfocat, vaig haver de prendre diversos fotogrames amb un canvi de focus cap endavant i cap enrere, per després unir-los en un de nítid. Els fotògrafs de paisatge sovint utilitzen el mateix mètode, fent que el primer pla i el fons siguin nítids com la diarrea.
Tot això també s'ha traslladat als telèfons intel·ligents, encara que sense gaire bombo. L'any 2013, el Nokia Lumia 1020 surt amb la "Refocus App", i el 2014 el Samsung Galaxy S5 surt amb el mode "Selective Focus". Van treballar segons el mateix esquema: prement un botó, van fer ràpidament 3 fotos: una amb l'enfocament "normal", la segona amb un desplaçament cap endavant i la tercera amb un desplaçament cap enrere. El programa va alinear els fotogrames i us va permetre seleccionar un d'ells, que es va promocionar com a control d'enfocament "real" a la postproducció.
No hi va haver cap processament més, perquè fins i tot aquest simple hack va ser suficient per clavar un altre clau a la portada de Lytro i els seus anàlegs amb el seu honest reenfocament. Per cert, parlem-ne (transition master 80 lvl).
Matrius computacionals: camps de llum i plenòptica
Com hem entès anteriorment, les nostres matrius són horror amb crosses. Ens hi hem acostumat i intentem conviure amb això. Pel que fa a la seva estructura, han canviat poc des del principi dels temps. Només hem millorat el procés tècnic: hem reduït la distància entre píxels, hem lluitat amb el soroll d'interferència, hem afegit píxels especials per a l'autofocus de detecció de fase. Però val la pena agafar fins i tot la DSLR més cara i intentar disparar-hi un gat corrent a la il·luminació de l'habitació: el gat, per dir-ho suaument, guanyarà.
Fa temps que intentem inventar alguna cosa millor. Es busquen a Google molts intents i investigacions en aquesta àrea per a "sensor computacional" o "sensor no Bayer", i fins i tot l'exemple anterior de Pixel Shifting es pot atribuir als intents de millorar les matrius mitjançant càlculs. Tanmateix, les històries més prometedores dels darrers vint anys ens arriben precisament del món de les anomenades càmeres plenòptiques.
Perquè no us adormiu a l'espera de paraules difícils imminents, us explicaré que la càmera dels últims Google Pixels és "una mica" plenòptica. Només dos píxels, però fins i tot això li permet calcular una profunditat òptica honesta del fotograma sense una segona càmera, com tothom.
El Plenooptic és una arma poderosa que encara no ha disparat. Aquí teniu un enllaç a un dels meus últims preferits d'on vaig agafar exemples.
Càmera plenòptica: aviat serà cadascuna
Inventat el 1994, muntat a Stanford el 2004. La primera càmera de consum, la Lytro, es va llançar el 2012. La indústria de la realitat virtual està experimentant activament amb tecnologies similars.
La càmera plenòptica es diferencia d'una càmera convencional en només una modificació: la matriu que hi ha està coberta amb una quadrícula de lents, cadascuna de les quals cobreix diversos píxels reals. Alguna cosa com això:
si calculeu correctament la distància de la quadrícula a la matriu i la mida de l'obertura, la imatge final donarà lloc a grups clars de píxels, una mena de mini-versió de la imatge original.
Resulta que si agafeu, per exemple, un píxel central de cada clúster i enganxeu la imatge només sobre ells, no es diferenciarà de cap manera de la presa amb una càmera convencional. Sí, hem perdut una mica en resolució, però només demanarem a Sony que afegeixi més megapíxels en matrius noves.
La diversió només comença. si agafeu un altre píxel de cada clúster i torneu a enganxar la imatge, tornareu a obtenir una foto normal, només com si la feu amb un desplaçament d'un píxel. Així, tenint clústers de 10 × 10 píxels, obtindrem 100 imatges del subjecte des de punts “lleugerament” diferents.
Una mida més gran del clúster significa més imatges, però menys resolució. En el món dels telèfons intel·ligents amb matrius de 41 megapíxels, encara que podem descuidar una mica la resolució, tot té un límit. Has de mantenir un equilibri.
D'acord, hem muntat una càmera plenòptica, i què ens aporta això?
Reenfocament honest
La característica de la qual van parlar tots els periodistes en articles sobre Lytro era la capacitat d'ajustar honestament el focus en la postproducció. Per just, volem dir que no utilitzem cap algoritme de desenfocament, sinó que utilitzem només els píxels a la mà, escollint-los o fent la mitjana dels clústers en l'ordre correcte.
Una foto RAW d'una càmera plenòptica sembla estranya. Per treure'n el jeep afilat habitual, primer heu de muntar-lo. Per fer-ho, heu de seleccionar cada píxel del jeep d'un dels grups RAW. Segons com els triem, el resultat canviarà.
Per exemple, com més lluny està el cúmul del lloc on va caure el feix original, més desenfocat aquest feix. Perquè l'òptica. Per obtenir una imatge desenfocada, només hem de seleccionar píxels a la distància que necessitem de l'original, ja sigui més a prop o més lluny.
Era més difícil canviar l'atenció cap a un mateix: només físicament, hi havia menys píxels d'aquest tipus als clústers. Al principi, els desenvolupadors ni tan sols volien donar a l'usuari l'oportunitat d'enfocar-se amb les seves mans: la mateixa càmera ho va resoldre amb programació. Als usuaris no els va agradar aquest futur, perquè en el firmware posterior es va afegir una característica anomenada "mode creatiu", però el reenfocament es va fer molt limitat exactament per aquest motiu.
Mapa de profunditat i 3D des d'una càmera
Una de les operacions més senzilles de la plenòptica és aconseguir un mapa de profunditat. Per fer-ho, només cal recollir dos fotogrames diferents i calcular com es mouen els objectes sobre ells. Més canvi significa més allunyament de la càmera.
Recentment, Google va comprar i matar Lytro, però va utilitzar la seva tecnologia per a la seva realitat virtual i... per a la càmera del Pixel. A partir del Pixel 2, per primera vegada, la càmera es va convertir en "una mica" plenòptica, encara que amb grups de només dos píxels. Això va fer possible que Google no instal·lés una segona càmera, com tots els altres, sinó que calculés el mapa de profunditat només a partir d'una foto.
El mapa de profunditat es construeix a partir de dos fotogrames desplaçats per un subpíxel. Amb això n'hi ha prou per calcular el mapa de profunditat binari i separar el primer pla del fons i difuminar aquest últim en el bokeh ara de moda. El resultat d'aquesta capa encara es suavitza i "millora" per xarxes neuronals que estan entrenades per millorar els mapes de profunditat (i no desenfocar, com molta gent pensa).
Un altre truc és que tenim plenoptics als telèfons intel·ligents gairebé gratuïtament. Ja hem posat lents a aquestes matrius minúscules per tal d'augmentar d'alguna manera la sortida de llum. Al proper Pixel, Google té previst anar més enllà i cobrir quatre fotodíodes amb una lent.
Font: 3dnews.ru