O artigo orixinal está publicado no sitio web e publicado en 3DNews co permiso do autor. Proporcionamos o texto completo do artigo, coa excepción dunha gran cantidade de ligazóns; serán útiles para aqueles que estean seriamente interesados no tema e queiran estudar os aspectos teóricos da fotografía computacional con máis profundidade, pero para un público xeral consideramos este material redundante.
Hoxe, nin unha soa presentación de teléfono intelixente está completa sen lamber a súa cámara. Todos os meses escoitamos falar do próximo éxito das cámaras móbiles: Google ensina a Pixel a disparar na escuridade, a Huawei a facer zoom como os prismáticos, Samsung insire lidar e Apple fai as esquinas máis redondeadas do mundo. Hai poucos lugares onde a innovación flúe tan rápido hoxe en día.
Ao mesmo tempo, os espellos parecen marcar o tempo. Anualmente, Sony reparte a todos con novas matrices e os fabricantes actualizan con preguiza o díxito da última versión e seguen relaxándose e fumando á marxe. Teño unha réflex digital de 3000 dólares na miña mesa, pero cando viaxo, levo o meu iPhone. Por que?
Como dixo o clásico, entrei en liña con esta pregunta. Alí comentan algúns "algoritmos" e "redes neuronais", sen ter nin idea de como afectan exactamente á fotografía. Os xornalistas están lendo en voz alta o número de megapíxeles, os blogueiros están vendo unboxings de pago ao unísono e os estetas están manchándose coa "percepción sensual da paleta de cores da matriz". Todo é como sempre.
Tiven que sentarme, pasar a metade da miña vida e averiguar todo eu. Neste artigo vouvos contar o que aprendín.
Que é a fotografía computacional?
En todas partes, incluída a Wikipedia, dan algo así como esta definición: a fotografía computacional é calquera técnica de captura e procesamento de imaxes que utilice computación dixital en lugar de transformacións ópticas. Todo é bo, agás que non explica nada. Incluso o enfoque automático é adecuado para iso, pero a plenoptica, que xa nos trouxo moitas cousas útiles, non encaixa. A vaguedade das definicións oficiais parece dar a entender que non temos nin idea do que estamos a falar.
O pioneiro da fotografía computacional, o profesor de Stanford Marc Levoy (que agora é responsable da cámara en Google Pixel) dá outra definición: un conxunto de métodos de visualización por ordenador que melloran ou amplían as capacidades da fotografía dixital, co que se obtén unha fotografía normal que tecnicamente non se puido tomar con esta cámara.cámara do xeito tradicional. No artigo adhírome a isto.
Entón, os teléfonos intelixentes foron os culpables de todo.
Os teléfonos intelixentes non tiveron máis remedio que dar a luz a un novo tipo de fotografía: a fotografía computacional.
As súas pequenas matrices ruidosas e pequenas lentes de apertura lenta, segundo todas as leis da física, só deberían traer dor e sufrimento. Fixérono ata que os seus desenvolvedores descubriron como usar intelixentemente os seus puntos fortes para superar os seus puntos débiles: obturadores electrónicos rápidos, procesadores e software potentes.
A maior parte das investigacións de alto perfil no campo da fotografía computacional ocorreron entre 2005 e 2015, que na ciencia considérase literalmente onte. Agora mesmo, ante os nosos ollos e nos nosos petos, estase a desenvolver un novo campo de coñecemento e tecnoloxía que nunca existiu.
A fotografía computacional non se trata só de selfies con neuro-bokeh. A fotografía recente dun burato negro non sería posible sen as técnicas de fotografía computacional. Para facer unha foto deste tipo cun telescopio normal, teriamos que facelo do tamaño da Terra. Non obstante, ao combinar datos de oito radiotelescopios en diferentes puntos da nosa bola e escribir algúns guións en Python, obtivemos a primeira fotografía do mundo do horizonte dos eventos. Bo tamén para selfies.
Inicio: procesamento dixital
Imaxinemos que volvemos en 2007. A nosa nai é anarquía e as nosas fotos son ruidosos jeeps de 0,6 megapíxeles tomadas nun monopatín. Por entón temos o primeiro desexo irresistible de espolvorearlles presets para ocultar a miseria das matrices móbiles. Non nos neguemos.
Matan e Instagram
Co lanzamento de Instagram, todos obsesionáronse cos filtros. Como alguén que realizou enxeñaría inversa do X-Pro II, Lo-Fi e Valencia para, por suposto, fins de investigación, aínda recordo que constaban de tres compoñentes:
- Axustes de cor (Tonalidade, Saturación, Luminosidade, Contraste, Niveis, etc.) - coeficientes dixitais sinxelos, exactamente como calquera predeterminado que os fotógrafos utilizaron desde tempos antigos.
- As asignacións de tons son vectores de valores, cada un dos cales nos dixo: "A cor vermella cun matiz de 128 debería converterse nun matiz de 240".
- Unha superposición é unha imaxe translúcida con po, grans, viñetas e todo o que se pode colocar enriba para obter o efecto nada banal dunha película antiga. Non sempre estivo presente.
Os filtros modernos non están lonxe deste trío, só se fixeron un pouco máis complexos en matemáticas. Coa chegada dos sombreadores de hardware e OpenCL nos teléfonos intelixentes, foron rapidamente reescritos para a GPU, e isto considerouse moi xenial. Para 2012, claro. Hoxe, calquera estudante pode facer o mesmo en CSS, e aínda non terá a oportunidade de graduarse.
Non obstante, o progreso dos filtros non se detivo hoxe. Os mozos de Dehanser, por exemplo, son xeniais para usar filtros non lineais: en lugar de mapas de tons proletarios, usan transformacións non lineais máis complexas, o que, segundo eles, abre moitas máis posibilidades.
Podes facer moitas cousas con transformacións non lineais, pero son incriblemente complexas e os humanos somos incriblemente estúpidos. En canto se trata de transformacións non lineais na ciencia, preferimos ir a métodos numéricos e abarrotar redes neuronais por todas partes para que escriban obras mestras para nós. Aquí foi o mesmo.
Automatización e soños cun botón "obra mestra".
Unha vez que todos se acostumaron aos filtros, comezamos a construílos directamente nas cámaras. A historia oculta que fabricante foi o primeiro, pero só para entender canto tempo foi: en iOS 5.0, que foi lanzado en 2011, xa había unha API pública para as imaxes de mellora automática. Só Jobs sabe canto tempo estivo en uso antes de abrirse ao público.
A automatización fixo o mesmo que cada un de nós ao abrir unha foto no editor: sacou ocos de luz e sombra, engadiu a saturación, eliminou os ollos vermellos e arranxou a tez. Os usuarios nin sequera se decataron de que a "cámara dramáticamente mellorada" do novo teléfono intelixente era só o mérito dun par de novos sombreadores. Aínda faltaban cinco anos para o lanzamento de Google Pixel e o inicio do bombo da fotografía computacional.
Hoxe, a batalla polo botón "obra mestra" trasladouse ao campo da aprendizaxe automática. Despois de xogar o suficiente co mapeo de tons, todos se apresuraron a adestrar CNN e GAN para mover os controles deslizantes en lugar do usuario. Noutras palabras, a partir da imaxe de entrada, determine un conxunto de parámetros óptimos que achegarían esta imaxe a unha certa comprensión subxectiva da "boa fotografía". Implementado no mesmo Pixelmator Pro e noutros editores. Funciona, como podes supoñer, non moi ben e non sempre.
A acumulación é o 90% do éxito das cámaras móbiles
A verdadeira fotografía computacional comezou coa acumulación de varias fotografías unha encima das outras. Non é un problema para un teléfono intelixente facer clic nunha ducia de fotogramas en medio segundo. As súas cámaras non teñen partes mecánicas lentas: a apertura é fixa e en lugar dunha cortina en movemento hai un obturador electrónico. O procesador simplemente ordena á matriz cantos microsegundos debería capturar fotóns salvaxes e le o resultado.
Tecnicamente, o teléfono pode sacar fotos a velocidade de vídeo e vídeo a resolución fotográfica, pero todo depende da velocidade do bus e do procesador. É por iso que sempre establecen límites do programa.
A aposta en si leva moito tempo con nós. Mesmo os avós instalaron complementos en Photoshop 7.0 para ensamblar varias fotografías nun HDR atractivo ou unir unha panorámica de 18000 × 600 píxeles e... de feito, ninguén descubriu que facer a continuación con elas. Era unha mágoa que os tempos fosen ricos e salvaxes.
Agora convertémonos en adultos e chamámoslle "fotografía epsilon" - cando, cambiando un dos parámetros da cámara (exposición, enfoque, posición) e unindo os fotogramas resultantes, obtemos algo que non se puido capturar nun cadro. Pero este é un termo para os teóricos; na práctica, enraizou outro nome: apostar. Hoxe, de feito, o 90% de todas as innovacións en cámaras móbiles baséanse nel.
Algo no que moita xente non pensa, pero é importante para entender toda a fotografía móbil e informática: a cámara dun smartphone moderno comeza a sacar fotos en canto abres a súa aplicación. O que é lóxico, porque necesita dalgunha maneira transferir a imaxe á pantalla. Non obstante, ademais da pantalla, garda cadros de alta resolución no seu propio búfer de bucle, onde os almacena durante un par de segundos máis.
Cando preme o botón "facer foto", en realidade xa foi tomada, a cámara simplemente toma a última foto do búfer.
Así funciona hoxe calquera cámara móbil. Polo menos en todos os buques insignia non dos lixos. O almacenamento en búfer permítelle dar conta non só do retraso do obturador cero, co que os fotógrafos soñaban desde hai moito tempo, senón tamén do negativo: cando preme un botón, o teléfono intelixente mira ao pasado, descarga as últimas 5-10 fotos do búfer e comeza a analizar frenéticamente. e pégalos. Xa non hai que esperar a que o teléfono faga clic nos fotogramas para o modo HDR ou nocturno: só tes que tiralos do búfer, o usuario nin sequera o saberá.
Por certo, é coa axuda do retraso negativo do obturador que Live Photo se implementa nos iPhones, e HTC tivo algo similar en 2013 baixo o estraño nome Zoe.
Apilación de exposicións: HDR e loita contra os cambios de brillo
Se os sensores da cámara son capaces de capturar toda a gama de brillo accesible aos nosos ollos é un vello tema candente de debate. Algúns din que non, porque o ollo é capaz de ver ata 25 f-stops, mentres que incluso desde unha matriz de fotograma completo superior pode obter un máximo de 14. Outros chaman a comparación incorrecta, porque o cerebro axuda ao ollo axustándose automaticamente. a pupila e completando a imaxe coas súas redes neuronais, e o instante O rango dinámico do ollo en realidade non é máis que só 10-14 pasos f. Deixemos este debate aos mellores pensadores de cadeiras da Internet.
O feito é que cando disparas a amigos contra un ceo brillante sen HDR con ningunha cámara móbil, obtén ou ben un ceo normal e as caras negras dos amigos, ou amigos ben debuxados, pero un ceo abrasador.
A solución foi inventada hai tempo: ampliar o rango de brillo mediante HDR (Alto rango dinámico). Debes tomar varios fotogramas a diferentes velocidades de obturación e unilos. Así que un é "normal", o segundo é máis claro, o terceiro é máis escuro. Tomamos lugares escuros dun marco claro, enchemos sobreexposicións desde un escuro - beneficio. Todo o que queda é resolver o problema do bracketing automático: canto cambiar a exposición de cada fotograma para non esaxere, pero agora un estudante de segundo ano nunha universidade técnica pode manexar determinar o brillo medio dunha imaxe.
No iPhone, Pixel e Galaxy máis recentes, o modo HDR adoita activarse automaticamente cando un simple algoritmo dentro da cámara determina que estás disparando algo con contraste nun día soleado. Incluso podes notar como o teléfono cambia o modo de gravación ao búfer para gardar os fotogramas cambiados na exposición: os fps da cámara caen e a propia imaxe faise máis xugosa. O momento de cambio é claramente visible no meu iPhone X cando filmo ao aire libre. Bótalle un ollo ao teu teléfono intelixente tamén a próxima vez.
A desvantaxe do HDR co horquillado de exposición é a súa impenetrable impotencia cunha iluminación deficiente. Mesmo coa luz dunha lámpada da habitación, os marcos quedan tan escuros que o ordenador non pode aliñalos e unilos. Para resolver o problema coa luz, en 2013 Google mostrou un enfoque diferente do HDR no teléfono intelixente Nexus lanzado entón. Utilizou a acumulación de tempo.
Apilado de tempo: simulación de longa exposición e lapso de tempo
A acumulación de tempo permítelle crear unha exposición longa usando unha serie de exposicións curtas. Os pioneiros eran fans de fotografar estelas de estrelas no ceo nocturno, aos que lles resultaba incómodo abrir a persiana durante dúas horas á vez. Era tan difícil calcular todos os axustes con antelación, e o máis leve axitación estragaría todo o cadro. Decidiron abrir o obturador só por un par de minutos, pero moitas veces, e logo foron a casa e pegaron os cadros resultantes en Photoshop.
Resulta que a cámara nunca disparou a unha velocidade de obturación longa, pero obtivemos o efecto de simulala sumando varios fotogramas tomados en fila. Hai unha morea de aplicacións escritas para teléfonos intelixentes que usan este truco durante moito tempo, pero todas non son necesarias xa que a función engadiuse a case todas as cámaras estándar. Hoxe, mesmo un iPhone pode unir facilmente unha longa exposición dunha Live Photo.
Volvamos a Google co seu HDR nocturno. Descubriuse que usando o intervalo de tempo pode implementar un bo HDR na escuridade. A tecnoloxía apareceu por primeira vez no Nexus 5 e chamábase HDR+. O resto de teléfonos Android recibírono coma se fose un agasallo. A tecnoloxía segue sendo tan popular que incluso é eloxiada na presentación dos últimos Pixels.
HDR+ funciona de forma sinxela: despois de determinar que estás a disparar na escuridade, a cámara descarga as últimas 8-15 fotos RAW do búfer para superpoñelas unhas sobre outras. Así, o algoritmo recolle máis información sobre as áreas escuras do cadro para minimizar o ruído: píxeles nos que, por algún motivo, a cámara non puido recoller toda a información e saíu mal.
É como se non soubeses como era un carpincho e pediches a cinco persoas que o describisen, as súas historias serían aproximadamente as mesmas, pero cada unha mencionaría algún detalle único. Deste xeito, recollerías máis información que só pedir unha. É o mesmo cos píxeles.
Engadir fotogramas tomados desde un punto dá o mesmo efecto falso de exposición longa que coas estrelas anteriores. Resúmese a exposición de decenas de fotogramas, os erros nun minimizanse noutros. Imaxina cantas veces terías que facer clic no obturador da réflex digital cada vez para conseguilo.
Todo o que quedaba era resolver o problema da corrección automática da cor: os cadros tomados na escuridade adoitan ser amarelas ou verdes, e nós queremos a riqueza da luz do día. Nas primeiras versións de HDR+, isto resolveuse simplemente axustando a configuración, como nos filtros a Instagram. Despois pediron axuda ás redes neuronais.
Así apareceu Night Sight: a tecnoloxía da "fotografía nocturna" en Pixel 2 e 3. Na descrición din: "Técnicas de aprendizaxe automática construídas sobre HDR+, que fan que Night Sight funcione". En esencia, esta é a automatización da fase de corrección de cor. A máquina foi adestrada nun conxunto de datos de fotos "antes" e "despois" para facer unha fermosa a partir de calquera conxunto de fotos tortas escuras.
Por certo, o conxunto de datos púxose a disposición do público. Quizais os rapaces de Apple a tomen e, finalmente, ensinen ás súas palas de vidro a sacar fotos correctamente na escuridade.
Ademais, Night Sight usa o cálculo do vector de movemento dos obxectos no cadro para normalizar o desenfoque que seguramente se producirá cunha velocidade de obturación longa. Así, o teléfono intelixente pode tomar pezas claras doutros cadros e pegalas.
Apilado de movemento: panorámica, superzoom e redución de ruído
Panorama é un entretemento popular para os veciños das zonas rurais. A historia aínda non coñece ningún caso en que unha foto de embutido interesase a ninguén que non sexa o seu autor, pero non se pode ignorar: para moitos, aquí é onde comezou o apilado.
A primeira forma útil de usar unha panorámica é obter unha fotografía cunha resolución superior á que permite a matriz da cámara unindo varios fotogramas. Os fotógrafos levan moito tempo empregando software diferente para as chamadas fotografías de súper resolución, cando as fotografías lixeiramente desprazadas parecen complementarse entre os píxeles. Deste xeito podes obter unha imaxe de polo menos centos de gigapíxeles, o que é moi útil se precisas imprimilo nun cartel publicitario do tamaño dunha casa.
Outro enfoque máis interesante é Pixel Shifting. Algunhas cámaras sen espello como Sony e Olympus comezaron a admitilo en 2014, pero aínda así tiveron que pegar o resultado a man. Innovacións típicas das grandes cámaras.
Os teléfonos intelixentes triunfaron aquí por un motivo divertido: cando fas unha foto, as mans tremétense. Este problema aparentemente formou a base para a implementación da super resolución nativa nos teléfonos intelixentes.
Para entender como funciona isto, cómpre lembrar como está estruturada a matriz de calquera cámara. Cada un dos seus píxeles (fotodiodo) é capaz de rexistrar só a intensidade da luz, é dicir, o número de fotóns entrantes. Non obstante, un píxel non pode medir a súa cor (lonxitude de onda). Para obter unha imaxe RGB, tivemos que engadir muletas tamén aquí: cubrir toda a matriz cunha reixa de pezas de vidro de varias cores. A súa implementación máis popular chámase filtro Bayer e úsase na maioría das matrices na actualidade. Parece a imaxe de abaixo.
Resulta que cada píxel da matriz capta só a compoñente R, G ou B, porque os fotóns restantes son reflectidos sen piedade polo filtro Bayer. Recoñece os compoñentes que faltan facendo unha media sen rodeos dos valores dos píxeles veciños.
Hai máis células verdes no filtro Bayer; isto fíxose por analoxía co ollo humano. Acontece que dos 50 millóns de píxeles da matriz, o verde capturará 25 millóns, vermello e azul - 12,5 millóns cada un. O resto será unha media - este proceso chámase debayerización ou demosaicing, e esta é unha muleta tan graciosa. que todo descansa.
De feito, cada matriz ten o seu propio algoritmo de demostración patentado, pero para os efectos desta historia descoidarémolo.
Outros tipos de matrices (como Foveon) aínda non se incorporaron. Aínda que algúns fabricantes están intentando usar sensores sen filtro Bayer para mellorar a nitidez e o rango dinámico.
Cando hai pouca luz ou os detalles dun obxecto son moi pequenos, perdemos moita información porque o filtro Bayer corta descaradamente os fotóns cunha lonxitude de onda non desexada. É por iso que se lle ocorreu Pixel Shifting: movendo a matriz 1 píxel arriba-abaixo-dereita-esquerda para capturalos todos. Neste caso, a foto non resulta ser 4 veces maior, como pode parecer, o procesador simplemente usa estes datos para rexistrar con máis precisión o valor de cada píxel. Non promedia sobre os seus veciños, por así dicilo, senón sobre catro valores de si mesmo.
O tremer das nosas mans ao facer fotos co teléfono fai que este proceso sexa unha consecuencia natural. Nas últimas versións de Google Pixel, esta cousa está implementada e acende sempre que usas o zoom no teléfono: chámase Super Res Zoom (si, tamén me gusta o seu nome despiadado). Os chineses tamén o copiaron nos seus laófonos, aínda que resultou un pouco peor.
A superposición de fotografías lixeiramente desprazadas unhas sobre outras permite recoller máis información sobre a cor de cada píxel, o que significa reducir o ruído, aumentar a nitidez e aumentar a resolución sen aumentar o número físico de megapíxeles da matriz. Os buques insignia de Android modernos fan isto automaticamente, sen que os seus usuarios pensen niso.
Apilado de focos: calquera profundidade de campo e reenfocar na posprodución
O método provén da fotografía macro, onde a pouca profundidade de campo sempre foi un problema. Para que todo o obxecto estivese enfocado, tiñas que tomar varios fotogramas co foco cambiando cara atrás e cara atrás, e logo unilos nun só nítido. O mesmo método foi usado a miúdo polos fotógrafos de paisaxes, facendo o primeiro plano e o fondo tan nítidos como a diarrea.
Todo isto tamén se trasladou aos teléfonos intelixentes, aínda que sen moito bombo. En 2013 lanzouse o Nokia Lumia 1020 con "Refocus App" e en 2014, o Samsung Galaxy S5 co modo "Selective Focus". Funcionaron segundo o mesmo esquema: ao premer un botón, sacaron rapidamente 3 fotografías: unha con enfoque "normal", a segunda co foco desprazado cara adiante e a terceira co foco desprazado cara atrás. O programa aliñaba os fotogramas e permitíache seleccionar un deles, que se promocionaba como control de enfoque "real" na posprodución.
Non houbo máis procesamento, porque ata este simple truco foi suficiente para meter outro cravo na tapa de Lytro e os seus compañeiros co seu honesto reenfocamento. Por certo, imos falar deles (master de transición 80 lvl).
Matrices computacionais: campos luminosos e plenóptica
Como entendemos anteriormente, as nosas matrices son horror con muletas. Acabamos de acostumarnos e intentamos vivir con el. A súa estrutura cambiou pouco desde o principio dos tempos. Só melloramos o proceso técnico: reducimos a distancia entre os píxeles, loitamos contra o ruído de interferencia e engadimos píxeles especiais para o enfoque automático de detección de fase. Pero se tomas ata a DSLR máis cara e intentas fotografar un gato correndo con ela na iluminación da habitación, o gato, por dicilo suavemente, gañará.
Levamos moito tempo intentando inventar algo mellor. Moitos intentos e investigacións nesta área son buscados en Google para "sensor computacional" ou "sensor non Bayer", e mesmo o exemplo de Pixel Shifting anterior pódese atribuír a intentos de mellorar as matrices mediante cálculos. Porén, as historias máis prometedoras dos últimos vinte anos veñen de nós precisamente do mundo das chamadas cámaras plenópticas.
Para que non te quedes durmido ante a anticipación de palabras complexas inminentes, vou dicir que a cámara do último Google Pixel é "lixeiramente" plenóptica. Só dous píxeles, pero mesmo isto permítelle calcular a profundidade óptica correcta do cadro mesmo sen unha segunda cámara, como todo o mundo.
Plenoptics é unha poderosa arma que aínda non disparou. Aquí tes unha ligazón a un dos meus últimos favoritos. , onde tomei prestados os exemplos.
Cámara Plenoptic - próximamente
Inventado en 1994, recollido en Stanford en 2004. A primeira cámara de consumo, Lytro, lanzouse en 2012. A industria da RV está a experimentar activamente con tecnoloxías similares.
Unha cámara plenóptica difire dunha cámara convencional nunha única modificación: a súa matriz está cuberta cunha reixa de lentes, cada unha das cales cobre varios píxeles reais. Algo coma isto:
Se calculas correctamente a distancia da grella á matriz e o tamaño da abertura, a imaxe final terá grupos claros de píxeles, unha especie de mini-versións da imaxe orixinal.
Acontece que se tomas, digamos, un píxel central de cada grupo e pegas a imaxe só usándoos, non será diferente do tomado cunha cámara normal. Si, perdemos un pouco en resolución, pero só lle pediremos a Sony que engada máis megapíxeles nas novas matrices.
A diversión só está a comezar. se tomas outro píxel de cada grupo e volves unir a imaxe, obterás de novo unha fotografía normal, só coma se fose tomada cun desprazamento dun píxel. Así, ao ter grupos de 10 × 10 píxeles, obteremos 100 imaxes do obxecto desde puntos "lixeiramente" diferentes.
Un tamaño de clúster maior significa máis imaxes, pero unha resolución máis baixa. No mundo dos smartphones con matrices de 41 megapíxeles, aínda que podemos descoidar un pouco a resolución, todo ten un límite. Hai que manter o equilibrio.
Está ben, montamos unha cámara plenoptica, entón que nos dá iso?
Reenfoque honesto
A característica sobre a que todos os xornalistas andaban zumbando nos artigos sobre Lytro era a capacidade de axustar honestamente o foco na posprodución. Por xusto queremos dicir que non utilizamos ningún algoritmo de eliminación de borrosidade, senón que utilizamos exclusivamente os píxeles que nos ocupan, seleccionándoos ou promediando os clústeres na orde requirida.
A fotografía RAW dunha cámara plenóptica parece estraña. Para sacar o jeep afiado habitual, primeiro debes montalo. Para iso, cómpre seleccionar cada píxel do jeep dun dos grupos RAW. Dependendo de como os elixamos, o resultado cambiará.
Por exemplo, canto máis lonxe estea o clúster do punto de incidencia do feixe orixinal, máis desenfocado estará este feixe. Porque óptica. Para obter unha imaxe con cambio de foco, só necesitamos seleccionar píxeles á distancia desexada da orixinal, máis preto ou máis lonxe.
Foi máis difícil cambiar o foco cara a si mesmo; puramente físicamente, había menos píxeles deste tipo nos clústeres. Ao principio, os desenvolvedores nin sequera querían darlle ao usuario a posibilidade de enfocar coas mans; a propia cámara decidiu isto no software. Aos usuarios non lles gustou este futuro, polo que engadiron unha función no firmware posterior chamada "modo creativo", pero fixo que o reenfocamento fose moi limitado precisamente por este motivo.
Mapa de profundidade e 3D desde unha cámara
Unha das operacións máis sinxelas en plenóptica é a obtención dun mapa de profundidade. Para iso, só tes que recoller dous cadros diferentes e calcular canto se desprazan os obxectos neles. Máis cambio significa máis afastado da cámara.
Google comprou e matou recentemente Lytro, pero utilizou a súa tecnoloxía para a súa RV e... para a cámara Pixel. A partir de Pixel 2, a cámara volveuse "lixeiramente" plenoptica por primeira vez, aínda que con grupos de só dous píxeles. Isto deu a Google a oportunidade de non instalar unha segunda cámara, como todos os outros rapaces, senón de calcular o mapa de profundidade só a partir dunha foto.
O mapa de profundidade está construído usando dous cadros desprazados nun subpíxel. Isto é suficiente para calcular un mapa de profundidade binario e separar o primeiro plano do fondo e difuminar este último no bokeh agora de moda. O resultado deste tipo de capas tamén é suavizado e "mellorado" polas redes neuronais que están adestradas para mellorar os mapas de profundidade (e non borrosos, como pensa moita xente).
O truco é que temos plenoptics nos teléfonos intelixentes case de balde. Xa puxemos lentes nestas pequenas matrices para aumentar dalgún xeito o fluxo luminoso. No próximo Pixel, Google planea ir máis aló e cubrir catro fotodiodos cunha lente.
Fonte: 3dnews.ru