El artículo original está publicado en el sitio web. y publicado en 3DNews con el permiso del autor. Proporcionamos el texto completo del artículo, con la excepción de una gran cantidad de enlaces: serán útiles para aquellos que estén seriamente interesados en el tema y quieran estudiar los aspectos teóricos de la fotografía computacional con más profundidad, pero por un tiempo. Para el público general consideramos que este material era redundante.
Hoy en día, ni una sola presentación de un teléfono inteligente está completa sin lamer su cámara. Cada mes escuchamos sobre el próximo éxito de las cámaras móviles: Google le enseña a Pixel a disparar en la oscuridad, Huawei a hacer zoom como binoculares, Samsung inserta lidar y Apple hace las esquinas más redondeadas del mundo. Hay pocos lugares donde la innovación fluya tan rápidamente hoy en día.
Al mismo tiempo, los espejos parecen marcar el tiempo. Sony colma anualmente a todos con nuevas matrices, y los fabricantes actualizan perezosamente la última versión y continúan relajándose y fumando al margen. Tengo una DSLR de 3000 dólares en mi escritorio, pero cuando viajo, llevo mi iPhone. ¿Por qué?
Como decía el clásico, me conecté con esta pregunta. Allí discuten sobre algunos “algoritmos” y “redes neuronales”, sin tener idea de cómo afectan exactamente a la fotografía. Los periodistas leen en voz alta el número de megapíxeles, los blogueros ven al unísono unboxings pagados y los estetas se untan con la "percepción sensual de la paleta de colores de la matriz". Todo es como siempre.
Tuve que sentarme, pasar la mitad de mi vida y resolverlo todo por mi cuenta. En este artículo te contaré lo que aprendí.
¿Qué es la fotografía computacional?
En todas partes, incluida Wikipedia, se da algo así como esta definición: la fotografía computacional es cualquier técnica de captura y procesamiento de imágenes que utiliza computación digital en lugar de transformaciones ópticas. Todo en él es bueno, excepto que no explica nada. Incluso el enfoque automático es adecuado para ello, pero el plenóptico, que ya nos ha aportado muchas cosas útiles, no encaja. La vaguedad de las definiciones oficiales parece dar a entender que no tenemos idea de qué estamos hablando.
El pionero de la fotografía computacional, el profesor de Stanford Marc Levoy (que ahora es responsable de la cámara de Google Pixel) da otra definición: un conjunto de métodos de visualización por computadora que mejoran o amplían las capacidades de la fotografía digital, mediante los cuales se obtiene una fotografía normal que técnicamente no se podía tomar con esta cámara de la forma tradicional. En el artículo me adhiero a esto.
Entonces, los teléfonos inteligentes tuvieron la culpa de todo.
Los teléfonos inteligentes no tuvieron más remedio que dar origen a un nuevo tipo de fotografía: la fotografía computacional.
Sus pequeñas matrices ruidosas y sus diminutas lentes de apertura lenta, de acuerdo con todas las leyes de la física, solo deberían haber traído dolor y sufrimiento. Lo hicieron hasta que sus desarrolladores descubrieron cómo utilizar inteligentemente sus fortalezas para superar sus debilidades: obturadores electrónicos rápidos, procesadores y software potentes.
La mayor parte de las investigaciones de alto perfil en el campo de la fotografía computacional se llevaron a cabo entre 2005 y 2015, lo que en la ciencia se considera literalmente ayer. Ahora mismo, ante nuestros ojos y en nuestros bolsillos, se está desarrollando un nuevo campo de conocimiento y tecnología que nunca antes había existido.
La fotografía computacional no se trata sólo de selfies con neurobokeh. La reciente fotografía de un agujero negro no habría sido posible sin técnicas de fotografía computacional. Para tomar una fotografía así con un telescopio normal, tendríamos que hacerla del tamaño de la Tierra. Sin embargo, combinando datos de ocho radiotelescopios en diferentes puntos de nuestra bola y escribiendo algunos scripts en Python, obtuvimos la primera fotografía del mundo del horizonte de sucesos. Bueno para selfies también.
Inicio: procesamiento digital
Imaginemos que regresamos al año 2007. Nuestra madre es la anarquía y nuestras fotografías son ruidosos jeeps de 0,6 megapíxeles tomadas sobre una patineta. Por entonces tenemos el primer deseo irresistible de esparcirles ajustes preestablecidos para ocultar la miseria de las matrices móviles. No nos neguemos.
Matán e Instagram
Con el lanzamiento de Instagram, todo el mundo se obsesionó con los filtros. Como alguien que realizó ingeniería inversa en X-Pro II, Lo-Fi y Valencia con fines de investigación, por supuesto, todavía recuerdo que constaban de tres componentes:
- Configuraciones de color (Tono, Saturación, Luminosidad, Contraste, Niveles, etc.): coeficientes digitales simples, exactamente como cualquier ajuste preestablecido que los fotógrafos han utilizado desde la antigüedad.
- Los mapeos de tonos son vectores de valores, cada uno de los cuales nos decía: "El color rojo con un tinte de 128 debería convertirse en un tinte de 240".
- Una superposición es una imagen translúcida con polvo, vetas, viñetas y todo lo demás que se puede colocar encima para conseguir el efecto nada banal de una película antigua. No siempre estuvo presente.
Los filtros modernos no están lejos de este trío, solo se han vuelto un poco más complejos en matemáticas. Con la llegada de los sombreadores de hardware y OpenCL a los teléfonos inteligentes, se reescribieron rápidamente para la GPU y esto se consideró tremendamente genial. Para 2012, por supuesto. Hoy en día, cualquier estudiante puede hacer lo mismo en CSS y aún así no tendrá la oportunidad de graduarse.
Sin embargo, el avance de los filtros no se ha detenido a día de hoy. Los chicos de Dehanser, por ejemplo, son excelentes usando filtros no lineales: en lugar de mapeo de tonos proletarios, usan transformaciones no lineales más complejas, lo que, según ellos, abre muchas más posibilidades.
Puedes hacer muchas cosas con transformaciones no lineales, pero son increíblemente complejas y los humanos somos increíblemente estúpidos. Tan pronto como se trata de transformaciones no lineales en la ciencia, preferimos recurrir a métodos numéricos y abarrotar redes neuronales por todas partes para que escriban obras maestras para nosotros. Fue lo mismo aquí.
Automatización y sueños de un botón “obra maestra”
Una vez que todos se acostumbraron a los filtros, comenzamos a incorporarlos directamente en las cámaras. La historia oculta qué fabricante fue el primero, pero solo para entender cuánto tiempo fue: en iOS 5.0, que se lanzó en 2011, ya existía una API pública para la mejora automática de imágenes. Sólo Jobs sabe cuánto tiempo estuvo en uso antes de abrirse al público.
La automatización hizo lo mismo que cada uno de nosotros hace al abrir una foto en el editor: eliminó los espacios en luces y sombras, agregó saturación, eliminó los ojos rojos y arregló la tez. Los usuarios ni siquiera se dieron cuenta de que la "cámara dramáticamente mejorada" del nuevo teléfono inteligente era solo el mérito de un par de nuevos sombreadores. Todavía faltaban cinco años para el lanzamiento de Google Pixel y el inicio del revuelo por la fotografía computacional.
Hoy, la batalla por el botón de “obra maestra” se ha trasladado al campo del aprendizaje automático. Habiendo jugado lo suficiente con el mapeo de tonos, todos se apresuraron a entrenar a las CNN y GAN para mover los controles deslizantes en lugar del usuario. En otras palabras, a partir de la imagen de entrada, determine un conjunto de parámetros óptimos que acercarían esta imagen a una cierta comprensión subjetiva de la "buena fotografía". Implementado en el mismo Pixelmator Pro y otros editores. Funciona, como puedes imaginar, no muy bien y no siempre.
El apilamiento es el 90% del éxito de las cámaras móviles
La verdadera fotografía computacional comenzó con el apilamiento: superponer varias fotografías una encima de otra. No es un problema para un teléfono inteligente hacer clic en una docena de fotogramas en medio segundo. Sus cámaras no tienen piezas mecánicas lentas: la apertura es fija y en lugar de una cortina móvil hay un obturador electrónico. El procesador simplemente ordena a la matriz cuántos microsegundos debe capturar fotones salvajes y lee el resultado.
Técnicamente, el teléfono puede tomar fotografías a velocidad de video y videos con resolución de foto, pero todo depende de la velocidad del bus y del procesador. Por eso siempre ponen límites al programa.
El Stake en sí mismo ha estado con nosotros durante mucho tiempo. Incluso los abuelos instalaron complementos en Photoshop 7.0 para ensamblar varias fotografías en un llamativo HDR o unir un panorama de 18000 × 600 píxeles y... de hecho, nadie supo qué hacer con ellas a continuación. Era una pena que los tiempos fueran ricos y salvajes.
Ahora nos hemos convertido en adultos y lo llamamos "fotografía épsilon", cuando, al cambiar uno de los parámetros de la cámara (exposición, enfoque, posición) y unir los fotogramas resultantes, obtenemos algo que no se pudo capturar en un solo fotograma. Pero este es un término para teóricos; en la práctica, se ha arraigado otro nombre: apostar. Hoy, de hecho, el 90% de todas las innovaciones en cámaras móviles se basan en él.
Algo en lo que mucha gente no piensa, pero que es importante para entender toda la fotografía móvil y informática: la cámara de un teléfono inteligente moderno comienza a tomar fotos tan pronto como abres su aplicación. Lo cual es lógico, porque de alguna manera necesita transferir la imagen a la pantalla. Sin embargo, además de la pantalla, guarda fotogramas de alta resolución en su propio búfer de bucle, donde los almacena durante un par de segundos más.
Cuando presionas el botón “tomar foto”, en realidad ya se ha tomado, la cámara simplemente toma la última foto del búfer.
Así funciona cualquier cámara de móvil hoy en día. Al menos en todos los buques insignia, no de los basureros. El almacenamiento en búfer le permite realizar no solo un retraso de obturación cero, con el que los fotógrafos han soñado durante mucho tiempo, sino incluso negativo: cuando presiona un botón, el teléfono inteligente mira hacia el pasado, descarga las últimas 5 a 10 fotos del búfer y comienza a analizar frenéticamente. y pegarlos. Ya no tendrás que esperar a que el teléfono haga clic en los fotogramas para HDR o el modo nocturno: simplemente sácalos del búfer y el usuario ni siquiera lo sabrá.
Por cierto, es con la ayuda del retardo negativo del obturador que Live Photo se implementa en los iPhone, y HTC tenía algo similar en 2013 con el extraño nombre de Zoe.
Apilamiento de exposición: HDR y lucha contra los cambios de brillo
Si los sensores de las cámaras son capaces de capturar todo el rango de brillo accesible a nuestros ojos es un viejo tema de debate candente. Algunos dicen que no, porque el ojo es capaz de ver hasta 25 diafragmas, mientras que incluso desde una matriz de fotograma completo superior se puede obtener un máximo de 14. Otros consideran que la comparación es incorrecta, porque el cerebro ayuda al ojo ajustándose automáticamente. la pupila y completando la imagen con sus redes neuronales, y el instante. El rango dinámico del ojo en realidad no es más que solo 10-14 f-stops. Dejemos este debate a los mejores pensadores de salón de Internet.
El hecho es que cuando disparas a amigos contra un cielo brillante sin HDR en cualquier cámara móvil, obtienes un cielo normal y las caras negras de tus amigos, o amigos bien dibujados, pero un cielo quemado hasta la muerte.
La solución se inventó hace mucho tiempo: ampliar el rango de brillo mediante HDR (alto rango dinámico). Debe tomar varios fotogramas con diferentes velocidades de obturación y unirlos. De modo que uno es “normal”, el segundo es más claro, el tercero es más oscuro. Tomamos lugares oscuros de un marco claro, completamos sobreexposiciones de uno oscuro: ganancias. Todo lo que queda es resolver el problema del bracketing automático: cuánto cambiar la exposición de cada cuadro para no exagerar, pero ahora un estudiante de segundo año en una universidad técnica puede determinar el brillo promedio de una imagen.
En los últimos iPhone, Pixel y Galaxy, el modo HDR generalmente se activa automáticamente cuando un algoritmo simple dentro de la cámara determina que estás fotografiando algo con contraste en un día soleado. Incluso puede notar cómo el teléfono cambia el modo de grabación al búfer para guardar los fotogramas desplazados en la exposición: los fps en la cámara disminuyen y la imagen en sí se vuelve más jugosa. El momento de cambio es claramente visible en mi iPhone X cuando filmo al aire libre. La próxima vez también echa un vistazo más de cerca a tu teléfono inteligente.
La desventaja del HDR con horquillado de exposición es su impenetrable impotencia en condiciones de poca iluminación. Incluso con la luz de una lámpara de habitación, los marcos se vuelven tan oscuros que la computadora no puede alinearlos y unirlos. Para resolver el problema de la luz, en 2013 Google mostró un enfoque diferente al HDR en el entonces teléfono inteligente Nexus. Usó el tiempo acumulando.
Apilamiento de tiempo: simulación de exposición prolongada y lapso de tiempo
El apilamiento de tiempo le permite crear una exposición larga utilizando una serie de exposiciones cortas. Los pioneros eran aficionados a fotografiar las estelas de estrellas en el cielo nocturno y les resultaba inconveniente abrir el obturador durante dos horas seguidas. Era muy difícil calcular todos los ajustes de antemano y el más mínimo temblor arruinaría todo el encuadre. Decidieron abrir la persiana sólo un par de minutos, pero muchas veces, y luego se fueron a casa y pegaron los fotogramas resultantes en Photoshop.
Resulta que la cámara nunca disparó con una velocidad de obturación larga, sino que obtuvimos el efecto de simularlo sumando varios fotogramas tomados seguidos. Ha habido un montón de aplicaciones escritas para teléfonos inteligentes que utilizan este truco durante mucho tiempo, pero no todas son necesarias ya que la función se agregó a casi todas las cámaras estándar. Hoy en día, incluso un iPhone puede unir fácilmente una exposición prolongada a partir de una Live Photo.
Volvamos a Google con su HDR nocturno. Resultó que usando el bracketing de tiempo puedes implementar un buen HDR en la oscuridad. La tecnología apareció por primera vez en el Nexus 5 y se llamó HDR+. El resto de móviles Android lo recibieron como si fuera un regalo. La tecnología sigue siendo tan popular que incluso es elogiada en la presentación de los últimos Pixel.
HDR+ funciona de forma bastante sencilla: una vez determinado que estás disparando en la oscuridad, la cámara descarga las últimas 8-15 fotos RAW del búfer para superponerlas unas sobre otras. Por lo tanto, el algoritmo recopila más información sobre las áreas oscuras del encuadre para minimizar el ruido: píxeles donde, por alguna razón, la cámara no pudo recopilar toda la información y salió mal.
Es como si no supieras cómo es un carpincho y le pidieras a cinco personas que lo describieran, sus historias serían más o menos las mismas, pero cada una mencionaría algún detalle único. De esta manera recopilaría más información que simplemente preguntarle a uno. Lo mismo ocurre con los píxeles.
Agregar fotogramas tomados desde un punto produce el mismo efecto de exposición prolongada falsa que con las estrellas de arriba. Se resume la exposición de decenas de fotogramas, los errores en uno se minimizan en otros. Imagínese cuántas veces tendría que hacer clic en el obturador de la DSLR cada vez para lograrlo.
Todo lo que quedaba era resolver el problema de la corrección automática de color: las tomas tomadas en la oscuridad suelen resultar amarillas o verdes, y en cierto modo queremos la riqueza de la luz del día. En las primeras versiones de HDR+, esto se solucionaba simplemente modificando la configuración, como en los filtros a la Instagram. Luego pidieron ayuda a las redes neuronales.
Así apareció Night Sight, la tecnología de “fotografía nocturna” en Pixel 2 y 3. En la descripción dicen: “Técnicas de aprendizaje automático basadas en HDR+ que hacen que Night Sight funcione”. De hecho, se trata de la automatización de la etapa de corrección de color. La máquina fue entrenada con un conjunto de datos de fotografías de "antes" y "después" para crear una hermosa a partir de cualquier conjunto de fotografías oscuras y torcidas.
Por cierto, el conjunto de datos se puso a disposición del público. Quizás los chicos de Apple lo acepten y finalmente enseñen a sus palas de cristal a tomar fotografías correctamente en la oscuridad.
Además, Night Sight utiliza el cálculo del vector de movimiento de los objetos en el encuadre para normalizar el desenfoque que seguramente se producirá con una velocidad de obturación larga. Así, el teléfono inteligente puede tomar partes transparentes de otros marcos y pegarlas.
Apilamiento de movimiento: panorama, superzoom y reducción de ruido
Panorama es un entretenimiento popular para los residentes de las zonas rurales. La historia aún no conoce ningún caso en el que una fotografía de salchicha pudiera interesar a alguien más que a su autor, pero no se puede ignorar: para muchos, aquí comenzó el apilamiento.
La primera forma útil de utilizar un panorama es obtener una fotografía de mayor resolución que la que permite la matriz de la cámara uniendo varios fotogramas. Los fotógrafos llevan mucho tiempo utilizando software diferente para las llamadas fotografías de superresolución, cuando las fotografías ligeramente desplazadas parecen complementarse entre sí entre los píxeles. De esta forma podrás obtener una imagen de al menos cientos de gigapíxeles, lo cual resulta muy útil si necesitas imprimirla en un cartel publicitario del tamaño de una casa.
Otro enfoque más interesante es Pixel Shifting. Algunas cámaras sin espejo como Sony y Olympus comenzaron a admitirlo en 2014, pero aún tenían que pegar el resultado a mano. Innovaciones típicas de las grandes cámaras.
Los teléfonos inteligentes han tenido éxito aquí por una curiosa razón: cuando tomas una foto, te tiemblan las manos. Este aparentemente problema formó la base para la implementación de la súper resolución nativa en los teléfonos inteligentes.
Para entender cómo funciona esto, es necesario recordar cómo está estructurada la matriz de cualquier cámara. Cada uno de sus píxeles (fotodiodo) es capaz de registrar únicamente la intensidad de la luz, es decir, el número de fotones entrantes. Sin embargo, un píxel no puede medir su color (longitud de onda). Para obtener una imagen RGB, aquí también tuvimos que agregar muletas: cubrir toda la matriz con una rejilla de piezas de vidrio multicolores. Su implementación más popular se llama filtro Bayer y se utiliza en la mayoría de las matrices en la actualidad. Se parece a la imagen de abajo.
Resulta que cada píxel de la matriz capta sólo el componente R, G o B, porque los fotones restantes son reflejados sin piedad por el filtro Bayer. Reconoce los componentes que faltan promediando claramente los valores de los píxeles vecinos.
En el filtro Bayer hay más celdas verdes; esto se hizo por analogía con el ojo humano. Resulta que de los 50 millones de píxeles de la matriz, el verde capturará 25 millones, el rojo y el azul, 12,5 millones cada uno. El resto se promediará: este proceso se llama debayerización o demosaicing, y esta es una muleta tan gorda y divertida en que todo reposa.
De hecho, cada matriz tiene su propio algoritmo de demostración patentado, pero a los efectos de esta historia lo ignoraremos.
Otros tipos de matrices (como Foveon) de alguna manera aún no se han popularizado. Aunque algunos fabricantes están intentando utilizar sensores sin filtro Bayer para mejorar la nitidez y el rango dinámico.
Cuando hay poca luz o los detalles de un objeto son muy pequeños, perdemos mucha información porque el filtro Bayer corta descaradamente los fotones con una longitud de onda no deseada. Es por eso que se les ocurrió Pixel Shifting: desplazar la matriz 1 píxel hacia arriba, abajo, derecha e izquierda para capturarlos a todos. En este caso, la foto no resulta 4 veces más grande, como podría parecer, el procesador simplemente utiliza estos datos para registrar con mayor precisión el valor de cada píxel. No promedia sobre sus vecinos, por así decirlo, sino sobre cuatro valores de sí mismo.
El apretón de manos al tomar fotografías con el teléfono hace que este proceso sea una consecuencia natural. En las últimas versiones de Google Pixel, esto se implementa y se enciende cada vez que usas el zoom en el teléfono; se llama Super Res Zoom (sí, también me gusta su nombre despiadado). Los chinos también lo copiaron en sus teléfonos laófonos, aunque resultó un poco peor.
Superponer fotografías ligeramente desplazadas una encima de otra le permite recopilar más información sobre el color de cada píxel, lo que significa reducir el ruido, aumentar la nitidez y aumentar la resolución sin aumentar el número físico de megapíxeles de la matriz. Los buques insignia modernos de Android hacen esto automáticamente, sin que sus usuarios siquiera lo piensen.
Apilamiento de enfoque: cualquier profundidad de campo y reenfoque en posproducción
El método proviene de la fotografía macro, donde la poca profundidad de campo siempre ha sido un problema. Para que todo el objeto estuviera enfocado, había que tomar varios fotogramas con el enfoque moviéndose hacia adelante y hacia atrás, y luego unirlos en uno solo. Los fotógrafos de paisajes solían utilizar el mismo método, haciendo que el primer plano y el fondo fueran tan nítidos como la diarrea.
Todo esto también se ha trasladado a los smartphones, aunque sin mucho revuelo. En 2013, se lanzó el Nokia Lumia 1020 con la “Aplicación Refocus”, y en 2014, el Samsung Galaxy S5 con el modo “Enfoque selectivo”. Trabajaron de acuerdo con el mismo esquema: presionando un botón, rápidamente tomaron 3 fotografías: una con el enfoque "normal", la segunda con el enfoque desplazado hacia adelante y la tercera con el enfoque desplazado hacia atrás. El programa alineaba fotogramas y permitía seleccionar uno de ellos, lo que se promocionaba como un control de enfoque "real" en la posproducción.
No hubo más procesamiento, porque incluso este simple truco fue suficiente para clavar otro clavo en la tapa de Lytro y sus pares con su honesto reenfoque. Por cierto, hablemos de ellos (maestro de transición 80 lvl).
Matrices computacionales: campos luminosos y plenópticos.
Como entendimos anteriormente, nuestras matrices son un horror con muletas. Simplemente nos acostumbramos y estamos tratando de vivir con ello. Su estructura ha cambiado poco desde el principio de los tiempos. Solo mejoramos el proceso técnico: redujimos la distancia entre los píxeles, luchamos contra el ruido de interferencia y agregamos píxeles especiales para el enfoque automático por detección de fase. Pero si tomas incluso la DSLR más cara e intentas fotografiar a un gato corriendo con ella en la iluminación de la habitación, el gato, por decirlo suavemente, ganará.
Llevamos mucho tiempo intentando inventar algo mejor. Muchos intentos e investigaciones en esta área se buscan en Google como "sensor computacional" o "sensor no Bayer", e incluso el ejemplo anterior de Pixel Shifting se puede atribuir a intentos de mejorar las matrices mediante cálculos. Sin embargo, las historias más prometedoras de los últimos veinte años nos han llegado precisamente del mundo de las llamadas cámaras plenópticas.
Para que no te duermas ante la anticipación de palabras complejas inminentes, te contaré que la cámara del último Google Pixel es simplemente “ligeramente” plenóptica. Sólo dos píxeles, pero incluso esto le permite calcular la profundidad óptica correcta del encuadre incluso sin una segunda cámara, como todos los demás.
La plenóptica es un arma poderosa que aún no se ha disparado. Aquí hay un enlace a uno de mis últimos favoritos. , de donde tomé prestados los ejemplos.
Cámara plenoptica - próximamente
Inventado en 1994, recopilado en Stanford en 2004. La primera cámara de consumo, Lytro, se lanzó en 2012. La industria de la realidad virtual ahora está experimentando activamente con tecnologías similares.
Una cámara plenóptica se diferencia de una cámara convencional en una sola modificación: su matriz está cubierta con una rejilla de lentes, cada una de las cuales cubre varios píxeles reales. Algo como esto:
Si calcula correctamente la distancia desde la cuadrícula a la matriz y el tamaño de la apertura, la imagen final tendrá grupos claros de píxeles, una especie de miniversiones de la imagen original.
Resulta que si tomas, digamos, un píxel central de cada grupo y pegas la imagen solo con ellos, no será diferente de lo que se toma con una cámara normal. Sí, hemos perdido un poco de resolución, pero simplemente le pediremos a Sony que agregue más megapíxeles en las nuevas matrices.
La diversión apenas comienza. Si toma otro píxel de cada grupo y vuelve a unir la imagen, obtendrá nuevamente una fotografía normal, solo que como si hubiera sido tomada con un desplazamiento de un píxel. Así, al tener clusters de 10×10 píxeles, obtendremos 100 imágenes del objeto desde puntos “ligeramente” diferentes.
Un tamaño de grupo más grande significa más imágenes, pero con menor resolución. En el mundo de los smartphones con matrices de 41 megapíxeles, aunque podemos descuidar un poco la resolución, todo tiene un límite. Tienes que mantener el equilibrio.
Bien, hemos montado una cámara plenóptica, entonces, ¿qué nos aporta eso?
Reenfoque honesto
La característica de la que todos los periodistas hablaban en los artículos sobre Lytro era la capacidad de ajustar honestamente el enfoque en la postproducción. Por justo queremos decir que no utilizamos ningún algoritmo de eliminación de desenfoque, sino que utilizamos exclusivamente los píxeles disponibles, seleccionándolos o promediandolos de grupos en el orden requerido.
La fotografía RAW de una cámara plenóptica parece extraña. Para sacar de él el habitual jeep afilado, primero debes montarlo. Para hacer esto, debe seleccionar cada píxel del jeep de uno de los grupos RAW. Dependiendo de cómo los elijamos el resultado cambiará.
Por ejemplo, cuanto más lejos esté el grupo del punto de incidencia del haz original, más desenfocado estará este haz. Porque la óptica. Para obtener una imagen con el foco desplazado, solo necesitamos seleccionar píxeles a la distancia deseada del original, ya sea más cerca o más lejos.
Era más difícil desviar el foco hacia uno mismo; puramente físicamente, había menos píxeles de este tipo en los grupos. Al principio, los desarrolladores ni siquiera querían darle al usuario la posibilidad de enfocar con las manos; la propia cámara lo decidía mediante software. A los usuarios no les gustó este futuro, por lo que agregaron una función en el firmware posterior llamada "modo creativo", pero hicieron que el reenfoque fuera muy limitado exactamente por esta razón.
Mapa de profundidad y 3D desde una sola cámara
Una de las operaciones más sencillas en plenoóptica es la obtención de un mapa de profundidad. Para hacer esto, solo necesita recolectar dos cuadros diferentes y calcular cuánto se desplazan los objetos en ellos. Más desplazamiento significa más distancia de la cámara.
Google recientemente compró y eliminó Lytro, pero usó su tecnología para su realidad virtual y... para la cámara Pixel. A partir del Pixel 2, la cámara se volvió “ligeramente” plenóptica por primera vez, aunque con grupos de sólo dos píxeles. Esto le dio a Google la oportunidad de no instalar una segunda cámara, como todos los demás, sino calcular el mapa de profundidad únicamente a partir de una foto.
El mapa de profundidad se construye utilizando dos fotogramas desplazados un subpíxel. Esto es suficiente para calcular un mapa de profundidad binario y separar el primer plano del fondo y desenfocar este último en el bokeh ahora de moda. El resultado de dichas capas también se suaviza y "mejora" mediante redes neuronales que están entrenadas para mejorar los mapas de profundidad (y no para desenfocarlos, como mucha gente piensa).
El truco es que tenemos plenópticos en los teléfonos inteligentes casi de forma gratuita. Ya hemos colocado lentes en estas pequeñas matrices para aumentar de alguna manera el flujo luminoso. En el próximo Pixel, Google planea ir más allá y cubrir cuatro fotodiodos con una lente.
Fuente: 3dnews.ru