O artigo original está publicado no site e publicado na 3DNews com a permissão do autor. Disponibilizamos o texto completo do artigo, com exceção de um grande número de links - eles serão úteis para quem está seriamente interessado no tema e gostaria de estudar com mais profundidade os aspectos teóricos da fotografia computacional, mas por um público em geral consideramos este material redundante.
Hoje, nenhuma apresentação de smartphone está completa sem lamber sua câmera. Todos os meses ouvimos falar do próximo sucesso das câmeras móveis: o Google ensina o Pixel a fotografar no escuro, a Huawei a fazer zoom como binóculos, a Samsung insere lidar e a Apple faz os cantos mais arredondados do mundo. Existem poucos lugares onde a inovação flui tão rapidamente hoje em dia.
Ao mesmo tempo, os espelhos parecem estar marcando passo. A Sony anualmente dá a todos novas matrizes, e os fabricantes atualizam preguiçosamente a versão mais recente e continuam a relaxar e fumar nos bastidores. Tenho uma DSLR de US$ 3000 em minha mesa, mas quando viajo, levo meu iPhone. Por que?
Como dizia o clássico, entrei online com esta pergunta. Lá eles discutem alguns “algoritmos” e “redes neurais”, sem ter a menor ideia de como exatamente eles afetam a fotografia. Os jornalistas estão lendo em voz alta o número de megapixels, os blogueiros estão vendo unboxings pagos em uníssono e os estetas estão se manchando com a “percepção sensual da paleta de cores da matriz”. Tudo está como sempre.
Tive que sentar, passar metade da minha vida e descobrir tudo sozinho. Neste artigo vou contar o que aprendi.
O que é fotografia computacional?
Em todos os lugares, inclusive na Wikipédia, eles dão algo parecido com esta definição: fotografia computacional é qualquer técnica de captura e processamento de imagem que utiliza computação digital em vez de transformações ópticas. Tudo nele é bom, exceto que não explica nada. Até o foco automático é adequado para isso, mas a plenóptica, que já nos trouxe muitas coisas úteis, não serve. A imprecisão das definições oficiais parece sugerir que não temos ideia do que estamos a falar.
O pioneiro da fotografia computacional, o professor de Stanford Marc Levoy (agora responsável pela câmera do Google Pixel) dá outra definição - um conjunto de métodos de visualização computacional que melhoram ou expandem as capacidades da fotografia digital, com a qual é obtida uma fotografia normal que tecnicamente não poderia ser tirada com esta câmera da maneira tradicional. No artigo eu aderi a isso.
Então, os smartphones foram os culpados de tudo.
Os smartphones não tiveram escolha senão dar origem a um novo tipo de fotografia: a fotografia computacional.
Suas pequenas matrizes barulhentas e minúsculas lentes de abertura lenta, de acordo com todas as leis da física, deveriam ter trazido apenas dor e sofrimento. Eles fizeram isso até que seus desenvolvedores descobriram como usar habilmente seus pontos fortes para superar suas fraquezas – persianas eletrônicas rápidas, processadores e software poderosos.
A maior parte das pesquisas de destaque no campo da fotografia computacional ocorreu entre 2005 e 2015, o que na ciência é considerado literalmente ontem. Neste momento, diante dos nossos olhos e nos nossos bolsos, está a desenvolver-se um novo campo de conhecimento e tecnologia que nunca existiu antes.
A fotografia computacional não envolve apenas selfies com neuro-bokeh. A fotografia recente de um buraco negro não teria sido possível sem técnicas de fotografia computacional. Para tirar essa foto com um telescópio normal, teríamos que torná-la do tamanho da Terra. No entanto, combinando dados de oito radiotelescópios em diferentes pontos da nossa bola e escrevendo alguns scripts em Python, obtivemos a primeira fotografia do mundo do horizonte de eventos. Bom para selfies também.
Início: processamento digital
Vamos imaginar que voltamos em 2007. Nossa mãe é a anarquia e nossas fotos são jipes barulhentos de 0,6 megapixels tirados em um skate. Por volta dessa época, temos o primeiro desejo irresistível de espalhar presets sobre eles para esconder a miséria das matrizes móveis. Não vamos negar a nós mesmos.
Matan e Instagram
Com o lançamento do Instagram, todos ficaram obcecados por filtros. Como alguém que fez engenharia reversa do X-Pro II, Lo-Fi e Valencia para, é claro, fins de pesquisa, ainda me lembro que eles consistiam em três componentes:
- Configurações de cores (matiz, saturação, luminosidade, contraste, níveis, etc.) - coeficientes digitais simples, exatamente como quaisquer predefinições que os fotógrafos usam desde os tempos antigos.
- Mapeamentos de tons são vetores de valores, cada um dos quais nos diz: “A cor vermelha com tonalidade 128 deve ser transformada em tonalidade 240”.
- Uma sobreposição é uma imagem translúcida com poeira, granulação, vinheta e tudo mais que pode ser colocado em cima para obter o efeito nada banal de um filme antigo. Nem sempre esteve presente.
Os filtros modernos não estão longe deste trio, apenas se tornaram um pouco mais complexos em matemática. Com o advento dos shaders de hardware e do OpenCL nos smartphones, eles foram rapidamente reescritos para a GPU, e isso foi considerado muito legal. Para 2012, claro. Hoje, qualquer aluno pode fazer o mesmo em CSS, e ainda não terá a chance de se formar.
No entanto, o progresso dos filtros não parou hoje. Os caras da Dehanser, por exemplo, são ótimos no uso de filtros não lineares - em vez do mapeamento tonal proletário, eles usam transformações não lineares mais complexas, o que, segundo eles, abre muito mais possibilidades.
Você pode fazer muitas coisas com transformações não lineares, mas elas são incrivelmente complexas e nós, humanos, somos incrivelmente estúpidos. Assim que se trata de transformações não lineares na ciência, preferimos recorrer a métodos numéricos e amontoar redes neurais em todos os lugares para que elas escrevam obras-primas para nós. Foi a mesma coisa aqui.
Automação e sonhos de um botão “obra-prima”
Depois que todos se acostumaram com os filtros, começamos a construí-los diretamente nas câmeras. A história esconde qual fabricante foi o primeiro, mas só para entender há quanto tempo foi - no iOS 5.0, lançado em 2011, já existia uma API pública para aprimoramento automático de imagens. Só Jobs sabe quanto tempo esteve em uso antes de ser aberto ao público.
A automação fez a mesma coisa que cada um de nós faz ao abrir uma foto no editor - eliminou lacunas de luz e sombras, adicionou saturação, removeu olhos vermelhos e fixou a tez. Os usuários nem perceberam que a “câmera dramaticamente melhorada” do novo smartphone era apenas mérito de alguns novos shaders. Ainda faltavam cinco anos para o lançamento do Google Pixel e o início da campanha publicitária da fotografia computacional.
Hoje, a batalha pelo botão “obra-prima” mudou para o campo do aprendizado de máquina. Depois de brincar o suficiente com o mapeamento de tons, todos correram para treinar CNNs e GANs para mover controles deslizantes em vez do usuário. Em outras palavras, a partir da imagem de entrada, determine um conjunto de parâmetros ótimos que aproximariam essa imagem de uma certa compreensão subjetiva de “boa fotografia”. Implementado no mesmo Pixelmator Pro e outros editores. Funciona, como você pode imaginar, não muito bem e nem sempre.
O empilhamento é 90% do sucesso das câmeras móveis
A verdadeira fotografia computacional começou com o empilhamento – camadas múltiplas de fotografias umas sobre as outras. Não é problema para um smartphone clicar em uma dúzia de frames em meio segundo. Suas câmeras não possuem partes mecânicas lentas: a abertura é fixa e, em vez de uma cortina móvel, há um obturador eletrônico. O processador simplesmente comanda a matriz quantos microssegundos ela deve capturar fótons selvagens e lê o resultado.
Tecnicamente, o telefone pode tirar fotos na velocidade do vídeo e na resolução da foto, mas tudo depende da velocidade do barramento e do processador. É por isso que eles sempre estabelecem limites para o programa.
O próprio estaqueamento está conosco há muito tempo. Até os avôs instalaram plug-ins no Photoshop 7.0 para montar várias fotografias em HDR atraente ou montar um panorama de 18000 × 600 pixels e... na verdade, ninguém nunca descobriu o que fazer com elas a seguir. Foi uma pena que os tempos fossem ricos e selvagens.
Agora nos tornamos adultos e chamamos isso de “fotografia épsilon” - quando, alterando um dos parâmetros da câmera (exposição, foco, posição) e juntando os quadros resultantes, obtemos algo que não poderia ser capturado em um quadro. Mas este é um termo para teóricos; na prática, outro nome criou raízes - estaqueamento. Hoje, na verdade, 90% de todas as inovações em câmeras móveis são baseadas nela.
Algo que muita gente não pensa, mas que é importante para entender toda a fotografia móvel e computacional: a câmera de um smartphone moderno começa a tirar fotos assim que você abre o aplicativo. O que é lógico, porque ela precisa de alguma forma transferir a imagem para a tela. Porém, além da tela, ele salva quadros de alta resolução em seu próprio buffer de loop, onde os armazena por mais alguns segundos.
Quando você pressiona o botão “tirar foto”, na verdade ela já foi tirada, a câmera simplesmente tira a última foto do buffer.
É assim que qualquer câmera móvel funciona hoje. Pelo menos em todos os carros-chefe, não dos montes de lixo. O buffer permite que você perceba não apenas o atraso zero do obturador, com o qual os fotógrafos sonham há muito tempo, mas até mesmo o negativo - quando você pressiona um botão, o smartphone olha para o passado, descarrega as últimas 5 a 10 fotos do buffer e começa a analisar freneticamente e cole-os. Chega de esperar que o telefone clique nos quadros para HDR ou modo noturno - basta retirá-los do buffer, o usuário nem saberá.
A propósito, é com a ajuda do atraso negativo do obturador que o Live Photo é implementado nos iPhones, e a HTC tinha algo semelhante em 2013 sob o estranho nome de Zoe.
Empilhamento de exposição - HDR e combate às alterações de brilho
Se os sensores da câmera são capazes de capturar toda a gama de brilho acessível aos nossos olhos é um tema antigo e quente de debate. Alguns dizem que não, porque o olho é capaz de ver até 25 f-stops, enquanto mesmo em uma matriz full-frame superior você pode obter no máximo 14. Outros consideram a comparação incorreta, porque o cérebro ajuda o olho ajustando-se automaticamente a pupila e completando a imagem com suas redes neurais, e o instante A faixa dinâmica do olho não é, na verdade, mais do que apenas 10-14 f-stops. Deixemos este debate para os melhores pensadores de poltrona da Internet.
O fato permanece: quando você fotografa amigos contra um céu claro sem HDR em qualquer câmera móvel, você obtém um céu normal e rostos pretos de amigos, ou amigos bem desenhados, mas um céu queimado até a morte.
A solução já foi inventada há muito tempo - expandir a faixa de brilho usando HDR (High Dynamic Range). Você precisa pegar vários quadros em diferentes velocidades do obturador e juntá-los. Então aquele é “normal”, o segundo é mais claro, o terceiro é mais escuro. Tiramos lugares escuros de um quadro claro, preenchemos superexposições de um quadro escuro - lucro. Resta resolver o problema do bracketing automático - quanto mudar a exposição de cada quadro para não exagerar, mas um aluno do segundo ano de uma universidade técnica agora pode determinar o brilho médio de uma imagem.
Nos iPhones, Pixel e Galaxy mais recentes, o modo HDR geralmente é ativado automaticamente quando um algoritmo simples dentro da câmera determina que você está fotografando algo com contraste em um dia ensolarado. Você pode até notar como o telefone muda o modo de gravação para o buffer para salvar os quadros alterados na exposição - o fps na câmera cai e a própria imagem fica mais suculenta. O momento de mudança é claramente visível no meu iPhone X ao filmar ao ar livre. Dê uma olhada em seu smartphone na próxima vez também.
A desvantagem do HDR com bracketing de exposição é sua impotência impenetrável em condições de pouca iluminação. Mesmo com a luz de uma lâmpada de ambiente, as molduras ficam tão escuras que o computador não consegue alinhá-las e juntá-las. Para resolver o problema da luz, em 2013 o Google mostrou uma abordagem diferente ao HDR no então lançado smartphone Nexus. Ele usou o empilhamento de tempo.
Time stacking - simulação de longa exposição e lapso de tempo
O empilhamento de tempo permite criar uma exposição longa usando uma série de exposições curtas. Os pioneiros eram fãs de fotografar rastros de estrelas no céu noturno, e achavam inconveniente abrir a veneziana por duas horas seguidas. Era muito difícil calcular todas as configurações com antecedência, e o menor tremor estragaria todo o quadro. Eles decidiram abrir o obturador apenas por alguns minutos, mas muitas vezes, e depois foram para casa e colaram os quadros resultantes no Photoshop.
Acontece que a câmera nunca disparou com uma velocidade de obturador longa, mas obtivemos o efeito de simulá-la somando vários quadros tirados em sequência. Há muito tempo que existem vários aplicativos escritos para smartphones que usam esse truque, mas todos eles não são necessários, pois o recurso foi adicionado a quase todas as câmeras padrão. Hoje, até mesmo um iPhone pode facilmente juntar uma longa exposição de uma Live Photo.
Voltemos ao Google com seu HDR noturno. Descobriu-se que usando o intervalo de tempo você pode implementar um bom HDR no escuro. A tecnologia apareceu pela primeira vez no Nexus 5 e foi chamada de HDR+. O resto dos telefones Android o receberam como se fosse um presente. A tecnologia ainda é tão popular que chega a ser elogiada na apresentação dos mais recentes Pixels.
O HDR+ funciona de forma bastante simples: tendo determinado que você está fotografando no escuro, a câmera descarrega as últimas 8 a 15 fotos RAW do buffer para sobrepô-las umas sobre as outras. Assim, o algoritmo coleta mais informações sobre as áreas escuras do quadro para minimizar ruídos – pixels onde, por algum motivo, a câmera não conseguiu coletar todas as informações e deu errado.
É como se você não soubesse como é uma capivara e pedisse a cinco pessoas para descrevê-la, suas histórias seriam praticamente as mesmas, mas cada uma mencionaria algum detalhe único. Dessa forma, você reuniria mais informações do que apenas perguntar. É o mesmo com pixels.
Adicionar quadros tirados de um ponto dá o mesmo efeito falso de longa exposição das estrelas acima. A exposição de dezenas de frames se resume, os erros em um são minimizados em outros. Imagine quantas vezes você teria que clicar no obturador da DSLR todas as vezes para conseguir isso.
Só faltou resolver o problema da correção automática de cores - as fotos tiradas no escuro geralmente ficam completamente amarelas ou verdes, e queremos a riqueza da luz do dia. Nas primeiras versões do HDR+, isso era resolvido simplesmente ajustando as configurações, como nos filtros do Instagram. Então eles recorreram às redes neurais para ajudar.
Foi assim que surgiu o Night Sight - a tecnologia de “fotografia noturna” nos Pixel 2 e 3. Na descrição eles dizem: “Técnicas de aprendizado de máquina construídas em cima do HDR+, que fazem o Night Sight funcionar”. Em essência, esta é a automação do estágio de correção de cores. A máquina foi treinada em um conjunto de dados de fotos “antes” e “depois” para criar uma linda a partir de qualquer conjunto de fotos escuras e tortas.
A propósito, o conjunto de dados foi disponibilizado publicamente. Talvez os caras da Apple peguem e finalmente ensinem suas pás de vidro a tirar fotos corretamente no escuro.
Além disso, o Night Sight usa o cálculo do vetor de movimento dos objetos no quadro para normalizar o desfoque que certamente ocorrerá com uma velocidade de obturador longa. Assim, o smartphone pode pegar partes transparentes de outras molduras e colá-las.
Empilhamento de movimento - panorama, superzoom e redução de ruído
Panorama é um entretenimento popular para moradores de áreas rurais. A história ainda não conhece nenhum caso em que uma foto de salsicha interessasse a alguém que não fosse o seu autor, mas não pode ser ignorada - para muitos, foi aqui que o empilhamento começou.
A primeira maneira útil de usar um panorama é obter uma fotografia com uma resolução mais alta do que a permitida pela matriz da câmera, unindo vários quadros. Os fotógrafos há muito usam softwares diferentes para as chamadas fotografias de super-resolução – quando fotografias ligeiramente deslocadas parecem se complementar entre os pixels. Desta forma você pode obter uma imagem de pelo menos centenas de gigapixels, o que é muito útil se você precisar imprimi-la em um cartaz publicitário do tamanho de uma casa.
Outra abordagem mais interessante é o Pixel Shifting. Algumas câmeras sem espelho, como Sony e Olympus, começaram a suportá-lo em 2014, mas ainda precisavam colar o resultado manualmente. Inovações típicas de grandes câmeras.
Os smartphones tiveram sucesso aqui por um motivo engraçado: quando você tira uma foto, suas mãos tremem. Esse aparentemente problema serviu de base para a implementação da super resolução nativa em smartphones.
Para entender como isso funciona, é preciso lembrar como a matriz de qualquer câmera está estruturada. Cada um de seus pixels (fotodiodo) é capaz de registrar apenas a intensidade da luz – ou seja, o número de fótons recebidos. No entanto, um pixel não pode medir a sua cor (comprimento de onda). Para obter uma imagem RGB, tivemos que adicionar muletas aqui também - cobrir toda a matriz com uma grade de pedaços de vidro multicoloridos. Sua implementação mais popular é chamada de filtro Bayer e é usada na maioria das matrizes atualmente. Parece com a imagem abaixo.
Acontece que cada pixel da matriz captura apenas o componente R, G ou B, porque os fótons restantes são impiedosamente refletidos pelo filtro Bayer. Ele reconhece os componentes ausentes calculando a média dos valores dos pixels vizinhos.
Existem mais células verdes no filtro Bayer - isso foi feito por analogia com o olho humano. Acontece que de 50 milhões de pixels na matriz, o verde capturará 25 milhões, o vermelho e o azul - 12,5 milhões cada. O restante será calculado em média - esse processo é chamado de debayerização ou demosaicing, e esta é uma muleta tão gorda e engraçada em onde tudo repousa.
Na verdade, cada matriz tem seu próprio algoritmo de demosaicing patenteado, mas para os propósitos desta história vamos negligenciar isso.
Outros tipos de matrizes (como Foveon) ainda não se popularizaram. Embora alguns fabricantes estejam tentando usar sensores sem filtro Bayer para melhorar a nitidez e a faixa dinâmica.
Quando há pouca luz ou os detalhes de um objeto são muito pequenos, perdemos muitas informações porque o filtro Bayer corta descaradamente os fótons com comprimento de onda indesejado. É por isso que eles criaram o Pixel Shifting - deslocando a matriz em 1 pixel para cima, para baixo, para a direita e para a esquerda, para capturar todos eles. Nesse caso, a foto não fica 4 vezes maior, como pode parecer, o processador simplesmente utiliza esses dados para registrar com maior precisão o valor de cada pixel. Ele calcula a média não de seus vizinhos, por assim dizer, mas de quatro valores de si mesmo.
O tremor das mãos ao tirar fotos ao celular torna esse processo uma consequência natural. Nas versões mais recentes do Google Pixel, esse recurso é implementado e ativado sempre que você usa o zoom no telefone - é chamado de Super Res Zoom (sim, também gosto de seu nome implacável). Os chineses também copiaram isso em seus laofones, embora tenha ficado um pouco pior.
Sobrepor fotografias ligeiramente deslocadas umas sobre as outras permite coletar mais informações sobre a cor de cada pixel, o que significa reduzir o ruído, aumentar a nitidez e aumentar a resolução sem aumentar o número físico de megapixels da matriz. Os carros-chefe modernos do Android fazem isso automaticamente, sem que seus usuários sequer pensem nisso.
Empilhamento de foco - qualquer profundidade de campo e refocagem na pós-produção
O método vem da macro fotografia, onde a profundidade de campo sempre foi um problema. Para que todo o objeto estivesse em foco, você tinha que tirar vários quadros com o foco mudando para frente e para trás e depois juntá-los em um único quadro nítido. O mesmo método era frequentemente usado por fotógrafos de paisagens, tornando o primeiro plano e o fundo tão nítidos quanto uma diarreia.
Tudo isso também migrou para os smartphones, embora sem muito alarde. Em 2013, foi lançado o Nokia Lumia 1020 com “Refocus App” e, em 2014, o Samsung Galaxy S5 com modo “Selective Focus”. Eles trabalharam de acordo com o mesmo esquema: pressionando um botão, tiraram rapidamente 3 fotos - uma com foco “normal”, a segunda com o foco deslocado para frente e a terceira com o foco deslocado para trás. O programa alinhou os quadros e permitiu selecionar um deles, o que foi apresentado como controle de foco “real” na pós-produção.
Não houve processamento adicional, porque mesmo esse hack simples foi suficiente para cravar outro prego na tampa da Lytro e de seus pares com sua reorientação honesta. A propósito, vamos falar sobre eles (mestre de transição 80 lvl).
Matrizes computacionais – campos luminosos e plenópticos
Como entendemos acima, nossas matrizes são um horror de muletas. Nós apenas nos acostumamos e estamos tentando conviver com isso. Sua estrutura mudou pouco desde o início dos tempos. Apenas melhoramos o processo técnico - reduzimos a distância entre os pixels, lutamos contra ruídos de interferência e adicionamos pixels especiais para foco automático com detecção de fase. Mas se você pegar até mesmo a DSLR mais cara e tentar fotografar um gato correndo com ela na iluminação ambiente - o gato, para dizer o mínimo, vencerá.
Há muito tempo que tentamos inventar algo melhor. Muitas tentativas e pesquisas nesta área são pesquisadas no Google por “sensor computacional” ou “sensor não bayer”, e até mesmo o exemplo de Pixel Shifting acima pode ser atribuído a tentativas de melhorar matrizes usando cálculos. No entanto, as histórias mais promissoras dos últimos vinte anos chegaram até nós precisamente do mundo das chamadas câmaras plenópticas.
Para que você não adormeça com a antecipação de palavras complexas iminentes, vou acrescentar que a câmera do mais recente Google Pixel é apenas “ligeiramente” plenóptica. Apenas dois pixels, mas mesmo isso permite calcular a profundidade óptica correta do quadro mesmo sem uma segunda câmera, como todo mundo.
Plenoptics é uma arma poderosa que ainda não disparou. Aqui está um link para um dos meus recentes favoritos. , de onde peguei emprestados os exemplos.
Câmera plenóptica - em breve
Inventado em 1994, coletado em Stanford em 2004. A primeira câmera de consumo, Lytro, foi lançada em 2012. A indústria de VR está agora experimentando ativamente tecnologias semelhantes.
Uma câmera plenóptica difere de uma câmera convencional em apenas uma modificação - sua matriz é coberta por uma grade de lentes, cada uma cobrindo vários pixels reais. Algo assim:
Se você calcular corretamente a distância da grade à matriz e o tamanho da abertura, a imagem final terá agrupamentos claros de pixels - uma espécie de mini-versões da imagem original.
Acontece que se você pegar, digamos, um pixel central de cada cluster e colar a imagem apenas usando-os, não será diferente daquela tirada com uma câmera normal. Sim, perdemos um pouco na resolução, mas vamos apenas pedir à Sony que adicione mais megapixels nas novas matrizes.
A diversão está apenas começando. se você pegar outro pixel de cada grupo e juntar a imagem novamente, obterá uma fotografia normal novamente, como se tivesse sido tirada com um deslocamento de um pixel. Assim, tendo clusters de 10 × 10 pixels, obteremos 100 imagens do objeto de pontos “ligeiramente” diferentes.
Tamanho de cluster maior significa mais imagens, mas resolução mais baixa. No mundo dos smartphones com matrizes de 41 megapixels, embora possamos negligenciar um pouco a resolução, há limite para tudo. Você tem que manter o equilíbrio.
Ok, montamos uma câmera plenóptica, então o que isso nos dá?
Reorientação honesta
O recurso que todos os jornalistas comentavam em artigos sobre Lytro era a capacidade de ajustar honestamente o foco na pós-produção. Por justo queremos dizer que não usamos nenhum algoritmo de desfoque, mas usamos exclusivamente os pixels disponíveis, selecionando ou calculando a média deles a partir de clusters na ordem necessária.
A fotografia RAW de uma câmera plenóptica parece estranha. Para tirar dele um jipe normal, você deve primeiro montá-lo. Para fazer isso, você precisa selecionar cada pixel do jipe de um dos clusters RAW. Dependendo de como os escolhermos, o resultado mudará.
Por exemplo, quanto mais longe o cluster estiver do ponto de incidência do feixe original, mais fora de foco esse feixe estará. Porque óptica. Para obter uma imagem com foco deslocado, precisamos apenas selecionar pixels na distância desejada do original - mais perto ou mais longe.
Foi mais difícil mudar o foco para você - puramente fisicamente, havia menos pixels desse tipo nos clusters. No início, os desenvolvedores nem queriam dar ao usuário a capacidade de focar com as mãos – a própria câmera decidia isso no software. Os usuários não gostaram desse futuro, então adicionaram um recurso em firmware posterior chamado “modo criativo”, mas tornaram o foco nele muito limitado exatamente por esse motivo.
Mapa de profundidade e 3D de uma câmera
Uma das operações mais simples em plenóptica é a obtenção de um mapa de profundidade. Para fazer isso, você só precisa coletar dois quadros diferentes e calcular o quanto os objetos neles são deslocados. Mais deslocamento significa mais distância da câmera.
O Google comprou e matou recentemente a Lytro, mas usou sua tecnologia para VR e... para a câmera Pixel. Começando com o Pixel 2, a câmera tornou-se “ligeiramente” plenóptica pela primeira vez, embora com agrupamentos de apenas dois pixels. Isso deu ao Google a oportunidade não de instalar uma segunda câmera, como todos os outros, mas de calcular o mapa de profundidade apenas a partir de uma foto.
O mapa de profundidade é construído usando dois quadros deslocados em um subpixel. Isso é suficiente para calcular um mapa de profundidade binário e separar o primeiro plano do fundo e desfocar o último no bokeh agora na moda. O resultado dessas camadas também é suavizado e “melhorado” por redes neurais que são treinadas para melhorar mapas de profundidade (e não desfocar, como muitas pessoas pensam).
O truque é que temos plenópticos em smartphones quase de graça. Já colocamos lentes nessas minúsculas matrizes para aumentar de alguma forma o fluxo luminoso. No próximo Pixel, o Google planeja ir mais longe e cobrir quatro fotodiodos com lentes.
Fonte: 3dnews.ru