L'articolo originale è pubblicato sul sito e pubblicato su 3DNews con il permesso dell'autore. Forniamo il testo completo dell'articolo, ad eccezione di un numero enorme di collegamenti: saranno utili a coloro che sono seriamente interessati all'argomento e vorrebbero studiare più approfonditamente gli aspetti teorici della fotografia computazionale, ma per un pubblico generale abbiamo considerato questo materiale ridondante.
Oggi, non una sola presentazione dello smartphone è completa senza leccare la sua fotocamera. Ogni mese sentiamo parlare del prossimo successo delle fotocamere mobili: Google insegna a Pixel a scattare al buio, Huawei a zoomare come un binocolo, Samsung introduce il lidar e Apple realizza gli angoli più rotondi del mondo. Sono pochi i luoghi in cui l’innovazione scorre così rapidamente al giorno d’oggi.
Allo stesso tempo, gli specchi sembrano segnare il tempo. Sony ogni anno inonda tutti con nuove matrici e i produttori aggiornano pigramente l'ultima versione della cifra e continuano a rilassarsi e fumare in disparte. Ho una DSLR da 3000 dollari sulla mia scrivania, ma quando viaggio porto con me il mio iPhone. Perché?
Come diceva il classico, sono andato online con questa domanda. Lì discutono di alcuni “algoritmi” e “reti neurali”, senza avere la minima idea di come incidano esattamente sulla fotografia. I giornalisti leggono ad alta voce il numero di megapixel, i blogger vedono all'unisono unboxing a pagamento e gli esteti si imbrattano con la "percezione sensuale della tavolozza dei colori della matrice". Tutto è come al solito.
Ho dovuto sedermi, passare metà della mia vita e capire tutto da solo. In questo articolo ti racconterò cosa ho imparato.
Cos’è la fotografia computazionale?
Ovunque, inclusa Wikipedia, danno qualcosa di simile a questa definizione: la fotografia computazionale è qualsiasi tecnica di acquisizione ed elaborazione di immagini che utilizza il calcolo digitale invece delle trasformazioni ottiche. Tutto è buono, tranne il fatto che non spiega nulla. Anche l'autofocus è adatto a questo, ma la plenoottica, che ci ha già portato molte cose utili, non è adatta. La vaghezza delle definizioni ufficiali sembra suggerire che non abbiamo idea di cosa stiamo parlando.
Il pioniere della fotografia computazionale, il professore di Stanford Marc Levoy (che ora è responsabile della fotocamera di Google Pixel) fornisce un'altra definizione: un insieme di metodi di visualizzazione computerizzata che migliorano o espandono le capacità della fotografia digitale, utilizzando i quali si ottiene una normale fotografia che tecnicamente non è possibile scattare con questa fotocamera nel modo tradizionale. Nell'articolo aderisco a questo.
Quindi la colpa di tutto è degli smartphone.
Gli smartphone non hanno avuto altra scelta che dare vita a un nuovo tipo di fotografia: la fotografia computazionale.
Le loro piccole matrici rumorose e le minuscole lenti ad apertura lenta, secondo tutte le leggi della fisica, avrebbero dovuto portare solo dolore e sofferenza. Lo hanno fatto finché i loro sviluppatori non hanno capito come utilizzare abilmente i loro punti di forza per superare i loro punti deboli: otturatori elettronici veloci, processori e software potenti.
La maggior parte della ricerca di alto profilo nel campo della fotografia computazionale è avvenuta tra il 2005 e il 2015, un periodo che in ambito scientifico è considerato letteralmente ieri. Proprio adesso, davanti ai nostri occhi e nelle nostre tasche, si sta sviluppando un nuovo campo della conoscenza e della tecnologia che prima non era mai esistito.
La fotografia computazionale non riguarda solo i selfie con neuro-bokeh. La recente fotografia di un buco nero non sarebbe stata possibile senza le tecniche di fotografia computazionale. Per scattare una foto del genere con un normale telescopio, dovremmo renderlo delle dimensioni della Terra. Tuttavia, combinando i dati di otto radiotelescopi in diversi punti della nostra palla e scrivendo alcuni script in Python, abbiamo ottenuto la prima fotografia al mondo dell'orizzonte degli eventi. Buono anche per i selfie.
Inizio: elaborazione digitale
Immaginiamo di essere tornati nel 2007. Nostra madre è l'anarchia e le nostre foto sono rumorose jeep da 0,6 megapixel scattate su uno skateboard. In quel momento ci viene il primo irresistibile desiderio di cospargerli di preset per nascondere la miseria delle matrici mobili. Non rinneghiamoci.
Matan e Instagram
Con l’uscita di Instagram, tutti sono diventati ossessionati dai filtri. Avendo effettuato il reverse engineering di X-Pro II, Lo-Fi e Valencia ovviamente per scopi di ricerca, ricordo ancora che erano costituiti da tre componenti:
- Impostazioni colore (tonalità, saturazione, luminosità, contrasto, livelli, ecc.) - semplici coefficienti digitali, esattamente come qualsiasi preimpostazione utilizzata dai fotografi fin dai tempi antichi.
- I Tone Mapping sono vettori di valori, ognuno dei quali ci dice: “Il colore rosso con una tinta di 128 dovrebbe essere trasformato in una tinta di 240”.
- Una sovrapposizione è un'immagine traslucida con polvere, grana, vignettatura e tutto ciò che può essere sovrapposto per ottenere l'effetto per nulla banale di una vecchia pellicola. Non era sempre presente.
I filtri moderni non sono lontani da questo trio, sono solo diventati un po’ più complessi in matematica. Con l'avvento degli shader hardware e di OpenCL sugli smartphone, sono stati rapidamente riscritti per la GPU, e questo è stato considerato estremamente interessante. Per il 2012, ovviamente. Oggi qualsiasi studente può fare lo stesso nei CSS, ma non avrà ancora la possibilità di laurearsi.
Tuttavia, il progresso dei filtri non si è fermato oggi. I ragazzi di Dehanser, ad esempio, sono bravissimi nell'usare filtri non lineari: invece della mappatura proletaria del tono, usano trasformazioni non lineari più complesse che, secondo loro, aprono molte più possibilità.
Puoi fare molte cose con le trasformazioni non lineari, ma sono incredibilmente complesse e noi umani siamo incredibilmente stupidi. Non appena si tratta di trasformazioni non lineari nella scienza, preferiamo ricorrere a metodi numerici e stipare reti neurali ovunque in modo che scrivano capolavori per noi. Anche qui è stato lo stesso.
Automazione e sogni di un bottone “capolavoro”.
Una volta che tutti si sono abituati ai filtri, abbiamo iniziato a integrarli direttamente nelle fotocamere. La storia nasconde quale produttore sia stato il primo, ma giusto per capire quanto tempo fa: in iOS 5.0, rilasciato nel 2011, esisteva già un'API pubblica per il miglioramento automatico delle immagini. Solo Jobs sa per quanto tempo è stato in uso prima dell'apertura al pubblico.
L'automazione ha fatto la stessa cosa che fa ognuno di noi quando apre una foto nell'editor: ha eliminato le lacune di luci e ombre, ha aggiunto saturazione, ha rimosso gli occhi rossi e ha corretto la carnagione. Gli utenti non si rendevano nemmeno conto che la "fotocamera notevolmente migliorata" del nuovo smartphone era solo merito di un paio di nuovi shader. Mancavano ancora cinque anni prima del lancio di Google Pixel e dell'inizio del clamore della fotografia computazionale.
Oggi la battaglia per il pulsante “capolavoro” si è spostata nel campo del machine learning. Dopo aver giocato abbastanza con la mappatura dei toni, tutti si sono precipitati ad addestrare CNN e GAN a spostare i cursori al posto dell'utente. In altre parole, dall’immagine in ingresso, determinare una serie di parametri ottimali che avvicinerebbero questa immagine a una certa comprensione soggettiva della “buona fotografia”. Implementato nello stesso Pixelmator Pro e in altri editor. Funziona, come puoi immaginare, non molto bene e non sempre.
Lo stacking rappresenta il 90% del successo delle fotocamere mobili
La vera fotografia computazionale è iniziata con l’impilamento, ovvero la sovrapposizione di più fotografie una sopra l’altra. Non è un problema per uno smartphone scattare una dozzina di fotogrammi in mezzo secondo. Le loro macchine fotografiche non hanno parti meccaniche lente: l'apertura è fissa e al posto della tenda mobile c'è un otturatore elettronico. Il processore comanda semplicemente alla matrice quanti microsecondi dovrebbe catturare i fotoni selvaggi e legge il risultato.
Tecnicamente il telefono può scattare foto a velocità video e video a risoluzione fotografica, ma tutto dipende dalla velocità del bus e del processore. Ecco perché fissano sempre i limiti del programma.
Lo staking stesso è con noi da molto tempo. Anche i nonni installavano plugin su Photoshop 7.0 per assemblare diverse fotografie in accattivanti HDR o unire insieme un panorama di 18000 × 600 pixel e... in effetti, nessuno ha mai capito cosa farne dopo. Era un peccato che i tempi fossero ricchi e selvaggi.
Ora siamo diventati adulti e la chiamiamo "fotografia epsilon" - quando, modificando uno dei parametri della fotocamera (esposizione, messa a fuoco, posizione) e unendo insieme i fotogrammi risultanti, otteniamo qualcosa che non può essere catturato in un fotogramma. Ma questo è un termine per teorici, in pratica ha preso piede un altro nome: staking. Oggi, infatti, il 90% di tutte le innovazioni nel campo delle fotocamere mobili si basano su di essa.
Qualcosa a cui molte persone non pensano, ma che è importante per comprendere tutta la fotografia mobile e informatica: la fotocamera di un moderno smartphone inizia a scattare foto non appena apri la sua app. Il che è logico, perché ha bisogno di trasferire in qualche modo l'immagine sullo schermo. Tuttavia, oltre allo schermo, salva i fotogrammi ad alta risoluzione nel proprio buffer di loop, dove li memorizza per un paio di secondi in più.
Quando si preme il pulsante “scatta foto”, in realtà la foto è già stata scattata, la fotocamera prende semplicemente l'ultima foto dal buffer.
Ecco come funziona oggi qualsiasi fotocamera mobile. Almeno in tutte le ammiraglie non dai cumuli di spazzatura. Il buffering ti consente di realizzare non solo un ritardo dell'otturatore pari a zero, che i fotografi sognavano da tempo, ma anche un aspetto negativo: quando si preme un pulsante, lo smartphone guarda al passato, scarica le ultime 5-10 foto dal buffer e inizia ad analizzare freneticamente e incollarli. Non dovrai più aspettare che il telefono faccia clic sui fotogrammi per l'HDR o la modalità notturna: basta prenderli dal buffer e l'utente non se ne accorgerà nemmeno.
A proposito, è con l'aiuto del ritardo dell'otturatore negativo che Live Photo è implementato negli iPhone e HTC aveva qualcosa di simile nel 2013 con lo strano nome Zoe.
Stacking dell'esposizione: HDR e lotta ai cambiamenti di luminosità
Se i sensori delle fotocamere siano in grado di catturare l’intera gamma di luminosità accessibile ai nostri occhi è un vecchio argomento di dibattito. Alcuni dicono di no, perché l'occhio è in grado di vedere fino a 25 f-stop, mentre anche da una matrice top full frame si può arrivare al massimo a 14. Altri ritengono sbagliato il paragone, perché il cervello aiuta l'occhio regolandosi automaticamente la pupilla e completando l'immagine con le sue reti neurali, e l'istante. La gamma dinamica dell'occhio in realtà non è superiore a soli 10-14 f-stop. Lasciamo questo dibattito ai migliori pensatori da poltrona su Internet.
Resta il fatto: quando scatti gli amici contro un cielo luminoso senza HDR su qualsiasi fotocamera mobile, ottieni un cielo normale e le facce nere degli amici, oppure amici ben disegnati, ma un cielo bruciato a morte.
La soluzione è stata inventata da tempo: espandere la gamma di luminosità utilizzando HDR (High Dynamic Range). È necessario scattare diversi fotogrammi con velocità dell'otturatore diverse e unirli insieme. Quindi quello uno è “normale”, il secondo è più chiaro, il terzo è più scuro. Prendiamo luoghi oscuri da una cornice chiara, riempiamo le sovraesposizioni da una cornice scura: profitto. Resta solo da risolvere il problema del bracketing automatico: quanto spostare l'esposizione di ciascun fotogramma per non esagerare, ma uno studente del secondo anno in un'università tecnica può ora gestire la determinazione della luminosità media di un'immagine.
Sugli ultimi iPhone, Pixel e Galaxy, la modalità HDR viene generalmente attivata automaticamente quando un semplice algoritmo all'interno della fotocamera determina che stai riprendendo qualcosa con contrasto in una giornata soleggiata. Puoi anche notare come il telefono commuta la modalità di registrazione sul buffer per salvare i fotogrammi spostati nell'esposizione: gli fps nella fotocamera diminuiscono e l'immagine stessa diventa più succosa. Il momento del passaggio è chiaramente visibile sul mio iPhone X durante le riprese all'aperto. Dai un'occhiata più da vicino al tuo smartphone anche la prossima volta.
Lo svantaggio dell'HDR con il bracketing dell'esposizione è la sua impenetrabile impotenza in condizioni di scarsa illuminazione. Anche con la luce di una lampada da stanza, le cornici risultano così scure che il computer non riesce ad allinearle e unirle insieme. Per risolvere il problema della luce, nel 2013 Google ha mostrato un approccio diverso all'HDR nell'allora lanciato smartphone Nexus. Ha usato l'accumulo di tempo.
Time stacking: simulazione di lunghe esposizioni e time lapse
Il time stacking ti consente di creare una lunga esposizione utilizzando una serie di brevi esposizioni. I pionieri erano appassionati di fotografare le scie stellari nel cielo notturno, che trovavano scomodo aprire l'otturatore per due ore contemporaneamente. Era molto difficile calcolare in anticipo tutte le impostazioni e il minimo scuotimento avrebbe rovinato l'intero fotogramma. Hanno deciso di aprire l'otturatore solo per un paio di minuti, ma molte volte, quindi sono tornati a casa e hanno incollato i fotogrammi risultanti in Photoshop.
Si scopre che la fotocamera non ha mai effettivamente scattato con una velocità dell'otturatore lunga, ma abbiamo ottenuto l'effetto di simularla sommando diversi fotogrammi scattati di seguito. Da molto tempo sono state scritte numerose app per smartphone che utilizzano questo trucco, ma non tutte sono necessarie poiché la funzionalità è stata aggiunta a quasi tutte le fotocamere standard. Oggi, anche un iPhone può facilmente unire una lunga esposizione da una Live Photo.
Torniamo a Google con il suo HDR notturno. Si è scoperto che utilizzando il bracketing temporale è possibile implementare un buon HDR al buio. La tecnologia è apparsa per la prima volta nel Nexus 5 e si chiamava HDR+. Il resto dei telefoni Android lo hanno ricevuto come un regalo. La tecnologia è ancora così popolare che viene persino elogiata nella presentazione degli ultimi Pixel.
HDR+ funziona in modo abbastanza semplice: dopo aver stabilito che stai scattando al buio, la fotocamera scarica le ultime 8-15 foto RAW dal buffer per sovrapporle una sull'altra. Pertanto, l'algoritmo raccoglie più informazioni sulle aree scure dell'inquadratura per ridurre al minimo il rumore: pixel in cui, per qualche motivo, la fotocamera non è stata in grado di raccogliere tutte le informazioni e ha commesso un errore.
È come se non sapessi che aspetto avesse un capibara e chiedessi a cinque persone di descriverlo, le loro storie sarebbero più o meno le stesse, ma ognuna menzionerebbe qualche dettaglio unico. In questo modo raccoglieresti più informazioni rispetto a chiederne semplicemente una. È lo stesso con i pixel.
L'aggiunta di fotogrammi presi da un punto dà lo stesso effetto di falsa esposizione lunga delle stelle sopra. L'esposizione di dozzine di fotogrammi viene riassunta, gli errori in uno sono ridotti al minimo in altri. Immagina quante volte dovresti fare clic sull'otturatore della DSLR ogni volta per raggiungere questo obiettivo.
Tutto ciò che restava da fare era risolvere il problema della correzione automatica del colore: i fotogrammi scattati al buio di solito risultano gialli o verdi e noi desideriamo la ricchezza della luce del giorno. Nelle prime versioni di HDR+, questo problema veniva risolto semplicemente modificando le impostazioni, come nei filtri alla Instagram. Quindi hanno chiesto aiuto alle reti neurali.
Ecco come è apparso Night Sight: la tecnologia della "fotografia notturna" in Pixel 2 e 3. Nella descrizione dicono: "Tecniche di apprendimento automatico basate su HDR+, che fanno funzionare Night Sight". In sostanza, questa è l'automazione della fase di correzione del colore. La macchina è stata addestrata su un set di dati di foto "prima" e "dopo" per crearne una bellissima da qualsiasi serie di foto scure e storti.
A proposito, il set di dati è stato reso pubblico. Forse i ragazzi della Apple lo prenderanno e finalmente insegneranno alle loro pale di vetro a scattare foto come si deve al buio.
Inoltre, Night Sight utilizza il calcolo del vettore di movimento degli oggetti nell'inquadratura per normalizzare la sfocatura che sicuramente si verificherà con una velocità dell'otturatore lunga. Quindi, lo smartphone può prendere parti trasparenti da altri telai e incollarle.
Motion stacking: panorama, superzoom e riduzione del rumore
Panorama è un intrattenimento popolare per i residenti delle zone rurali. La storia non conosce ancora casi in cui la foto di una salsiccia possa interessare a qualcun altro oltre al suo autore, ma questo non può essere ignorato: per molti è proprio qui che ha avuto inizio l'impilamento.
Il primo modo utile per utilizzare un panorama è ottenere una fotografia con una risoluzione maggiore di quella consentita dalla matrice della fotocamera cucendo insieme più fotogrammi. I fotografi utilizzano da tempo diversi software per le cosiddette fotografie a super risoluzione, quando le fotografie leggermente spostate sembrano completarsi a vicenda tra i pixel. In questo modo puoi ottenere un'immagine di almeno centinaia di gigapixel, cosa molto utile se devi stamparla su un manifesto pubblicitario grande quanto una casa.
Un altro approccio più interessante è Pixel Shifting. Alcune fotocamere mirrorless come Sony e Olympus hanno iniziato a supportarlo nel 2014, ma dovevano ancora incollare il risultato a mano. Innovazioni tipiche delle grandi fotocamere.
Qui gli smartphone hanno avuto successo per un motivo divertente: quando scatti una foto, ti tremano le mani. Questo apparentemente problema ha costituito la base per l'implementazione della super risoluzione nativa sugli smartphone.
Per capire come funziona, è necessario ricordare come è strutturata la matrice di qualsiasi fotocamera. Ciascuno dei suoi pixel (fotodiodo) è in grado di registrare solo l'intensità della luce, ovvero il numero di fotoni in arrivo. Tuttavia, un pixel non può misurare il suo colore (lunghezza d'onda). Per ottenere un'immagine RGB, anche qui abbiamo dovuto aggiungere le stampelle: coprire l'intera matrice con una griglia di pezzi di vetro multicolori. La sua implementazione più popolare è chiamata filtro Bayer e oggi viene utilizzata nella maggior parte delle matrici. Sembra l'immagine qui sotto.
Si scopre che ogni pixel della matrice cattura solo la componente R, G o B, perché i fotoni rimanenti vengono riflessi senza pietà dal filtro Bayer. Riconosce i componenti mancanti calcolando la media dei valori dei pixel vicini.
Ci sono più cellule verdi nel filtro Bayer: questo è stato fatto per analogia con l'occhio umano. Si scopre che su 50 milioni di pixel sulla matrice, il verde ne catturerà 25 milioni, il rosso e il blu - 12,5 milioni ciascuno, il resto verrà calcolato in media: questo processo si chiama debayerizzazione o demosaicizzazione, e questa è una stampella così grassa e divertente su su cui tutto riposa.
In effetti, ciascuna matrice ha il proprio ingegnoso algoritmo di demosaicizzazione brevettato, ma ai fini di questa storia lo trascureremo.
Altri tipi di matrici (come Foveon) in qualche modo non hanno ancora preso piede. Sebbene alcuni produttori stiano cercando di utilizzare sensori senza filtro Bayer per migliorare la nitidezza e la gamma dinamica.
Quando c'è poca luce o i dettagli di un oggetto sono molto piccoli, perdiamo molte informazioni perché il filtro Bayer taglia palesemente i fotoni con una lunghezza d'onda indesiderata. Ecco perché hanno inventato Pixel Shifting: spostando la matrice di 1 pixel in alto-giù-destra-sinistra per catturarli tutti. In questo caso, la foto non risulta essere 4 volte più grande, come potrebbe sembrare, il processore utilizza semplicemente questi dati per registrare in modo più accurato il valore di ciascun pixel. La media non è quella dei suoi vicini, per così dire, ma quella di quattro valori di se stessa.
Il tremore delle nostre mani quando scattiamo foto con il telefono rende questo processo una conseguenza naturale. Nelle ultime versioni di Google Pixel, questa cosa è implementata e si attiva ogni volta che usi lo zoom sul telefono: si chiama Super Res Zoom (sì, mi piace anche il loro nome spietato). Anche i cinesi lo hanno copiato nei loro laofoni, anche se è risultato un po' peggio.
La sovrapposizione di fotografie leggermente spostate una sull'altra consente di raccogliere più informazioni sul colore di ciascun pixel, il che significa ridurre il rumore, aumentare la nitidezza e aumentare la risoluzione senza aumentare il numero fisico di megapixel della matrice. I moderni flagship Android lo fanno automaticamente, senza che gli utenti se ne accorgano.
Focus stacking: qualsiasi profondità di campo e rimessa a fuoco in post-produzione
Il metodo deriva dalla fotografia macro, dove la profondità di campo ridotta è sempre stata un problema. Affinché l'intero oggetto fosse a fuoco, dovevi scattare diversi fotogrammi con la messa a fuoco che si spostava avanti e indietro, e poi unirli insieme in uno nitido. Lo stesso metodo veniva spesso utilizzato dai fotografi paesaggisti, rendendo il primo piano e lo sfondo nitidi come la diarrea.
Tutto questo si è spostato anche sugli smartphone, anche se senza troppo clamore. Nel 2013 è stato rilasciato il Nokia Lumia 1020 con “Refocus App” e nel 2014 il Samsung Galaxy S5 con la modalità “Selective Focus”. Hanno lavorato secondo lo stesso schema: premendo un pulsante, hanno scattato rapidamente 3 fotografie: una con la messa a fuoco “normale”, la seconda con la messa a fuoco spostata in avanti e la terza con la messa a fuoco spostata indietro. Il programma allineava i fotogrammi e consentiva di selezionarne uno, che veniva pubblicizzato come il controllo "reale" della messa a fuoco in post-produzione.
Non è stata necessaria alcuna ulteriore elaborazione, perché anche questo semplice hack è stato sufficiente per piantare un altro chiodo nel coperchio di Lytro e dei suoi pari con la loro onesta rifocalizzazione. A proposito, parliamo di loro (transition master 80 lvl).
Matrici computazionali: campi luminosi e plenottica
Come abbiamo capito sopra, le nostre matrici sono un orrore con le stampelle. Ci siamo semplicemente abituati e stiamo cercando di conviverci. La loro struttura è cambiata poco dall'inizio dei tempi. Abbiamo solo migliorato il processo tecnico: abbiamo ridotto la distanza tra i pixel, combattuto i rumori di interferenza e aggiunto pixel speciali per l'autofocus a rilevamento di fase. Ma se prendi anche la DSLR più costosa e provi a fotografare un gatto che corre con l'illuminazione della stanza, il gatto, per usare un eufemismo, vincerà.
Stiamo cercando di inventare qualcosa di meglio da molto tempo. Molti tentativi e ricerche in quest'area vengono cercati su Google per "sensore computazionale" o "sensore non Bayer", e anche l'esempio Pixel Shifting sopra può essere attribuito a tentativi di migliorare le matrici utilizzando i calcoli. Tuttavia, le storie più promettenti degli ultimi vent’anni ci sono arrivate proprio dal mondo delle cosiddette telecamere plenoptiche.
Affinché non ti addormenti dall'anticipazione di parole complesse imminenti, aggiungerò un insider che la fotocamera dell'ultimo Google Pixel è solo "leggermente" plenottica. Appena due pixel, ma anche questo gli permette di calcolare la corretta profondità ottica dell'inquadratura anche senza una seconda fotocamera, come tutti gli altri.
La Plenoptics è un'arma potente che non ha ancora sparato. Ecco un collegamento a uno dei miei preferiti recenti. , da cui ho preso in prestito gli esempi.
Telecamera plenoottica - in arrivo
Inventato nel 1994, raccolto a Stanford nel 2004. La prima fotocamera consumer, Lytro, è stata rilasciata nel 2012. L’industria della realtà virtuale sta ora sperimentando attivamente tecnologie simili.
Una fotocamera plenottica differisce da una fotocamera convenzionale in una sola modifica: la sua matrice è coperta da una griglia di lenti, ciascuna delle quali copre diversi pixel reali. Qualcosa come questo:
Se calcoli correttamente la distanza dalla griglia alla matrice e la dimensione dell'apertura, l'immagine finale avrà gruppi di pixel chiari, una sorta di mini-versioni dell'immagine originale.
Si scopre che se prendi, ad esempio, un pixel centrale da ciascun cluster e incolli insieme l'immagine solo usandoli, non sarà diverso da quello scattato con una normale fotocamera. Sì, abbiamo perso un po' in risoluzione, ma chiederemo semplicemente a Sony di aggiungere più megapixel nelle nuove matrici.
Il divertimento è solo all'inizio. se prendi un altro pixel da ciascun cluster e unisci nuovamente l'immagine, otterrai di nuovo una fotografia normale, solo come se fosse stata scattata con uno spostamento di un pixel. Quindi, avendo cluster di 10×10 pixel, otterremo 100 immagini dell’oggetto da punti “leggermente” diversi.
Una dimensione del cluster più grande significa più immagini, ma una risoluzione inferiore. Nel mondo degli smartphone con matrice da 41 megapixel, anche se possiamo trascurare un po' la risoluzione, a tutto c'è un limite. Devi mantenere l'equilibrio.
Ok, abbiamo assemblato una telecamera plenottica, quindi cosa ci offre?
Rifocalizzazione onesta
La caratteristica di cui tutti i giornalisti parlavano negli articoli su Lytro era la capacità di regolare onestamente la messa a fuoco in post-produzione. Per giusto intendiamo che non utilizziamo alcun algoritmo di deblurring, ma utilizziamo esclusivamente i pixel a nostra disposizione, selezionandoli o calcolandone la media dai cluster nell'ordine richiesto.
La fotografia RAW da una fotocamera plenottica sembra strana. Per tirarne fuori la solita jeep affilata, devi prima assemblarla. Per fare ciò, devi selezionare ciascun pixel della jeep da uno dei cluster RAW. A seconda di come li scegliamo, il risultato cambierà.
Ad esempio, più il cluster è lontano dal punto di incidenza del raggio originale, più questo raggio sarà fuori fuoco. Perché l'ottica. Per ottenere un'immagine con messa a fuoco spostata, dobbiamo solo selezionare i pixel alla distanza desiderata da quello originale, più vicino o più lontano.
È stato più difficile spostare l'attenzione su se stessi: puramente fisicamente, c'erano meno pixel di questo tipo nei cluster. All’inizio gli sviluppatori non volevano nemmeno dare all’utente la possibilità di mettere a fuoco con le mani: la fotocamera stessa lo decideva nel software. Agli utenti non piaceva questo futuro, quindi hanno aggiunto una funzionalità nel firmware successivo chiamata "modalità creativa", ma hanno reso la rimessa a fuoco molto limitata proprio per questo motivo.
Mappa di profondità e 3D da una fotocamera
Una delle operazioni più semplici in plenottica è ottenere una mappa di profondità. Per fare ciò, devi solo raccogliere due fotogrammi diversi e calcolare quanto vengono spostati gli oggetti in essi contenuti. Più spostamento significa più distanza dalla fotocamera.
Google ha recentemente acquistato e ucciso Lytro, ma ha utilizzato la sua tecnologia per la realtà virtuale e... per la fotocamera Pixel. A partire da Pixel 2, la fotocamera è diventata per la prima volta “leggermente” plenottica, anche se con cluster di soli due pixel. Ciò ha dato a Google l'opportunità di non installare una seconda fotocamera, come tutti gli altri, ma di calcolare la mappa di profondità esclusivamente da una foto.
La mappa di profondità è costruita utilizzando due fotogrammi spostati di un subpixel. Questo è abbastanza per calcolare una mappa di profondità binaria e separare il primo piano dallo sfondo e sfocare quest'ultimo nell'ormai di moda bokeh. Il risultato di tale stratificazione viene anche attenuato e “migliorato” dalle reti neurali addestrate a migliorare le mappe di profondità (e non a sfocarle, come molti pensano).
Il trucco è che abbiamo ottenuto i plenottici negli smartphone quasi gratuitamente. Abbiamo già messo delle lenti su queste minuscole matrici per aumentare in qualche modo il flusso luminoso. Nel prossimo Pixel, Google prevede di andare oltre e coprire quattro fotodiodi con un obiettivo.
Fonte: 3dnews.ru