L'originale dell'articolo è pubblicato sul sito e pubblicato su 3DNews con il permesso dell'autore. Presentiamo il testo completo dell'articolo, ad eccezione di un enorme numero di link — utili per chi è seriamente interessato all'argomento e desidera approfondire gli aspetti teorici della fotografia computazionale, ma per un pubblico più ampio abbiamo ritenuto che questo materiale fosse eccessivo.
Oggi nessuna presentazione di uno smartphone può prescindere dall'analisi della sua fotocamera. Ogni mese sentiamo parlare di un nuovo successo delle fotocamere mobili: Google insegna a Pixel a scattare al buio, Huawei zooma come un binocolo, Samsung inserisce il lidar e Apple crea i bordi più arrotondati al mondo. Le innovazioni scorrono abbondanti in questo settore.
Le reflex, nel frattempo, sembrano stagnare. Sony ogni anno inonda il mercato con nuovi sensori, mentre i produttori si limitano ad aggiornare l'ultima cifra della versione e continuano a fumare pigramente da un lato. Ho una reflex sul tavolo da $3000, ma in viaggio porto un iPhone. Perché?
Come diceva un classico — sono uscito su Internet con questa domanda. Lì discutono di qualche "algoritmo" e "reti neurali", senza sapere realmente come influenzino la fotografia. I giornalisti elencano rumorosamente il numero di megapixel, i blogger fanno un coro di unboxing sponsorizzati, e gli esteti si scaldano con "la percezione sensoriale della tavolozza di colori del sensore". Tutto come al solito.
Ho dovuto sedermi, spendere metà della vita e capire da solo tutto. In questo articolo vi racconterò quello che ho scoperto.
Che cos'è la fotografia computazionale?
Ovunque, compresa Wikipedia, si fornisce una definizione del genere: fotografia computazionale — qualsiasi tecnica di acquisizione e elaborazione delle immagini in cui, invece di trasformazioni ottiche, si utilizzano calcoli digitali. È una definizione valida, tranne per il fatto che non spiega nulla. Si adatta anche all'autofocus, ma non include l'ottica a lenti variabili, che già ci ha portato molti vantaggi. L'indeterminatezza delle definizioni ufficiali sembra insinua che non abbiamo idea di cosa stiamo parlando.
Il pioniere della fotografia computazionale, professor di Stanford Marc Levoy (l'attuale responsabile della fotocamera di Google Pixel) fornisce un'altra definizione: un insieme di metodi di computer vision che migliorano o ampliano le capacità della fotografia digitale, mediante i quali si ottiene una fotografia tradizionale che non potrebbe essere stata scattata in maniera tecnica con questa fotocamera. Nel mio articolo seguo proprio la sua definizione.
Quindi, la colpa era degli smartphone.
Gli smartphone non avevano altra scelta se non quella di dare vita a un nuovo tipo di fotografia: la fotografia computazionale.
Le loro piccole matrici rumorose e le minuscole ottiche poco luminose, per tutti i principi della fisica, avrebbero dovuto portare solo dolore e sofferenza. E così è stato, fino a quando i loro sviluppatori non hanno trovato un modo astuto di sfruttarne i punti di forza per contrastare i punti deboli: otturatori elettronici rapidi, processori potenti e software.
La maggior parte delle ricerche celebri nel campo della fotografia computazionale risale al periodo 2005-2015, che nella scienza è considerato praticamente ieri. Proprio ora stiamo assistendo allo sviluppo di un nuovo campo di conoscenze e tecnologie che non è mai esistito.
La fotografia computazionale non riguarda solo i selfie con sfocatura neurale. La recente fotografia di un buco nero non sarebbe mai venuta alla luce senza i metodi della fotografia computazionale. Per scattare una foto di questo tipo con un telescopio normale, avremmo dovuto realizzarne uno grande come la Terra. Tuttavia, unendo i dati di otto radiotelescopi in vari punti del nostro pianeta e scrivendo qualche script in Python, abbiamo ottenuto la prima fotografia al mondo dell'orizzonte degli eventi. Vale anche per i selfie.
Inizio: elaborazione digitale
Immaginiamo di essere nel 2007. La nostra mamma è un'anarchia e le nostre fotografie sono rumorosi jpeg da 0,6 Mp scattati su una tavola da skateboard. È circa in quel periodo che ci viene la prima irrefrenabile voglia di applicare dei preset per nascondere la miseria delle matrici mobili. Non priviamoci di questo.
Matematica e Instagram
Con l'arrivo di Instagram, tutti si sono impazziti per i filtri. Come persona che in passato ha eseguito reverse engineering su X-Pro II, Lo-Fi e Valencia, ovviamente a fini di ricerca (ehm), ricordo ancora che erano costituiti da tre componenti:
- Le impostazioni del colore (Hue, Saturation, Lightness, Contrast, Levels, ecc.) sono semplici coefficienti numerici, proprio come in qualsiasi preset che i fotografi hanno utilizzato fin dall'antichità.
- Le mappe di mapping dei toni (Tone Mapping) sono vettori di valori, ciascuno dei quali ci diceva: «Il colore rosso con tonalità 128 deve diventare tonalità 240».
- Overlay — un'immagine semi-trasparente con polvere, grana, vignettatura e tutto il resto che può essere sovrapposto per ottenere un effetto di pellicola antica non banale. Non era sempre presente.
I filtri moderni non si sono allontanati molto da questo trio, sono solo diventati leggermente più complessi matematicamente. Con l'arrivo dei shader hardware e OpenCL sugli smartphone, sono stati rapidamente riscritti per GPU, e questo era considerato incredibilmente innovativo. Per il 2012, ovviamente. Oggi qualsiasi scolaro può fare la stessa cosa in CSS, e non riceverà nulla per la sua laurea.
Tuttavia, il progresso dei filtri non si è fermato oggi. I ragazzi di Dehancer, ad esempio, si concentrano sui filtri non lineari: invece di una semplice mappatura dei toni proletaria, utilizzano trasformazioni non lineari più complesse, il che, a dire loro, apre molte più possibilità.
Con le trasformazioni non lineari si possono fare molte cose, ma sono incredibilmente complesse, e noi, esseri umani, siamo incredibilmente stupidi. Quando si tratta di trasformazioni non lineari nella scienza, preferiamo andare verso metodi numerici e inserire ovunque reti neurali, affinché scrivano capolavori per noi. Lo stesso è accaduto qui.
Automatica e sogni di un pulsante «capolavoro»
Quando tutti si erano abituati ai filtri, abbiamo iniziato a integrarli direttamente nelle fotocamere. La storia non rivela chi tra i produttori sia stato il primo, ma per capire quanto tempo fa è accaduto: su iOS 5.0, uscito nel 2011, esisteva già un'API pubblica per l'Auto Enhancing Images. Solo a Jobs è noto per quanto tempo sia stato utilizzato prima che fosse aperto al pubblico.
L'automatica faceva ciò che ciascuno di noi faceva aprendo una foto nell'editor: sollevava i difetti in luce e ombre, aggiungeva saturazione, rimuoveva gli occhi rossi e sistemava il colore della pelle. Gli utenti non sospettavano nemmeno che la «macchina fotografica drammaticamente migliorata» nel nuovo smartphone fosse solo merito di un paio di nuovi shader. Ci sarebbero voluti ancora cinque anni prima dell'uscita di Google Pixel e dell'inizio del clamore sulla fotografia computazionale.
Oggi le battaglie per il pulsante "capolavoro" si sono spostate nel campo dell'apprendimento automatico. Dopo aver giocato con il tone mapping, tutti si sono lanciati nell'addestramento di CNN e GAN per muovere i cursori al posto dell'utente. In altre parole, si tratta di determinare, a partire da un'immagine in ingresso, un insieme di parametri ottimali che renderebbero tale immagine più vicina a un certo concetto soggettivo di "buona fotografia". Questo è stato implementato nel Pixelmator Pro e in altri editor. Funziona, come si può immaginare, non sempre e non bene.
Lo stacking è il 90% del successo delle camere per smartphone
La vera fotografia computazionale è iniziata con lo stacking: la sovrapposizione di più fotografie l'una sull'altra. Per uno smartphone non è un problema scattare dozzine di scatti in mezzo secondo. Nelle loro fotocamere non ci sono parti meccaniche lente: l'apertura è fissa e invece dell'otturatore fisico c'è un otturatore elettronico. Il processore comanda semplicemente al sensore per quanto microsecondi deve catturare i fotoni selvaggi e poi legge il risultato.
Tecnicamente, il telefono può scattare foto alla velocità del video e il video con risoluzione fotografica, ma tutto dipende dalla velocità del bus e del processore. Pertanto, vengono sempre imposti limiti software.
Lo stacking è con noi da molto tempo. I nostri nonni installavano plugin su Photoshop 7.0 per unire più fotografie in un HDR sconcertante o per creare panorami di 18000 × 600 pixel e... in realtà nessuno ha ancora inventato cosa farne poi. Erano tempi ricchi, peccato che fossero selvaggi.
Ora siamo cresciuti e chiamiamo questo "fotografia epsilon" — quando, variando uno dei parametri della fotocamera (esposizione, messa a fuoco, posizione) e unendo i fotogrammi ottenuti, otteniamo qualcosa che non potrebbe essere catturato in un solo scatto. Ma questo è un termine per teorici, nella pratica ha preso piede un altro nome: stacking. Oggi, di fatto, il 90% di tutte le innovazioni nelle fotocamere per smartphone si basa su di esso.
Una cosa cui molti non pensano, ma che è importante per comprendere tutta la fotografia mobile e computazionale: la fotocamera di uno smartphone moderno inizia a scattare foto non appena apri la sua applicazione. È logico, deve in qualche modo trasmettere l'immagine sullo schermo. Tuttavia, oltre allo schermo, salva fotogrammi ad alta risoluzione nel proprio buffer circolare, dove li conserva per alcuni secondi.
Quando premi il pulsante "scatta foto", in realtà la foto è già stata scattata, la fotocamera preleva semplicemente l'ultima foto dalla memoria temporanea.
Oggi qualsiasi fotocamera mobile funziona così. Almeno in tutti i modelli di punta, non quelli scartati. La memorizzazione temporanea consente di realizzare non solo una latenza zero dell'otturatore, di cui i fotografi sognavano da tempo, ma anche negativa: quando si preme il pulsante, lo smartphone guarda nel passato, recupera 5-10 ultime foto dalla memoria e inizia a analizzarle e unirle freneticamente. Non è più necessario aspettare che il telefono scatti foto per l'HDR o la modalità notturna: basta prenderle dalla memoria temporanea, l'utente nemmeno lo saprà.
A proposito, proprio grazie alla latenza negativa dell'otturatore è stata realizzata la Live Photo negli iPhone, mentre in HTC qualcosa di simile esisteva già nel 2013 con il nome bizzarro di Zoe.
Stacking per esposizione - HDR e lotta con le variazioni di luminosità
Se i sensori delle fotocamere sono in grado di catturare l'intero intervallo di luminosità accessibile al nostro occhio, è un vecchio tema caldo di discussione. Alcuni dicono di no, poiché l'occhio è capace di vedere fino a 25 f-stop, mentre anche dal miglior sensore full frame si possono estrarre al massimo 14. Altri sostengono che il confronto non è corretto, poiché l'occhio è aiutato dal cervello che adatta automaticamente la pupilla e ricostruisce l'immagine con le proprie reti neurali; in effetti, il range dinamico immediato dell'occhio non supera i 10-14 f-stop. Lasciamo queste discussioni ai migliori pensatori del divano di internet.
Il fatto rimane: quando scatti foto ai tuoi amici contro un cielo luminoso senza HDR con qualsiasi fotocamera mobile, ottieni o un cielo normale con visi neri degli amici, oppure amici ben definiti, ma con un cielo bruciato.
La soluzione è stata pensata da tempo: espandere l'intervallo di luminosità utilizzando HDR (High dynamic range). È necessario scattare diverse foto con esposizioni diverse e unirle insieme. Così che una sia "normale", la seconda più luminosa, la terza più scura. Prendiamo le zone scure dalla foto luminosa, riempiamo le sovraesposizioni da quella scura: profitto. Resta solo da risolvere il problema del bracketing automatico: quanto spostare l'esposizione di ciascuna foto per non esagerare, ma con la determinazione della luminosità media dell'immagine ora un secondo anno di ingegneria riesce a farlo.
Negli ultimi iPhone, Pixel e Galaxy, la modalità HDR si attiva automaticamente quando un semplice algoritmo all'interno della fotocamera rileva che stai fotografando qualcosa di contrastante in una giornata di sole. Puoi addirittura notare come il telefono cambia modalità di registrazione in buffer per memorizzare le immagini spostate per esposizione: i fotogrammi al secondo della fotocamera calano e l'immagine risulta più vivace. Il momento in cui avviene il passaggio è ben visibile sul mio iPhone X, se si scatta all'aperto. Fai attenzione al tuo smartphone la prossima volta.
Il difetto dell'HDR con bracketing per esposizione è la sua ineluttabile impotenza in condizioni di scarsa illuminazione. Anche con la luce di una lampada da tavolo, le immagini risultano così scure che il computer non riesce a allinearle e assemblarle. Per risolvere il problema della luce, nel 2013 Google ha mostrato un approccio diverso all'HDR nel suo smartphone Nexus. Utilizzava il stacking temporale.
Stacking temporale — simulazione di una lunga esposizione e time-lapse
Lo stacking temporale consente di ottenere un effetto di lunga esposizione tramite una serie di scatti brevi. I pionieri erano appassionati di fotografia che volevano catturare le scie delle stelle nel cielo notturno e non volevano tenere l'otturatore aperto per due ore. Era difficile calcolare in anticipo tutte le impostazioni e anche un minimo movimento rovinava l'intero scatto. Così decisero di aprire l'otturatore solo per un paio di minuti, ma molte volte, e poi tornavano a casa per assemblare le immagini in Photoshop.
In effetti, la fotocamera non ha mai scattato in lunga esposizione, ma abbiamo ottenuto l'effetto della sua simulazione combinando diversi scatti consecutivi. Per smartphone esistono da tempo molte applicazioni che utilizzano questo trucco, ma non ce n'era bisogno da quando la funzione è stata aggiunta praticamente a tutte le fotocamere standard. Oggi, anche un iPhone può facilmente assemblare una lunga esposizione da Live Photo.
Torniamo a Google con il suo HDR notturno. Si è scoperto che, con il bracketing temporale, è possibile realizzare un buon HDR al buio. La tecnologia è apparsa per la prima volta nel Nexus 5 e si chiamava HDR+. Gli altri telefoni Android l'hanno ricevuta come un regalo. La tecnologia è ancora così popolare che viene elogiatainanche nelle presentazioni degli ultimi Pixel.
HDR+ funziona in modo piuttosto semplice: rilevando che stai scattando in condizioni di scarsa luce, la fotocamera carica dal buffer le ultime 8-15 foto in RAW, per sovrapporle. In questo modo, l'algoritmo raccoglie più informazioni sulle aree scure dell'immagine per ridurre al minimo il rumore: i pixel in cui, per qualche motivo, la fotocamera non è riuscita a raccogliere tutte le informazioni e ha sbagliato.
È come se non sapessi come appare un capibara e chiedessi a cinque persone di descriverlo: le loro racconti sarebbero più o meno simili, ma ognuno menzionerebbe un dettaglio unico. Così raccoglieresti più informazioni che semplicemente chiedendo a uno. La stessa cosa vale per i pixel.
Sovrapporre le immagini scattate da un unico punto produce lo stesso effetto fasullo di un lungo tempo di esposizione come per le stelle sopra. L'esposizione di decine di scatti si somma, e gli errori in uno vengono minimizzati negli altri. Immagina quante volte dovresti scattare con uno specchio reflex per ottenere un simile risultato.
Rimaneva solo da risolvere il problema della correzione automatica del colore: le immagini scattate al buio di solito risultano tutte gialle o verdi, e noi vogliamo un po' di vivacità della luce diurna. Nelle versioni iniziali di HDR+, questo problema veniva risolto semplicemente regolando le impostazioni, come nei filtri tipo Instagram. In seguito, si sono chiamate in causa le reti neurali.
Così è nata Night Sight: la tecnologia della "fotografia notturna" nei Pixel 2 e 3. Nella descrizione si legge: "Tecniche di machine learning costruite su HDR+, che fanno funzionare Night Sight". Di fatto, questo rappresenta l'automazione della fase di correzione del colore. La macchina è stata addestrata su un set di dati di foto "prima" e "dopo", per trasformare ogni insieme di foto scure in una bella immagine.
A proposito, il dataset è stato reso pubblico. Magari i ragazzi di Apple lo prenderanno e finalmente insegneranno ai loro telefoni a scattare bene al buio.
Inoltre, in Night Sight si utilizza il calcolo del vettore di movimento degli oggetti nell'inquadratura, per normalizzare le sfocature che si ottengono sempre con un tempo di esposizione lungo. In questo modo, lo smartphone può prendere parti nitide da altre immagini e incollarle.
La sovrapposizione per movimento: panoramica, superzoom e riduzione del rumore.
La panoramica è un passatempo popolare tra gli abitanti delle aree rurali. Non ci sono attualmente notizie di casi in cui una 'salsiccofoto' sia risultata interessante per qualcuno oltre il suo autore, ma non si può non menzionare: per molti, è da qui che è iniziato lo stacking.
Il primo utile modo di utilizzare una panoramica è quello di ottenere una foto con una risoluzione superiore rispetto a quella consentita dal sensore della fotocamera, unendo più scatti. I fotografi da tempo usano vari software per quello che viene chiamato super risoluzione, dove fotografie leggermente sfuocate si completano a vicenda tra i pixel. Questo consente di ottenere immagini persino con centinaia di gigapixel, cosa molto utile se si desidera stamparle su un manifesto pubblicitario grande quanto una casa.
Un altro approccio, già più interessante, è il Pixel Shifting. Alcuni modelli di fotocamere mirrorless come Sony e Olympus hanno iniziato a supportarlo già dal 2014, ma i risultati dovevano comunque essere assemblati a mano. Tipiche innovazioni delle fotocamere di grandi dimensioni.
Gli smartphone, d'altra parte, hanno avuto successo qui per una ragione curiosa: quando scattate una foto, le vostre mani tremano. Questo problema, a prima vista, è alla base dell'implementazione della nativa super risoluzione sugli smartphone.
Per capire come funziona, bisogna considerare come è costituito il sensore di qualsiasi fotocamera. Ogni pixel (fotodiodo) è in grado di registrare solo l'intensità della luce, ovvero il numero di fotoni che raggiungono il sensore. Tuttavia, un pixel non è in grado di misurare il colore (lunghezza d'onda) della luce. Per ottenere un'immagine RGB, è stato necessario sviluppare dei sistemi alternativi: coprire l'intero sensore con una retina di vetri colorati. La sua realizzazione più popolare è chiamata filtro Bayer ed è utilizzata oggi nella maggior parte dei sensori. Appare come nell'immagine sottostante.
Così, ogni pixel del sensore cattura solo il componente R, G o B, poiché gli altri fotoni vengono spietatamente riflessi dal filtro Bayer. Le componenti mancanti vengono stimate attraverso una semplice media dei valori dei pixel adiacenti.
Ci sono più celle verdi nel filtro Bayer: è stata adottata questa analogia con l'occhio umano. In pratica, su 50 milioni di pixel nel sensore, il colore verde catturerà 25 milioni, mentre rosso e blu ne cattureranno 12,5 milioni ciascuno. Il resto verrà mediato: questo processo si chiama debayerizzazione o demosaicing, ed è una sorta di goffo espediente su cui si regge tutto.
In realtà, ogni sensore ha il suo astuto algoritmo di demosaicing brevettato, ma in questo racconto possiamo trascurarlo.
Altri tipi di sensori (come il Foveon) finora non hanno trovato grande fortuna. Anche se alcuni produttori stanno cercando di utilizzare sensori senza filtro Bayer per migliorare la nitidezza e la gamma dinamica.
Quando c'è poca luce o i dettagli dell'oggetto sono molto piccoli, perdiamo un sacco di informazioni, perché il filtro Bayer taglia senza pietà i fotoni con lunghezze d'onda indesiderate. Ecco perché è stato ideato il Pixel Shifting: spostare il sensore di un pixel in alto, in basso, a destra e a sinistra, per catturare tutto. La fotografia ottenuta non è quattro volte più grande, come potrebbe sembrare; semplicemente il processore usa questi dati per registrare più accuratamente il valore di ogni pixel. Non media per vicinanza, così da dire, ma per i quattro valori dello stesso sensore.
La tremolante instabilità delle nostre mani durante la fotografia con il telefono rende questo processo una conseguenza naturale. Nelle ultime versioni di Google Pixel, questa funzione è stata implementata e si attiva sempre quando utilizzi lo zoom sul telefono, ed è chiamata Super Res Zoom (sì, anche a me piace il loro nome spietato). Anche i cinesi l'hanno copiato nei loro telefoni, anche se il risultato è un po' inferiore.
Sovrapporre foto leggermente spostate consente di raccogliere più informazioni sul colore di ogni pixel, il che significa ridurre il rumore, aumentare la nitidezza e alzare la risoluzione senza aumentare il numero fisico di megapixel nel sensore. Gli attuali smartphone di fascia alta Android fanno questo automaticamente, mentre gli utenti nemmeno se ne accorgono.
Il focus stacking permette qualsiasi profondità di campo e rifocalizzazione in post-produzione.
Il metodo proviene dalla macrofotografia, dove una piccola profondità di campo è sempre stata un problema. Per avere l'intero oggetto a fuoco, era necessario scattare diverse foto con uno spostamento del fuoco avanti e indietro, per poi unirle in un'unica immagine nitida. Lo stesso metodo è stato spesso usato dagli appassionati di fotografia paesaggistica, rendendo il primo e il secondo piano nitidi come la dissenteria.
Tutto questo è stato trasferito anche sugli smartphone, anche se senza particolare clamore. Nel 2013 è uscito il Nokia Lumia 1020 con l'app "Refocus", mentre nel 2014 il Samsung Galaxy S5 con la modalità "Selective Focus". Funzionavano secondo lo stesso schema: premendo un pulsante scattavano rapidamente 3 foto - una con la messa a fuoco "normale", la seconda con la messa a fuoco spostata avanti e la terza con la messa a fuoco spostata indietro. Il programma allineava gli scatti e permetteva di scegliere uno di essi, presentato come un vero e proprio controllo della messa a fuoco in post-produzione.
Non c'è stata ulteriore elaborazione, poiché anche questo semplice hack era sufficiente per infittire ancora di più la bara del Lytro e dei suoi analoghi con il loro onesto refocus. A proposito, parliamo di loro (maestro dei passaggi di livello 80).
Matrici computazionali - campi luminosi e plenoptica
Come abbiamo capito sopra, le nostre matrici sono un incubo su steccati. Siamo semplicemente abituati e cerchiamo di convivere con questo. Dal punto di vista della loro struttura, sono cambiate poco sin dai tempi antichi. Abbiamo solo perfezionato il processo tecnologico: abbiamo ridotto la distanza tra i pixel, combattuto il rumore e aggiunto pixel speciali per il funzionamento della messa a fuoco automatica a fasi. Ma basta prendere anche la reflex più costosa e provare a fotografare un gatto che corre in piena luce, e il gatto, per usare un eufemismo, vincerà.
Già da tempo stiamo cercando di inventare qualcosa di meglio. Molti tentativi e ricerche in questo campo sono reperibili cercando "sensore computazionale" o "sensore non Bayer", e persino l'esempio con il Pixel Shifting sopra può essere considerato come un tentativo di migliorare le matrici tramite calcoli. Tuttavia, le storie più promettenti degli ultimi vent'anni ci giungono proprio dal mondo delle cosiddette camere plenoptiche.
Per non farti addormentare nell'attesa di parole complicate, ti svelo un'insider: la fotocamera degli ultimi Google Pixel è un po' plenoptica. Solo per due pixel, ma anche questo le permette di calcolare la reale profondità ottica dell'immagine senza una seconda fotocamera come negli altri.
La plenottica è un potente strumento che non ha ancora mostrato il suo potenziale. Rimando a uno dei miei articoli recenti preferiti , da cui ho preso spunto per alcuni esempi.
La camera plenottica sarà presto alla portata di tutti
Inventata nel 1994, assemblata a Stanford nel 2004. La prima camera per consumatori — Lytro, lanciata nel 2012. Ora l'industria VR sta sperimentando attivamente tecnologie simili.
A differenza di una camera normale, quella plenottica si distingue per una sola modifica: il sensore è coperto da una rete di lenti, ognuna delle quali copre diversi pixel reali. Ecco come funziona:
se si calcola correttamente la distanza tra la rete e il sensore e la dimensione del diaframma, nell'immagine finale si ottengono cluster di pixel ben definiti — piccole versioni dell'immagine originale.
Si scopre che se si prende un pixel centrale da ogni cluster e si unisce l'immagine solo in base a questi, non si differenzerà da una foto scattata con una normale camera. Sì, abbiamo perso un po' di risoluzione, ma possiamo semplicemente chiedere a Sony di aggiungere più megapixel nei nuovi sensori.
Il divertimento, però, comincia qui. Se si prende un altro pixel da ogni cluster e si unisce nuovamente l'immagine, otteniamo ancora una fotografia normale, solo che sembra scattata con un leggero spostamento di un pixel. Così, avendo cluster di 10 × 10 pixel, otteniamo 100 immagini dell'oggetto da 'pochi' punti di vista diversi.
Maggiore è la dimensione del cluster, maggiori sono le immagini, ma minore è la risoluzione. Nel mondo degli smartphone con sensori da 41 megapixel, possiamo anche trascurare un po' la risoluzione, ma c'è sempre un limite. Dobbiamo mantenere un equilibrio.
Ok, abbiamo assemblato una camera plenottica, e cosa ci offre?
Rifocalizzazione onesta
La caratteristica di cui tutti i giornalisti hanno parlato negli articoli su Lytro è la possibilità di una rifocalizzazione onesta in post-produzione. Per onesta si intende che non utilizziamo algoritmi di deblurring, ma ci basiamo esclusivamente sui pixel disponibili, scegliendoli o mediandoli dai cluster nell'ordine necessario.
Una foto RAW proveniente da una fotocamera plenottica appare strana. Per ottenere da essa un comune JPEG nitido, prima bisogna assemblarla. Questo implica selezionare ogni pixel del JPEG da uno dei cluster del RAW. A seconda di come li selezioniamo, il risultato cambierà.
Ad esempio, più lontano è il cluster dalla posizione di impatto del raggio originale, più sfocato risulta quel raggio. Questo è dovuto all'ottica. Per ottenere un'immagine sfocata, basta semplicemente scegliere i pixel alla distanza desiderata dall'originale, sia più vicini che più lontani.
Con lo spostamento della messa a fuoco verso noi è stato più difficile: fisicamente, ci sono meno pixel nei cluster. Inizialmente, gli sviluppatori non volevano nemmeno dare agli utenti la possibilità di mettere a fuoco manualmente: la fotocamera decideva automaticamente. Questo futuro non è piaciuto agli utenti, quindi la funzione è stata aggiunta in aggiornamenti successivi con il nome "modalità creativa", ma la messa a fuoco è stata fortemente limitata proprio per questo motivo.
Mappa di profondità e 3D da una sola fotocamera
Una delle operazioni più semplici nella plenottica è ottenere una mappa di profondità. Per farlo, è sufficiente raccogliere due diverse immagini e calcolare quanto gli oggetti in esse sono spostati. Maggiore è lo spostamento, più lontano dall'obiettivo.
Recentemente Google ha acquistato e poi chiuso Lytro, ma ha utilizzato la loro tecnologia per il suo VR e... per la fotocamera del Pixel. A partire dal Pixel 2, la fotocamera è diventata per la prima volta "leggermente" plenottica, anche se con cluster di soli due pixel. Questo ha permesso a Google di non dover installare una seconda fotocamera, come hanno fatto tutti gli altri, e di calcolare la mappa di profondità esclusivamente da una sola foto.
La mappa di profondità viene costruita su due immagini, spostate di un sub-pixel. Questo è più che sufficiente per calcolare una mappa binaria di profondità e separare il primo piano dallo sfondo, sfocando quest'ultimo nel moderno bokeh. Il risultato di questa separazione viene ulteriormente levigato e "migliorato" da reti neurali addestrate per migliorare le mappe di profondità (e non per sfocare, come molti pensano).
Un'altra novità è che la plenottica negli smartphone ci è stata regalata quasi gratuitamente. Abbiamo già installato obiettivi su questi minuscoli sensori per aumentare il flusso di luce. Nei prossimi Pixel, Google prevede di andare oltre e coprire quattro fotodiodi con un'unica lente.
Fonte: 3dnews.ru
