L'articulu originale hè publicatu nantu à u situ web è publicatu nantu à 3DNews cù u permessu di l'autore. Furnemu u testu sanu di l'articulu, cù l'eccezzioni di un gran numaru di ligami - seranu utili à quelli chì sò seriamente interessati à u tema è vulianu studià l'aspetti teorichi di a fotografia computazionale in più prufundità, ma per un u publicu generale avemu cunsideratu stu materiale redundant.
Oghje, micca una sola presentazione di smartphone hè cumpleta senza liccà a so camera. Ogni mese avemu intesu parlà di u prossimu successu di e fotocamere mobili: Google insegna à Pixel à sparà in u bughju, Huawei à zoom cum'è binoculi, Samsung introduce lidar, è Apple face i cantoni più tondi di u mondu. Ci sò pochi posti induve l'innuvazione scorri cusì rapidamente in questi ghjorni.
À u listessu tempu, i specchi parenu marcà u tempu. Sony annulla ogni annu cù novi matrici, è i pruduttori aghjurnà pigramente l'ultima versione di u cifru è cuntinueghjanu à rilassate è fumà fora. Aghju una DSLR di $ 3000 nantu à a mo scrivania, ma quandu viaghjà, pigliu u mo iPhone. Perchè?
Cum'è u classicu hà dettu, aghju andatu in linea cù sta quistione. Quì discutenu certi "algoritmi" è "reti neurali", senza avè micca idea di cumu esattamente affettanu a fotografia. I ghjurnalisti leghjenu à voce alta u numeru di megapixels, i bloggers vedenu unboxings pagati à l'unisonu, è l'esteti sò smelling di "percezione sensuale di a paleta di culori di a matrice". Tuttu hè cum'è di solitu.
Aviu avutu à pusà, passà a mità di a mo vita è capisce tuttu per mè stessu. In questu articulu vi dicu ciò chì aghju amparatu.
Cosa hè a fotografia computazionale?
In ogni locu, cumpresa Wikipedia, dà qualcosa cum'è questa definizione: a fotografia computazionale hè qualsiasi tecnica di cattura è trasfurmazioni di l'imaghjini chì usa l'informatica digitale invece di trasfurmazioni ottiche. Tuttu hè bonu, salvu chì ùn spiega nunda. Ancu l'autofocus hè adattatu per questu, ma plenoptics, chì ci hà digià purtatu assai cose utili, ùn hè micca adattatu. A vaguezza di e definizioni ufficiali pare chì ùn avemu micca idea di ciò chì parlemu.
U pioniere di a fotografia computazionale, u prufessore di Stanford Marc Levoy (chì hè avà rispunsevuli di a camera in Google Pixel) dà un'altra definizione - un inseme di metudi di visualizazione di l'urdinatore chì migliurà o espansione e capacità di a fotografia digitale, utilizendu chì una fotografia regulare hè ottenuta chì Tecnicamente ùn puderia micca esse pigliatu cù sta camera camera in u modu tradiziunale. In l'articulu aghju aderisce à questu.
Allora, i smartphones eranu culpèvule per tuttu.
I telefoni intelligenti ùn anu avutu altra scelta ma di dà nascita à un novu tipu di fotografia: a fotografia computazionale.
I so picculi matrici rumorosi è i picculi lenti di apertura lenta, secondu tutte e lege di a fisica, duveranu purtari solu dolore è soffrenu. L'anu fattu finu à chì i so sviluppatori anu capitu cumu utilizà in modu intelligente i so punti di forza per superà e so debule - persiane elettroniche veloci, prucessori putenti è software.
A maiò parte di a ricerca d'altu prufilu in u campu di a fotografia computazionale hè accadutu trà 2005 è 2015, chì in a scienza hè cunsideratu literalmente ieri. Avà, davanti à i nostri ochji è in i nostri sacchetti, si sviluppa un novu campu di cunniscenza è tecnulugia chì ùn hè mai esistitu prima.
A fotografia computazionale ùn hè micca solu selfie cù neuro-bokeh. A fotografia recente di un pirtusu neru ùn saria micca pussibule senza tecniche di fotografia computazionale. Per piglià una tale foto cù un telescopiu regulare, duvemu fà a dimensione di a Terra. Tuttavia, cumminendu dati da ottu radiotelescopi in punti diffirenti di a nostra bola è scrivendu uni pochi di script in Python, avemu ottenutu a prima fotografia di u mondu di l'orizzonte di l'avvenimenti. Bonu ancu per i selfie.
Inizio: trasfurmazioni digitale
Imaginemu chì avemu vultatu in u 2007. A nostra mamma hè anarchia, è i nostri ritratti sò rumorosi jeeps 0,6-megapixel pigliati nantu à un skateboard. In ghjiru à allora avemu u primu desideriu irresistibile di sprinkle presets nantu à elli per ammuccià a miseria di e matrici mobili. Ùn ci neghemu micca.
Matan è Instagram
Cù a liberazione di Instagram, tutti sò diventati obsesionati cù i filtri. Cum'è qualcunu chì hà fattu ingegneria inversa l'X-Pro II, Lo-Fi è Valencia per, sicuru, scopi di ricerca, mi ricordu sempre chì sò custituiti da trè cumpunenti:
- Paràmetri di u culore (Hue, Saturation, Lightness, Contrast, Levels, etc.) - coefficienti digitale simplici, esattamente cum'è qualsiasi preset chì i fotografi anu utilizatu da i tempi antichi.
- Tone Mappings sò vettori di valori, ognunu di i quali ci hà dettu: "U culore rossu cù una tinta di 128 deve esse trasfurmatu in una tinta di 240".
- Un overlay hè una stampa trasluzente cù polvera, granu, vignette, è tuttu ciò chì pò esse postu nantu à a cima per ottene l'effettu micca banale di una vechja film. Ùn era micca sempre presente.
I filtri muderni ùn sò micca luntanu da stu trio, sò diventati solu un pocu più cumplessu in matematica. Cù l'avventu di hardware shaders è OpenCL nantu à i telefoni smartphones, sò stati riscritti rapidamente per a GPU, è questu era cunsideratu salvaticu cool. Per u 2012, sicuru. Oghje, ogni studiente pò fà u listessu in CSS, è ùn averebbe micca l'uppurtunità di graduà.
Tuttavia, u prugressu di i filtri ùn hè micca firmatu oghje. I picciotti di Dehanser, per esempiu, sò fantastichi per utilizà filtri non lineari - invece di mapping tonu proletariu, usanu trasfurmazioni non lineari più cumplessi, chì, sicondu elli, apre assai più pussibulità.
Pudete fà assai cose cù trasfurmazioni non lineari, ma sò incredibbilmente cumplessi, è noi umani simu incredibilmente stupidi. Appena si tratta di trasfurmazioni non-lineari in a scienza, preferimu andà à i metudi numerichi è cram rete neurale in ogni locu per ch'elli scrivenu capolavori per noi. Era u listessu quì.
L'automatizazione è i sogni di un buttone "masterpiece".
Una volta chì tutti si sò abituati à i filtri, avemu cuminciatu à custruisce li direttamente in càmera. A storia nasconde quale fabricatore era u primu, ma solu per capisce quantu tempu era - in iOS 5.0, chì hè stata liberata in u 2011, ci era digià una API publica per l'Immagini Auto Enhancing. Solu Jobs sapi quantu tempu era in usu prima di apre à u publicu.
L'automatizazione hà fattu a listessa cosa chì ognuna di noi face quandu apre una foto in l'editore - hà tiratu fora lacune in luci è ombre, hà aghjustatu a saturazione, sguassate l'ochji rossi è a complexione fissa. L'utilizatori ùn anu mancu capitu chì a "camera drammaticamente migliorata" in u novu smartphone era solu u meritu di un paru di novi shaders. Ci era ancora cinque anni prima di a liberazione di u Google Pixel è l'iniziu di l'hype di fotografia computazionale.
Oghje, a battaglia per u buttone "masterpiece" si trasfirìu à u campu di l'apprendimentu machine. Dopu avè ghjucatu abbastanza cù a mappatura di u tonu, tutti si sò precipitati à furmà CNN è GAN per move i slider invece di l'utilizatore. In altri palori, da l'immagine di input, determinà un inseme di parametri ottimali chì avvicinassi sta maghjina à una certa cunniscenza subjectiva di "una bona fotografia". Implementatu in u stessu Pixelmator Pro è altri editori. Funziona, cum'è pudete guessà, micca assai bè è micca sempre.
Stacking hè u 90% di u successu di e camere mobili
A vera fotografia computazionale hà iniziatu cù l'impilamentu di più fotografie una sopra l'altru. Ùn hè micca un prublema per un smartphone per cliccà una decina di frames in a mità di seconda. E so càmera ùn anu micca parte meccanica lenta: l'apertura hè fissa, è invece di una cortina in muvimentu ci hè un otturatore elettronicu. U prucissuri solu cumanda à a matrice quanti microsecondi duverebbe catturà fotoni salvatichi, è leghje u risultatu.
Tecnicamente, u telefunu pò piglià ritratti à a velocità di u video, è u video à a risoluzione di a foto, ma tuttu dipende di a velocità di l'autobus è di u processatore. Hè per quessa chì anu sempre stabilitu limiti di prugramma.
Staking stessu hè stata cun noi per un bellu pezzu. Ancu i missiavu installatu plugins in Photoshop 7.0 per assemblà parechje ritratti in HDR accattivante o cucire un panorama di 18000 × 600 pixel è ... in fattu, nimu hà mai capitu ciò chì fà cun elli dopu. Era una pena chì i tempi eranu ricchi è salvatichi.
Avà avemu diventatu adulti è chjamemu "fotografia epsilon" - quandu, cambiendu unu di i paràmetri di a camera (esposizione, focus, pusizioni) è cuciendu i frames resultanti, avemu qualcosa chì ùn pò micca esse catturatu in un quadru. Ma questu hè un termu per i teorichi; in pratica, un altru nome hà arradicatu - staking. Oghje, in fattu, 90% di tutte l'innuvazioni in e camere mobili sò basate nantu à questu.
Qualcosa chì parechje persone ùn pensanu micca, ma hè impurtante per capiscenu tutta a fotografia mobile è informatica: a camera nantu à un smartphone mudernu cumencia à piglià ritratti appena apre a so app. Chì hè lògicu, perchè ella hà bisognu di trasfiriri in qualchì modu l'imaghjini à u screnu. In ogni casu, in più di u screnu, salva i frames d'alta risoluzione in u so propiu buffer di loop, induve l'almacene per un paru di seconde.
Quandu appughjà u buttone "piglià a foto", hè digià statu pigliatu, a camera piglia solu l'ultima foto da u buffer.
Hè cusì chì ogni camera mobile funziona oghje. Almenu in tutti i flagships micca da i mucchi di basura. U buffering permette di rializà micca solu u lag di l'otturatore zero, chì i fotografici anu longu sunniatu, ma ancu negativu - quandu pressu un buttone, u smartphone guarda in u passatu, scarica l'ultime foto 5-10 da u buffer è cumencia à analizà frenetamente. è li incolla. Ùn aspittà più chì u telefunu clicche nantu à i frames per HDR o modalità di notte - basta à piglià da u buffer, l'utilizatore ùn saperà mancu.
A strada, hè cù l'aiutu di u lag negativu di l'otturatore chì Live Photo hè implementatu in iPhones, è HTC hà avutu qualcosa simili in 2013 sottu u stranu nome Zoe.
Stacking di l'esposizione - HDR è cumbattimentu di i cambiamenti di luminosità
Sia chì i sensori di càmera sò capaci di catturà tutta a gamma di luminosità accessibile à i nostri ochji hè un vechju tema di discussione. Qualchidunu dicenu micca, perchè l'ochju hè capaci di vede finu à 25 f-stops, mentri ancu da una matrice full-frame superiore pudete ottene un massimu di 14. Altri chjamanu u paragone incorrectu, perchè u cervu aiuta l'ochju aghjustendu automaticamente. a pupilla è cumplettendu l'imaghjini cù e so reti neurali, è l'istante A gamma dinamica di l'ochju hè in realtà micca più cà solu 10-14 f-stops. Lasciamu stu dibattitu à i migliori pensatori di poltrone in Internet.
U fattu ferma: quandu ti spara amichi contru à un celu luminosu senza HDR nant'à ogni camera mobile, vi ghjunghje sin'à un celu nurmali è facci neri di l'amichi, o amici bè disegnati, ma un celu scorched à morte.
A suluzione hè stata longa inventata - per espansione a gamma di luminosità cù HDR (High dynamic range). Avete bisognu di piglià parechji frames à diverse velocità di l'otturatore è cucirli. Allora chì unu hè "normale", u sicondu hè più chjaru, u terzu hè più scuru. Pigliemu i lochi scuri da un quadru di luce, riempie in overexposures da un scuru - prufittu. Tuttu ciò chì resta hè di risolve u prublema di u bracketing automaticu - quantu cambia l'esposizione di ogni quadru per ùn esce micca, ma avà un studiente di u secondu annu in una università tecnica pò manighjà a determinazione di a luminosità media di una stampa.
Nant'à l'ultimi iPhone, Pixel è Galaxy, u modu HDR hè generalmente attivatu automaticamente quandu un algoritmu simplice in a camera determina chì vo site sparendu qualcosa cun cuntrastu in un ghjornu di sole. Pudete ancu nutà cumu u telefuninu cambia u modu di registrazione à u buffer per salvà i frames spostati in l'esposizione - i fps in a camera gocce, è a stampa stessa diventa più succosa. U mumentu di cambiamentu hè chjaramente visibile nantu à u mo iPhone X quandu si filma fora. Fighjate ancu più attente à u vostru smartphone a prossima volta.
U svantaghju di HDR cù bracketing di l'esposizione hè a so impenetrable impenetrable in illuminazione povera. Ancu cù a luce di una lampada di stanza, i frames diventanu cusì scuri chì l'urdinatore ùn pò micca allineà è cuciri. Per risolve u prublema cù a luce, in 2013 Google hà dimustratu un approcciu sfarente à HDR in u smartphone Nexus allora liberatu. Hà usatu u tempu di stacking.
Stacking di tempu - simulazione di longa esposizione è lapse di tempu
L'impilamentu di u tempu permette di creà una longa esposizione utilizendu una seria di brevi. I pionieri eranu amatori di fotografà chjassi di stelle in u celu di notte, chì anu truvatu inconveniente per apre l'otturatore per duie ore à una volta. Era cusì difficiuli di calculà tutti i paràmetri in anticipu, è u minimu scuzzulu arruvinà tuttu u quadru. Anu decisu di apre l'otturatore solu per un paru di minuti, ma parechje volte, è andonu in casa è incollà i frames resultanti in Photoshop.
Risulta chì a camera ùn hà mai scattatu à una longa velocità di l'otturatore, ma avemu avutu l'effettu di simule aghjunghjendu parechji fotogrammi pigliati in una fila. Ci hè stata una mansa di app scritti per i telefoni smartphones chì utilizanu stu truccu per un bellu pezzu, ma tutti ùn sò micca necessariu postu chì a funzione hè stata aghjunta à quasi tutte e camere standard. Oghje, ancu un iPhone pò facilmente unisce una longa esposizione da una Live Photo.
Riturnemu à Google cù u so HDR di notte. Hè risultatu chì cù u bracketing di u tempu pudete implementà un bonu HDR in u bughju. A tecnulugia prima apparsu in u Nexus 5 è hè stata chjamata HDR +. U restu di i telefoni Android l'anu ricivutu cum'è un rigalu. A tecnulugia hè sempre cusì populari chì hè ancu elogiatu in a presentazione di l'ultimi Pixel.
HDR + funziona abbastanza simplice: dopu avè determinatu chì site in u bughju, a camera scarica l'ultime 8-15 foto RAW da u buffer per sovrapponerle una sopra l'altra. Cusì, l'algoritmu recullà più infurmazione nantu à e zoni scure di u quadru per minimizzà u rumore - pixel induve, per una certa ragione, a camera ùn era micca capace di cullà tutte l'infurmazioni è andò male.
Hè cum'è s'ellu ùn sapete micca ciò chì pareva un capibara è avete dumandatu à cinque persone per discrivellu, e so storie seranu quasi listessi, ma ognuna menziona un dettagliu unicu. In questu modu, puderete cullà più infurmazioni cà solu dumandà unu. Hè u listessu cù pixel.
L'aghjunzione di frames pigliati da un puntu dà u listessu effettu falsu di esposizione longa cum'è cù e stelle sopra. L'esposizione di decine di frames hè riassunta, l'errori in unu sò minimizzati in altri. Imagine quante volte avete bisognu di cliccà l'otturatore DSLR ogni volta per ottene questu.
Tuttu ciò chì restava era di risolve u prublema di a correzione automatica di u culore - i frames pigliati in u bughju di solitu diventanu cumplitamenti gialli o verdi, è vulemu a ricchezza di u ghjornu. In e prime versioni di HDR +, questu hè stata risolta da solu tweaking i paràmetri, cum'è in i filtri à l'Instagram. Allora chjamanu e rete neurali per aiutà.
Hè cusì chì Night Sight hè apparsu - a tecnulugia di "fotografia di notte" in Pixel 2 è 3. In a descrizzione dicenu: "Tecniche d'apprendimentu di macchina custruite nantu à HDR +, chì facenu Night Sight funziona". In essenza, questu hè l'automatizazione di u stadiu di correzione di culore. A macchina hè stata addestrata nantu à una dataset di foto "prima" è "dopu" per fà una bella da ogni serie di foto scure curve.
Per via, u dataset hè statu dispunibule publicamente. Forsi i picciotti d'Apple l'anu da piglià è infine insignà à e so pala di vetru per piglià ritratti bè in u bughju.
Inoltre, Night Sight usa u calculu di u vettore di muvimentu di l'uggetti in u quadru per nurmalizà u sfocatura chì hè sicuru d'avè cun una longa velocità di l'otturatore. Allora, u smartphone pò piglià parti chjaru da altri frames è cola.
Stacking di muvimentu - panorama, superzoom è riduzione di u rumore
Panorama hè un divertimentu populari per i residenti di e zone rurale. A storia ùn cunnosci ancu di casi in quale una foto di salsiccia seria d'interessu per qualcunu altru ch'è u so autore, ma ùn pò esse ignoratu - per parechji, questu hè quì chì l'impilamentu principia in u primu locu.
U primu modu utile per utilizà un panorama hè di ottene una fotografia di una risuluzione più altu ch'è a matrice di a camera permette cunghjuntendu parechji frames. I fotògrafi anu longu aduprà un software differente per i cosiddetti ritratti super-resolution - quandu e fotografie ligeramente spostate parenu cumplementari trà i pixel. Questu modu pudete ottene una maghjina di almenu cintunari di gigapixels, chì hè assai utile si avete bisognu di stampà nantu à un poster publicitariu di a dimensione di una casa.
Un altru approcciu più interessante hè Pixel Shifting. Alcune fotocamere senza specchiu cum'è Sony è Olympus anu cuminciatu à sustene in u 2014, ma anu avutu sempre à incolla u risultatu à a manu. Innuvazioni tipiche di grande camera.
I telefoni intelligenti anu successu quì per una ragione divertente - quandu pigliate una foto, e vostre mani tremanu. Stu prublema apparentemente hà furmatu a basa per l'implementazione di a super risoluzione nativa in i telefoni smartphones.
Per capisce cumu funziona questu, avete bisognu di ricurdà cumu a matrice di ogni camera hè strutturata. Ognunu di i so pixel (photodiode) hè capaci di registrà solu l'intensità di a luce - vale à dì u numeru di fotoni entranti. Tuttavia, un pixel ùn pò micca misurà u so culore (lunghezza d'onda). Per piglià una stampa RGB, avemu avutu ancu aghjunghje crutches quì - copre a matrice sana cù una griglia di pezzi di vetru multicolore. A so implementazione più famosa hè chjamata filtru Bayer è hè utilizatu in a maiò parte di e matrici oghje. Sembra a stampa sottu.
Ci hè chì ogni píxel di a matrice piglia solu u cumpunente R-, G- o B, perchè i fotoni rimanenti sò riflessi senza pietà da u filtru Bayer. Hè ricunnosce i cumpunenti mancanti per mezu di a media di i valori di i pixel vicini.
Ci sò più cellule verdi in u filtru Bayer - questu hè statu fattu per analogia cù l'ochju umanu. Risulta chì fora di 50 milioni di pixel nantu à a matrice, u verde catturà 25 milioni, rossu è blu - 12,5 milioni ognunu. U restu serà mediu - stu prucessu hè chjamatu debayerization o demosaicing, è questu hè una crutch divertente cusì grassa. chì tuttu riposa.
In fattu, ogni matrice hà u so propiu algoritmu di demosaicing patentatu astutu, ma per i scopi di sta storia trascuraremu questu.
L'altri tipi di matrici (cum'è Foveon) ùn anu micca pigliatu ancu. Ancu s'è certi pruduttori cercanu d'utilizà sensori senza filtru Bayer per migliurà a nitidezza è a gamma dinamica.
Quandu ci hè poca luce o i ditaglii di un ughjettu sò assai chjuchi, perdemu assai infurmazioni perchè u filtru Bayer taglia sfacciatamente i fotoni cù una lunghezza d'onda indesiderata. Hè per quessa chì sò ghjunti cù Pixel Shifting - trasfurmendu a matrice di 1 pixel su-down-right-left per catturà tutti. In questu casu, a foto ùn hè micca esse 4 volte più grande, cum'è puderia pare, u processatore simpricimenti usa sta dati per registrà più precisamente u valore di ogni pixel. A media ùn hè micca nantu à i so vicini, per dì cusì, ma nantu à quattru valori di ellu stessu.
U tremu di e nostre mani quandu pigliate e foto nantu à u telefunu rende stu prucessu una cunsequenza naturali. In l'ultime versioni di Google Pixel, sta cosa hè implementata è accende ogni volta chì utilizate u zoom in u telefunu - hè chjamatu Super Res Zoom (sì, mi piace ancu a so nomina senza pietà). I Cinesi l'anu ancu copiatu in i so laofoni, ancu s'ellu hè diventatu un pocu peghju.
A sovrapposizione di fotografie ligeramente spostate l'una sopra l'altra permette di cullà più infurmazione nantu à u culore di ogni pixel, chì significa riducendu u rumore, aumentendu a nitidezza è aumentà a risoluzione senza aumentà u numeru fisicu di megapixels di a matrice. I muderni flagships Android facenu questu automaticamente, senza chì i so utilizatori ne pensanu ancu.
Focus stacking - ogni prufundità di campu è rifocu in post-produzione
U metudu vene da a macrofotografia, induve a poca prufundità di campu hè sempre stata un prublema. Per chì l'ughjettu sanu sia in u focu, avete bisognu di piglià parechje fotogrammi cù u focu chì si move avanti è avanti, è poi cuciri inseme in un sharp. U listessu mètudu era spessu usatu da i fotògrafi di paisaghji, facendu u primu pianu è u fondu cusì forte cum'è a diarrea.
Tuttu chistu s'hè trasfirutu ancu à i telefoni intelligenti, ancu s'ellu ùn hè micca assai hype. In 2013, Nokia Lumia 1020 cù "Refocus App" hè stata liberata, è in 2014, Samsung Galaxy S5 cù u modu "Selective Focus". Travagliavanu secondu u listessu schema: pressu un buttone, piglianu rapidamente 3 ritratti - unu cù u focu "normale", u sicondu cù u focu spostatu in avanti è u terzu cù u focu spusatu in daretu. U prugramma hà allinatu i frames è vi permette di selezziunà unu d'elli, chì era pridicatu cum'è "veru" cuntrollu di focus in post-produzione.
Ùn ci era più trasfurmazioni, perchè ancu stu pirate simplice era abbastanza per guidà un altru chiovu in u coperchio di Lytro è i so pari cù u so rifocu onestu. Per via, parlemu di elli (transition master 80 lvl).
Matrici computazionali - campi di luce è plenoptics
Comu avemu capitu sopra, i nostri matrici sò horror in crutches. Avemu solu abituatu è pruvemu à campà cun ellu. A so struttura hà cambiatu pocu da u principiu di u tempu. Avemu solu migliuratu u prucessu tecnicu - avemu riduciutu a distanza trà i pixel, luttatu contr'à u rumore d'interferenza, è aghjustatu pixel speciali per l'autofocus di rilevazione di fasi. Ma se pigliate ancu a DSLR più caru è pruvate à fotografà un gattu chì corre cun ellu in l'illuminazione di a stanza - u ghjattu, per dì, vincerà.
Avemu pruvatu à inventà qualcosa di megliu per un bellu pezzu. Un saccu di tentativi è di ricerca in questa zona sò googled per "sensore computazionale" o "sensore non-bayer", è ancu l'esempiu di Pixel Shifting sopra pò esse attribuitu à i tentativi di migliurà e matrici cù calculi. Tuttavia, i stori più promettenti in l'ultimi vint'anni sò ghjunti à noi precisamente da u mondu di i cosiddetti camere plenoptic.
Perchè ùn vi dorme micca da l'anticipazione di e parolle cumplessi imminenti, aghju da scaccià un insider chì a camera di l'ultime Google Pixel hè solu "ligeramente" plenoptic. Solu dui pixel, ma ancu questu permette di calculà a prufundità otticu curretta di u quadru ancu senza una seconda camera, cum'è tutti l'altri.
Plenoptics hè un'arma putente chì ùn hè ancu sparata. Eccu un ligame à unu di i mo recenti preferiti. , induve aghju pigliatu in prestu l'esempii.
Camera plenoptica - prestu prestu
Invintatu in u 1994, cullatu in Stanford in u 2004. A prima camera di cunsumatori, Lytro, hè stata liberata in u 2012. L'industria VR hè avà attivamente sperimentatu cù tecnulugia simili.
Una camera plenoptic difiere da una camera convenzionale in una sola mudificazione - a so matrice hè coperta cù una griglia di lenti, ognunu copre parechji pixel reali. Qualcosa cum'è questu:
Se calculate currettamente a distanza da a griglia à a matrice è a dimensione di l'apertura, l'imaghjini finali avarà clusters chjaru di pixel - sorta di mini-versioni di l'imaghjini originale.
Risulta chì si pigliate, per dì, un pixel centrale da ogni cluster è cola l'imaghjini inseme solu cù elli, ùn serà micca sfarente di quellu pigliatu cù una camera regular. Iè, avemu persu un pocu in risuluzione, ma solu dumandà à Sony per aghjunghje più megapixels in i novi matrices.
U divertimentu hè solu principiatu. se pigliate un altru pixel da ogni cluster è cucite a stampa di novu, uttene una fotografia normale di novu, solu cum'è s'ellu hè statu pigliatu cù un cambiamentu di un pixel. Cusì, avendu clusters di 10 × 10 pixels, averemu 100 images di l'ughjettu da punti "ligeramente" diffirenti.
Una dimensione di cluster più grande significa più immagini, ma una risoluzione più bassa. In u mondu di i telefoni smartphones cù matrici di 41 megapixel, ancu s'ellu pudemu trascuratà a risoluzione un pocu, ci hè un limitu per tuttu. Avete da mantene l'equilibriu.
Va bè, avemu assemblatu una camera plenoptica, allora chì ci dà?
Refocus onestu
A funzione chì tutti i ghjurnalisti stavanu in articuli nantu à Lytro era a capacità di aghjustà onestamente l'attenzione in a post-produzione. Per ghjusta vulemu dì chì ùn usemu micca algoritmi di deblurring, ma usemu solu i pixel à a manu, selezziunendu o mediu da clusters in l'ordine necessariu.
A fotografia RAW da una camera plenoptica pare strana. Per caccià u solitu jeep sharp fora di ellu, prima deve assemblellu. Per fà questu, avete bisognu di selezziunà ogni pixel di u jeep da unu di i clusters RAW. Sicondu cumu scegliemu, u risultatu cambierà.
Per esempiu, più u cluster hè più luntanu da u puntu d'incidenza di u fasciu originale, u più fora di u focu hè questu fasciu. Perchè l'ottica. Per ottene una maghjina spostata in u focu, solu bisognu di selezziunà i pixel à a distanza desiderata da l'uriginale - o più vicinu o più luntanu.
Era più difficiuli di trasfurmà u focu versu sè stessu - puramente fisicu, ci era menu tali pixel in i clusters. À u principiu, i sviluppatori ùn vulianu mancu dà à l'utilizatori l'abilità di fucalizza cù e so mani - a camera stessu hà decisu questu in u software. L'utilizatori ùn anu micca piaciutu stu futuru, cusì aghjunghjenu una funzione in u firmware più tardi chjamatu "modu creativi", ma hà fattu un focusu in questu assai limitatu per esattamente questu mutivu.
Mappa di prufundità è 3D da una camera
Una di l'operazioni più simplici in plenoptics hè di ottene una mappa di prufundità. Per fà questu, basta à cullà dui frames differenti è calculà quantu l'uggetti in elli sò spustati. Più shift significa più luntanu da a camera.
Google hà recentemente compru è uccisu Lytro, ma hà utilizatu a so tecnulugia per a so VR è ... per a camera Pixel. Partendu cù Pixel 2, a camera hè diventata "leggermente" plenoptica per a prima volta, anche se cù clusters di solu dui pixel. Questu hà datu à Google l'uppurtunità di micca installà una seconda camera, cum'è tutti l'altri ragazzi, ma di calculà a mappa di a prufundità solu da una foto.
A mappa di a prufundità hè custruita cù dui frames spostati da un subpixel. Questu hè abbastanza per calculà una mappa di prufundità binaria è separà u primu pianu da u sfondate è sfondate l'ultime in u bokeh ora di moda. U risultatu di tali strati hè ancu allisatu è "migliuratu" da e rete neurali chì sò furmatu per migliurà e carte di prufundità (è micca sfocate, cum'è parechje persone pensanu).
U truccu hè chì avemu avutu plenoptics in smartphones quasi gratuitamente. Avemu digià messu lenti nantu à queste matrici minuscule per aumentà in qualchì manera u flussu luminoso. In u prossimu Pixel, Google pensa à andà più luntanu è copre quattru fotodiodi cù una lente.
Source: 3dnews.ru