Origjinali i artikullit është publikuar në webin dhe është botuar në 3DNews me lejen e autorit. Ne paraqesim tekstin e plotë të artikullit, përveç një sërë të madhe lidhjesh — ato do të jenë të dobishme për ata që janë vërtet të interesuar për temën dhe do të dëshirojnë të studionin aspektet teorike të fotografisë kompjuterike më thellë, por për publikun e gjerë menduam se ky material ishte i tepërt.
Sot, asnjë prezantim i smartphone-ve nuk kalon pa shqyrtimin e kamerës së tij. Çdo muaj dëgjojmë për një sukses të ri të kamerave mobile: Google mëson Pixel të fotografojë në errësirë, Huawei zoom-on si një binokël, Samsung vendos lidar, ndërsa Apple bën këndet më të rrafshta në botë. Pak vende tani kanë inovacione kaq të bollshme.
Mirat, kamerat DSLR duken sikur qëndrojnë në vend. Sony çdo vit bombarduar me matricat e reja, ndërsa prodhuesit lenë të kujtohen vetëm numrin e fundit të versionit dhe vazhdojnë të relaksohen në anë. Kam një DSLR në tavolinë për $3000, por kur udhëtoj, marr iPhone-in. Pse?
Siç tha një klasiku — dola në internet me këtë pyetje. Aty diskutojnë për ‘algoritme’ dhe ‘rrjeta nervore’, pa pasur idenë se si konkretisht ato ndikojnë në fotografi. Gazetarët e lexojnë me zë të lartë numrin e megapikseleve, blogerët përplasin unboxing të paguar, ndërsa estetët e mbushin veten me ‘perceptimin e ndjeshëm të paletës së ngjyrave të matricës’. E njëjta si zakonisht.
Isha i detyruar të ulem, të harxhoj gjysmën e jetës dhe të kuptoj gjithçka vetë. Në këtë artikull do të tregoj se çfarë mësova.
Çfarë është fotografia kompjuterike?
Përkufizimi në të gjithë vendet, duke përfshirë Wikipedia, jep përafërsisht një përkufizim të tillë: fotografia kompjuterike — çdo teknikë e kapjes dhe përpunimit të imazheve, ku në vend të transformimeve optike përdoren llogaritje digjitale. Në të gjithë është shumë mirë, përveç faktit se nuk shpjegon asgjë. Nën të spikasin madje edhe auto-fokusin, por nuk futet plënoptika, e cila na ka sjellë shumë të dobishme. Paqartësia e përkufizimeve zyrtare duket sikur sugjeron se ne nuk kemi asnjë ide për çfarë po flasim.
Pionier i fotografisë kompjuterike, profesori i Stanfordit Marc Levoy (i cili tani menaxhon kamerën në Google Pixel) ofron një tjetër përkufizim — një grup metodash të vizualizimit kompjuterik që përmirësojnë ose zgjasin kapacitetet e fotografisë digjitale, nëpërmjet të cilave krijohet një fotografi normale që nuk mund të ishte realizuar teknikisht me këtë kamerë në mënyrë tradicionale. Në këtë artikull, unë do të mbaj këtë pikëpamje.
Pra, gjithçka ishte faji i smartphone-ve.
Smartphone-t nuk kishin alternativë tjetër përveç se të jepnin jetë një lloji të ri fotografik — fotografisë kompjuterike.
Matrikat e tyre të vogla dhe të zhurmshme dhe objektivët e vegjël me ndriçim të dobët, sipas të gjitha ligjeve të fizikës, duhet të sillnin vetëm dhimbje dhe vuajtje. Por kjo ndodhi derisa zhvilluesit e tyre nuk e kuptuan si t'i shfrytëzonin fuqitë e tyre për të kapërcyer dobësitë, — me obturatorë elektronikë të shpejtë, procesorë të fuqishëm dhe softuer.
Shumica e studimeve të njohura në fushën e fotografisë kompjuterike bien në vitet 2005-2015, që në shkencë konsiderohet si diku pranë së kaluarës. Tani për tani, para syve tanë dhe në xhepat tanë, po zhvillohet një fushë e re njohurie dhe teknologjie që nuk ka ekzistuar ndonjëherë më parë.
Fotografia kompjuterike nuk ka të bëjë vetëm me selfie-t me bokeh neuro. Fotografia e fundit e një vrime të zezë nuk do të kishte dalë në dritë pa metodat e fotografisë kompjuterike. Për të realizuar një foto të tillë me një teleskop normal, do të na duhej të bënim që ai të kishte madhësinë e Tokës. Megjithatë, duke kombinuar të dhënat nga tetë teleskopë radio në pika të ndryshme të globit tonë dhe duke shkruar pak skripta në Python, ne morëm fotografinë e parë në botë të horizontit të ngjarjeve. Edhe për selfie-t, është e dobishme.
Fillimi: përpunimi digjital
Le ta imagjinojmë se jemi kthyer në vitin 2007. Nëna jonë është anarchia, dhe fotografitë tona janë JPEG me zhurmë 0.6 Mp, të bëra mbi një skate. Rreth asaj kohe, fillon të shfaqet dëshira e parë për të vënë preset në to, për të fshehur dobinë e matrikave mobile. Të mos e mohojmë vetes këtë.
Matan dhe Instagrami
Me daljen e Instagramit, të gjithë u përfshin në filtrat. Si dikush që në një kohë bëri inxhinieri mbrapsht X-Pro II, Lo-Fi dhe Valencia për, sigurisht, arsye kërkimore (kek), unë ende e mbaj mend se ato përbëheshin nga tre komponente:
- Rregullimet e ngjyrës (Hue, Saturation, Lightness, Contrast, Levels etj.) janë koeficientë të thjeshtë digjitalë, të njëjtat si në presetet që fotografët i përdorin që prej kohësh.
- Hartat e mapimit të nuancave (Tone Mapping) janë vektorë vlerash, çdo njëra e cila na thoshte: "Ngjyra e kuqe me nuancë 128 duhet të shndërrohet në nuancë 240".
- Overlay është një imazh gjysmë transparent me pluhurin, kokrrizat, vinjetat dhe gjithçka tjetër që mund të vendoset sipër për të arritur një efekt të veçantë të filmit të vjetër. Nuk ishte gjithmonë i pranishëm.
Filtërat modernë nuk janë larguar shumë nga kjo trefish, vetëm se janë bërë pak më të ndërlikuar në matematikë. Me ardhjen e shaderave harduerikë dhe OpenCL në smartfonë, ata u riprogramuan shpejt për GPU, dhe kjo u konsiderua jashtëzakonisht e cool. Natyrisht, për vitin 2012. Sot çdo nxënës mund ta bëjë të njëjtën gjë në CSS, dhe nuk do të marrë asgjë në diplomimin e tij.
Megjithatë, progresi i filtrave sot nuk është ndalur. Djemtë nga Dehancer, për shembull, janë shumë të pasionuar për filtrat jo-lineare – në vend të mapimit proletar të nuancave, ata përdorin transformime më të ndërlikuara jo-lineare, që, sipas fjalëve të tyre, hapin shumë më tepër mundësi.
Transformimet jo-lineare mund të krijojnë shumë gjëra, por ato janë jashtëzakonisht të ndërlikuara, dhe ne, njerëzit, jemi jashtëzakonisht të paditur. Sa herë që nauka arrin në transformime jo-lineare, ne e preferojmë të shkojmë me metoda numerike dhe të shtojmë në çdo vend rrjete neuronale që të shkruajnë kryevepra për ne. E njëjta gjë ndodhi edhe këtu.
Automatika dhe ëndrrat për butonin "kryevepër"
Kur të gjithë u mësuan me filtrat, ne filluam t’i integrojmë ato drejtë në kamera. Historia fsheh se cili nga prodhuesit ishte i pari, por për të kuptuar se sa kohë ka kaluar – në iOS 5.0, e cila doli në vitin 2011, tashmë kishte një API publik për Auto Enhancing Images. Vetëm Steve Jobs e di se sa gjatë është përdorur deri në publikimin e tij.
Automatika bënte të njëjtën gjë si secili prej nesh, duke hapur foto në editor, – nxirrte dobësitë në dritë dhe hije, shtonte saturimin, largonte sytë e kuq dhe rregullonte ngjyrën e lëkurës. Përdoruesit as që mendonin se "kamera dramatikisht e përmirësuar" në smartfonin e ri ishte vetëm rezultat i disa shaderave të rinj. Ishte dëgjuar për Google Pixel dhe fillimin e hajpit për fotografinë kompjuterike për pesë vjet.
Sot ditën, lufta për butonin "kryevepër" ka kaluar në fushën e mësimit të makinerisë. Pas një loje me ton-mapping, të gjithë shkuan të trajnonin CNN dhe GAN për të lëvizur sliderat në vend të përdoruesit. Në fjalë të tjera, përmes imazhit të hyrjes, përcaktohen një mori parametrash optimalë që do të afronin këtë imazh me një kuptim subjektiv të "fotografisë së mirë". Kjo është realizuar në Pixelmator Pro dhe redaktues të tjerë. Funksionon, siç mund të dyshohet, jo shumë dhe jo gjithmonë.
Stekingu — 90% e suksesit të kamerave mobile
Fotografia e vërtetë computacionale ka filluar me stekingun — superpozitimin e disa fotografive mbi njëra-tjetrën. Për smartphone, nuk është problem të kapësh një duzinë кадrov për një gjysmë sekondë. Në kamerat e tyre nuk ka pjesë mekanike të ngadalta: diafragma është fikse, dhe në vend të një perde lëvizëse — një bllokim elektronik. Procesori thjesht urdhëron matricën, sa mikrosekunta duhet të kapë foton e çmendur, dhe më pas lexon rezultatin.
Teknikisht, telefoni mund të bëjë fotografi me shpejtësi video, dhe video me cilësi fotografie, por gjithçka varet nga shpejtësia e autobusit dhe procesorit. Prandaj, gjithmonë vendosen kufij programorë.
Stekingu vetë ka qenë me ne për një kohë të gjatë. madje gjyshërit vendosnin plugin në Photoshop 7.0, për të mbledhur disa fotografi në një HDR të shndritshëm ose për të bërë një panoramë 18000 × 600 pikselë dhe... në të vërtetë, askush nuk e shpiku se çfarë të bëjë më tej me to. Ishin kohë të pasura, është për të ardhur keq, të çmendura.
Tani ne jemi rritur dhe e quajmë këtë "epilson-fotografi" — kur, duke ndërruar një nga parametrat e kamerës (ekspozita, fokusi, pozita) dhe duke mblidhur kadrot e marra, ne krijojmë diçka që nuk mund të kapet me një kadër të vetëm. Por ky është një termin për teoricienët, në praktikë është përdorur një emër tjetër — steking. Sot, në fakt, 90% e të gjithë inovacioneve në kamerat mobile bazohen në të.
Një gjë të cilën shumë nuk e mendojnë, por që është e rëndësishme për të kuptuar të gjithë fotografi mobile dhe computacionale: kamera në smartphone-in modern fillon të bëjë fotografi sapo të hapësh aplikacionin e saj. Çka është logjike, ajo duhet ndonjëherë të transmetojë imazhin në ekran. Megjithatë, përveç ekranit, ajo ruan kadrov me përkufizim të lartë në tamponin e saj ciklik, ku i mban për disa sekonda të tjera.
Kur ju goditni butonin "merr foto" — ajo në të vërtetë është marrë tashmë, kamera thjesht merr foton e fundit nga bufferi.
Sot kështu funksionon çdo kamerë mobile. Të paktën në të gjitha flagshipët, jo nga plehrat. Buforizimi lejon realizimin e një kohe të ngecjes zero në kamerë, për të cilën fotografët e kanë dëshiruar për një kohë të gjatë, madje një negative — kur goditni butonin, smartphone-i shikon në të kaluarën, shkarkon 5-10 fotot e fundit nga bufferi dhe fillon të analizojë intensivisht ato dhe t'i bashkojë. Nuk është më e nevojshme të presësh që telefoni të kapë kadrin për HDR ose për modin e natës — thjesht merrni ato nga bufferi, përdoruesi as që do ta kuptojë.
Ndërkohë, pikërisht me ndihmën e lagut negativ të kamerës është realizuar Live Photo në iPhone, ndërsa në HTC diçka e ngjashme ka qenë që në vitin 2013 me emrin e çuditshëm Zoe.
Stacking i ekspozitës — HDR dhe lufta me ndryshimet e ndriçimit.
A janë matriçet e kamerave në gjendje të kapin të gjithë диапазонin e ndriçimit të disponueshëm për syrin tonë, — është një temë e vjetër e diskutimeve. Disa thonë jo, pasi syri është në gjendje të shohë deri në 25 f-stop, ndërsa madje edhe nga matriça e fundit të plota mund të nxjerrni maksimumi 14. Të tjerë e quajnë krahasimin të pasaktë, sepse syri ndihmohet nga truri, që automatizon dilatacionin e pupillës dhe ndihmon në ndërtimin e imazhit me rrjetet e tij neuronale, dhe diapazoni i menjëhershëm dinamik i syrit në të vërtetë nuk është më shumë se 10-14 f-stop. Le ta lëmë këtë diskutim për mendimtarët më të mirë të divanit të internetit.
Fakti mbetet fakt: duke fotografuar miqtë përpara një qielli të ndritshëm pa HDR në çdo kamerë mobile, merrni ose një qiell normal dhe fytyra të zeza miqsh, ose miq të pasqyruar, por me një qiell të djegur.
Zgjidhja është shpikur prej kohësh — zgjerimi i diapazonit të ndriçimit me HDR (High Dynamic Range). Duhet të bëni disa fotografi me ekspozita të ndryshme dhe t'i bashkoni ato. Një të jetë "normale", tjetra më e ndritur, e treta më e errët. Marrim vendet e errëta nga fotografi i ndritshëm, mbushim të mëdhenjtë nga të errëtit — fitim. Kërkohet vetëm të zgjidhet problemi i breketingut automatik — sa të zhvendoset ekspozita e çdo fotografie, për të mos e tepruar, por me përcaktimin e ndriçueshmërisë mesatare të imazhit tani do të merret një student i vitit të dytë të inxhinierisë.
Në iPhone-t më të fundit, Pixel dhe Galaxy, moduli HDR aktivizohet automatikisht kur algoritmi i thjeshtë brenda kamerës përcakton se po xhironi diçka me kontrast në një ditë me diell. Madje mund të vëreni se si telefoni kalon në modulin e regjistrimit në bufër për të ruajtur skedarët e xhiruar me ndricim të ndryshuar — fps ulët dhe imazhi bëhet më i gjallë. Momentin e kalimit e vërej mirë në iPhone X tim, kur xhiroj jashtë. Shikoni telefonin tuaj edhe herën tjetër.
Disavantazhi i HDR me bracketing të ekspozimit është paaftësia e tij e plotë në ndriçim të dobët. Edhe nën dritën e një llambë dhome, skedarët dalin kaq të errët sa kompjuteri nuk është në gjendje t'i përshtatë dhe t'i bashkojë. Për të zgjidhur problemin me ndriçimin, në vitin 2013 Google prezantoi një qasje tjetër për HDR në smartfonin Nexus që u lançua atëherë. Ai përdori stekimin në kohë.
Stekimi në kohë — simulimi i një ekspozite të gjatë dhe time-lapse
Stekimi në kohë lejon që të merret një ekspozitë e gjatë përmes një serie ekspozitash të shkurtra. Pionierët ishin entuziastët e xhirimeve të gjurmëve nga yjet në qiellin e natës, të cilëve iu dukej e vështirë të hapnin diafragma për dy orë. Ishte e vështirë të llogarisnin paraprakisht të gjithë parametrat, dhe nga çdo dridhje, çdo skenë dilte e prishur. Ata vendosën të hapin diafragma vetëm për disa minuta, por shumë herë, pastaj shkonin në shtëpi dhe bashkonin skedarët e marrë në Photoshop.
Kështu, kamera kurrë nuk e kishte xhiruar në një ekspozitë të gjatë, por ne merrnim efektin e simulimit të saj duke mbledhur disa skedarë të xhiruar njëri pas tjetrit. Për smartfonët, janë shkruar tashmë shumë aplikacione që përdorin këtë truk, por të gjitha ato nuk ishin të nevojshme që kur funksionaliteti u shtua në pothuajse të gjitha kamerat standarde. Sot, madje edhe një iPhone mund t'ju bashkojë lehtësisht një ekspozitë të gjatë nga Live Photo.
Të kthehemi te Google me HDR-në e tij të natës. Doli se me ndihmën e bracketing të kohës mund të realizohet një HDR i mirë në errësirë. Teknologjia u shfaq së pari në Nexus 5 dhe u quajt HDR+. Të gjitha telefonat e tjerë në Android e morën atë si një dhuratë. Teknologjia është ende aq e popullarizuar, saqë e lavdërojnë edhe në prezantimin e Pixel-ve më të fundit.
HDR+ funksionon mjaft thjeshtë: duke përcaktuar se po fotografoni në errësirë, kamera ngarkon nga buferri 8-15 fotografi të fundit në RAW, për t'i mbivendosur ato njëra mbi tjetrën. Në këtë mënyrë, algoritmi grumbullon më shumë informacion rreth pjesëve të errëta të kadrit për të minimizuar zhurmat — pikselët, ku për shkaqe të ndryshme, kamera nuk arriti të grumbullonte të gjithë informacionin dhe gaboi.
Siç do të ndodhte po të mos e dinit se si duket kapibara dhe të kërkonit nga pesë persona ta përshkruanin atë — tregimet e tyre do të ishin afërsisht të njëjta, por secili do të përmendte një detaj unik. Kështu, do të grumbullonit më shumë informacion sesa po të pyesnit një të vetëm. E njëjta situatë vlen edhe për pikselet.
Mbivendosja e imazheve të kapura nga një pikë jep të njëjtin efekt të rremë të ekspozimit të gjatë si me yjet më sipër. Ekspozita e dhjetëra imazheve mbledh të dhënat, gabimet në një minimizohen në të tjerat. Imagine sa herë do t'ju duhej të zgjiddhnit çatin e një reflektori për të arritur diçka të tillë.
Ishte e nevojshme vetëm të zgjidhnim problemin e korrigjimit automatik të ngjyrave — imazhet e marra në errësirë zakonisht dalin të gjitha të verdha ose të gjelbra, ndërsa ne, si duket, duam freskinë e ndriçimit të ditës. Në versionet e hershme të HDR+ kjo zgjidhej me thjesht rregullimin e parametrave, si në filtrat e Instagramit. Më pas, ndihmuan rrjetet nervore.
Kështu lindi Night Sight — teknologjia e "fotografisë së natës" në Pixel 2 dhe 3. Në përshkrim thuhet në këtë mënyrë: "Teknikat e mësimit të makinave të ndërtuara mbi HDR+, që e bëjnë Night Sight të funksionojë". Në thelb, kjo është automatizimi i fazës së korrigjimit të ngjyrave. Makina u mësoi mbi një dataset fotografish "para" dhe "pas", për të krijuar një të bukur nga çdo grup fotografish të errëta.
Dataseti, për më tepër, u publikua në qasje të hapur. Ndoshta, djemtë nga Apple do ta marrin atë dhe më në fund do t'i mësojnë lopatët e tyre të qelqtë të bëjnë fotografi normalisht në errësirë.
Përveç kësaj, në Night Sight përdoret llogaritja e vektorit të lëvizjes së objekteve në kadër, për të normalizuar zgjatjet që do të jenë të pranishme në ekspozita të gjata. Në këtë mënyrë, smartphone mund të marrë pjesët e qarta nga kadra të tjerë dhe t'i bashkëngjisë ato.
Stacking për lëvizjen — panoramë, super-zoom dhe lufta me zhurmat
Panorama është një aktivitet popullor për banorët e fshatrave. Sidoqoftë, deri tani nuk ka ndonjë rast ku një foto sosishe të jetë interesuar ndokënd, përveç autorit të saj, por nuk mund ta injorojmë — për shumë kjo ka qenë pikënisja e steking-ut.
Mënyra e parë e dobishme për të përdorur panoramën është të marrim një foto me një rezolucion më të lartë se sa ofron sensori i kamerës duke e përbërë atë nga disa fotografi. Fotografët prej kohësh përdorin software të ndryshëm për fotografinë me superrezolucion — kur fotografitë e pakonfigurura efikasht plotësojnë njëra-tjetrën midis pikselave. Në këtë mënyrë, mund të krijojmë imazhe që arrijnë deri në qindra gigapikselë, e cila është jashtëzakonisht e dobishme nëse dëshironi ta printoni atë në një poster reklamash sa një shtëpi.
Një qasje tjetër, më interesante — Pixel Shifting. Disa kamera pa pasqyrë si Sony dhe Olympus filluan ta mbështesin këtë që prej vitit 2014, por rezultatin e kishin ende të nevojshëm të montonin manualisht. Inovacionet tipike të kamerave të mëdha.
Megjithatë, smartphone-t kanë arritur përparim pikërisht për një arsye qesharake — kur bëni një foto, duar tuaj janë duke dridhur. Ky dukshëm i vogël problem u bë baza e implementimit të natyrshëm të superrezolucionit në smartphone.
Për të kuptuar se si funksionon, duhet të kujtojmë se si është ndërtuar sensori i çdo aparati fotografik. Çdo piksel (fotodiode) është në gjendje të regjistrojë vetëm intensitetin e dritës — dmth. sasinë e fotonëve që kanë hyrë. Megjithatë, pikseli nuk mund të matë ngjyrën e tij (valën e gjatë). Për të marrë një imazh RGB, duhej të krijoheshin lehtësira — të mbulohej e gjithë matrica me një rrjetë me xhama të ndryshëm ngjyrash. Implementimi më i njohur i saj quhet filtri Bayer dhe përdoret sot në shumicën e matricave. Duket si në imazhin më poshtë.
Kështu, çdo piksel i matriçës kap vetëm komponentin R-, G-, apo B-, pasi fotonët e tjerë refuzohen nga filtri Bayer. Komponentët që mungojnë i përcakton përmes një mesatareje të thjeshtë të vlerave të pikselave përreth.
Ka shumë më shumë qeliza të gjelbra në filtrin Bayer — kjo është bërë sipas analogjisë me syrin e njeriut. Kështu, nga 50 milion pikselë në matricë, ngjyra e gjelbër do të kapet nga 25 milion, ndërsa e kuqe dhe e blu nga 12.5 milion secila. E gjithë e tjera do të mesataren — ky proces quhet de-bayerizim ose demosaikim, dhe është një ngjashmëri e madhe që mban gjithçka.
Në të vërtetë, çdo matricë ka algoritmin e saj të veçantë dhe të patentuar për demosaikim, por në kuadër të kësaj historie ne do ta anashkalojmë këtë.
Lloje të tjera matricash (si Foveon) për momentin nuk kanë gjetur shumë popullaritet. Megjithatë, disa prodhues po përpiqen të përdorin matrica pa filtrin Bayer për të përmirësuar qartësinë dhe gamën dinamike.
Kur ndriçimi është i ulët ose detajet e objektit janë shumë të vogla, ne humbasim shumë informacion, sepse filtri Bayer është hapur e prerë fotonet me gjatësi vale të padëshiruar. Prandaj është shpikur Pixel Shifting — të zhvendosësh matrica 1 piksel lart-poshtë-drejt e majtas, për të kapur të gjitha. Fotografia, megjithatë, nuk bëhet katër herë më e madhe, siç mund të duket, thjesht procesori përdor këto të dhëna për të regjistruar më saktë vlerën e çdo pikseli. Ai mesaton jo sipas fqinjëve, por sipas katër vlerave të vetvetes.
Tërheqja e dorës tonë gjatë fotografimit me telefon e bën këtë proces një pasojë natyrale. Në versionet e fundit të Google Pixel, kjo gjë është realizuar dhe aktivizohet gjithmonë kur përdorni zmadhimin në telefon, — quhet Super Res Zoom (po, edhe mua më pëlqen emri i tyre i ashpër). Kinezët gjithashtu e kanë kopjuar atë në telefonat e tyre, megjithatë doli disi më keq.
Mbivendosja e disa fotografive të pak të zhvendosura lejon mbledhjen e më shumë informacionit për ngjyrën e çdo pikseli, dhe dmth, zvogëlon zhurmat, rrit qartësinë dhe ndihmon në rritjen e rezolutës pa rritur numrin fizik të megapikselëve të matrices. Flagshipët modernë të Android e bëjnë këtë automatikisht, derisa përdoruesit e tyre madje nuk mendojnë për këtë.
Stacking i fokusit — çdo thellësi fokuese dhe refokus në post-produksion
Metoda erdhi nga makrofotografia, ku një thellësi e vogël fushëpamjeje ka qenë gjithmonë një problem. Për të pasur të gjithë objektin në fokus, ishte e nevojshme të bëheshin disa fotografi me një ndryshim fokusi përpara-prapa, për t'i bashkuar ato më pas në një fotografi të qartë. Të njëjtën metodë e përdorën shpesh adhuruesit e fotografimit të peisazheve, duke e bërë planin e parë dhe atë të prapmë të qartë si diarea.
Të gjitha këto u transferuan edhe në smartfonë, megjithatë, pa ndonjë bujë të madhe. Në vitin 2013 doli Nokia Lumia 1020 me "Refocus App", ndërsa në vitin 2014 Samsung Galaxy S5 me modin "Selective Focus". Ato funksiononin sipas të njëjtës skemë: me një shtypje butoni, ato bënin shpejt 3 fotografi - një me fokus "normal", një të dytë me fokus të zhvendosur përpara dhe të tretën me fokus të zhvendosur mbrapa. Programi rregullonte fotografitë dhe lejonte të zgjidhej një nga to, që paraqitej si "kontroll i vërtetë" mbi fokusin në postproduksion.
Nuk kishte asnjë përpunim të mëtejshëm, sepse edhe ky hack i thjeshtë ishte mjaftueshëm për të goditur për një herë tjetër arkën e Lytro dhe analogëve të saj me fokus të drejtë. Megjithatë, le të flasim për ta (master i kalimeve 80 lvl).
Matrica të llogaritjeve - fushat e dritës dhe plënoptika
Siç kuptuam më lart, matrica tona janë një tmerr në këmbanat. Ne thjesht jemi mësuar dhe po përpiqemi të jetojmë me të. Në strukturën e saj ato nuk kanë ndryshuar ndjeshëm që nga koha e fillimit. Ne vetëm kemi përmirësuar procesin teknik - kemi ulur distancën midis pikselave, kemi luftuar me zhurmat e interferencave, kemi shtuar piksel të veçantë për të punuar me autofokusin fazor. Por mjafton të marrësh edhe kamerën më të shtrenjtë reflex dhe të përpiqesh të kapësh një mace që vrapon në dritën e dhomës - macja, le të themi, do të fitojë.
Ne kohë më parë kemi tentuar të shpikim diçka më të mirë. Shumë përpjekje dhe hulumtime në këtë fushë janë të kërkueshme me kërkimin "sensor kompjuterik" ose "sensor jo-bayer", dhe madje edhe shembulli me Pixel Shifting më sipër mund të quhet një përpjekje për përmirësimin e matriceve përmes llogaritjeve. Megjithatë, historitë më premtuese në 20 vitet e fundit vijnë tek ne pikërisht nga bota e ashtuquajtur kamerave plënoptike.
Për të mos u lodhur nga parashikimi i fjalëve të ndërlikuara që po vijnë, do të hedh një informacion se kamera e fundit e Google Pixel është pak "plënoptike". Vetëm me dy pikselë, por edhe kjo i lejon asaj të llogarisë thellësinë optike të vërtetë të kadrit dhe pa kamerën e dytë si të gjithë të tjerët.
Plenoptika është një armë e fuqishme që ende nuk ka shpërthyer. Do të jap lidhjen për një nga artikujt e mi të preferuar të fundit , nga e cila kam marrë disa shembuj.
Kamera plenoptike — së shpejti do të ketë nga një e tillë për çdo njeri
E shpikur në vitin 1994, e ndërtuar në Stanford në vitin 2004. Kamera e parë për konsumatorët — Lytro, e lëshuar në vitin 2012. Tani, industria e VR-së është duke eksperimentuar aktivisht me teknologji të ngjashme.
Nga një kamerë e zakonshme, kamera plenoptike ndryshon vetëm në një modifikim — matrica e saj është mbuluar nga një rrjetë lente, çdo e cila mbulon disa piksele reale. Njësoj si kjo:
nëse llogarisim saktësisht distancën nga rrjeta deri në matricë dhe madhësinë e diafragmës, në imazhin përfundimtar do të kemi grupe të qarta të pikselëve — si mini-versione të imazhit origjinal.
Doli se, nëse marrim nga çdo grup, le të themi, një piksel qendror dhe i bashkojmë imazhet vetëm në bazë të tyre — ajo nuk do të ndryshojë nga një e realizuar nga një kamerë e zakonshme. Po, pak nga rezolucioni humbet, por thjesht do t'i kërkojmë Sony të shtojë disa megapikse në matricat e reja.
Pjesa e argëtimit sapo ka filluar. Nëse marrim një piksel tjetër nga çdo grup dhe e bashkojmë sërish imazhin — do të kemi sërish një fotografi të zakonshme, vetëm se duket se është marrë me një zhvendosje prej një pikseli. Kështu, duke pasur grupe të 10 × 10 pikselëve, do të kemi 100 imazhe të subjektit nga 'pak' kënde të ndryshme.
Sa më i madh të jetë grupi, aq më shumë imazhe do të kemi, por gjithashtu më pak rezolucion. Në botën e smartfonëve me matrica 41-megapikselë, ndonëse mund të anashkalojmë pak rezolucionin, gjithçka ka një kufi. Duhet të ruajmë balancën.
Mirë, ne e grumbulluam kamerën plenoptike, dhe çfarë na jep kjo?
Rrefokusim i sinqertë
Funksioni për të cilin flisnin të gjithë gazetarët në artikujt për Lytro — mundësia për një korrigjim të sinqertë të fokusit në post-prodhim. Nga e vërteta, nënkuptohet se ne nuk aplikojmë algoritme të ndryshme për heqjen e ndotjes, por përdorim vetëm pikselët e disponueshëm, duke zgjedhur ose duke i mesatarizuar ato nga grupet në rendin e duhur.
Fotografia RAW nga një kamerë plenoptike duket e çuditshme. Për të marrë një JPEG të zakonshëm të qartë prej saj, duhet së pari ta grumbullojmë atë. Për këtë, duhet të zgjedhim çdo pixel të JPEG-it nga një nga klasterët e RAW-it. Në varësi të mënyrës se si i zgjedhim, do të ndryshojë rezultati.
Për shembull, sa më larg të jetë klasteri nga vendi i rënies së rrezes origjinale, aq më shumë ai rreze rezulton i pasaktë. Sepse optika. Për të marrë një imazh të zhvendosur nga fokusi, na mjafton të zgjedhim pixelat në distancën që na nevojitet nga origjinali — ose më afër, ose më larg.
Me zhvendosjen e fokusit kah vetja ishte më e vështirë — fizikisht kishte më pak pixel të tillë në klasterë. Në fillim zhvilluesit as që donin t'u jepnin përdoruesve mundësinë e fokusimit manual — kamera e vendoste këtë programatikisht. Përdoruesve kjo të ardhme nuk iu pëlqeu, kështu që kjo funksionalitet u shtua në versionet e vonshme të softuerit me emrin "rezhimi krijues", por u bënë kufizime të mëdha në ri-fokusimin për shkakun e këtij problemi.
Harta e thellësisë dhe 3D nga një kamerë
Një nga operacionet më të thjeshta në plenoptikë është marrja e hartës së thellësisë. Për këtë, mjafton të grumbullosh dy кадra të ndryshme dhe të llogarisësh se sa janë zhvendosur objektet mbi to. Sa më shumë zhvendosje — aq më larg nga kamera.
Recently, Google acquired and shut down Lytro, but used their technology for its VR and... for the camera in Pixel. Starting with Pixel 2, the camera became "somewhat" plenoptic for the first time, although with clusters of only two pixels each. This allowed Google not to install a second camera like all other brands, but to calculate the depth map solely from a single photo.
Harta e thellësisë ndërtohet mbi dy кадра, të zhvendosur një subpixel. Kjo është plotësisht e mjaftueshme për të llogaritur një hartë binar të thellësisë dhe për të ndarë planin e parë nga plani i prapmë dhe për ta mjegulluar atë të fundit në boken e njohur sot. Rezultati i këtij ndarjeje është gjithashtu e lëmuar dhe "përmirësohet" nga rrjetet nervore të trajnuara për të përmirësuar hartat e thellësisë (ndryshe nga ç'mendojnë shumë, jo për të mjegulluar).
Zgjedhja është gjithashtu se plenoptika në smartphone na është dhënë pothuajse falas. Ne tashmë po vendosnim lente mbi këto matrica të vogla për të rritur fluksi të dritës. Në Pixel e ardhshme, Google planifikon të shkojë më tej dhe të mbulojë katër fotodioda me lente.
Burimi: 3dnews.ru
