Origjinali i artikullit është publikuar në dhe është botuar në 3DNews me lejen e autorit. Ne paraqesim tekstin e plotë të artikullit, përveç një sërë të madhe lidhjesh — ato do të jenë të dobishme për ata që janë seriozisht të interesuar për temën dhe dëshirojnë të shqyrtojnë aspektet teorike të fotografisë kompjuterike më në thellësi, por për audiencën e gjerë, ne e konsideruam këtë material si tepricë.
Sot, asnjë prezantim i një smartphone nuk përfundon pa një përmendje të kamerës së tij. Çdo muaj dëgjojmë për një sukses të ri të kamerave mobile: Google mëson Pixel të fotografojë në errësirë, Huawei zmadhohet si një bino, Samsung vendos lidar, dhe Apple bën këndet më të shëndosha në botë. Diku tjetër innovacionet ndodhin me kaq shpejtësi.
Reflektorët duket se janë duke u ngulur në vend. Sony çdo vit mbush të gjithë me sensorë të rinj, ndërsa prodhuesit me ngadalë përditësojnë numrin e fundit të versionit dhe vazhdojnë të qetësohen. Në tavolinën time kam një reflektor për $3000, por në udhëtime marr iPhone-in. Pse?
Si si thoshte klasikulli — dola në internet me këtë pyetje. Atje flasin për ndonjë «algoritëm» dhe «rrjet neuros», pa pasur asnjë ide se si specifikisht ato ndodhin në fotografi. Gazetarët e lexojnë zëshëm numrin e megapikseleve, blogerët e bëjnë një papagall kolektiv të unboxing-ut të paguar, dhe estetët lihen në «perceptimin e ndjeshëm të paletës së ngjyrave të matricës». Të gjitha si zakonisht.
Më duhej të ulesha, të shpenzoja gjysmë jetës dhe ta kuptoja vetë gjithçka. Në këtë artikull do të tregoj se çfarë kam mësuar.
Çfarë është fotografia e llogaritjes?
Kudo, përfshirë Wikipedia, japin një përkufizim të tillë: fotografia e llogaritjes është çdo teknikë e kapjes dhe përpunimit të imazheve, ku në vend të transformimeve optike përdoren llogaritjet dixhitale. Ajo është e mirë, përveç faktit se nuk shpjegon asgjë. Nën atë përkufizim bie edhe autofokusi, por nuk përfshihet plënoptika, e cila na ka sjellë shumë të dobishme. Pasiguria e përkufizimeve zyrtare, sikur sugjeron se ne nuk kemi asnjë ide për çfarë po flasim.
Pionier i fotografisë së kompjuterave, profesori i Stanfordit Marc Levoy (i cili tani është përgjegjës për kamerën në Google Pixel) jep një përkufizim tjetër — një set metodash të vizionit kompjuterik që përmirësojnë ose zgjasin mundësitë e fotografisë digjitale, duke përdorur të cilat krijohet një fotografi e zakonshme, e cila nuk mund të ishte kapur teknikisht me këtë kamerë në mënyrë tradicionale. Në këtë artikull, unë ndjek pikërisht atë.
Pra, gjithçka ishte faji i smartfonëve.
Smartfonët nuk kishin asnjë zgjedhje tjetër përveçse të jepnin jetë një lloji të ri fotografisë — fotografisë kompjuterike.
Matrica e tyre e vogël dhe me zhurmë dhe objektivat e tyre të vogla me intensitet të ulët, për të gjitha ligjet e fizikës, duhet të sillnin vetëm dhimbje dhe vuajtje. Ato ishin të tilla, derisa zhvilluesit e tyre arritën të përdorin inteligjentësisht forcat e tyre për të luftuar dobësitë — obturatorë elektronikë të shpejtë, procesorë të fuqishëm dhe softuer.
Shumica e studimeve të njohura në fushën e fotografisë computacionale bien në vitet 2005-2015, të cilat në shkencë konsiderohen si të ndodhur pothuajse dje. Pikërisht tani, para syve tanë dhe në xhepat tanë, po zhvillohet një fushë e re njohurish dhe teknologjish që nuk ka ekzistuar kurrë më parë.
Fotografia computacionale nuk është vetëm selfie me bokeh neuro. Fotografitë e fundit të një vrime të zezë nuk do të ishin pothuajse të mundshme pa metodat e fotografisë computacionale. Për të bërë një foto të tillë me një teleskop të zakonshëm, do të duhej të ishte sa Toka. Megjithatë, duke bashkuar të dhënat e tetë teleskopëve radio në pika të ndryshme të globit tonë dhe duke shkruar disa skripta në Python, arritëm fotografinë e parë në botë të horizontit të ngjarjeve. Edhe për selfie do të ishte e dobishme.
Fillimi: përpunimi digjital
Imagjinoni se kthehemi në vitin 2007. Nëna jonë është anarchia, dhe fotografitë tona janë 0.6-Mp JPEG të zhurmshme, që janë bërë në skateboard. Rreth kësaj kohe na shfaqet dëshira e parezistueshme për të shtuar preset-e mbi to, për të fshehur dobësitë e matricave mobile. Le të mos e mohojmë veten.
Matan dhe Instagram
Me dalë për Instagram-in, të gjithë u çmendën për filtrat. Si një person që një herë inxhinieroi X-Pro II, Lo-Fi dhe Valencia për, natyrisht, qëllime kërkimore (heh), akoma e mbaj mend se ato ishin të përbëra nga tre komponente:
- Cilësitë e ngjyrave (Hue, Saturation, Lightness, Contrast, Levels, etj.) — koeficientë të thjeshtë digjitalë, saktësisht si në çdo preset që fotografët kanë përdorur që nga kohët e lashta.
- Hartat e mappimit të nuancave (Tone Mapping) — vektorë vlerash, secili prej të cilave na thoshte: "Ngjyra e kuqe me nuancë 128 duhet të kthehet në nuancë 240".
- Overlejet — imazhe gjysmë transparente me pluhurin, grurin, vignetin, dhe gjithçka tjetër që mund të mbivendoset për të arritur një efekt aspak banal të filmit të vjetër. Nuk ishte gjithmonë i pranishëm.
Filtrat modernë nuk kanë ikur shumë nga kjo trejëshe, thjesht janë bërë pak më të ndërlikuar në matematikë. Me shfaqjen e shaderëve harduerikë dhe OpenCL në smartphone, ata u kthyen shpejt për GPU, dhe kjo konsiderohej jashtëzakonisht e ftohtë. Për vitin 2012, sigurisht. Sot, çdo nxënës mund të bëjë të njëjtën gjë në CSS, dhe sërish nuk do të marrë asgjë në diplomimin e tij.
Megjithatë, progresi i filtrave sot nuk është ndalur. Djemtë nga Dehancer, për shembull, janë duke u angazhuar shumë me filtrat jo-lineare — në vend të ton-mapping-ut proletar, ata përdorin transformime më komplekse jo-lineare, që sipas tyre, ofron shumë më shumë mundësi.
Me transformimet jo-lineare mund të bëhet shumë, por ato janë jashtëzakonisht të komplikuara, dhe ne, njerëzit, jemi jashtëzakonisht të paaftë. Sa herë që në shkencë bëhet fjalë për transformime jo-lineare, ne preferojmë të kalojmë në metodat numerike dhe të mbushim çdo gjë me rrjetet nervore, që ato të krijojnë kryevepra për ne. Kështu ndodhi edhe këtu.
Automatika dhe ëndrrat për butonin «kryevepër»
Kur të gjithë u mësuan me filtrat, ne filluam t'i integrojmë ato direkt në kamera. Historia e fsheh se cili prodhues ishte i pari, por thjesht për të kuptuar sa kohë ka kaluar — në iOS 5.0, e cila u publikua në vitin 2011, tashmë kishte një API publik për Auto Enhancing Images. Vetëm Jobs e di se sa gjatë është përdorur deri në publikimin e tij.
Automatika bënte atë që bënte çdo njeri tjetër, duke hapur një foto në editor, - tërhiqte dritat dhe hijet, shtonte saturimin, hiqte sytë e kuq dhe rregullonte ngjyrën e fytyrës. Përdoruesit madje nuk e dyshonin që "kamera e përmirësuar dramatikisht" në smartphone-in e ri ishte thjesht rezultat i disa shaderëve të rinj. Duhej të kalonin edhe pesë vjet deri në daljen e Google Pixel dhe fillimin e trendit të fotografisë computative.
Sot, lufta për butonin "kryevepër" ka kaluar në fushën e mësimit më të thellë. Pas eksperimentimit me ton-mapping, të gjithë po nxitonin të trainonin CNN e GAN për të lëvizur slidat në vend të përdoruesit. Në fjalë të tjera, përmes imazhit hyres, përcaktoheshin grupit optimal i parametrave që do t'i afronin këtij imazhi një kuptim subjektiv të "fotografisë së mirë". Kjo është e realizuar në Pixelmator Pro dhe redaktorë të tjerë. Siç mund ta hamendësoni, nuk funksionon gjithmonë dhe as në mënyrë ideale.
Stacking — 90% e suksesit të kamerave mobile
Fotografia moderne e kompjuterizuar filloi me stacking — përzierjen e disa fotografive njëra mbi tjetrën. Nuk është problem për një smartphone të kapë një duzinë çastesh në një gjysmë sekondë. Në kamerat e tyre nuk ka pjesë mekanike të ngadalta: diaphragma është fikse, dhe në vend të perdeve lëvizëse — është një kamerë elektronike. Procesori thjesht i thotë matricës për sa mikrosekonda të kapë foton e egra, ndërsa lexon rezultatin.
Teknikisht, telefoni mund të marrë foto me shpejtësi video, dhe video me rezolutë fotografish, por gjithçka varet nga shpejtësia e shiritit dhe procesorit. Prandaj, gjithmonë vendosen limite softuerike.
Stacking vetë është një traditë me ne për një kohë të gjatë. Edhe gjyshërit tanë përdornin plugina në Photoshop 7.0 për të mbledhur disa fotografi në një HDR të mrekullueshëm ose për të ndërtuar një panoramë 18000 × 600 piksele dhe… në realitet, askush nuk ka arritur të kuptojë se çfarë të bëjë më pas me to. Ishin kohë të pasura, për fat të keq, të egra.
Tani që ne u bëmë të rritur dhe e quajmë këtë «fotografi epsilon» — kur, duke ndryshuar një nga parametrat e kamerës (ekspozita, fokusimi, pozita) dhe duke bashkuar fotot e marra, ne arrijmë diçka që nuk mund të ishte kapur me një кадар. Por ky është një term për teoricienët, në praktikë ka gjetur një emër tjetër — stacking. Sot, në fakt, mbi këtë bazë ndërtohen 90% e të gjitha inovacioneve në kamerat mobile.
Një gjë, për të cilën shumë njerëz nuk mendojnë, por që është e rëndësishme për kuptimin e gjithë fotografisë mobile dhe kompjuterike: kamera në një smartphone modern fillon të bëjë fotografi sapo të hapni aplikacionin e saj. Çfarëdo logjike, ajo duhet siç duket të transmetojë imazhin në ekran. Megjithatë, përveç ekranit, ajo ruan кадra me rezolucion të lartë në bufetin e saj ciklik, ku i mban për disa sekonda të tjera.
Kur klikoni butonin «kapi foto» — ajo në të vërtetë është bërë tashmë, kamera thjesht merr fotografinë e fundit nga bufeti.
Sot, çdo kamerë mobile punon kështu. Të paktën te të gjithë flagshipët, jo nga plehrat. Bufrimi lejon realizimin e jo thjesht një vonese zero të shkjellës, për të cilën kanë ëndërruar për një kohë të gjatë fotografët, por madje edhe një të negativ — kur e shtyp butonin, smartfoni shikon në të kaluarën, shkarkon 5-10 fotografitë e fundit nga bufri dhe fillon të analizojë ato dhe t'i ngjisë. Nuk nevojitet më të pritet derisa telefoni të bëjë kadra për HDR ose modin e natës, — thjesht merrni ato nga bufri, përdoruesi nuk do ta kuptojë as që ka ndodhur.
Për më tepër, pikërisht me ndihmën e vonesës negative të shkjellës është realizuar Live Photo te iPhone, dhe në HTC diçka e tillë ishte e disponueshme që në vitin 2013 nën emrin e çuditshëm Zoe.
Stackimi sipas ekspozitës — HDR dhe lufta me diferencat e ndriçimit
A janë matricat e kamerave të afta të regjistrojnë të gjithë gamën e ndriçimit të disponueshme për syrin tonë? Kjo është një temë e vjetër debati. Disa thonë se jo, pasi syri është në gjendje të shohë deri në 25 f-stop, ndërsa madje edhe nga matrica më e mirë full-frame mund të nxirren maksimumi 14. Të tjerët e quajnë krahasimin të gabuar, pasi truri ndihmon syrin, duke rregulluar automatikisht pupillën dhe duke përfunduar imazhin me rrjetet e tij nervore; momenti dinamike i syrit në të vërtetë nuk është më shumë se 10-14 f-stop. Le t'i lëmë këto polemika mendimtarëve më të mirë në internet.
Fakti mbetet fakt: kur xhironi miqtë para një qielli të ndritshëm pa HDR në një kamerë mobile, merrni ose një qiell normal dhe fytyra të zeza miqsh, ose miq të përshkruar, por një qiell të djegur deri në vdekje.
Zgjidhja është menduar prej kohësh — zgjerimi i gamës së ndriçimit me HDR (Gama e lartë dinamike). Duhet të bëhen disa fotografi me ekspozita të ndryshme dhe t’i bashkohen ato së bashku. Njëra duhet të jetë "normale", tjetra më e ndritshme, e treta më e errët. Marrim vendet e errëta nga fotografia e ndritshme, plotësojmë tepricat nga fotografia e errët — fiton. Mbetej vetëm të zgjidhet problemi i automatizimit të breketingut — sa të zhvendoset ekspozita e çdo fotografie, që të mos e teprojmë, por me përcaktimin e ndriçimit mesatar të imazhit tani do të mjaftonte një student i vitit të dytë në një universitet teknik.
Në iPhone-t e fundit, Pixel dhe Galaxy, modulet HDR aktivizohen automatikisht, kur algoritmi i thjeshtë brenda kamerës përcakton se po xhironi diçka kontrastore në një ditë me diell. Madje mund të vëreni se si telefoni kalon në mënyrën e regjistrimit në buffer, për të ruajtur fotografitë me ekspozita të ndryshueshme — fps në kamerë bie, dhe vetë imazhi bëhet më i ngopur. Momenti i kalimit është shumë i dukshëm në iPhone X tim, nëse xhironi në ajër të hapur. Vini re edhe telefonin tuaj herën tjetër.
Mungesa e HDR me bracketing në ekspozim – pamundësia e tij të pashpresë në ndriçim të keq. Edhe nën dritën e një llambë dhome, skenat rezultojnë kaq të errëta sa kompjuteri nuk mund t'i rregullojë dhe ngjisë. Për të zgjidhur problemin me dritën, në vitin 2013 Google tregoi një qasje tjetër ndaj HDR në smartphone-in e atëhershëm Nexus. Ai përdori stacking temporal.
Stacking temporal – simulimi i një ndriçimi të gjatë dhe time-lapse
Stacking temporal lejon të arrish një ekspozim të gjatë përmes një serie të shkurtër. Pionierët ishin adhuruesit e filmimeve të gjurmëve nga yjet në qiellin e natës, të cilëve u dukej e vështirë të hapnin mbyllësin për dy orë. Kështu ishte e vështirë të parashikohej çdo parametër, dhe çdo dridhje e vogël ndihmonte që e gjithë skena të prisheshte. Ata vendosën të hapnin mbyllësin për disa minuta, por shumë herë, dhe pastaj shkonin në shtëpi dhe i ngjisnin skenat në Photoshop.
Kështu, kamera nuk ka regjistruar ndonjëherë me një ekspozim të gjatë, por ne kemi arritur efektin e saj duke kombinuar disa pamje të regjistruara njëra pas tjetrës. Për celularët, prej kohësh janë shkruar shumë aplikacione që përdorin këtë truk, por të gjitha ato nuk kanë nevojë që nga kur kjo veçori u shtua në pothuajse të gjitha kamerat standarde. Sot, madje edhe një iPhone mund të krijojë lehtë një ekspozim të gjatë nga Live Photo.
Të kthehemi te Google me HDR-në e tij të natës. Doli se me ndihmën e bracketing temporal, është e mundur të realizohet një HDR të këndshëm në errësirë. Teknologjia u shfaq për herë të parë në Nexus 5 dhe quhej HDR+. Telefona të tjerë Android e morën atë si një dhuratë. Kjo teknologji është ende aq popullore, saqë e përmendin madje edhe në prezantimet e Pixel të fundit.
HDR+ funksionon mjaft thjesht: duke identifikuar se po fotografoni në errësirë, kamera ngarkon nga buferi 8-15 fotografitë e fundit në RAW, për t'i mbivendosur ato njëra mbi tjetrën. Kështu, algoritmi mbledh më shumë informacion për pjesët e errëta të imazhit për të minimalizuar zhurmat — pixelët, ku për disa arsye kamera nuk arriti të mbledhë të gjitha informacionet dhe dështoi.
Si do ishit se nuk e dinit si duket një kapibara dhe kërkonit pesë njerëz që ta përshkruajnë atë — historiasht e tyre do të ishin kryesisht të njëjta, por secili do të përmendte ndonjë detaj unik. Kështu do të mbledhni më shumë informacion sesa do të kërkonit nga një i vetëm. E njëjta gjë është me pixelat.
Kombinimi i kadrove të marra nga një pikë e vetme ofron të njëjtin efekt të rremë të ekspozimit të gjatë si me yjet përmbi. Ekspozimi i dhjetëra kadrove kumulohet, gabimet në një minimizohen në të tjerat. Imagjinoni sa herë do të duhej të shtypnit shllen për të arritur këtë rezultat.
Kishte mbetur vetëm për të zgjidhur problemin e korrigjimit automatik të ngjyrave — kadrot e marra në errësirë zakonisht dalin gjithmonë të verdha ose të gjelbra, dhe ne duket se dëshirojmë freskinë e ndriçimit të ditës. Në versionet e hershme të HDR+, kjo shpëtohej përmes rregullimit të thjeshtë të cilësimeve, si në filtrat e Instagramit. Më pas, iu bë thirrje rrjeteve nervore për ndihmë.
Kështu erdhi në jetë Night Sight — teknologjia e "fotografisë së natës" në Pixel 2 dhe 3. Në përshkrim thuhet: "Teknikat e mësimit të makinave të ndërtuara mbi HDR+, që e bëjnë Night Sight të funksionojë". Në thelb, kjo është automatizimi i fazës së korrigjimit të ngjyrave. Makina është trajnuar me një dataset të fotografive "para" dhe "pas", që të krijojë një foto të bukur nga një grup fotografish të errëta.
Dataset-i, për të vërtetë, është nxjerrë në dispozitë për publikun. Ndoshta, djemtë nga Apple do ta marrin atë dhe në fund do t'i mësojnë telefonët e tyre stikl këto të dijnë të fotografojnë në errësirë siç duhet.
Përveç kësaj, në Night Sight përdoret llogaritja e vektorit të lëvizjes së objekteve në kadër, për të normalizuar shikimet që patjetër do të ndodhin me ekspozitë të gjatë. Kështu, smartphone-i mund të marrë pjesë të qarta nga kadra të tjera dhe t'i ndajë ato.
Stacking mbi lëvizje — panoramë, super-zum dhe lufta me zhurmat.
Panoramat janë një argëtim popullor për banorët e zonave rurale. Ende nuk dihen raste kur fotografia e sossizave ka qenë interesante për dikë tjetër përveç autorit të saj, por nuk mund të mos përmendet — për shumë, nga kjo ka filluar përzgjedhja.
Një mënyrë e dobishme për të përdorur panoramat është të marrësh një fotografi me një rezolutë më të lartë seç lejon sensori i kamerës duke e bashkuar disa fotot. Fotografët e kanë përdorur prej kohësh një softuer të ndryshëm për ato që quhen fotografi me superrezolucion — kur disa fotografi pak të zhvendosura plotësojnë njëra-tjetrën midis pikselave. Kështu, mund të krijoni një imazh deri në qindra gigapikselë, gjë që është shumë e dobishme nëse ju nevojitet ta printoni atë në një poster reklamash me madhësi shtëpie.
Një qasje tjetër, më interesante, është Pixel Shifting. Disa aparate pa pasqyrë si Sony dhe Olympus filluan ta mbështesin atë që nga viti 2014, por megjithatë, duhej të bashkonit rezultatet manualisht. Inovacionet tipike të kamerave të mëdha.
Megjithatë, smartphone-t e kanë përparuar këtu për një arsye të çuditshme — kur bëni një foto, duar tuaja dridhen. Kjo duket si një problem, por është baza për realizimin e nativ superrezolucionit në smartphone.
Për të kuptuar se si funksionon, duhet të kujtojmë se si është ndërtuar matrici i çdo camere fotografike. Çdo piksel (fotodiod) është në gjendje të regjistrojë vetëm intensitetin e dritës — dmth. numrin e fotoneve që hyjnë brenda. Sidoqoftë, pikseli nuk mund ta masë ngjyrën e saj (valën e saj). Për të marrë një imazh RGB, duhej të krijohej një rrjet me gota shumëngjyrëshe mbi të gjithë matricën. Zbatimi më i popullarizuar i saj quhet filtri Bayer dhe sot përdoret në shumicën e matricave. Dukshëm si në figurën më poshtë.
Pra, çdo piksel i matricës kap vetëm komponentin R-, G- ose B-, ndërsa fotonet e tjera pasqyrohen pa mëshirë nga filtri Bayer. Komponentet e munguar identifikohen me një mesatare të thjeshtë të vlerave të pikseleve fqinjë.
Numri i kutive të gjelbra në filtrin Bayer është më i madh — kështu e bëri kështu sipas analogjisë me syrin e njeriut. Pra, nga 50 milion pikselë në matricë, ngjyra e gjelbër do të kapet nga 25 milion, ndërsa e kuqe dhe e blertë nga 12,5 milion secila. E gjithë e tjera do të mesatohen — ky proces quhet debayerizim ose demosaic, dhe është një zgjidhje shumë e trashë që mbështetet mbi të.
Në të vërtetë, çdo matricë ka algoritmin e saj të patentuar të demozikimit, por për qëllimet e kësaj historie, do ta injorojmë këtë.
Llojet e tjera të matriceve (si Foveon) ende nuk janë adaptuar fare. Megjithatë, disa prodhues po përpiqen të përdorin matrica pa filtrin Bayer për të përmirësuar qartësinë dhe gamën dinamike.
Kur ndriçimi është i ulët ose detajet e objektit janë shumë të vogla, humbasim shumë informacion, pasi filtrat Bayer ndalojnë fotonët me gjatësi vale të padëshiruar. Prandaj është krijuar Pixel Shifting — të zhvendosim matricën 1 piksel lart-poshtë-drejt majtë-drejt, për të kapur të gjitha. Fotografitë nuk bëhen katër herë më të mëdha, siç mund të duket, thjesht procesori përdor këto të dhëna për të regjistruar më saktë vlerën e secilit piksel. Mesatarizon, sa tue përdorur katër vlera të vetvetes, në vend që të merret me fqinjët.
Tërheqja e duarve gjatë fotografimit me telefon e bën këtë proces një pasojë natyrale. Në versionet e fundit të Google Pixel, ky veprim është realizuar dhe aktivizohet gjithmonë kur përdorni zomin në telefon, quhet Super Res Zoom (po, edhe mua më pëlqen emri i tyre pa mëshirë). Kinezët gjithashtu e kopjatuan atë në telefonat e tyre, megjithëse rezultati ishte pak më i dobët.
Përzierja e fotografive disi të zhvendosura lejon mbledhjen e më shumë informacionit për ngjyrën e çdo pikseli, duke e bërë kështu të mundur zvogëlimin e zhurmave, rritjen e ashpërsisë dhe ngritjen e saktësisë pa rritur numrin fizik të megapikselëve në sensor. Flagship-et moderne të Android e bëjnë këtë automatikisht, ndërsa përdoruesit e tyre nuk mendojnë as për këtë.
Stacking për fokus — çdo thellësi e fokusit dhe rifokusi në post-produkcion.
Metoda ka ardhur nga mikro-fotografia, ku thellësia e vogël e fokusit ka qenë gjithmonë një problem. Për të pasur të gjithë objektin në fokus, duhej të bëje disa кадры me lëvizje fokusi përpara dhe prapa, për t'i bashkuar ato më vonë në një të qartë. Të njëjtën metodë e kishin përdorur shpesh adhuruesit e fotografisë së peisazhit, duke e bërë planin e parë dhe atë të pasmë të qartë si diarre.
E gjithë kjo u transferua edhe në smartphone, megjithatë, pa ndonjë zhurmë të madhe. Në vitin 2013, del Nokia Lumia 1020 me "Refocus App", dhe në vitin 2014 dhe Samsung Galaxy S5 me modulin "Selective Focus". Ato funksiononin sipas të njëjtës skemë: me një klikim, ato bënin shpejt 3 fotografi — një me fokus "normal", një tjetër me fokus të zhvendosur përpara dhe të tretën me fokus të zhvendosur prapa. Programi rregullonte kadrin dhe lejonte zgjedhjen e një prej tyre, e cila paraqitej si "kontrolli" i vërtetë i fokusit në postproduksion.
Nuk kishte asnjë përpunim tjetër, sepse edhe ky hile i thjeshtë ishte mjaftueshëm për të vendosur një thikë tjetër në arkën e Lytro dhe analogëve të tij me fokus të sinqertë. Përveç kësaj, le të flasim për ta (maestro i kalimeve 80 lvl).
Matricat kompjuterike — fushat e dritës dhe plenoptika
Si si kuptuam më sipër, matrica tona janë një tmerr në këmbë. Ne jemi mësuar me to dhe përpiqemi të jetojmë me to. Në thelb, ato nuk kanë ndryshuar shumë që nga koha fillestare. Ne vetëm kemi përmirësuar procesin teknologjik — kemi reduktuar distancat ndërmjet pikselëve, kemi luftuar me zhurmat e ndihmës, kemi shtuar pikselë të veçantë për funksionimin e autofokusit fazor. Por, mjafton të marrësh edhe kamerën më të shtrenjtë reflex dhe të provosh të kapësh një mac këtë duke e filmuar nën dritë natyrale — macja, për ta thënë butë, do të fitojë.
Kemi kohë që përpiqemi të shpikim diçka më të mirë. Shumë përpjekje dhe kërkime në këtë fushë mund të gjenden duke kërkuar për "sensore kompjuterikë" ose "sensorë pa Bayer", dhe madje shembulli me Pixel Shifting më sipër mund të klasifikohet si një përpjekje për të përmirësuar matrica përmes kalkulimeve. Sidoqoftë, historitë më premtuese në dyzet vitet e fundit na vijnë saktësisht nga bota e ashtuquajtur e kamerave plenoptike.
Që të mos flini nga pritshmëria e fjalëve të komplikuara që po vijnë, do t'ju jap një tip, se kamera e fundit e Google Pixel është "pak" plënoptike. Vetëm për dy pikselë, por edhe kjo i lejon asaj të llogaritë thellësinë optike të ndershme të kadrit dhe pa një kamerë të dytë si të gjithë të tjerët.
Plënoptika është një armë e fuqishme, e cila akoma nuk ka shpërthyer. Do t'ju jap një lidhje për një nga artikujt e mi të preferuar të fundit , nga e cila kam marrë disa shembuj.
Kamera plënoptike — shpejt do të ketë nga një çdo kënd
E krijuar në vitin 1994, është ndërtuar në Stanford në vitin 2004. Kamera e parë për konsumatorët — Lytro, e lansuar në vitin 2012. Industria VR tani po eksperimenton aktivisht me teknologji të ngjashme.
Nga një kamerë normale, plënoptika dallon vetëm për një modifikim — sensori i saj është i mbuluar me një rrjetë lente, secila nga të cilat mbulon disa pikselë realë. Ja si;
nëse llogaritet saktësisht distanca nga rrjeta deri te sensori dhe madhësia e diafragmës, në imazhin përfundimtar do të dalin klasterë të qartë pikselësh — ndonjëherë mini-versione të imazhit origjinal.
Të duket se nëse marrim një piksel qendror nga çdo grup dhe e bashkojmë imazhin vetëm nëpërmjet tyre, ai nuk do të dallojë nga ai i bërë me një kamerë të zakonshme. Po, kemi humbur pak në rezolucion, por vetëm do t'i kërkojmë Sony të shtojë disa megapikselë në matricat e reja.
Argëtimi sapo ka filluar. Nëse marrim një piksel tjetër nga çdo grup dhe e bashkojmë përsëri imazhin, do të kemi një fotografi normale, vetëm se duket sikur është bërë me një zhvendosje nga një piksel. Në këtë mënyrë, duke pasur grupe prej 10×10 pikselësh, do të marrim 100 imazhe të objektit nga 'pak' kënde të ndryshme.
Sa më i madh të jetë grupi, aq më shumë imazhe do të kemi, por më pak rezolucion. Në botën e smartphone-ve me matrica 41-megapikselë, ndonëse mund të injorojmë pak rezolucionin, gjithçka ka një kufi. Duhet të ruajmë ekuilibrin.
Ok, kemi ndërtuar një kamerë plenoptike, dhe çfarë na jep kjo?
Rifokusim i ndershëm
Funksioni për të cilin të gjithë gazetarët kanë folur në artikujt për Lytro është mundësia për korrigjim të sinqertë të fokusi në postproduksion. Këtu "sinqertë" do të thotë që ne nuk përdorim algoritme të ndryshme për të zhbllokuar, por përdorim vetëm pikselët e disponueshëm, duke i zgjedhur ose duke i mesatarizuar ato nga grupe të organizuara në rendin e duhur.
Fotografia RAW nga kamera plenoptike duket e çuditshme. Për ta marrë një JPEG të mprehtë si zakonisht, së pari duhet ta mbledhim. Për këtë, duhet të zgjedhim çdo piksel të JPEG nga një prej grupeve të RAW. Në varësi të mënyrës se si i zgjedhim, do të ndryshojë rezultati.
Për shembull, sa më larg të jetë grupa nga vendi i rënies së rrezes origjinale, aq më shumë ky rreze duket i jashtëfokusuar. Kjo është për shkak të optikës. Për të marrë një imazh të zhvendosur në fokus, na nevojitet vetëm të zgjedhim pikselët në distancën e dëshiruar nga origjinali — ose më afër, ose më larg.
Me gjithsej më vështirë ishte të fokusohej në vete — fizikisht ishin më pak pikselë në klastere. Në fillim, zhvilluesit nuk donin t'i jepnin përdoruesit mundësinë të fokusoheshin me duar — kamera vendoste këtë programikisht. Përdoruesve nuk iu pëlqye një e ardhme e tillë, ndaj e shtuan këtë veçori në versionet e vona të softuerit me emrin "modaliteti kreativ", por e bënë rifokusin shumë të kufizuar pikërisht për këtë arsye.
Harta e thellësisë dhe 3D me një kamerë
Një nga operacionet më të thjeshta në pleonoptikë është marrja e hartës së thellësisë. Për këtë është vetëm e nevojshme të mblidhen dy кадra të ndryshme dhe të llogaritet sa janë të zhvendosur objektet në to. Më shumë zhvendosje — më larg nga kamera.
Së fundmi, Google bleu dhe mbyti Lytro, por përdori teknologjitë e tyre për VR-in e vet dhe… për kamerën në Pixel. Duke filluar nga Pixel 2, kamera për herë të parë u bë "pak" pleonoptike, megjithatë, me klasterë vetëm me dy pikselë. Kjo i dha mundësinë Google-it të mos vendoste një kamerë të dytë, siç bënë të gjithë të tjerët, por të llogariste hartën e thellësisë ekskluzivisht nga një fotografi.
Harta e thellësisë ndërtohet mbi dy kadra, të zhvendosura një subpiksel. Kjo është mjaft e mjaftueshme për të llogaritur hartën binar të thellësisë dhe për të ndarë planin e parë nga plani i dytë dhe për ta mjegulluar këtë të fundit në një boke të njohur tashmë. Rezultati i këtij ndarjeje gjithashtu përmirësohet dhe "përmirësohet" nga rrjetet nervore, të cilat janë trajnuar për të përmirësuar hartat e thellësisë (dhe jo për t'u mjegulluar, siç besojnë shumë).
Këtu është edhe avantazhi tjetër, që plënoptika në smartfonë na erdhi pothuajse falas. Ne tashmë po vendosnim lente në këto matrica të vogla, për të rritur ndriçimin. Në Pixel-in e ardhshëm, Google planifikon të shkojë më tutje dhe të mbulojë katër fotodiode me lente.
Burimi: 3dnews.ru
