Artikulli origjinal është postuar në faqen e internetit dhe botuar në 3DNews me lejen e autorit. Ne ofrojmë tekstin e plotë të artikullit, me përjashtim të një numri të madh lidhjesh - ato do të jenë të dobishme për ata që janë seriozisht të interesuar për temën dhe dëshirojnë të studiojnë më në thellësi aspektet teorike të fotografisë llogaritëse, por për një audienca e përgjithshme ne e konsideruam këtë material të tepërt.
Sot, asnjë prezantim i vetëm i smartfonit nuk është i plotë pa e lëpirë kamerën e tij. Çdo muaj dëgjojmë për suksesin e radhës të kamerave celulare: Google mëson Pixel të shkrep në errësirë, Huawei të zmadhojë si dylbi, Samsung fut lidar dhe Apple bën qoshet më të rrumbullakëta në botë. Ka pak vende ku inovacioni rrjedh kaq shpejt këto ditë.
Në të njëjtën kohë, pasqyrat duket se po shënojnë kohën. Sony i mbush çdo vit të gjithë me matrica të reja dhe prodhuesit përditësojnë me përtesë shifrën e versionit më të fundit dhe vazhdojnë të relaksohen dhe të pinë duhan mënjanë. Unë kam një DSLR 3000 dollarë në tavolinën time, por kur udhëtoj, marr iPhone-in tim. Pse?
Siç tha klasiku, unë hyra në internet me këtë pyetje. Aty diskutojnë disa “algoritme” dhe “rrjete nervore”, pa pasur asnjë ide se si ndikojnë saktësisht ato në fotografi. Gazetarët po lexojnë me zë të lartë numrin e megapikselëve, blogerët po shohin unboxing me pagesë në unison dhe estetët po njollosin veten me "perceptimin sensual të paletës së ngjyrave të matricës". Gjithçka është si zakonisht.
Më duhej të ulesha, të kaloja gjysmën e jetës sime dhe t'i kuptoja të gjitha vetë. Në këtë artikull do t'ju tregoj atë që mësova.
Çfarë është fotografia kompjuterike?
Kudo, duke përfshirë Wikipedia-n, ata japin diçka si ky përkufizim: fotografia llogaritëse është çdo teknikë e kapjes dhe përpunimit të imazhit që përdor llogaritjen dixhitale në vend të transformimeve optike. Gjithçka në lidhje me të është e mirë, përveç se nuk shpjegon asgjë. Edhe fokusimi automatik është i përshtatshëm për të, por plenoptika, e cila tashmë na ka sjellë shumë gjëra të dobishme, nuk përshtatet. Paqartësia e përkufizimeve zyrtare duket se lë të kuptohet se ne nuk e dimë se për çfarë po flasim.
Pionieri i fotografisë llogaritëse, profesori i Stanfordit Marc Levoy (i cili tani është përgjegjës për kamerën në Google Pixel) jep një përkufizim tjetër - një grup metodash vizualizimi kompjuterik që përmirësojnë ose zgjerojnë aftësitë e fotografisë dixhitale, duke përdorur të cilat merret një fotografi e rregullt që teknikisht nuk mund të merrej me këtë aparat fotografik.kamera në mënyrën tradicionale. Në artikull i përmbahem kësaj.
Pra, telefonat inteligjentë ishin fajtorë për gjithçka.
Telefonat inteligjentë nuk kishin zgjidhje tjetër veçse të lindnin një lloj të ri fotografie: fotografinë kompjuterike.
Matricat e tyre të vogla të zhurmshme dhe lentet e vogla me hapje të ngadaltë, sipas të gjitha ligjeve të fizikës, duhet të kishin sjellë vetëm dhimbje dhe vuajtje. Ata e bënë këtë derisa zhvilluesit e tyre kuptuan se si të përdorin me zgjuarsi pikat e tyre të forta për të kapërcyer dobësitë e tyre - grila të shpejta elektronike, procesorë të fuqishëm dhe softuer.
Shumica e kërkimeve të profilit të lartë në fushën e fotografisë kompjuterike ndodhën midis viteve 2005 dhe 2015, gjë që në shkencë konsiderohet fjalë për fjalë dje. Pikërisht tani, para syve tanë dhe në xhepat tanë, po zhvillohet një fushë e re e dijes dhe teknologjisë që nuk ka ekzistuar kurrë më parë.
Fotografia kompjuterike nuk ka të bëjë vetëm me selfie me neuro-bokeh. Fotografia e fundit e një vrime të zezë nuk do të ishte e mundur pa teknikat e fotografisë llogaritëse. Për të bërë një foto të tillë me një teleskop të rregullt, duhet ta bëjmë atë në madhësinë e Tokës. Megjithatë, duke kombinuar të dhënat nga tetë teleskopë radio në pika të ndryshme të topit tonë dhe duke shkruar disa skripta në Python, ne morëm fotografinë e parë në botë të horizontit të ngjarjeve. E mirë edhe për selfie.
Fillimi: përpunimi dixhital
Le të imagjinojmë se jemi kthyer në vitin 2007. Nëna jonë është anarkike, dhe fotot tona janë xhipa të zhurmshëm 0,6 megapiksel të realizuara në një skateboard. Rreth asaj kohe ne kemi dëshirën e parë të papërmbajtshme për të spërkatur paracaktuara mbi to në mënyrë që të fshehim mjerimin e matricave të lëvizshme. Të mos e mohojmë veten.
Matan dhe Instagram
Me daljen e Instagramit të gjithë u fiksuan pas filtrave. Si dikush që ka bërë inxhinieri të kundërt X-Pro II, Lo-Fi dhe Valencia për, natyrisht, qëllime kërkimore, unë ende mbaj mend se ato përbëheshin nga tre komponentë:
- Cilësimet e ngjyrave (Hue, Saturation, Lightness, Contrast, Levels, etj.) - koeficientë të thjeshtë dixhitalë, tamam si çdo paracaktim që fotografët kanë përdorur që nga kohërat e lashta.
- Hartimet e tonit janë vektorë vlerash, secili prej të cilëve na tha: "Ngjyra e kuqe me një nuancë 128 duhet të kthehet në një nuancë 240".
- Mbivendosja është një tablo e tejdukshme me pluhur, kokërr, vinjete dhe gjithçka tjetër që mund të vendoset sipër për të marrë efektin aspak banal të një filmi të vjetër. Nuk ka qenë gjithmonë i pranishëm.
Filtrat modernë nuk janë larg kësaj treshe, ato janë bërë pak më komplekse në matematikë. Me ardhjen e shaderëve të harduerit dhe OpenCL në telefonat inteligjentë, ato u rishkruan shpejt për GPU, dhe kjo u konsiderua jashtëzakonisht e lezetshme. Për vitin 2012, sigurisht. Sot, çdo student mund të bëjë të njëjtën gjë në CSS, dhe ai ende nuk do të ketë mundësinë të diplomohet.
Megjithatë, ecuria e filtrave nuk ka të ndalur edhe sot. Djemtë nga Dehanser, për shembull, janë të shkëlqyeshëm në përdorimin e filtrave jolinearë - në vend të hartës së tonit proletar, ata përdorin transformime jolineare më komplekse, të cilat, sipas tyre, hapin shumë më tepër mundësi.
Mund të bësh shumë gjëra me transformime jolineare, por ato janë tepër komplekse dhe ne njerëzit jemi tepër budallenj. Sapo bëhet fjalë për transformimet jolineare në shkencë, ne preferojmë të shkojmë te metodat numerike dhe të grumbullojmë rrjete nervore kudo, në mënyrë që ata të shkruajnë kryevepra për ne. Kështu ishte edhe këtu.
Automatizimi dhe ëndrrat e një butoni "kryevepër".
Pasi të gjithë u mësuan me filtrat, ne filluam t'i ndërtonim ato drejtpërdrejt në kamera. Historia fsheh se cili prodhues ishte i pari, por vetëm për të kuptuar se sa kohë më parë ishte - në iOS 5.0, i cili u lëshua në vitin 2011, kishte tashmë një API publike për imazhet që përmirësojnë automatikisht. Vetëm Jobs e di se sa kohë ishte në përdorim përpara se të hapej për publikun.
Automatizimi bëri të njëjtën gjë që bën secili prej nesh kur hap një foto në redaktues - ai nxori boshllëqet në dritë dhe hije, shtoi ngopjen, hoqi sytë e kuq dhe fiksoi çehre. Përdoruesit as nuk e kuptuan se "kamera e përmirësuar në mënyrë dramatike" në smartfonin e ri ishte vetëm meritë e disa shaderëve të rinj. Kishin mbetur edhe pesë vjet përpara daljes së Google Pixel dhe fillimit të zhurmës së fotografisë kompjuterike.
Sot, beteja për butonin "kryevepër" është zhvendosur në fushën e mësimit të makinerive. Pasi luajtën mjaftueshëm me hartën e tonit, të gjithë nxituan të trajnojnë CNN dhe GAN për të lëvizur rrëshqitësit në vend të përdoruesit. Me fjalë të tjera, nga imazhi i hyrjes, përcaktoni një grup parametrash optimale që do ta afronin këtë imazh me një kuptim të caktuar subjektiv të "fotografisë së mirë". Zbatuar në të njëjtin Pixelmator Pro dhe redaktorë të tjerë. Ajo funksionon, siç mund ta merrni me mend, jo shumë mirë dhe jo gjithmonë.
Stacking është 90% e suksesit të kamerave celulare
Fotografia e vërtetë llogaritëse filloi me grumbullimin - duke vendosur fotografi të shumta njëra mbi tjetrën. Nuk është problem që një smartphone të klikojë një duzinë kornizash në gjysmë sekonde. Kamerat e tyre nuk kanë pjesë mekanike të ngadalta: hapja është e fiksuar dhe në vend të një perde lëvizëse ka një grilë elektronike. Procesori thjesht urdhëron matricën se sa mikrosekonda duhet të kapë fotone të egra dhe lexon rezultatin.
Teknikisht, telefoni mund të marrë fotografi me shpejtësi video dhe video me rezolucion fotografie, por gjithçka varet nga shpejtësia e autobusit dhe procesorit. Kjo është arsyeja pse ata gjithmonë vendosin kufijtë e programit.
Vetë Staking ka qenë me ne për një kohë të gjatë. Edhe gjyshërit instaluan shtojca në Photoshop 7.0 për të mbledhur disa fotografi në HDR tërheqëse ose për të bashkuar një panoramë prej 18000 × 600 pikselë dhe... në fakt, askush nuk e kuptoi se çfarë të bënte më pas me to. Ishte për të ardhur keq që kohët ishin të pasura dhe të egra.
Tani jemi bërë të rritur dhe e quajmë "foto epsilon" - kur, duke ndryshuar një nga parametrat e kamerës (ekspozimi, fokusi, pozicioni) dhe duke bashkuar kornizat që rezultojnë, marrim diçka që nuk mund të kapej në një kornizë. Por ky është një term për teoricienët; në praktikë, një emër tjetër ka zënë rrënjë - staking. Sot, në fakt, 90% e të gjitha inovacioneve në kamerat celulare bazohen në të.
Diçka për të cilën shumë njerëz nuk mendojnë, por është e rëndësishme për të kuptuar të gjithë fotografinë celulare dhe kompjuterike: kamera në një smartphone modern fillon të marrë fotografi sapo të hapni aplikacionin e saj. E cila është logjike, sepse ajo duhet të transferojë disi imazhin në ekran. Megjithatë, përveç ekranit, ai ruan kornizat me rezolucion të lartë në buferin e vet të lakut, ku i ruan ato për disa sekonda të tjera.
Kur shtypni butonin "bëni foto", ajo në fakt është bërë tashmë, kamera thjesht merr foton e fundit nga tamponi.
Kështu funksionon çdo aparat celular sot. Të paktën në të gjitha anijet jo nga grumbujt e plehrave. Buffering ju lejon të kuptoni jo vetëm vonesën zero të diafragmës, të cilën fotografët e kanë ëndërruar prej kohësh, por edhe negative - kur shtypni një buton, smartphone shikon në të kaluarën, shkarkon 5-10 fotot e fundit nga tamponi dhe fillon të analizojë furishëm dhe ngjitini ato. Nuk ka më pritje që telefoni të klikojë kornizat për modalitetin HDR ose natën - thjesht merrini ato nga buferi, përdoruesi as nuk do ta dijë.
Nga rruga, është me ndihmën e vonesës negative të shkrehësit që Live Photo zbatohet në iPhone, dhe HTC kishte diçka të ngjashme në vitin 2013 me emrin e çuditshëm Zoe.
Grumbullimi i ekspozimit - HDR dhe luftimi i ndryshimeve të ndriçimit
Nëse sensorët e kamerës janë në gjendje të kapin të gjithë gamën e ndriçimit të arritshëm për sytë tanë, është një temë e vjetër e nxehtë debati. Disa thonë jo, sepse syri është i aftë të shohë deri në 25 f-ndalime, ndërsa edhe nga një matricë e lartë me kornizë të plotë mund të marrësh maksimum 14. Të tjerë e quajnë krahasimin të pasaktë, sepse truri ndihmon syrin duke u përshtatur automatikisht bebëza dhe plotësimi i imazhit me rrjetet e saj nervore, dhe çasti Gama dinamike e syrit nuk është në fakt më shumë se vetëm 10-14 f-ndalesa. Le t'ia lëmë këtë debat mendimtarëve më të mirë të kolltukëve në internet.
Fakti mbetet: kur shkrepni miqtë kundër një qielli të ndritshëm pa HDR në çdo aparat celular, ju merrni ose një qiell normal dhe fytyra të zeza të miqve, ose miq të vizatuar mirë, por një qiell të djegur për vdekje.
Zgjidhja është shpikur prej kohësh - për të zgjeruar gamën e ndriçimit duke përdorur HDR (gamë e lartë dinamike). Ju duhet të merrni disa korniza me shpejtësi të ndryshme shkrehëse dhe t'i bashkoni ato së bashku. Kështu që njëra është "normale", e dyta është më e lehtë, e treta është më e errët. Ne marrim vende të errëta nga një kornizë e lehtë, mbushim ekspozime të tepërta nga një e errët - fitim. E tëra që mbetet është të zgjidhet problemi i kllapave automatike - sa të zhvendoset ekspozimi i secilës kornizë në mënyrë që të mos e teprojë, por tani një student i vitit të dytë në një universitet teknik mund të përballojë përcaktimin e shkëlqimit mesatar të një fotografie.
Në iPhone, Pixel dhe Galaxy më të fundit, modaliteti HDR përgjithësisht aktivizohet automatikisht kur një algoritëm i thjeshtë brenda kamerës përcakton se po shkrepni diçka me kontrast në një ditë me diell. Ju madje mund të vini re se si telefoni kalon modalitetin e regjistrimit në tampon për të ruajtur kornizat e zhvendosura në ekspozim - fps në kamerë bie dhe vetë fotografia bëhet më e lëngshme. Momenti i ndërrimit është qartë i dukshëm në iPhone X tim kur filmoj jashtë. Hidhini një sy më nga afër smartfonit tuaj edhe herën tjetër.
Disavantazhi i HDR me kllapa ekspozimi është pafuqia e tij e padepërtueshme në ndriçimin e dobët. Edhe me dritën e një llambë dhome, kornizat dalin aq të errët sa kompjuteri nuk mund t'i rreshtojë dhe t'i bashkojë ato. Për të zgjidhur problemin me dritën, në vitin 2013 Google tregoi një qasje të ndryshme ndaj HDR në telefonin inteligjent Nexus të lëshuar në atë kohë. Ai përdori grumbullimin e kohës.
Stacking Time - simulim i ekspozimit të gjatë dhe kalim kohe
Stacking Time ju lejon të krijoni një ekspozim të gjatë duke përdorur një seri të shkurtër. Pionierët ishin adhurues të fotografimit të shtigjeve të yjeve në qiellin e natës, të cilët e panë të papërshtatshme të hapnin qepenin për dy orë menjëherë. Ishte kaq e vështirë për të llogaritur të gjitha cilësimet paraprakisht, dhe lëkundja më e vogël do të prishte të gjithë kornizën. Ata vendosën të hapnin qepen vetëm për disa minuta, por shumë herë, dhe më pas shkuan në shtëpi dhe ngjitën kornizat që rezultuan në Photoshop.
Rezulton se kamera nuk ka shkrepur kurrë me një shpejtësi të gjatë diafragmë, por kemi marrë efektin e simulimit të saj duke shtuar disa korniza të marra me radhë. Ka pasur një sërë aplikacionesh të shkruara për telefonat inteligjentë që përdorin këtë truk për një kohë të gjatë, por të gjitha nuk janë të nevojshme pasi funksioni u shtua pothuajse në të gjitha kamerat standarde. Sot, edhe një iPhone mund të bashkojë lehtësisht një ekspozim të gjatë nga një foto e drejtpërdrejtë.
Le të kthehemi te Google me HDR të natës. Doli që duke përdorur kllapa kohore mund të zbatoni HDR të mirë në errësirë. Teknologjia u shfaq për herë të parë në Nexus 5 dhe u quajt HDR+. Pjesa tjetër e telefonave Android e morën si dhuratë. Teknologjia është ende aq e popullarizuar sa që vlerësohet edhe në prezantimin e Pixels më të fundit.
HDR+ funksionon mjaft thjesht: pasi ka përcaktuar se po shkrepni në errësirë, kamera shkarkon 8-15 fotot e fundit RAW nga buferi në mënyrë që t'i mbivendosni njëra mbi tjetrën. Kështu, algoritmi mbledh më shumë informacion në lidhje me zonat e errëta të kornizës për të minimizuar zhurmën - pikselët ku, për ndonjë arsye, kamera nuk ishte në gjendje të mblidhte të gjithë informacionin dhe shkoi keq.
Është sikur nëse nuk do ta dinit se si dukej një capybara dhe do t'u kërkoni pesë njerëzve ta përshkruanin atë, historitë e tyre do të ishin afërsisht të njëjta, por secili do të përmendte disa detaje unike. Në këtë mënyrë ju do të mblidhni më shumë informacion sesa thjesht të kërkoni një. Është e njëjta gjë me pikselët.
Shtimi i kornizave të marra nga një pikë jep të njëjtin efekt të rremë të ekspozimit të gjatë si me yjet e mësipërm. Ekspozimi i dhjetëra kornizave është përmbledhur, gabimet në një janë minimizuar në të tjerët. Imagjinoni sa herë do t'ju duhet të klikoni shkrehën DSLR çdo herë për ta arritur këtë.
E tëra që mbetej ishte të zgjidhej problemi i korrigjimit automatik të ngjyrave - kornizat e marra në errësirë zakonisht dalin të verdha ose jeshile, dhe ne duam disi pasurinë e dritës së ditës. Në versionet e hershme të HDR+, kjo zgjidhej thjesht duke rregulluar cilësimet, si në filtrat a la Instagram. Pastaj ata thirrën rrjetet nervore për të ndihmuar.
Kështu u shfaq Night Sight - teknologjia e "fotografisë së natës" në Pixel 2 dhe 3. Në përshkrim ata thonë: "Teknikat e mësimit të makinës të ndërtuara në krye të HDR+, që e bëjnë Night Sight të funksionojë." Në thelb, ky është automatizimi i fazës së korrigjimit të ngjyrave. Makina u trajnua mbi një grup të dhënash me foto "para" dhe "pas" në mënyrë që të bënte një të bukur nga çdo grup fotografish të errëta të shtrembëruara.
Meqë ra fjala, grupi i të dhënave u bë i disponueshëm publikisht. Ndoshta djemtë nga Apple do ta marrin atë dhe më në fund do t'i mësojnë lopatat e tyre të qelqit të bëjnë fotografi siç duhet në errësirë.
Për më tepër, Night Sight përdor llogaritjen e vektorit të lëvizjes së objekteve në kornizë për të normalizuar turbullimin që me siguri do të ndodhë me një shpejtësi të gjatë të diafragmës. Pra, telefoni inteligjent mund të marrë pjesë të qarta nga kornizat e tjera dhe t'i ngjitë ato.
Stacking lëvizje - panorama, superzoom dhe reduktim zhurme
Panorama është një argëtim popullor për banorët e zonave rurale. Historia nuk njeh ende ndonjë rast në të cilin një foto sallam do të ishte me interes për këdo tjetër përveç autorit të saj, por nuk mund të injorohet - për shumë, këtu filloi grumbullimi në radhë të parë.
Mënyra e parë e dobishme për të përdorur një panoramë është të merrni një fotografi me rezolucion më të lartë se sa lejon matrica e kamerës duke bashkuar disa korniza. Fotografët kanë përdorur prej kohësh softuer të ndryshëm për të ashtuquajturat fotografi me rezolucion super - kur fotografitë pak të zhvendosura duket se plotësojnë njëra-tjetrën midis pikselëve. Në këtë mënyrë ju mund të merrni një imazh prej të paktën qindra gigapikselësh, gjë që është shumë e dobishme nëse duhet ta printoni në një poster reklamimi me madhësinë e një shtëpie.
Një tjetër qasje, më interesante është Pixel Shifting. Disa kamera pa pasqyrë si Sony dhe Olympus filluan ta mbështesin atë në vitin 2014, por ata ende duhej ta ngjisnin rezultatin me dorë. Inovacione tipike të kamerave të mëdha.
Telefonat inteligjentë kanë pasur sukses këtu për një arsye qesharake - kur bëni një foto, duart tuaja dridhen. Ky problem në dukje formoi bazën për zbatimin e super rezolucionit vendas në telefonat inteligjentë.
Për të kuptuar se si funksionon kjo, duhet të mbani mend se si është strukturuar matrica e çdo kamere. Secili prej pikselëve të tij (fotodiodë) është i aftë të regjistrojë vetëm intensitetin e dritës - domethënë numrin e fotoneve në hyrje. Megjithatë, një piksel nuk mund të masë ngjyrën e tij (gjatësinë e valës). Për të marrë një fotografi RGB, na u desh të shtonim edhe këtu paterica - të mbulojmë të gjithë matricën me një rrjet prej copash xhami me shumë ngjyra. Zbatimi i tij më popullor quhet filtri Bayer dhe përdoret në shumicën e matricave sot. Duket si foto më poshtë.
Rezulton se çdo piksel i matricës kap vetëm komponentin R-, G- ose B, sepse fotonet e mbetura reflektohen pa mëshirë nga filtri Bayer. Ai njeh komponentët që mungojnë duke mesatarizuar troç vlerat e pikselëve fqinjë.
Ka më shumë qeliza jeshile në filtrin Bayer - kjo është bërë në analogji me syrin e njeriut. Rezulton se nga 50 milionë pikselë në matricë, jeshilja do të kapë 25 milionë, e kuqja dhe bluja - 12,5 milionë secila. Pjesa tjetër do të jetë mesatare - ky proces quhet debayerization ose demozaicing, dhe kjo është një patericë qesharake kaq e majme. që çdo gjë pushon.
Në fakt, secila matricë ka algoritmin e saj dinak të demozaikimit të patentuar, por për qëllimet e kësaj historie ne do ta neglizhojmë këtë.
Llojet e tjera të matricave (të tilla si Foveon) disi nuk janë kapur ende. Edhe pse disa prodhues po përpiqen të përdorin sensorë pa një filtër Bayer për të përmirësuar mprehtësinë dhe diapazonin dinamik.
Kur ka pak dritë ose detajet e një objekti janë shumë të vogla, ne humbasim shumë informacion sepse filtri Bayer pret haptazi fotonet me një gjatësi vale të padëshiruar. Kjo është arsyeja pse ata dolën me Pixel Shifting - duke e zhvendosur matricën me 1 piksel lart-poshtë-djathtas-majtas për t'i kapur të gjitha. Në këtë rast, fotografia nuk rezulton të jetë 4 herë më e madhe, siç mund të duket, procesori thjesht përdor këto të dhëna për të regjistruar më saktë vlerën e secilit piksel. Mesatarisht nuk është mbi fqinjët, si të thuash, por mbi katër vlera të vetvetes.
Dridhja e duarve tona kur fotografojmë në telefon e bën këtë proces një pasojë të natyrshme. Në versionet më të fundit të Google Pixel, kjo gjë zbatohet dhe ndizet sa herë që përdorni zmadhimin në telefon - quhet Super Res Zoom (po, më pëlqen edhe emërtimi i tyre i pamëshirshëm). Kinezët gjithashtu e kopjuan atë në laofonët e tyre, megjithëse doli pak më keq.
Mbivendosja e fotografive pak të zhvendosura mbi njëra-tjetrën ju lejon të grumbulloni më shumë informacion për ngjyrën e çdo piksel, që do të thotë reduktim i zhurmës, rritje të mprehtësisë dhe rritje të rezolucionit pa rritur numrin fizik të megapikselëve të matricës. Flamurtarët modernë të Android-it e bëjnë këtë automatikisht, pa menduar as përdoruesit e tyre.
Fokusimi i grumbullimit - çdo thellësi e fushës dhe rifokusimi në post-produksion
Metoda vjen nga fotografia makro, ku thellësia e cekët e fushës ka qenë gjithmonë një problem. Në mënyrë që i gjithë objekti të ishte në fokus, ju duhej të merrnit disa korniza me fokusin që zhvendosej përpara dhe mbrapa, dhe më pas t'i bashkoni ato së bashku në një të mprehtë. E njëjta metodë përdorej shpesh nga fotografët e peizazhit, duke e bërë planin e parë dhe sfondin aq të mprehtë sa diarreja.
E gjithë kjo ka kaluar edhe tek telefonat inteligjentë, edhe pse pa shumë bujë. Në vitin 2013 doli Nokia Lumia 1020 me “Refocus App” dhe në vitin 2014 Samsung Galaxy S5 me modalitetin “Selektiv Focus”. Ata punuan sipas të njëjtës skemë: duke shtypur një buton, ata bënë shpejt 3 fotografi - njëra me fokus "normal", e dyta me fokus të zhvendosur përpara dhe e treta me fokus të zhvendosur prapa. Programi rreshtoi kornizat dhe ju lejoi të zgjidhni një prej tyre, i cili u shpall si kontroll "i vërtetë" i fokusit në post-produksion.
Nuk pati asnjë përpunim të mëtejshëm, sepse edhe ky hak i thjeshtë mjaftoi për të futur një gozhdë tjetër në kapakun e Lytro-s dhe kolegëve të tij me rifokusimin e tyre të sinqertë. Nga rruga, le të flasim për to (mjeshtri i tranzicionit 80 lvl).
Matricat llogaritëse - fushat e dritës dhe plenoptika
Siç kuptuam më lart, matricat tona janë tmerr në paterica. Sapo jemi mësuar me të dhe po përpiqemi të jetojmë me të. Struktura e tyre ka ndryshuar pak që nga fillimi i kohës. Përmirësuam vetëm procesin teknik - reduktuam distancën midis pikselëve, luftuam kundër zhurmës së ndërhyrjes dhe shtuam piksel të veçantë për fokusimin automatik të zbulimit të fazës. Por nëse merrni edhe DSLR-në më të shtrenjtë dhe përpiqeni të fotografoni një mace që vrapon me të në ndriçimin e dhomës - macja, për ta thënë butë, do të fitojë.
Ne jemi përpjekur të shpikim diçka më të mirë për një kohë të gjatë. Shumë përpjekje dhe kërkime në këtë fushë janë kërkuar në google për "sensorë llogaritës" ose "sensorë jo-bayer", madje edhe shembulli i zhvendosjes së pikselit më lart mund t'i atribuohet përpjekjeve për të përmirësuar matricat duke përdorur llogaritjet. Megjithatë, historitë më premtuese në njëzet vitet e fundit na kanë ardhur pikërisht nga bota e të ashtuquajturave kamera plenoptike.
Në mënyrë që të mos bini në gjumë nga pritjet e fjalëve komplekse të afërta, do të tregoj një informacion të brendshëm që kamera e Google Pixel-it më të fundit është thjesht "pak" plot optikë. Vetëm dy pikselë, por edhe kjo e lejon atë të llogarisë thellësinë e saktë optike të kornizës edhe pa një kamerë të dytë, si gjithë të tjerët.
Plenoptics është një armë e fuqishme që nuk ka shkrepur ende. Këtu është një lidhje me një nga ato të fundit të mia të preferuara. , nga ku huazova shembujt.
Kamera Plenoptic - së shpejti
Shpikur në 1994, mbledhur në Stanford në 2004. Kamera e parë e konsumatorit, Lytro, u lëshua në vitin 2012. Industria VR tani po eksperimenton në mënyrë aktive me teknologji të ngjashme.
Një aparat fotografik plenoptik ndryshon nga një aparat fotografik konvencional në vetëm një modifikim - matrica e saj është e mbuluar me një rrjet lentesh, secila prej të cilave mbulon disa pikselë realë. Diçka si kjo:
Nëse llogaritni saktë distancën nga rrjeti në matricë dhe madhësinë e hapjes, imazhi përfundimtar do të ketë grupime të qarta pikselësh - një lloj mini-versionesh të imazhit origjinal.
Rezulton se nëse merrni, të themi, një piksel qendror nga çdo grup dhe ngjitni imazhin së bashku vetëm duke përdorur ato, nuk do të jetë ndryshe nga ai i marrë me një aparat fotografik të rregullt. Po, ne kemi humbur pak në rezolucionin, por thjesht do t'i kërkojmë Sony të shtojë më shumë megapikselë në matricat e reja.
Argëtimi sapo ka filluar. nëse merrni një piksel tjetër nga çdo grup dhe bashkoni përsëri figurën, do të merrni përsëri një fotografi normale, vetëm sikur të ishte marrë me një zhvendosje prej një piksel. Kështu, duke pasur grupime prej 10 × 10 pikselësh, do të marrim 100 imazhe të objektit nga pika "pak" të ndryshme.
Madhësia më e madhe e grupit do të thotë më shumë imazhe, por rezolucion më i ulët. Në botën e telefonave inteligjentë me matrica 41 megapikselë, megjithëse mund ta neglizhojmë pak rezolucionin, gjithçka ka një kufi. Duhet të ruani ekuilibrin.
Mirë, ne kemi mbledhur një aparat fotografik plenoptik, kështu që çfarë na jep kjo?
Rifokusimi i sinqertë
Karakteristika për të cilën të gjithë gazetarët po gumëzhinin në artikujt rreth Lytro ishte aftësia për të rregulluar sinqerisht fokusin në post-produksion. Me të drejtë nënkuptojmë që ne nuk përdorim asnjë algoritëm zhbllokues, por përdorim ekskluzivisht pikselët në dorë, duke i përzgjedhur ose mesatarizuar ato nga grupimet në rendin e kërkuar.
Fotografia RAW nga një aparat fotografik plenoptik duket e çuditshme. Për të nxjerrë xhipin e zakonshëm të mprehtë prej tij, së pari duhet ta montoni atë. Për ta bërë këtë, ju duhet të zgjidhni çdo piksel të xhipit nga një prej grupeve RAW. Varësisht se si i zgjedhim, rezultati do të ndryshojë.
Për shembull, sa më larg grupi të jetë nga pika e incidencës së rrezes origjinale, aq më jashtë fokusit është kjo rreze. Sepse optika. Për të marrë një imazh të zhvendosur nga fokusi, thjesht duhet të zgjedhim pikselët në distancën e dëshiruar nga ajo origjinale - ose më afër ose më larg.
Ishte më e vështirë për të zhvendosur fokusin drejt vetes - thjesht fizikisht, kishte më pak pikselë të tillë në grupe. Në fillim, zhvilluesit as nuk donin t'i jepnin përdoruesit mundësinë për t'u fokusuar me duart e tyre - vetë kamera e vendosi këtë në softuer. Përdoruesve nuk u pëlqeu kjo e ardhme, kështu që ata shtuan një veçori në firmware-in e mëvonshëm të quajtur "modaliteti krijues", por e bënë rifokusimin në të shumë të kufizuar pikërisht për këtë arsye.
Harta e thellësisë dhe 3D nga një aparat fotografik
Një nga operacionet më të thjeshta në plenoptikë është marrja e një harte thellësie. Për ta bërë këtë, ju vetëm duhet të grumbulloni dy korniza të ndryshme dhe të llogarisni se sa janë zhvendosur objektet në to. Më shumë zhvendosje do të thotë më larg nga kamera.
Google së fundmi bleu dhe vrau Lytro, por përdori teknologjinë e tyre për VR dhe... për kamerën Pixel. Duke filluar me Pixel 2, kamera u bë "pak" plenoptike për herë të parë, megjithëse me grupe prej vetëm dy pikselësh. Kjo i dha mundësinë Google të mos instalonte një kamerë të dytë, si të gjithë djemtë e tjerë, por të llogariste hartën e thellësisë vetëm nga një foto.
Harta e thellësisë është ndërtuar duke përdorur dy korniza të zhvendosura me një nënpiksel. Kjo është mjaft e mjaftueshme për të llogaritur një hartë të thellësisë binare dhe për të ndarë planin e parë nga sfondi dhe për të turbulluar këtë të fundit në bokeh-në tashmë në modë. Rezultati i një shtresimi të tillë zbutet dhe "përmirësohet" gjithashtu nga rrjetet nervore që janë trajnuar për të përmirësuar hartat e thellësisë (dhe jo të turbullojnë, siç mendojnë shumë njerëz).
Truku është se ne kemi marrë plenoptikë në telefonat inteligjentë pothuajse pa pagesë. Ne kemi vendosur tashmë lente në këto matrica të vogla në mënyrë që të rrisim disi fluksin e dritës. Në Pixel-in e ardhshëm, Google planifikon të shkojë më tej dhe të mbulojë katër fotodioda me një lente.
Burimi: 3dnews.ru