Ang orihinal na artikulo ay nai-post sa website at nai-publish sa 3DNews na may pahintulot ng may-akda. Ibinibigay namin ang buong teksto ng artikulo, maliban sa isang malaking bilang ng mga link - sila ay magiging kapaki-pakinabang sa mga seryosong interesado sa paksa at nais na pag-aralan ang teoretikal na aspeto ng computational photography nang mas malalim, ngunit para sa isang pangkalahatang madla, itinuring naming kalabisan ang materyal na ito.
Ngayon, wala ni isang presentasyon ng smartphone ang kumpleto nang hindi dinilaan ang camera nito. Bawat buwan ay naririnig namin ang tungkol sa susunod na tagumpay ng mga mobile camera: Tinuturuan ng Google ang Pixel na mag-shoot sa dilim, ang Huawei na mag-zoom tulad ng mga binocular, ang Samsung ay nagpapakilala ng lidar, at ang Apple ay gumagawa ng pinakamabilog na sulok sa mundo. Mayroong ilang mga lugar kung saan ang pagbabago ay dumadaloy nang napakabilis sa mga araw na ito.
Kasabay nito, ang mga salamin ay tila nagmamarka ng oras. Taon-taon, pinapaulanan ng Sony ang lahat ng mga bagong matrice, at tamad na ina-update ng mga manufacturer ang pinakabagong digit na bersyon at patuloy na nagre-relax at naninigarilyo sa gilid. Mayroon akong $3000 na DSLR sa aking mesa, ngunit kapag naglalakbay ako, kinukuha ko ang aking iPhone. Bakit?
Tulad ng sinabi ng klasiko, nag-online ako sa tanong na ito. Doon ay tinatalakay nila ang ilang "algorithms" at "neural network", nang walang anumang ideya kung paano eksaktong nakakaapekto ang mga ito sa photography. Malakas na binabasa ng mga mamamahayag ang bilang ng mga megapixel, ang mga blogger ay sabay-sabay na naglalagari ng mga bayad na unboxing, at ang mga aesthete ay nagpapahid sa kanilang sarili ng "senswal na pang-unawa sa paleta ng kulay ng matrix." As usual ang lahat.
Kailangan kong umupo, gugulin ang kalahati ng aking buhay at alamin ang lahat ng ito sa aking sarili. Sa artikulong ito sasabihin ko sa iyo kung ano ang natutunan ko.
Ano ang computational photography?
Kahit saan, kabilang ang Wikipedia, nagbibigay sila ng ganitong kahulugan: ang computational photography ay anumang pamamaraan ng pagkuha at pagproseso ng imahe na gumagamit ng digital computing sa halip na mga optical transformation. Ang lahat ng tungkol dito ay mabuti, maliban na hindi ito nagpapaliwanag ng anuman. Kahit na ang autofocus ay angkop para dito, ngunit ang mga plenoptics, na nagdala na sa amin ng maraming kapaki-pakinabang na bagay, ay hindi magkasya. Ang labo ng mga opisyal na kahulugan ay tila nagpapahiwatig na wala tayong ideya kung ano ang ating pinag-uusapan.
Ang pioneer ng computational photography, ang propesor ng Stanford na si Marc Levoy (na ngayon ay responsable para sa camera sa Google Pixel) ay nagbibigay ng isa pang kahulugan - isang hanay ng mga pamamaraan ng visualization ng computer na nagpapabuti o nagpapalawak ng mga kakayahan ng digital photography, gamit kung saan ang isang regular na litrato ay nakuha na hindi teknikal na makuha gamit ang camera na ito. camera sa tradisyonal na paraan. Sa artikulong sinusunod ko ito.
Kaya, ang mga smartphone ang dapat sisihin sa lahat.
Ang mga smartphone ay walang pagpipilian kundi ang manganak ng isang bagong uri ng litrato: computational photography.
Ang kanilang maliliit na maingay na matrice at maliliit na slow-aperture lens, ayon sa lahat ng batas ng physics, ay dapat na nagdala lamang ng sakit at pagdurusa. Ginawa nila ito hanggang sa naisip ng kanilang mga developer kung paano matalinong gamitin ang kanilang mga lakas upang madaig ang kanilang mga kahinaan - mabilis na electronic shutter, malalakas na processor at software.
Karamihan sa mga high-profile na pananaliksik sa larangan ng computational photography ay naganap sa pagitan ng 2005 at 2015, na sa agham ay literal na itinuturing na kahapon. Sa ngayon, sa harap ng ating mga mata at sa ating mga bulsa, isang bagong larangan ng kaalaman at teknolohiya ang umuunlad na hindi pa umiiral noon.
Ang computational photography ay hindi lamang tungkol sa mga selfie na may neuro-bokeh. Ang kamakailang larawan ng isang black hole ay hindi magiging posible nang walang computational photography techniques. Upang kumuha ng ganoong larawan gamit ang isang regular na teleskopyo, kailangan nating gawin itong kasing laki ng Earth. Gayunpaman, sa pamamagitan ng pagsasama-sama ng data mula sa walong teleskopyo sa radyo sa iba't ibang mga punto sa aming bola at pagsulat ng ilang mga script sa Python, nakuha namin ang unang larawan sa mundo ng horizon ng kaganapan. Magaling din mag selfie.
Simula: digital processing
Isipin natin na bumalik tayo noong 2007. Ang aming ina ay anarkiya, at ang aming mga larawan ay maingay na 0,6-megapixel na mga jeep na kinunan sa isang skateboard. Sa paligid pagkatapos ay mayroon kaming unang hindi mapaglabanan pagnanais na magwiwisik ng mga preset sa kanila upang itago ang kahabag-habag ng mga mobile matrice. Huwag nating ipagkaila ang ating sarili.
Matan at Instagram
Sa paglabas ng Instagram, lahat ay nahumaling sa mga filter. Bilang isang taong nag-reverse-engineer ng X-Pro II, Lo-Fi at Valencia para sa, siyempre, mga layunin ng pananaliksik, naaalala ko pa rin na binubuo sila ng tatlong bahagi:
- Mga setting ng kulay (Hue, Saturation, Lightness, Contrast, Levels, atbp.) - simpleng mga digital coefficient, eksaktong katulad ng anumang mga preset na ginamit ng mga photographer mula noong sinaunang panahon.
- Ang Tone Mappings ay mga vectors ng mga value, na ang bawat isa ay nagsabi sa amin: "Ang pulang kulay na may tint na 128 ay dapat gawing tint na 240."
- Ang overlay ay isang translucent na larawan na may alikabok, butil, vignette, at lahat ng iba pa na maaaring ilagay sa itaas upang makuha ang hindi sa lahat ng karaniwang epekto ng isang lumang pelikula. Hindi palaging naroroon.
Ang mga modernong filter ay hindi malayo sa trio na ito, naging mas kumplikado lamang sila sa matematika. Sa pagdating ng mga shader ng hardware at OpenCL sa mga smartphone, mabilis silang na-rewritten para sa GPU, at ito ay itinuturing na napaka-cool. Para sa 2012, siyempre. Ngayon, ang sinumang mag-aaral ay maaaring gawin ang parehong sa CSS, at hindi pa rin siya makakakuha ng pagkakataong makapagtapos.
Gayunpaman, ang pag-usad ng mga filter ay hindi huminto ngayon. Ang mga lalaki mula sa Dehanser, halimbawa, ay mahusay sa paggamit ng mga nonlinear na filter - sa halip na proletaryong tono ng pagmamapa, gumagamit sila ng mas kumplikadong mga nonlinear na pagbabago, na, ayon sa kanila, ay nagbubukas ng higit pang mga posibilidad.
Magagawa mo ang maraming bagay sa mga nonlinear na pagbabago, ngunit ang mga ito ay hindi kapani-paniwalang kumplikado, at tayong mga tao ay hindi kapani-paniwalang hangal. Sa sandaling pagdating sa mga nonlinear na pagbabago sa agham, mas gusto naming pumunta sa mga numerical na pamamaraan at mag-cram ng mga neural network sa lahat ng dako upang makapagsulat sila ng mga obra maestra para sa amin. Ganun din dito.
Automation at pangarap ng isang "obra maestra" na pindutan
Kapag nasanay na ang lahat sa mga filter, sinimulan namin itong gawing direkta sa mga camera. Itinatago ng history kung aling manufacturer ang nauna, ngunit para lang maunawaan kung gaano na ito katagal - sa iOS 5.0, na inilabas noong 2011, mayroon nang pampublikong API para sa Auto Enhancing Images. Tanging ang Trabaho lang ang nakakaalam kung gaano katagal ito ginamit bago binuksan sa publiko.
Ginawa ng automation ang parehong bagay na ginagawa ng bawat isa sa atin kapag nagbukas ng isang larawan sa editor - ito ay naglabas ng mga puwang sa liwanag at mga anino, nagdagdag ng saturation, nag-alis ng mga pulang mata at nag-aayos ng kutis. Hindi man lang napagtanto ng mga user na ang "kapansin-pansing pinahusay na camera" sa bagong smartphone ay merito lamang ng ilang bagong shader. May limang taon pa ang natitira bago ilabas ang Google Pixel at ang simula ng computational photography hype.
Ngayon, ang labanan para sa button na "obra maestra" ay lumipat sa larangan ng machine learning. Sa pagkakaroon ng sapat na paglalaro sa tone mapping, lahat ay nagmadali upang sanayin ang mga CNN at GAN upang ilipat ang mga slider sa halip na ang gumagamit. Sa madaling salita, mula sa input na larawan, tukuyin ang isang hanay ng pinakamainam na mga parameter na maglalapit sa larawang ito sa isang tiyak na pansariling pag-unawa sa "magandang photography." Ipinatupad sa parehong Pixelmator Pro at iba pang mga editor. Gumagana ito, tulad ng maaari mong hulaan, hindi masyadong mahusay at hindi palaging.
Ang stacking ay 90% ng tagumpay ng mga mobile camera
Ang tunay na computational photography ay nagsimula sa pagsasalansanβpaglalagay ng maraming litrato sa ibabaw ng bawat isa. Hindi problema para sa isang smartphone na mag-click sa isang dosenang mga frame sa kalahating segundo. Ang kanilang mga camera ay walang mabagal na mekanikal na bahagi: ang aperture ay naayos, at sa halip na isang gumagalaw na kurtina ay mayroong isang elektronikong shutter. Ang processor ay nag-uutos lamang sa matrix kung gaano karaming mga microsecond ang dapat nitong mahuli ng mga ligaw na photon, at binabasa nito ang resulta.
Sa teknikal, ang telepono ay maaaring kumuha ng mga larawan sa bilis ng video, at video sa resolution ng larawan, ngunit ang lahat ay depende sa bilis ng bus at ang processor. Kaya naman palagi silang nagtatakda ng mga limitasyon sa programa.
Ang staking mismo ay nasa amin sa mahabang panahon. Maging ang mga lolo ay nag-install ng mga plugin sa Photoshop 7.0 upang mag-assemble ng ilang mga larawan sa kapansin-pansing HDR o magsama ng panorama na 18000 Γ 600 pixels at... sa katunayan, walang nakaisip kung ano ang susunod na gagawin sa kanila. Nakakalungkot na mayaman at ligaw ang panahon.
Ngayon kami ay naging mga nasa hustong gulang at tinawag itong "epsilon photography" - kapag, sa pamamagitan ng pagbabago ng isa sa mga parameter ng camera (exposure, focus, posisyon) at pagsasama-sama ng mga resultang frame, nakakakuha kami ng isang bagay na hindi makuha sa isang frame. Ngunit ito ay isang termino para sa mga teorista; sa pagsasagawa, isa pang pangalan ang nag-ugat - staking. Ngayon, sa katunayan, 90% ng lahat ng mga inobasyon sa mga mobile camera ay nakabatay dito.
Isang bagay na hindi iniisip ng maraming tao, ngunit mahalagang maunawaan ang lahat ng mobile at computing photography: ang camera sa isang modernong smartphone ay magsisimulang kumuha ng mga larawan sa sandaling buksan mo ang app nito. Alin ang lohikal, dahil kailangan niyang ilipat ang imahe sa screen. Gayunpaman, bilang karagdagan sa screen, nagse-save ito ng mga high-resolution na frame sa sarili nitong loop buffer, kung saan iniimbak nito ang mga ito nang ilang segundo pa.
Kapag pinindot mo ang button na "kumuha ng larawan", talagang nakuha na ito, kukunin lang ng camera ang huling larawan mula sa buffer.
Ganito gumagana ang anumang mobile camera ngayon. Hindi bababa sa lahat ng mga punong barko hindi mula sa mga tambak ng basura. Binibigyang-daan ka ng buffering na mapagtanto hindi lamang ang zero shutter lag, na matagal nang pinangarap ng mga photographer, ngunit kahit na negatibo - kapag pinindot mo ang isang pindutan, ang smartphone ay tumitingin sa nakaraan, nag-i-unload ng huling 5-10 na mga larawan mula sa buffer at nagsisimulang mag-aral ng galit na galit. at idikit ang mga ito. Wala nang paghihintay na mag-click ang telepono sa mga frame para sa HDR o night mode - kunin lang ang mga ito mula sa buffer, hindi na malalaman ng user.
Sa pamamagitan ng paraan, ito ay sa tulong ng negatibong shutter lag na ang Live Photo ay ipinatupad sa mga iPhone, at ang HTC ay may katulad noong 2013 sa ilalim ng kakaibang pangalan na Zoe.
Exposure stacking - HDR at paglaban sa mga pagbabago sa liwanag
Kung ang mga sensor ng camera ay may kakayahang makuha ang buong hanay ng liwanag na naa-access ng ating mga mata ay isang lumang mainit na paksa ng debate. Ang ilan ay nagsasabing hindi, dahil ang mata ay may kakayahang makakita ng hanggang 25 f-stop, habang kahit na mula sa isang nangungunang full-frame matrix ay makakakuha ka ng maximum na 14. Ang iba ay tinatawag na mali ang paghahambing, dahil ang utak ay tumutulong sa mata sa pamamagitan ng awtomatikong pagsasaayos ang mag-aaral at ang pagkumpleto ng imahe gamit ang mga neural network nito, at ang instant Ang dynamic na hanay ng mata ay talagang hindi hihigit sa 10-14 f-stop lang. Ipaubaya natin ang debateng ito sa pinakamahuhusay na nag-iisip ng armchair sa Internet.
Ang katotohanan ay nananatili: kapag kinunan mo ang mga kaibigan laban sa isang maliwanag na kalangitan na walang HDR sa anumang mobile camera, makakakuha ka ng alinman sa isang normal na kalangitan at mga itim na mukha ng mga kaibigan, o mga kaibigang mahusay na iginuhit, ngunit isang langit na nasusunog sa kamatayan.
Matagal nang naimbento ang solusyon - upang palawakin ang hanay ng liwanag gamit ang HDR (High dynamic range). Kailangan mong kumuha ng ilang mga frame sa iba't ibang bilis ng shutter at tahiin ang mga ito. Kaya't ang isa ay "normal", ang pangalawa ay mas magaan, ang pangatlo ay mas madilim. Kumuha kami ng mga madilim na lugar mula sa isang maliwanag na frame, pinupunan ang mga overexposure mula sa isang madilim - kita. Ang natitira na lang ay upang malutas ang problema ng awtomatikong bracketing - kung magkano ang ilipat ang pagkakalantad ng bawat frame upang hindi lumampas ito, ngunit ngayon ang isang pangalawang taong mag-aaral sa isang teknikal na unibersidad ay maaaring hawakan ang pagtukoy sa average na liwanag ng isang larawan.
Sa pinakabagong iPhone, Pixel at Galaxy, karaniwang awtomatikong naka-on ang HDR mode kapag natukoy ng isang simpleng algorithm sa loob ng camera na kumukuha ka ng isang bagay na may contrast sa isang maaraw na araw. Maaari mo ring mapansin kung paano inililipat ng telepono ang mode ng pag-record sa buffer upang i-save ang mga frame na inilipat sa pagkakalantad - bumaba ang fps sa camera, at ang larawan mismo ay nagiging mas makatas. Ang sandali ng paglipat ay malinaw na nakikita sa aking iPhone X kapag nagpe-film sa labas. Tingnan din ang iyong smartphone sa susunod.
Ang kawalan ng HDR na may exposure bracketing ay ang hindi malalampasan nitong kawalan ng kakayahan sa mahinang pag-iilaw. Kahit na may ilaw ng isang lampara sa silid, ang mga frame ay nagiging madilim na ang computer ay hindi maaaring ihanay at tahiin ang mga ito. Upang malutas ang problema sa liwanag, noong 2013 nagpakita ang Google ng ibang diskarte sa HDR sa inilabas na Nexus smartphone noon. Gumamit siya ng time stacking.
Time stacking - mahabang exposure simulation at time lapse
Binibigyang-daan ka ng time stacking na lumikha ng mahabang pagkakalantad gamit ang isang serye ng mga maikli. Ang mga pioneer ay mga tagahanga ng pagkuha ng mga star trail sa kalangitan sa gabi, na natagpuan na hindi maginhawang buksan ang shutter nang dalawang oras nang sabay-sabay. Napakahirap na kalkulahin ang lahat ng mga setting nang maaga, at ang kaunting pag-alog ay masisira ang buong frame. Nagpasya silang buksan ang shutter sa loob lamang ng ilang minuto, ngunit maraming beses, at pagkatapos ay umuwi at i-paste ang mga nagresultang frame sa Photoshop.
Lumalabas na hindi talaga kinunan ang camera sa mahabang bilis ng shutter, ngunit nakuha namin ang epekto ng pagtulad nito sa pamamagitan ng pagdaragdag ng ilang mga frame na kinuha sa isang hilera. Mayroong isang grupo ng mga app na isinulat para sa mga smartphone na gumagamit ng trick na ito sa loob ng mahabang panahon, ngunit lahat ng mga ito ay hindi kailangan dahil ang tampok ay idinagdag sa halos lahat ng karaniwang mga camera. Ngayon, kahit na ang isang iPhone ay madaling makakapagsama ng mahabang pagkakalantad mula sa isang Live na Larawan.
Bumalik tayo sa Google gamit ang panggabing HDR nito. Ito ay lumabas na gamit ang time bracketing maaari mong ipatupad ang magandang HDR sa dilim. Unang lumabas ang teknolohiya sa Nexus 5 at tinawag itong HDR+. Natanggap ito ng iba pang mga Android phone na parang isang regalo. Ang teknolohiya ay napakapopular pa rin na kahit na ito ay pinuri sa pagtatanghal ng pinakabagong mga Pixel.
Ang HDR+ ay gumagana nang simple: nang matukoy na ikaw ay kumukuha sa dilim, ang camera ay nag-i-unload ng huling 8-15 RAW na larawan mula sa buffer upang ma-overlay ang mga ito sa ibabaw ng bawat isa. Kaya, ang algorithm ay nangongolekta ng higit pang impormasyon tungkol sa mga madilim na bahagi ng frame upang mabawasan ang ingay - mga pixel kung saan, sa ilang kadahilanan, hindi nakuha ng camera ang lahat ng impormasyon at nagkamali.
Tulad ng kung hindi mo alam kung ano ang hitsura ng isang capybara at hiniling mo ang limang tao na ilarawan ito, ang kanilang mga kuwento ay halos pareho, ngunit bawat isa ay magbanggit ng ilang natatanging detalye. Sa ganitong paraan makakalap ka ng higit pang impormasyon kaysa sa pagtatanong lamang ng isa. Ito ay pareho sa mga pixel.
Ang pagdaragdag ng mga frame na kinuha mula sa isang punto ay nagbibigay ng parehong pekeng long exposure effect tulad ng sa mga bituin sa itaas. Ang pagkakalantad ng dose-dosenang mga frame ay summed up, ang mga error sa isa ay pinaliit sa iba. Isipin kung gaano karaming beses kailangan mong i-click ang DSLR shutter sa bawat oras upang makamit ito.
Ang natitira lamang ay upang malutas ang problema ng awtomatikong pagwawasto ng kulay - ang mga frame na kinunan sa dilim ay kadalasang nagiging dilaw o berde, at gusto namin ang kayamanan ng liwanag ng araw. Sa mga unang bersyon ng HDR+, nalutas ito sa pamamagitan lamang ng pagsasaayos ng mga setting, tulad ng sa mga filter a la Instagram. Pagkatapos ay tumawag sila sa mga neural network upang tumulong.
Ganito lumitaw ang Night Sight - ang teknolohiya ng "night photography" sa Pixel 2 at 3. Sa paglalarawan, sinasabi nila: "Mga diskarte sa pag-aaral ng machine na binuo sa tuktok ng HDR+, na nagpapagana sa Night Sight." Sa esensya, ito ang automation ng yugto ng pagwawasto ng kulay. Ang makina ay sinanay sa isang dataset ng "bago" at "pagkatapos" ng mga larawan upang gawing maganda ang isa mula sa anumang hanay ng madilim na baluktot na mga larawan.
Siyanga pala, ginawang available sa publiko ang dataset. Marahil ay kukunin ito ng mga lalaki mula sa Apple at sa wakas ay turuan ang kanilang mga pala ng salamin na kumuha ng mga larawan nang maayos sa dilim.
Bilang karagdagan, ginagamit ng Night Sight ang pagkalkula ng motion vector ng mga bagay sa frame para gawing normal ang blur na siguradong magaganap sa mahabang shutter speed. Kaya, ang smartphone ay maaaring kumuha ng malinaw na mga bahagi mula sa iba pang mga frame at idikit ang mga ito.
Motion stacking - panorama, superzoom at pagbabawas ng ingay
Ang Panorama ay isang sikat na libangan para sa mga residente ng mga rural na lugar. Hindi pa alam ng kasaysayan ang anumang mga kaso kung saan ang isang larawan ng sausage ay magiging interesado sa sinuman maliban sa may-akda nito, ngunit hindi ito maaaring balewalain - para sa marami, dito nagsimula ang stacking sa unang lugar.
Ang unang kapaki-pakinabang na paraan ng paggamit ng panorama ay ang pagkuha ng litrato na may mas mataas na resolution kaysa sa pinapayagan ng camera matrix sa pamamagitan ng pagsasama-sama ng ilang mga frame. Matagal nang gumagamit ang mga photographer ng iba't ibang software para sa tinatawag na mga super-resolution na litrato - kapag ang bahagyang inilipat na mga larawan ay tila nagpupuno sa isa't isa sa pagitan ng mga pixel. Sa ganitong paraan makakakuha ka ng isang imahe ng hindi bababa sa daan-daang gigapixel, na lubhang kapaki-pakinabang kung kailangan mong i-print ito sa isang poster ng advertising na kasing laki ng isang bahay.
Ang isa pang mas kawili-wiling diskarte ay ang Pixel Shifting. Ang ilang mga mirrorless camera tulad ng Sony at Olympus ay nagsimulang suportahan ito noong 2014, ngunit kailangan pa rin nilang idikit ang resulta sa pamamagitan ng kamay. Karaniwang malaking inobasyon ng camera.
Ang mga smartphone ay nagtagumpay dito para sa isang nakakatawang dahilan - kapag kumuha ka ng larawan, nanginginig ang iyong mga kamay. Ang tila problemang ito ay naging batayan para sa pagpapatupad ng katutubong super resolution sa mga smartphone.
Upang maunawaan kung paano ito gumagana, kailangan mong tandaan kung paano nakaayos ang matrix ng anumang camera. Ang bawat pixel nito (photodiode) ay may kakayahang mag-record lamang ng intensity ng liwanag - iyon ay, ang bilang ng mga papasok na photon. Gayunpaman, hindi masusukat ng isang pixel ang kulay nito (haba ng daluyong). Upang makakuha ng isang RGB na larawan, kailangan din naming magdagdag ng mga saklay dito - takpan ang buong matrix ng isang grid ng maraming kulay na mga piraso ng salamin. Ang pinakasikat na pagpapatupad nito ay tinatawag na Bayer filter at ginagamit sa karamihan ng mga matrice ngayon. Kamukha ng larawan sa ibaba.
Lumalabas na ang bawat pixel ng matrix ay nakakakuha lamang ng R-, G- o B-component, dahil ang natitirang mga photon ay walang awa na sinasalamin ng filter ng Bayer. Kinikilala nito ang mga nawawalang bahagi sa pamamagitan ng tahasang pag-average ng mga halaga ng mga kalapit na pixel.
Mayroong higit pang mga berdeng selula sa filter ng Bayer - ginawa ito sa pamamagitan ng pagkakatulad sa mata ng tao. Lumalabas na sa 50 milyong mga pixel sa matrix, ang berde ay kukuha ng 25 milyon, pula at asul - 12,5 milyon bawat isa. Ang iba ay i-a-average - ang prosesong ito ay tinatawag na debayerization o demosaicing, at ito ay isang napakataba na nakakatawang saklay sa na ang lahat ay nagpapahinga.
Sa katunayan, ang bawat matrix ay may sarili nitong tuso na patentadong demosaicing algorithm, ngunit para sa mga layunin ng kuwentong ito ay pababayaan natin ito.
Ang iba pang mga uri ng matrice (tulad ng Foveon) ay hindi pa nahuhuli. Bagama't sinusubukan ng ilang mga tagagawa na gumamit ng mga sensor na walang filter ng Bayer upang mapabuti ang sharpness at dynamic na hanay.
Kapag may kaunting liwanag o napakaliit ng mga detalye ng isang bagay, nawawalan tayo ng maraming impormasyon dahil tahasang pinuputol ng filter ng Bayer ang mga photon na may hindi gustong wavelength. Kaya naman nagkaroon sila ng Pixel Shifting - inilipat ang matrix ng 1 pixel pataas-pababa-kanan-kaliwa para mahuli silang lahat. Sa kasong ito, ang larawan ay hindi lumalabas na 4 na beses na mas malaki, tulad ng tila, ginagamit lamang ng processor ang data na ito upang mas tumpak na maitala ang halaga ng bawat pixel. Hindi ito average sa mga kapitbahay nito, wika nga, ngunit higit sa apat na halaga ng sarili nito.
Ang panginginig ng ating mga kamay kapag kumukuha ng mga larawan sa telepono ay nagiging natural na resulta ng prosesong ito. Sa mga pinakabagong bersyon ng Google Pixel, ang bagay na ito ay ipinapatupad at nag-o-on sa tuwing gumagamit ka ng zoom sa telepono - tinatawag itong Super Res Zoom (oo, gusto ko rin ang kanilang walang awa na pagpapangalan). Kinopya din ito ng mga Intsik sa kanilang mga laophone, bagama't lumala ito ng kaunti.
Ang pag-overlay ng bahagyang inilipat na mga larawan sa ibabaw ng isa't isa ay nagbibigay-daan sa iyo na mangolekta ng higit pang impormasyon tungkol sa kulay ng bawat pixel, na nangangahulugang pagbabawas ng ingay, pagtaas ng sharpness at pagtaas ng resolution nang hindi tinataasan ang pisikal na bilang ng mga megapixel ng matrix. Awtomatikong ginagawa ito ng mga modernong flagship ng Android, nang hindi man lang ito iniisip ng kanilang mga user.
Focus stacking - anumang depth of field at refocus sa post-production
Ang pamamaraan ay mula sa macro photography, kung saan ang mababaw na lalim ng field ay palaging isang problema. Upang matiyak na ang buong bagay ay nasa focus, kailangan mong kumuha ng ilang mga frame na ang focus ay lumilipat pabalik-balik, at pagkatapos ay tahiin ang mga ito upang maging isang matalim. Ang parehong paraan ay madalas na ginagamit ng mga mahilig sa landscape photography, na ginagawa ang foreground at background na kasing tala ng pagtatae.
Ang lahat ng ito ay inilipat din sa mga smartphone, kahit na walang gaanong hype. Noong 2013, ang Nokia Lumia 1020 na may "Refocus App" ay inilabas, at noong 2014, ang Samsung Galaxy S5 na may "Selective Focus" mode. Nagtrabaho sila ayon sa parehong pamamaraan: sa pamamagitan ng pagpindot sa isang pindutan, mabilis silang kumuha ng 3 mga larawan - ang isa ay may "normal" na pokus, ang pangalawa na may pokus ay lumipat pasulong at ang pangatlo na may pokus ay inilipat pabalik. Inihanay ng programa ang mga frame at pinahintulutan kang pumili ng isa sa mga ito, na itinuring bilang "tunay" na kontrol sa pagtutok sa post-production.
Wala nang karagdagang pagpoproseso, dahil kahit na ang simpleng hack na ito ay sapat na upang itaboy ang isa pang kuko sa takip ng Lytro at ang mga kapantay nito sa kanilang tapat na muling pagtutok. Siyanga pala, pag-usapan natin sila (transition master 80 lvl).
Computational matrice - mga light field at plenoptics
Tulad ng naunawaan natin sa itaas, ang ating mga matrice ay horror sa mga saklay. Nasanay lang kami at sinisikap na mamuhay kasama nito. Ang kanilang istraktura ay bahagyang nagbago mula noong simula ng panahon. Pinahusay lang namin ang teknikal na proseso - binawasan namin ang distansya sa pagitan ng mga pixel, nakipaglaban sa ingay ng interference, at nagdagdag ng mga espesyal na pixel para sa phase detection autofocus. Ngunit kung kukuha ka ng kahit na ang pinakamahal na DSLR at subukang kunan ng larawan ang isang tumatakbong pusa kasama nito sa pag-iilaw ng silid - ang pusa, sa madaling salita, ay mananalo.
Matagal na naming sinusubukang mag-imbento ng mas maganda. Maraming pagtatangka at pananaliksik sa lugar na ito ang na-google para sa "computational sensor" o "non-bayer sensor", at maging ang halimbawa ng Pixel Shifting sa itaas ay maaaring maiugnay sa mga pagtatangka na pahusayin ang mga matrice gamit ang mga kalkulasyon. Gayunpaman, ang pinaka-maaasahan na mga kuwento sa huling dalawampung taon ay dumating sa amin nang eksakto mula sa mundo ng tinatawag na mga plenoptic camera.
Para hindi ka makatulog mula sa pag-asam ng paparating na kumplikadong mga salita, ilalagay ko sa isang tagaloob na ang camera ng pinakabagong Google Pixel ay "medyo" plenoptic lang. Dalawang pixel lang, ngunit kahit na ito ay nagbibigay-daan upang makalkula ang tamang optical depth ng frame kahit na walang pangalawang camera, tulad ng iba.
Ang Plenoptics ay isang makapangyarihang sandata na hindi pa nagpapaputok. Narito ang isang link sa isa sa aking mga paboritong kamakailan. , kung saan hiniram ko ang mga halimbawa.
Plenoptic camera - paparating na
Naimbento noong 1994, nakolekta sa Stanford noong 2004. Ang unang consumer camera, ang Lytro, ay inilabas noong 2012. Ang industriya ng VR ay aktibong nag-eeksperimento sa mga katulad na teknolohiya.
Ang isang plenoptic camera ay naiiba sa isang maginoo na camera sa isang pagbabago lamang - ang matrix nito ay sakop ng isang grid ng mga lente, na ang bawat isa ay sumasaklaw sa ilang mga tunay na pixel. Isang bagay na tulad nito:
Kung tama mong kalkulahin ang distansya mula sa grid hanggang sa matrix at ang laki ng aperture, ang huling larawan ay magkakaroon ng malinaw na mga kumpol ng mga pixel - uri ng mga mini-bersyon ng orihinal na larawan.
Lumalabas na kung kukuha ka, halimbawa, ng isang gitnang pixel mula sa bawat kumpol at idikit ang larawan nang sama-sama gamit lamang ang mga ito, hindi ito magiging iba sa kinunan gamit ang isang regular na camera. Oo, medyo nawala kami sa resolution, ngunit hihilingin lang namin sa Sony na magdagdag ng higit pang mga megapixel sa mga bagong matrice.
Nagsisimula pa lang ang saya. kung kukuha ka ng isa pang pixel mula sa bawat kumpol at tahiin muli ang larawan, makakakuha ka muli ng isang normal na litrato, na para lang kung ito ay kinunan na may shift ng isang pixel. Kaya, ang pagkakaroon ng mga kumpol ng 10 Γ 10 pixels, makakakuha tayo ng 100 larawan ng bagay mula sa "bahagyang" magkakaibang mga punto.
Ang mas malaking laki ng kumpol ay nangangahulugan ng mas maraming larawan, ngunit mas mababang resolution. Sa mundo ng mga smartphone na may 41-megapixel matrice, bagaman maaari nating pabayaan ang resolusyon ng kaunti, may limitasyon ang lahat. Kailangan mong panatilihin ang balanse.
Okay, nag-assemble kami ng plenoptic camera, kaya ano ang ibinibigay nito sa amin?
Matapat na muling tumutok
Ang tampok na pinag-uusapan ng lahat ng mga mamamahayag sa mga artikulo tungkol sa Lytro ay ang kakayahang matapat na ayusin ang focus sa post-production. Sa patas, ang ibig naming sabihin ay hindi kami gumagamit ng anumang mga algorithm sa pag-deblur, ngunit ginagamit lamang ang mga pixel na nasa kamay, pinipili o ina-average ang mga ito mula sa mga cluster sa kinakailangang pagkakasunud-sunod.
Ang RAW photography mula sa isang plenoptic camera ay mukhang kakaiba. Upang mailabas dito ang karaniwang matutulis na jeep, kailangan mo munang i-assemble ito. Upang gawin ito, kailangan mong piliin ang bawat pixel ng jeep mula sa isa sa mga RAW cluster. Depende sa kung paano natin pipiliin ang mga ito, magbabago ang resulta.
Halimbawa, kung mas malayo ang kumpol mula sa punto ng saklaw ng orihinal na sinag, mas wala sa pokus ang sinag na ito. Dahil sa optika. Upang makakuha ng naka-focus na imahe, kailangan lang nating pumili ng mga pixel sa gustong distansya mula sa orihinal - mas malapit man o mas malayo.
Mas mahirap na ilipat ang pagtuon sa iyong sarili - puro pisikal, mas kaunti ang gayong mga pixel sa mga cluster. Noong una, ayaw ng mga developer na bigyan ang user ng kakayahang mag-focus gamit ang kanilang mga kamayβang camera mismo ang nagpasya nito sa software. Hindi nagustuhan ng mga user ang hinaharap na ito, kaya nagdagdag sila ng feature sa firmware sa ibang pagkakataon na tinatawag na "creative mode," ngunit ginawang limitado ang refocus dito para sa eksaktong kadahilanang ito.
Depth na mapa at 3D mula sa isang camera
Isa sa pinakasimpleng operasyon sa plenoptics ay ang pagkuha ng depth map. Upang gawin ito, kailangan mo lamang mangolekta ng dalawang magkaibang mga frame at kalkulahin kung magkano ang mga bagay sa kanila ay inilipat. Ang mas maraming shift ay nangangahulugang mas malayo sa camera.
Kamakailan ay binili at pinatay ng Google ang Lytro, ngunit ginamit ang kanilang teknolohiya para sa VR nito at... para sa Pixel camera. Simula sa Pixel 2, naging "medyo" plenoptic ang camera sa unang pagkakataon, kahit na may mga cluster na dalawang pixel lang. Nagbigay ito ng pagkakataon sa Google na huwag mag-install ng pangalawang camera, tulad ng lahat ng iba pang mga lalaki, ngunit upang kalkulahin ang depth na mapa mula lamang sa isang larawan.
Binuo ang depth map gamit ang dalawang frame na inilipat ng isang subpixel. Ito ay sapat na upang makalkula ang isang binary depth na mapa at paghiwalayin ang foreground mula sa background at i-blur ang huli sa ngayon ay naka-istilong bokeh. Ang resulta ng naturang layering ay pinapakinis din at "pinahusay" ng mga neural network na sinanay upang mapabuti ang mga depth na mapa (at hindi lumabo, gaya ng iniisip ng maraming tao).
Ang trick ay nakakuha kami ng plenoptics sa mga smartphone na halos walang bayad. Naglagay na kami ng mga lente sa maliliit na matrice na ito upang kahit papaano ay mapataas ang maliwanag na pagkilos ng bagay. Sa susunod na Pixel, plano ng Google na pumunta pa at takpan ang apat na photodiode gamit ang isang lens.
Pinagmulan: 3dnews.ru