Ang orihinal nga artikulo gi-post sa site ug gipatik sa 3DNews nga adunay pagtugot sa tagsulat. Gihatag namon ang tibuuk nga teksto sa artikulo, gawas sa daghang mga link - kini mapuslanon sa mga seryoso nga interesado sa hilisgutan ug gusto nga tun-an ang teoretikal nga aspeto sa computational photography sa mas lawom, apan among gikonsiderar kini nga materyal nga sobra alang sa usa ka halapad nga mamiminaw.
Karon, walay bisan usa ka presentasyon sa usa ka smartphone ang kompleto nga walay pagdila sa camera niini. Matag bulan makadungog kami bahin sa laing kalampusan sa mga mobile camera: Gitudloan sa Google si Pixel kung giunsa ang pag-shoot sa kangitngit, ang Huawei nag-zoom sama sa mga largabista, ang Samsung nagbutang sa lidar, ug ang Apple naghimo sa labing lingin nga suok sa kalibutan. Adunay pipila ka mga dapit diin ang kabag-ohan maisugon nga nagdagayday karon.
Ang mga salamin sa samang higayon daw nagtimaan sa panahon. Gipaulanan sa Sony ang tanan og mga bag-ong matrice matag tuig, ug ang mga tiggama tapolan nga nag-update sa pinakabag-o nga digit sa bersyon ug nagpadayon sa pagpanigarilyo nga relaks sa daplin. Naa koy $3000 nga DSLR sa akong lamesa, pero kung mobiyahe ko, magdala kog iPhone. Ngano man?
Sama sa giingon sa klasiko, nag-online ako sa kini nga pangutana. Ang pipila ka mga "algorithm" ug "mga neural network" gihisgutan didto, nga walaβy ideya kung unsa gyud ang epekto niini sa litrato. Ang mga peryodista kusog nga nagbasa sa gidaghanon sa mga megapixel, ang mga blogger nakakita sa bayad nga mga unboxing sa koro, ug ang mga aesthetes nagpahid sa ilang kaugalingon sa "senswal nga panglantaw sa paleta sa kolor sa matrix." Ang tanan sama sa naandan.
Kinahanglan kong molingkod, mogugol sa katunga sa akong kinabuhi ug maghuna-huna niini sa akong kaugalingon. Sa sini nga artikulo, isugid ko sa imo ang akon natun-an.
Unsa ang computational photography?
Bisan asa, apil ang Wikipedia, naghatag sila ug ingon niini: ang computational photography mao ang bisan unsang teknik sa pagkuha ug pagproseso sa mga hulagway, diin gigamit ang digital kalkulasyon imbes nga optical transformations. Ang tanan bahin niini maayo, gawas nga wala kini nagpatin-aw bisan unsa. Bisan ang autofocus mohaum sa ilawom niini, apan ang mga plenoptics, nga nagdala na kanamo daghang mapuslanon nga mga butang, dili angay. Ang dili klaro sa opisyal nga mga kahulugan, ingon nga kini, nagpaila nga wala kami ideya kung unsa ang among gihisgutan.
Ang computational photography pioneer nga si Stanford Propesor Marc Levoy (nga karon nagdumala sa camera sa Google Pixel) naghatag ug lahi nga kahulugan - usa ka hugpong sa mga teknik sa computer imaging nga nagpauswag o nagpalapad sa mga kapabilidad sa digital photography, nga, kung gigamit, moresulta sa usa ka regular litrato nga dili teknikal nga makuha sa kini nga camera sa tradisyonal nga paagi. Sa artikulo, gisunod ko kini.
Busa, ang mga smartphone ang mabasol sa tanan.
Ang mga smartphone walay kapilian gawas sa paghatag og kinabuhi sa usa ka bag-ong matang sa litrato: computational photography.
Ang ilang gamay nga saba nga mga matrice ug gamay nga dili-aperture nga mga lente, sumala sa tanan nga mga balaod sa pisika, nagdala lamang og kasakit ug pag-antos. Gibuhat nila, hangtod nga nahibal-an sa ilang mga developer kung giunsa paggamit ang ilang kusog aron mabuntog ang ilang mga kahuyang - paspas nga electronic shutters, gamhanan nga mga processor ug software.
Kadaghanan sa high-profile nga panukiduki sa natad sa computational photography nahulog sa 2005-2015, nga sa siyensya giisip nga literal kagahapon. Sa pagkakaron, atubangan sa atong mga mata ug sa atong mga bulsa, usa ka bag-ong natad sa kahibalo ug teknolohiya ang gipalambo nga wala pa maglungtad.
Ang computational photography dili lang bahin sa neuro-bokeh selfies. Ang bag-o nga litrato sa usa ka itom nga lungag dili mahimo kung wala ang mga teknik sa pagkalkula sa litrato. Aron makuha ang ingon nga litrato gamit ang usa ka naandan nga teleskopyo, kinahanglan namon nga himuon kini nga gidak-on sa Yuta. Bisan pa, pinaagi sa paghiusa sa datos sa walo ka teleskopyo sa radyo sa lainlaing mga punto sa among balloon ug pagsulat sa pipila ka mga script sa python, nakuha namon ang una nga litrato sa kalibutan sa kapunawpunawan sa panghitabo. Maayo usab nga mag-selfie.
Pagsugod: digital nga pagproseso
Hunahunaon nato nga gibalik nato ang 2007th. Anarkiya ang among mama ug ang among mga litrato saba nga 0,6MP nga mga jeep nga gipusil sa skateboard. Sa kana nga panahon, kami adunay una nga dili mapugngan nga tinguha nga ibubo ang mga preset sa kanila aron itago ang pagkaalaot sa mga mobile matrice. Dili nato ikalimod ang atong kaugalingon.
matan ug instagram
Sa pagpagawas sa Instagram, ang tanan nahingangha sa mga pagsala. Ingon usa ka tawo nga nag-reverse-engineer sa X-Pro II, Lo-Fi ug Valencia alang sa, siyempre, mga katuyoan sa panukiduki (ek), nahinumduman pa nako nga kini naglangkob sa tulo nga mga sangkap:
- Ang mga setting sa kolor (Hue, Saturation, Lightness, Contrast, Levels, ug uban pa) yano nga numerical ratios, sama sa bisan unsang preset nga gigamit sa mga photographer sukad pa sa karaang panahon.
- Tone Mappings - mga vector sa mga kantidad, nga ang matag usa nagsulti kanamo: "Ang pula nga adunay kolor nga 128 kinahanglan nga mahimong usa ka hue nga 240."
- Overlay - usa ka translucent nga litrato nga adunay abug, lugas, vignette, ug tanan nga mahimo nga ipatong sa ibabaw aron makuha ang epekto sa usa ka karaan nga pelikula nga dili gyud banal. Dili kanunay anaa.
Ang mga moderno nga mga pagsala dili layo sa kini nga tulo, nahimo ra kini nga labi ka komplikado sa matematika. Uban sa pag-abut sa hardware shaders ug OpenCL sa mga smartphone, sila dali nga gisulat pag-usab alang sa GPU, ug kini giisip nga wildly cool. Alang sa 2012, siyempre. Karon, ang bisan kinsa nga estudyante makahimo sa parehas sa CSS, ug dili gihapon siya makaabut sa gradwasyon.
Bisan pa, ang pag-uswag sa mga pagsala karon wala mohunong. Ang mga lalaki gikan sa Dehancer, pananglitan, maayo sa non-linear nga mga pagsala - imbes sa proletaryong tono-mapping, gigamit nila ang labi ka komplikado nga non-linear nga mga pagbag-o, nga, sumala sa kanila, nagbukas sa daghang mga posibilidad.
Daghang mga butang ang mahimo sa dili linya nga mga pagbag-o, apan kini labi ka komplikado, ug kitang mga tawo hilabihan ka amang. Sa diha nga kini moabut sa non-linear nga mga pagbag-o sa siyensya, gusto namon nga moadto sa mga pamaagi sa numero ug mag-cram sa mga neural network bisan diin aron magsulat sila mga obra maestra alang kanamo. Mao usab kini dinhi.
Automation ug mga damgo sa "obra maestra" nga buton
Sa dihang naanad na ang tanan sa mga pagsala, gisugdan namo ang paghimo niini diha mismo sa mga camera. Gitago sa kasaysayan kung kinsa nga tiggama ang una, apan aron mahibal-an kung unsa ka dugay kini - sa iOS 5.0, nga gipagawas na kaniadtong 2011, adunay usa ka publiko nga API alang sa Auto Enhancing Images. Ang Jobs ra ang nakahibalo kung unsa kadugay kini gigamit sa wala pa ipagawas sa publiko.
Ang pag-automate nagbuhat parehas sa matag usa kanamo, nagbukas sa usa ka litrato sa editor - gibira ang mga dips sa kahayag ug mga anino, gipatong sa saturation, gitangtang ang pula nga mga mata ug giayo ang kutis. Ang mga tiggamit wala gani nahibal-an nga ang "kadako nga gipaayo nga camera" sa bag-ong smartphone mao lamang ang merito sa usa ka bag-ong shaders. Lima pa ka tuig sa wala pa migawas ang Google Pixel ug nagsugod ang hype sa computational photography.
Karon, ang mga away alang sa "obra maestra" nga buton mibalhin sa natad sa pagkat-on sa makina. Igo na ang pagdula sa tone-mapping, ang tanan nagdali sa pagbansay sa mga CNN ug GAN aron ibalhin ang mga slider imbis nga tiggamit. Sa laing pagkasulti, gamit ang input nga imahe, pagtino sa usa ka set sa kamalaumon nga mga parameter nga magdala niini nga imahe nga mas duol sa pipila ka suhetibong pagsabot sa "maayong litrato". Gipatuman sa parehas nga Pixelmator Pro ug uban pang mga editor. Kini molihok, ingon sa imong gihunahuna, dili kaayo ug dili kanunay.
Ang stacking mao ang 90% sa kalampusan sa mobile camera
Ang tinuod nga computational photography nagsugod sa stacking - pag-stack sa daghang mga litrato sa ibabaw sa usag usa. Dili problema alang sa usa ka smartphone ang pag-snap sa usa ka dosena nga mga frame sa tunga sa segundo. Walay hinay nga mekanikal nga mga bahin sa ilang mga camera: ang aperture naayo, ug imbes nga usa ka nagalihok nga kurtina, adunay usa ka electronic shutter. Gisugo lang sa processor ang matrix kung pila ka mga microsecond ang makuha ang mga wild photon, ug gibasa ang resulta mismo.
Sa teknikal nga paagi, ang usa ka telepono mahimong mag-shoot sa mga litrato sa gikusgon sa video ug video sa resolusyon sa litrato, apan ang tanan nagdepende sa gikusgon sa bus ug processor. Busa, kanunay silang nagtakda og mga limitasyon sa software.
Ang staking mismo nag-uban kanamo sa dugay nga panahon. bisan ang mga apohan nag-instalar og mga plug-in alang sa Photoshop 7.0 aron makombinar ang daghang mga litrato ngadto sa HDR nga makadani sa mata o ipapilit ang usa ka 18000 Γ 600 pixel panorama ug ... sa pagkatinuod, walay usa nga nakahunahuna kon unsay sunod nga buhaton niini. Ang dato nga mga panahon, sa walay palad, ihalas.
Karon nahimo na kaming mga hamtong ug gitawag kini nga "epsilon photography" - kung, pinaagi sa pagbag-o sa usa sa mga parameter sa camera (exposure, focus, posisyon) ug pagpapilit sa mga sangputanan nga mga frame, makakuha kami usa ka butang nga dili makuha sa usa ka frame. Apan kini usa ka termino alang sa mga teorista, apan sa praktis lain nga ngalan ang nakagamot - staking. Karon, sa tinuud, 90% sa tanan nga mga inobasyon sa mga mobile camera ang gitukod niini.
Usa ka butang nga wala gihunahuna sa daghang mga tawo, apan hinungdanon aron masabtan ang tanan nga litrato sa mobile ug computing: ang camera sa usa ka modernong smartphone magsugod sa pagkuha sa mga litrato sa diha nga imong ablihan ang app niini. Nga makatarunganon, tungod kay kinahanglan niya nga ibalhin ang imahe sa screen. Bisan pa, dugang sa screen, kini nagtipig sa mga frame nga adunay taas nga resolusyon sa kaugalingon nga circular buffer, diin gitipigan kini sa pipila pa ka segundo.
Kung imong gipugos ang buton nga "pagkuha usa ka litrato" - nakuha na kini, gikuha ra sa camera ang katapusan nga litrato gikan sa buffer.
Ingon niini kung giunsa ang bisan unsang mobile camera nga nagtrabaho karon. Labing menos sa tanan nga mga flagship, dili gikan sa mga tapok sa basura. Gitugotan ka sa buffering nga ipatuman dili lamang ang usa ka zero shutter lag, nga dugay na nga gipangandoy sa mga photographer, apan bisan ang negatibo - kung imong gipugos ang buton, ang smartphone nagtan-aw sa nangagi, nagdiskarga sa katapusan nga 5-10 nga mga litrato gikan sa buffer ug nagsugod sa mabangis nga pag-analisar ug pagpapilit niini. Wala na maghulat alang sa telepono nga mag-klik sa mga frame alang sa HDR o night mode - kuhaa lang kini gikan sa buffer, dili gani mahibal-an sa user.
Pinaagi sa dalan, kini uban sa tabang sa negatibo nga shutter lag nga ang Live Photo gipatuman sa mga iPhone, ug ang HTC adunay susama nga butang balik sa 2013 ubos sa katingad-an nga ngalan nga Zoe.
Exposure stacking - HDR ug ang away batok sa mga kalainan sa kahayag
Kung ang mga camera matrice makahimo sa pagkuha sa tibuuk nga hanay sa kahayag nga magamit sa atong mga mata usa ka karaan nga mainit nga hilisgutan alang sa debate. Ang uban moingon nga dili, tungod kay ang mata makahimo sa pagtan-aw sa hangtod sa 25 f-stops, samtang bisan ang usa ka top full-frame matrix makadrowing ug maximum nga 14. Ang uban nagtawag sa pagtandi nga dili husto, tungod kay ang utok nagtabang sa mata pinaagi sa awtomatikong pag-adjust sa estudyante. ug pagkompleto sa hulagway gamit ang mga neural network niini, ug diha-diha ang dinamikong hanay sa mata sa tinuod dili lang kay sa 10-14 f-stop. Ibilin nato kini nga mga argumento sa labing maayo nga mga tighunahuna sa armchair sa Internet.
Ang kamatuoran nagpabilin: sa diha nga ang pagpusil sa mga higala batok sa usa ka mahayag nga kalangitan nga walay HDR sa bisan unsang mobile camera, makakuha ka bisan usa ka normal nga kalangitan ug itom nga mga nawong sa mga higala, o mga higala nga nadani, apan usa ka langit nga nasunog hangtod sa kamatayon.
Ang solusyon dugay na nga naimbento - aron mapalapad ang sakup sa kahayag gamit ang HDR (High dynamic range). Kinahanglan ka nga magkuha og daghang mga shot nga adunay lain-laing mga shutter speed ug ipapilit kini. Mao nga ang usa "normal", ang ikaduha mas gaan, ang ikatulo mas ngitngit. Gikuha namon ang ngitngit nga mga lugar gikan sa usa ka suga nga bayanan, gipuno ang sobra nga pagkaladlad gikan sa usa ka ngitngit - ganansya. Nagpabilin lamang kini aron masulbad ang problema sa awtomatik nga bracketing - kung unsa kadaghan ang pagbalhin sa pagkaladlad sa matag frame aron dili kini sobra, apan ang usa ka sophomore sa usa ka teknikal nga unibersidad karon makasagubang sa pagtino sa kasagaran nga kahayag sa litrato.
Sa pinakabag-o nga mga iPhone, Pixels, ug Galaxy HDR kasagaran awtomatikong mo-on kon ang usa ka simple nga algorithm sa sulod sa camera motino nga ikaw nag-shoot og usa ka butang nga lahi sa adlaw. Mamatikdan pa nimo kung giunsa gibalhin sa telepono ang mode sa pagrekord sa buffer aron ma-save ang mga frame nga gibalhin sa pagkaladlad - nahulog ang fps sa camera, ug ang litrato mismo nahimong juicier. Ang switching point klaro nga makita sa akong iPhone X kung mag-shoot sa gawas. Tan-awa pag-ayo ang imong smartphone sa sunod usab.
Ang disbentaha sa HDR nga adunay exposure bracketing mao ang dili masulud nga pagkawalay mahimo sa dili maayo nga suga. Bisan sa ilawom sa kahayag sa lampara sa kwarto, ang mga frame ngitngit kaayo nga ang kompyuter dili makatul-id ug makapilit niini. Aron masulbad ang problema sa kahayag sa 2013, gipakita sa Google ang lahi nga pamaagi sa HDR sa gipagawas nga Nexus smartphone. Gigamit niya ang time staking.
Time stacking - taas nga exposure simulation ug time lapse
Ang pag-stack sa oras nagtugot kanimo nga makakuha usa ka taas nga pagkaladlad sa usa ka serye sa mga mubu nga pagkaladlad. Ang mga pioneer mga mahigugmaon sa pagpamusil nga mga timaan sa mga bituon sa kalangitan sa kagabhion, alang kang kinsa dili kombenyente ang pag-abli sa shutter sulod sa duha ka oras sa makausa. Lisud kaayo ang pagkalkulo sa tanan nga mga setting nga abante, ug gikan sa gamay nga pag-uyog ang tibuuk nga frame migawas nga nadaot. Nakahukom sila nga ablihan ang shutter sulod lamang sa pipila ka mga minuto, apan sa daghang mga higayon, ug dayon mopauli ug i-paste ang resulta nga mga frame sa Photoshop.
Mopatim-aw nga ang camera wala gayud mag-shoot sa hinay nga shutter speed, apan nakuha namo ang epekto sa pagsundog niini pinaagi sa pagdugang og daghang mga shot nga gikuha sa usa ka laray. Alang sa mga smartphone, usa ka hugpong sa mga aplikasyon ang gisulat sa dugay nga panahon gamit kini nga limbong, apan ang tanan niini dili kinahanglan tungod kay ang bahin gidugang sa hapit tanan nga standard nga mga camera. Karon, bisan ang usa ka iPhone dali nga makatahi sa usa ka taas nga pagkaladlad gikan sa usa ka Live Photo.
Balikan nato ang Google gamit ang HDR sa gabii. Nahibal-an nga sa tabang sa time bracketing, mahimo nimong mahibal-an ang usa ka maayo nga HDR sa kangitngit. Ang teknolohiya unang nagpakita sa Nexus 5 ug gitawag nga HDR+. Ang ubang mga Android phone nakadawat niini isip regalo. Ang teknolohiya popular gihapon kaayo nga kini gidayeg pa sa mga presentasyon sa pinakabag-o nga Pixels.
Ang HDR+ kay yano ra kaayo: kay nadeterminar nga nag-shooting ka sa kangitngit, ang camera nagdiskarga sa kataposang 8-15 ka mga litrato sa RAW gikan sa buffer aron ipatong kini sa ibabaw sa usag usa. Sa ingon, ang algorithm nagkolekta dugang nga kasayuran bahin sa ngitngit nga mga lugar sa frame aron maminusan ang kasaba - mga pixel, diin sa pipila ka hinungdan ang camera dili makakolekta sa tanan nga kasayuran ug magubot.
Sama sa kung wala ka nahibal-an kung unsa ang hitsura sa usa ka capybara ug gihangyo ang lima ka tawo nga ihulagway kini - ang ilang mga istorya parehas ra, apan ang matag usa maghisgot sa pipila ka talagsaon nga detalye. Nianang paagiha makatigom ka ug dugang impormasyon kay sa pagpangutana lang ug usa. Ang sama sa mga pixel.
Ang pagdugang sa mga frame nga gikuha gikan sa usa ka punto naghatag sa parehas nga peke nga taas nga epekto sa pagkaladlad sama sa mga bituon sa ibabaw. Ang pagkaladlad sa daghang mga frame gisumada, ang mga sayup sa usa gipamubu sa uban. Hunahunaa kung pila ka beses nimo kinahanglan nga i-klik ang shutter sa usa ka DSLR aron makab-ot kini.
Nagpabilin lamang kini aron masulbad ang problema sa awtomatik nga pagtul-id sa kolor - ang mga shot nga gikuha sa kangitngit kasagaran nahimong yellow o berde nga walay eksepsiyon, ug gusto namo ang juiciness sa kahayag sa adlaw. Sa una nga mga bersyon sa HDR +, kini nasulbad pinaagi sa yano nga pag-tweak sa mga setting, sama sa mga pagsala sa usa ka instagram. Unya nanawagan sila alang sa tabang sa mga neural network.
Ingon niini ang pagpakita sa Night Sight - ang teknolohiya nga "night photography" sa Pixel 2 ug 3. Ang paghulagway nag-ingon nga: "Mga teknik sa pagkat-on sa makina nga gitukod sa ibabaw sa HDR +, nga naghimo sa Night Sight nga molihok". Sa tinuud, kini ang automation sa yugto sa pagtul-id sa kolor. Ang sakyanan gibansay sa usa ka dataset sa "sa wala pa" ug "pagkahuman" nga mga litrato aron mahimo ang usa ka matahum gikan sa bisan unsang hugpong sa mga itom nga hiwi nga mga litrato.
Ang dataset, sa paagi, gihimo nga magamit sa publiko. Tingali ang mga lalaki gikan sa Apple mokuha niini ug sa katapusan magtudlo sa ilang mga pala nga bildo sa pagpusil sa husto sa kangitngit.
Dugang pa, ang Night Sight naggamit sa kalkulasyon sa motion vector sa mga butang sa frame aron ma-normalize ang blurring, nga siguradong mahitabo sa hinay nga shutter speed. Busa, ang usa ka smartphone mahimong makakuha og tin-aw nga mga bahin gikan sa ubang mga frame ug i-paste kini.
Motion stacking - panorama, superzoom ug pagkunhod sa kasaba
Ang panorama usa ka sikat nga kalingawan alang sa mga tawo sa kabanikanhan. Wala pa nahibal-an sa kasaysayan ang mga kaso diin ang usa ka litrato sa sausage mahimong makapaikag sa usa ka tawo gawas sa tagsulat niini, apan imposible nga dili hisgutan kini - alang sa kadaghanan, nagsugod ang staking niini.
Ang una nga mapuslanon nga paagi sa paggamit sa usa ka panorama mao ang pagkuha usa ka litrato nga mas taas nga resolusyon kaysa gitugotan sa camera matrix pinaagi sa pagdugtong sa daghang mga frame. Ang mga photographer dugay na nga naggamit ug lain-laing software para sa gitawag nga super-resolution nga mga litrato - kung ang gamay nga gibalhin nga mga litrato daw nag-complement sa usag usa tali sa mga pixel. Niining paagiha, makakuha ka usa ka imahe nga labing menos gatusan ka mga gigapixel, nga labi ka mapuslanon kung kinahanglan nimo nga i-print kini sa usa ka poster sa advertising nga kadako sa balay.
Laing, mas makapaikag nga pamaagi mao ang Pixel Shifting. Ang pipila ka mga mirrorless camera sama sa Sony ug Olympus nagsugod sa pagsuporta niini sukad sa 2014, apan gipugos gihapon nila nga ipapilit ang resulta pinaagi sa kamot. Kasagaran nga dagkong mga inobasyon sa camera.
Ang mga smartphone milampos dinhi tungod sa usa ka kataw-anan nga hinungdan - kung magkuha ka usa ka litrato, ang imong mga kamot magkurog. Kini daw problema nahimong basehan sa pagpatuman sa lumad nga super-resolution sa mga smartphones.
Aron masabtan kung giunsa kini paglihok, kinahanglan nimong hinumdoman kung giunsa ang pagkahan-ay sa matrix sa bisan unsang camera. Ang matag usa sa iyang pixel (photodiode) makahimo sa pagrekord lamang sa intensity sa kahayag - nga mao, ang gidaghanon sa mga photon nga milupad. Bisan pa, ang usa ka pixel dili makasukod sa kolor niini (wavelength). Aron makakuha og RGB nga imahe, kinahanglan ko nga magtapok sa mga saklay dinhi usab - tabonan ang tibuuk nga matrix nga adunay usa ka grid nga daghang kolor nga baso. Ang labing popular nga pagpatuman gitawag nga Bayer filter ug gigamit sa kadaghanan sa mga matrices karon. Morag sa hulagway sa ubos.
Kini nahimo nga ang matag pixel sa matrix nakakuha lamang sa R-, G- o B-component, tungod kay ang uban nga mga photon walay kaluoy nga gipakita sa filter sa Bayer. Giila niini ang nawala nga mga sangkap pinaagi sa blunt nga pag-average sa mga kantidad sa silingang mga pixel.
Adunay daghang berde nga mga selula sa filter sa Bayer - kini gihimo pinaagi sa pagtandi sa mata sa tawo. Mogawas nga gikan sa 50 ka milyon nga mga pixel sa matrix, 25 ka milyon ang makakuha og berde, 12,5 ka milyon matag usa alang sa pula ug asul. nga ang tanan nagpahulay.
Sa tinuud, ang matag matrix adunay kaugalingon nga tuso nga patente nga demosaicing algorithm, apan sa gambalay niini nga istorya, dili nato kini tagdon.
Ang ubang mga matang sa matrice (sama sa Foveon) wala pa nakagamot sa tanan. Bisan kung ang pipila nga mga tiggama naningkamot sa paggamit sa mga matrice nga walaβy filter sa Bayer aron mapaayo ang katas ug dinamikong sakup.
Kung adunay gamay nga kahayag o ang mga detalye sa butang gamay ra kaayo, mawad-an kami daghang kasayuran, tungod kay ang filter sa Bayer mapintas nga giputol ang mga photon nga adunay dili maayo nga mga wavelength. Busa, nakahunahuna sila sa pagbuhat sa Pixel Shifting - pagbalhin sa matrix sa 1 pixel pataas-pa-ubos-tuo-wala aron makuha silang tanan. Ang litrato dili mahimong 4 ka beses nga mas dako, ingon nga kini daw, ang processor naggamit lamang niini nga datos aron mas tukma nga irekord ang bili sa matag pixel. Dili kini kasagaran sa mga silingan, ingnon ta, apan labaw sa upat ka mga bili sa iyang kaugalingon.
Ang pag-uyog sa atong mga kamot sa pagkuha sa mga litrato gamit ang atong telepono naghimo niini nga proseso nga natural nga sangputanan. Sa pinakabag-o nga bersyon sa Google Pixel, kini nga butang gipatuman ug nag-on sa matag higayon nga imong gamiton ang zoom sa telepono - kini gitawag nga Super Res Zoom (oo, ganahan usab ako sa ilang walay kaluoy nga pagngalan). Gikopya usab kini sa mga Intsik sa ilang mga laophone, bisan kung kini nahimong mas grabe.
Ang pag-overlay sa gamay nga gibalhin nga mga litrato sa ibabaw sa usag usa nagtugot kanimo sa pagkolekta og dugang nga kasayuran bahin sa kolor sa matag pixel, nga nagpasabut nga pagkunhod sa kasaba, pagdugang sa kalantip ug pagpataas sa resolusyon nga walaβy pagdugang sa pisikal nga gidaghanon sa mga megapixel sa matrix. Ang mga moderno nga mga flagship sa Android awtomatiko nga nagbuhat niini sa wala pa maghunahuna ang ilang mga tiggamit bahin niini.
Focus stacking - bisan unsa nga giladmon sa field ug refocus sa post-production
Ang pamaagi gikan sa macro photography, diin ang mabaw nga giladmon sa kapatagan kanunay nga problema. Aron masentro ang tibuok nga butang, kinahanglan kong mokuha ug daghang mga frame nga adunay pagbalhin sa focus pabalik-balik, aron matahi kini ngadto sa usa ka hait. Ang mga litratista sa talan-awon kanunay naggamit sa parehas nga pamaagi, nga naghimo sa foreground ug background nga hait sama sa diarrhea.
Ang tanan nga kini mibalhin usab sa mga smartphone, bisan kung walaβy daghang hype. Sa 2013, ang Nokia Lumia 1020 migawas uban ang "Refocus App", ug sa 2014 ang Samsung Galaxy S5 migawas uban ang "Selective Focus" mode. Nagtrabaho sila sumala sa parehas nga laraw: pinaagi sa pagpindot sa usa ka buton, dali nila nga gikuha ang 3 nga mga litrato - usa nga adunay "normal" nga pokus, ang ikaduha nga gibalhin sa unahan ug ang ikatulo nga gibalhin pabalik. Ang programa nag-align sa mga frame ug tugotan ka nga mopili sa usa niini, nga giila nga "tinuod" nga kontrol sa pagtutok sa post-production.
Walaβy dugang nga pagproseso, tungod kay bisan kini nga yano nga pag-hack igo na aron madala ang lain nga lansang sa taklob sa Lytro ug mga analogue sa ilang matinud-anon nga pag-focus. Pinaagi sa dalan, atong hisgotan sila (transition master 80 lvl).
Computational matrices - light fields ug plenoptics
Sama sa atong nasabtan sa ibabaw, ang atong mga matrice makalilisang sa crutches. Naanad na lang kami niini ug naningkamot nga mabuhi uban niini. Sa mga termino sa ilang istruktura, gamay ra ang ilang nabag-o sukad sa sinugdanan sa panahon. Gipauswag lang namo ang teknikal nga proseso - gipakunhod ang gilay-on tali sa mga pixel, nanlimbasug sa kasaba sa interference, nagdugang og espesyal nga mga pixel alang sa autofocus sa pag-detect sa phase. Apan takus ang pagkuha bisan sa labing mahal nga DSLR ug pagsulay sa pag-shoot sa usa ka nagdagan nga iring niini sa suga sa kwarto - ang iring, aron ibutang kini sa kalumo, makadaog.
Kami naningkamot sa pag-imbento sa usa ka butang nga mas maayo sa dugay nga panahon. Daghang mga pagsulay ug panukiduki sa kini nga lugar ang Googled alang sa "computational sensor" o "non-bayer sensor", ug bisan ang Pixel Shifting nga pananglitan sa ibabaw mahimong ikapasangil sa mga pagsulay sa pagpaayo sa mga matrice gamit ang mga kalkulasyon. Bisan pa, ang labing gisaad nga mga istorya sa miaging kawhaan ka tuig moabut kanamo nga tukma gikan sa kalibutan sa gitawag nga mga plenoptic camera.
Aron dili ka makatulog sa pagpaabot sa umaabot nga lisud nga mga pulong, akong ihulog sa usa ka insider nga ang camera sa pinakabag-o nga Google Pixels kay "gamay" lang nga plenoptic. Duha ra ka pixel, apan bisan kini nagtugot niini sa pagkalkulo sa usa ka matinud-anon nga optical nga giladmon sa frame nga walay ikaduha nga camera, sama sa uban.
Ang Plenooptic usa ka kusgan nga hinagiban nga wala pa mobuto. Ania ang usa ka link sa usa sa akong paborito nga bag-o diin ako nanghulam og mga ehemplo gikan.
Plenoptic camera - sa dili madugay mahimong matag usa
Giimbento niadtong 1994, gitigom sa Stanford niadtong 2004. Ang unang consumer camera, ang Lytro, gipagawas sa 2012. Ang industriya sa VR aktibo nga nag-eksperimento sa parehas nga mga teknolohiya.
Ang plenoptic camera lahi sa usa ka conventional camera sa usa lamang ka pagbag-o - ang matrix niini gitabonan sa usa ka grid sa mga lente, nga ang matag usa naglangkob sa pipila ka tinuod nga mga pixel. Usa ka butang nga sama niini:
kung husto nimo nga kuwentahon ang gilay-on gikan sa grid ngadto sa matrix ug ang gidak-on sa aperture, ang katapusan nga hulagway moresulta sa tin-aw nga mga pungpong sa mga pixel - usa ka matang sa mini nga bersyon sa orihinal nga hulagway.
Mopatim-aw nga kung magkuha ka, ingnon ta, usa ka sentral nga pixel gikan sa matag cluster ug ipapilit ang litrato sa kanila, dili kini magkalainlain sa bisan unsang paagi gikan sa usa nga nakuha gamit ang usa ka naandan nga camera. Oo, nawala kami gamay sa resolusyon, apan hangyoon lang namon ang Sony nga magdugang daghang mga megapixel sa mga bag-ong matrice.
Nagsugod pa lang ang kalingawan. kung magkuha ka ug lain nga pixel gikan sa matag cluster ug ipapilit pag-usab ang litrato, makakuha ka usab usa ka normal nga litrato, sama ra nga gikuha sa usa ka pagbalhin sa usa ka pixel. Sa ingon, nga adunay mga pungpong sa 10 Γ 10 nga mga piksel, makakuha kami og 100 ka mga imahe sa hilisgutan gikan sa "gamay" nga lainlaing mga punto.
Ang mas dako nga gidak-on sa cluster nagpasabut nga daghang mga imahe, apan gamay nga resolusyon. Sa kalibutan sa mga smartphone nga adunay 41-megapixel matrice, bisan kung mahimo naton mapasagdan ang resolusyon sa gamay, ang tanan adunay limitasyon. Kinahanglang magbalanse ka.
Okay, nagtigum kami usa ka plenoptic camera, ug unsa ang gihatag niini kanamo?
Matinud-anon nga Pag-focus
Ang bahin nga gidungog sa tanan nga mga tigbalita sa mga artikulo bahin sa Lytro mao ang katakus nga matinud-anon nga ipasibo ang pokus sa post-production. Sa patas, gipasabot namo nga wala mi mogamit ug bisan unsang deblurring nga mga algorithm, apan gamiton lang ang mga pixel nga anaa sa kamot, pagpili o pag-average niini gikan sa mga cluster sa saktong han-ay.
Ang usa ka RAW nga litrato gikan sa usa ka plenoptic camera tan-awon nga katingad-an. Aron makuha ang naandan nga hait nga dyip gikan niini, kinahanglan una nimo kini i-assemble. Aron mahimo kini, kinahanglan nimo nga pilion ang matag pixel sa jeep gikan sa usa sa RAW clusters. Depende kung giunsa nato sila pagpili, ang resulta mausab.
Pananglitan, kon mas layo ang pungpong gikan sa dapit diin nahulog ang orihinal nga sagbayan, mas wala kini nga sagbayan. Kay optika. Aron makakuha og focus-shifted nga hulagway, kinahanglan lang nga mopili kita og mga pixel sa gilay-on nga atong gikinahanglan gikan sa orihinal - mas duol o mas layo pa.
Mas lisud ang pagbalhin sa pokus sa kaugalingon - sa pisikal nga paagi, adunay gamay nga mga pixel sa mga cluster. Sa sinugdan, dili gani gusto sa mga developers nga hatagan ang user og higayon nga mag-focus gamit ang ilang mga kamot - ang camera mismo ang nakasulbad niini sa programmatically. Ang mga tiggamit dili ganahan niini nga umaabot, tungod kay ang usa ka bahin gidugang sa ulahi nga firmware nga gitawag og "creative mode", apan ang refocus niini gihimo nga limitado kaayo alang niini nga rason.
Depth nga mapa ug 3D gikan sa usa ka camera
Usa sa pinakasimple nga operasyon sa plenoptics mao ang pagkuha og depth map. Aron mahimo kini, kinahanglan nimo nga kolektahon ang duha ka lainlaing mga bayanan ug kuwentahon kung giunsa ang pagbalhin sa mga butang sa kanila. Ang dugang nga pagbalhin nagpasabut nga mas layo sa camera.
Bag-o lang gipalit ug gipatay sa Google ang Lytro, apan gigamit ang ilang teknolohiya alang sa VR ug⦠para sa camera sa Pixel. Sugod sa Pixel 2, sa unang higayon, ang camera nahimong "medyo" plenoptic, bisan pa nga adunay mga cluster nga duha lamang ka pixel. Naghimo kini nga posible alang sa Google nga dili mag-install usa ka ikaduha nga camera, sama sa tanan nga ubang mga lalaki, apan aron makalkulo ang giladmon nga mapa gikan lamang sa usa ka litrato.
Ang giladmon nga mapa gihimo gikan sa duha ka mga frame nga gibalhin sa usa ka subpixel. Kini igo na aron makalkulo ang binary depth nga mapa ug ibulag ang foreground gikan sa background ug i-blur ang ulahi sa karon nga uso nga bokeh. Ang resulta sa ingon nga usa ka layering gipahapsay gihapon ug "gipauswag" sa mga neural network nga gibansay aron mapaayo ang giladmon nga mga mapa (ug dili blur, sama sa gihunahuna sa daghang mga tawo).
Ang laing limbong mao nga kami adunay plenoptics sa mga smartphone nga halos libre. Nagbutang na kami og mga lente niining gagmay nga mga matrice aron sa usa ka paagi madugangan ang kahayag nga output. Sa sunod nga Pixel, ang Google nagplano nga moadto pa ug magtabon sa upat ka mga photodiode nga adunay usa ka lente.
Source: 3dnews.ru