Lahatsoratra vaovao: Computational Photography

Ny lahatsoratra tany am-boalohany dia navoaka tao amin'ny tranokala Vastrik.ru ary navoaka tao amin'ny 3DNews nahazoana alalana avy amin'ny mpanoratra. Manome ny lahatsoratra feno amin'ny lahatsoratra izahay, afa-tsy ny rohy marobe - dia mahasoa ho an'ireo izay tena liana amin'ny lohahevitra izy ireo ary te handalina ny lafiny teorika amin'ny sary kajy amin'ny lalindalina kokoa, fa ho an'ny mpihaino amin'ny ankapobeny noheverinay fa tsy ampy io fitaovana io.  

Amin'izao fotoana izao, tsy misy famelabelarana amin'ny finday avo lenta tanteraka raha tsy milelaka ny fakan-tsary. Isan-bolana dia mandre momba ny fahombiazan'ny fakantsary finday manaraka isika: Google dia mampianatra an'i Pixel hitifitra ao anaty haizina, Huawei hanao zoom toy ny binocular, Samsung dia mampiditra lidar, ary Apple dia manao ny zorony boribory indrindra eran-tany. Vitsy ny toerana izay mikoriana haingana be amin'izao andro izao ny fanavaozana.

Amin'izay fotoana izay ihany koa dia toa manamarika ny fotoana ny fitaratra. Isan-taona ny Sony dia mandrotsaka matrices vaovao ho an'ny rehetra, ary ny mpanamboatra dia manavao ny tarehimarika farany farany ary manohy miala sasatra sy mifoka sigara eny an-dalana. Manana DSLR $3000 eo amin'ny latabatro aho, fa rehefa mandeha aho dia maka ny iPhone-ko. Nahoana?

Araka ny voalazan'ny klasika dia nandeha an-tserasera aho tamin'ity fanontaniana ity. Any izy ireo dia miresaka momba ny "algorithm" sy ny "tambajotra neural", nefa tsy fantany ny tena fiantraikan'izy ireo amin'ny sary. Ny mpanao gazety dia mamaky mafy ny isan'ny megapixels, ny mpitoraka bilaogy dia miray tsikombakomba tsy misy karama, ary ny aesthetes dia manosotra ny tenany amin'ny "fahatsapana ara-nofo amin'ny paleta miloko amin'ny matrix." Toy ny mahazatra ny zava-drehetra.

Tsy maintsy nipetraka aho, nandany ny antsasaky ny fiainako ary nahafantatra izany rehetra izany. Ato amin'ity lahatsoratra ity dia hilaza aminao izay nianarako aho.

⇑#Inona no atao hoe sary computational?

Na aiza na aiza, ao anatin'izany ny Wikipedia, dia manome zavatra toy izao izy ireo: ny sary kajy dia izay teknika fakana sary sy fanodinana izay mampiasa informatika nomerika fa tsy fiovan'ny optika. Tsara daholo ny momba azy, afa-tsy ny tsy manazava na inona na inona. Na dia ny autofocus aza dia mety amin'izany, fa ny plenoptics, izay efa nitondra zavatra mahasoa ho antsika, dia tsy mety. Ny manjavozavo amin'ny famaritana ofisialy dia toa manondro fa tsy fantatsika izay resahina.

Ny mpisava lalana amin'ny fakana sary kajy, profesora Stanford Marc Levoy (izay tompon'andraikitra amin'ny fakan-tsary ao amin'ny Google Pixel ankehitriny) dia manome famaritana iray hafa - andiana fomba fijerena informatika izay manatsara na manitatra ny fahafahan'ny sary nomerika, izay mampiasa sary mahazatra izay tsy azo nalaina ara-teknika tamin'ity fakan-tsary ity. Ao amin'ny lahatsoratra dia mifikitra amin'izany aho.

Noho izany, ny smartphones dia nomena tsiny amin'ny zava-drehetra.

Ny finday avo lenta dia tsy nanana safidy afa-tsy ny niteraka karazana sary vaovao: sary kajy.

Ny matrices kely mitabataba sy ny lantihy kely miadana, araka ny lalΓ na rehetra momba ny fizika, dia tokony hitondra fanaintainana sy fijaliana ihany. Nanao izany izy ireo mandra-pahitan'ny mpamorona azy ny fomba hampiasana amim-pahakingana ny tanjany mba handresena ny fahalemeny - fanakatonana elektronika haingana, processeur matanjaka ary rindrambaiko.

Lahatsoratra vaovao: Computational Photography

Ny ankamaroan'ny fikarohana malaza eo amin'ny sehatry ny fakana sary informatika dia nitranga teo anelanelan'ny taona 2005 sy 2015, izay heverina ara-bakiteny omaly amin'ny siansa. Amin'izao fotoana izao, eo imasontsika sy ao am-paosintsika, dia mivoatra ny sehatry ny fahalalana sy ny teknolojia vaovao izay tsy mbola nisy hatrizay.

Ny sary kajy dia tsy momba ny selfie miaraka amin'ny neuro-bokeh fotsiny. Ny sary vao haingana momba ny lavaka mainty dia tsy ho vita raha tsy misy teknika fakana sary. Mba haka sary toy izany amin'ny teleskaopy mahazatra, dia tsy maintsy ataontsika ny haben'ny tany. Na izany aza, tamin'ny fampifangaroana angona avy amin'ny teleskaopy radio valo amin'ny teboka samihafa amin'ny baolinay sy ny fanoratana lahatsoratra vitsivitsy amin'ny Python, dia nahazo ny sary voalohany eran-tany momba ny faravodilanitra izahay. Tsara ho an'ny selfie koa.

Lahatsoratra vaovao: Computational Photography

⇑#Manomboka: fanodinana nomerika

Alao sary an-tsaina hoe niverina tamin'ny 2007 isika. Ny reninay dia tsy misy dikany, ary ny sarinay dia jeep 0,6 megapixel mitabataba nalaina tamin'ny skateboard. Amin'izay fotoana izay dia manana faniriana tsy azo toherina voalohany isika hamafy presets amin'izy ireo mba hanafenana ny faharatsian'ny matrices finday. Aoka isika tsy handa ny tenantsika.

Lahatsoratra vaovao: Computational Photography

⇑#Matan sy Instagram

Tamin'ny famoahana ny Instagram, nanjary variana tamin'ny sivana ny rehetra. Amin'ny maha olona nanamboatra ny X-Pro II, Lo-Fi ary Valencia ho an'ny tanjona fikarohana, mazava ho azy, dia mbola tadidiko fa misy singa telo izy ireo:

  • Fandrindrana loko (Hue, Saturation, Lightness, Contrast, Levels, sns.) - coefficient dizitaly tsotra, toy ny efa nampiasain'ny mpaka sary preset hatramin'ny taloha.
  • Ny Tone Mappings dia vectors misy soatoavina, izay samy nilaza taminay hoe: "Ny loko mena misy loko 128 dia tokony hovana ho loko 240."
  • Ny overlay dia sary mangatsiatsiaka miaraka amin'ny vovoka, voamadinika, vignette, ary ny zavatra hafa rehetra azo apetraka eo ambony mba hahazoana ny effet tsy banal amin'ny sarimihetsika taloha. Tsy teo foana.   

Ny sivana maoderina dia tsy lavitra an'io trio io, lasa sarotra kokoa amin'ny matematika izy ireo. Miaraka amin'ny fahatongavan'ireo shaders hardware sy OpenCL amin'ny finday, dia naverina nosoratana haingana ho an'ny GPU izy ireo, ary noheverina ho mangatsiaka be izany. Ho an'ny 2012, mazava ho azy. Amin'izao fotoana izao, ny mpianatra rehetra dia afaka manao toy izany koa amin'ny CSS, ary mbola tsy mahazo fahafahana hahazo diplaoma.

Na izany aza, tsy nitsahatra ny fivoaran'ny sivana androany. Ny bandy avy any Dehanser, ohatra, dia mahay mampiasa sivana tsy mitongilana - raha tokony ho sarin-tsarin'ny tonony proletarianina, dia mampiasa fiovana tsy mitongilana sarotra kokoa, izay, araka ny filazan'izy ireo, dia manokatra fahafahana bebe kokoa.

Afaka manao zavatra be dia be ianao amin'ny fiovan'ny nonlinear, saingy sarotra be izy ireo, ary tena adala isika olombelona. Raha vantany vao tonga amin'ny fiovan'ny tsy tsipika amin'ny siansa, dia aleontsika mankany amin'ny fomba nomerika sy ny tambazotra neural eny rehetra eny mba hanoratra sangan'asa ho antsika. Toy izany koa teto.

⇑#Automation sy nofinofy bokotra "masterpiece".

Rehefa zatra sivana ny rehetra dia nanomboka nanamboatra azy ireo mivantana ho fakantsary izahay. Ny tantara dia manafina hoe iza no mpanamboatra voalohany, fa mba hahatakarana fotsiny hoe hafiriana izany - ao amin'ny iOS 5.0, izay navoaka tamin'ny 2011, dia efa nisy API ho an'ny daholobe ho an'ny Auto Enhancing Images. Jobs ihany no mahalala hoe hafiriana no nampiasaina vao nisokatra ho an'ny besinimaro.

Ny automatique dia nanao zavatra mitovy amin'ny ataon'ny tsirairay amintsika rehefa manokatra sary ao amin'ny tonian-dahatsoratra - nanala ny banga amin'ny hazavana sy ny aloka izy io, nanampy ny saturation, nanala ny maso mena ary ny hodi-biby. Tsy fantatry ny mpampiasa akory fa ny "fakan-tsary nohatsaraina be" ao amin'ny finday vaovao dia ny fahamendrehan'ny shaders vaovao roa. Mbola nisy dimy taona sisa tavela talohan'ny nivoahan'ny Google Pixel sy ny nanombohan'ny fikajiana sary kajy.

Lahatsoratra vaovao: Computational Photography

Androany, nifindra tany amin'ny sehatry ny fianarana milina ny ady amin'ny bokotra "masterpiece". Rehefa nilalao ampy tamin'ny sarintany ny tonony, dia nihazakazaka nanofana CNN sy GAN ny rehetra mba hamindra sliders fa tsy ny mpampiasa. Raha lazaina amin'ny teny hafa, avy amin'ny sary ampidirina, dia mamaritra andiana masontsivana tsara indrindra izay hahatonga ity sary ity hanakaiky kokoa ny fahatakarana manokana momba ny "sary tsara". Napetraka ao amin'ny Pixelmator Pro mitovy sy ny tonian-dahatsoratra hafa. Mandeha izany, araka ny mety ho eritreretinao, tsy dia tsara ary tsy foana. 

⇑#Ny stacking dia 90% amin'ny fahombiazan'ny fakantsary finday

Ny sarin'ny computational tena izy dia nanomboka tamin'ny fametahanaβ€”fametahana sary maromaro mifanipaka. Tsy olana ho an'ny finday avo lenta ny manindry sary am-polony ao anatin'ny antsasaky ny segondra. Ny fakantsarin'izy ireo dia tsy manana ampahany mekanika miadana: raikitra ny aperture, ary fa tsy ridao mihetsika dia misy fanakanana elektronika. Ny processeur dia mandidy fotsiny ny matrix hoe firy microseconds tokony hisambotra foton-dia, ary mamaky ny valiny.

Ara-teknika, ny finday dia afaka maka sary amin'ny hafainganam-pandehan'ny horonan-tsary, ary ny horonan-tsary amin'ny famaha sary, fa miankina amin'ny hafainganam-pandehan'ny fiara fitateram-bahoaka sy ny processeur izany rehetra izany. Izany no mahatonga azy ireo hametraka fetran'ny programa foana.

Ny staking dia efa niaraka taminay hatry ny ela. Na dia ny raibe aza dia nametraka plugins tao amin'ny Photoshop 7.0 mba hanangonana sary maromaro ho HDR mahasarika na hanambatra ny panorama amin'ny 18000 Γ— 600 pixels ary ... raha ny marina, tsy nisy olona nahita izay tokony hatao amin'izy ireo manaraka. Mampalahelo fa nanan-karena sy bibidia ny fotoana.

Ankehitriny dia lasa olon-dehibe isika ary miantso azy io hoe "sary epsilon" - rehefa, amin'ny fanovana ny iray amin'ireo mari-pamantarana fakan-tsary (famirapiratana, fifantohana, toerana) ary manjaitra ireo frame aterak'izany, dia mahazo zavatra tsy azo alaina ao anaty frame iray. Fa izany dia teny ho an'ny teorista, raha ny marina, anarana hafa no naka faka - staking. Ankehitriny, raha ny marina, ny 90% amin'ny fanavaozana rehetra amin'ny fakantsary finday dia mifototra amin'izany.

Lahatsoratra vaovao: Computational Photography

Zavatra tsy eritreretin'ny olona maro, fa zava-dehibe ny mahatakatra ny sary rehetra amin'ny finday sy ny informatika: manomboka maka sary ny fakan-tsary amin'ny finday maoderina raha vao manokatra ny fampiharana azy ianao. Izay lojika, satria mila hamindra ny sary amin'ny efijery izy. Na izany aza, ho fanampin'ny efijery, dia mitahiry frames avo lenta ao amin'ny buffer azy manokana izy, izay itahiriziny azy ireo mandritra ny segondra vitsy.

Rehefa manindry ny bokotra "maka sary" ianao, dia efa nalaina tokoa, ny fakantsary dia maka ny sary farany avy amin'ny buffer.

Toy izany ny fiasan'ny fakantsary finday ankehitriny. Farafaharatsiny amin'ny sainam-pirenena rehetra fa tsy avy amin'ny fako. Ny buffering dia ahafahanao mahatsapa fa tsy ny zero shutter lag, izay efa nofinofin'ny mpaka sary, fa na dia ratsy aza - rehefa manindry bokotra iray ianao, ny smartphone dia mijery ny lasa, manala ny sary 5-10 farany avy amin'ny buffer ary manomboka mamakafaka am-po. ary apetaho izy ireo. Tsy miandry intsony ny telefaona hanindry sary ho an'ny HDR na mode alina - alao fotsiny amin'ny buffer izy ireo, tsy ho fantatry ny mpampiasa akory.

Lahatsoratra vaovao: Computational Photography

Amin'ny lafiny iray, noho ny fanampian'ny fanakatonana ratsy ny Live Photo dia ampiharina amin'ny iPhones, ary ny HTC dia nanana zavatra mitovy tamin'ny taona 2013 tamin'ny anarana hafahafa Zoe.

⇑#Fametrahana ny famirapiratana - HDR ary miady amin'ny fiovan'ny famirapiratana

Lahatsoratra vaovao: Computational Photography

Lohahevitry ny adihevitra efa tranainy ny hoe mahay maka ny famirapiratana rehetra azon'ny masontsika ny fakan-tsary. Misy milaza hoe tsia, satria ny maso dia afaka mahita hatramin'ny 25 f-stops, fa na dia avy amin'ny matrix full-frame ambony aza dia afaka mahazo 14 ambony indrindra. Ny hafa dia miantso ny fampitahana ho diso, satria ny atidoha dia manampy ny maso amin'ny fanitsiana ho azy. ny mpianatra sy ny famenoana ny sary miaraka amin'ny tambajotra neural, ary eo noho eo Ny isan'ny dynamique amin'ny maso dia tsy mihoatra ny 10-14 f-stop fotsiny. Avelantsika ho an'ireo mpandinika seza tsara indrindra amin'ny Internet ity adihevitra ity.

Ny zava-misy dia mitoetra: rehefa mitifitra namana amin'ny lanitra mamiratra tsy misy HDR amin'ny fakantsary finday rehetra ianao, dia mahazo lanitra ara-dalΓ na sy tarehin'ny mainty hoditra, na namana voasarika tsara, fa lanitra maty ho faty.

Ny vahaolana dia efa ela no noforonina - mba hanitarana ny famirapiratana amin'ny fampiasana HDR (High dynamic range). Mila maka sary maromaro amin'ny hafainganan'ny fanakatonana ianao ary manjaitra azy ireo. Ka ny iray dia "normal", ny faharoa dia maivana, ny fahatelo dia maizina. Maka toerana maizimaizina avy amin'ny frame maivana isika, mameno ny hazavana be loatra avy amin'ny maizina - tombony. Ny hany sisa tavela dia ny famahana ny olan'ny bracketing mandeha ho azy - ohatrinona ny fanodikodinana ny famirapiratan'ny frame tsirairay mba tsy hihoatra izany, fa ankehitriny ny mpianatra taona faharoa amin'ny oniversite teknika dia afaka mamaritra ny salan'isa famirapiratry ny sary.

Lahatsoratra vaovao: Computational Photography

Amin'ny iPhone, Pixel ary Galaxy farany indrindra, ny maody HDR dia mandeha ho azy amin'ny ankapobeny rehefa misy algorithm tsotra ao anatin'ny fakantsary mamaritra fa mitifitra zavatra mifanohitra amin'ny andro masoandro ianao. Azonao atao mihitsy aza ny mahita ny fomba famadihan'ny telefaona ny fomba fandraketana amin'ny buffer mba hamonjena ny sary nafindra amin'ny fiposahan'ny masoandro - ny fps ao amin'ny fakantsary dia midina, ary ny sary mihitsy no lasa juicier. Hita mazava tsara amin'ny iPhone X-ko ny fotoana mifamadika rehefa maka sary an-kalamanjana. Jereo akaiky ny smartphone-nao amin'ny manaraka koa.

Ny tsy fahampian'ny HDR miaraka amin'ny bracketing fampirantiana dia ny tsy fahampian'ny tsy fahampiana amin'ny hazavana ratsy. Na dia eo aza ny hazavan'ny jiron'ny efitrano iray, dia lasa maizina loatra ny frame ka tsy afaka mampifanaraka sy manjaitra azy ireo ny solosaina. Mba hamahana ny olana amin'ny hazavana, tamin'ny 2013 Google dia naneho fomba hafa momba ny HDR tamin'ny finday Nexus navoaka avy eo. Nampiasa ny fanangonam-potoana izy.

⇑#Fametrahana fotoana - simulation fampandrenesana lava sy fandaniam-potoana

Lahatsoratra vaovao: Computational Photography

Ny fametahana fotoana dia ahafahanao mamorona fampisehoana lava amin'ny alΓ lan'ny andiana fohy. Ireo mpisava lalana dia mpankafy maka sary ny lalan'ny kintana eny amin'ny lanitra amin'ny alina, izay nahita fa sarotra ny manokatra ny fanakatonana mandritra ny adiny roa miaraka. Sarotra dia sarotra ny nanao kajy mialoha ny fandrindrana rehetra, ary ny fihozongozonana kely dia hanimba ny rafitra manontolo. Nanapa-kevitra ny hanokatra ny fanakatonana ihany izy ireo nandritra ny roa minitra, fa imbetsaka, ary avy eo dia nody ary napetany tao amin'ny Photoshop ny sary frame.

Lahatsoratra vaovao: Computational Photography

Hita fa tsy nitifitra tamin'ny hafainganam-pandeha lava be mihitsy ilay fakan-tsary, saingy nahazo ny vokatry ny fanaovana simulation izany izahay tamin'ny fampitomboana sary maromaro nalaina nisesy. Nisy andianΓ  fampiharana nosoratana ho an'ny finday avo lenta izay mampiasa an'io fika io nandritra ny fotoana ela, saingy tsy ilaina izany rehetra izany satria nampidirina tamin'ny fakantsary mahazatra rehetra ny endri-javatra. Amin'izao fotoana izao, na ny iPhone iray aza dia afaka manjaitra mora foana ny fampisehoana lava avy amin'ny Live Photo.

Lahatsoratra vaovao: Computational Photography

Andao hiverina amin'ny Google miaraka amin'ny HDR amin'ny alina. Hita fa amin'ny fampiasana bracketing fotoana dia azonao atao ny mampihatra HDR tsara ao anaty haizina. Ny teknolojia dia niseho voalohany tao amin'ny Nexus 5 ary nantsoina hoe HDR +. Ny ambiny amin'ny finday Android dia nahazo izany toy ny fanomezana. Ny teknolojia dia mbola malaza be ka deraina amin'ny fanolorana ny Pixels farany.

Ny HDR+ dia miasa tsotra izao: rehefa nanapa-kevitra fa mitifitra ao anaty haizina ianao, dia mamoaka ny sary RAW 8-15 farany avy amin'ny buffer ny fakan-tsary mba hampifanakafana azy ireo. Noho izany, ny algorithm dia manangona fampahalalana bebe kokoa momba ny faritra maizina amin'ny frame mba hampihenana ny tabataba - pixel izay, noho ny antony, ny fakantsary dia tsy afaka nanangona ny fampahalalana rehetra ary tsy nety.

Toy ny hoe raha tsy fantatrao ny endriky ny capybara ary nangataka olona dimy ianao mba hamaritana izany, dia mitovy ny tantarany, saingy samy hilaza tsipiriany miavaka ny tsirairay. Amin'izany fomba izany dia afaka manangona fampahalalana bebe kokoa ianao fa tsy manontany iray fotsiny. Toy izany koa ny piksel.

Ny fampidirana sary nalaina avy amin'ny teboka iray dia manome fiantraikany lava be hosoka toy ny amin'ireo kintana etsy ambony. Ny fampahafantarana ny frame am-polony dia fintinina, ny fahadisoana amin'ny iray dia ahena amin'ny hafa. Alaivo sary an-tsaina hoe ohatrinona no tsy maintsy manindry ny DSLR shutter isaky ny hahatratra izany.

Lahatsoratra vaovao: Computational Photography

Ny hany sisa tavela dia ny famahana ny olana amin'ny fanitsiana loko mandeha ho azy - ny frame nalaina tao anaty haizina dia matetika mivadika mavo na maitso, ary tianay ny haren'ny andro. Tamin'ny dikan-teny voalohany amin'ny HDR + dia voavaha izany tamin'ny alΓ lan'ny fanovana tsotra izao ny fanovana, toy ny amin'ny sivana a la Instagram. Avy eo izy ireo dia niantso ny tambajotra neural mba hanampy.

Toy izany no nisehoan'ny Night Sight - ny teknolojian'ny β€œphotos night” ao amin'ny Pixel 2 sy 3. Ao amin'ny famaritana dia milaza izy ireo hoe: β€œTekinika fianarana milina natsangana teo ambonin'ny HDR+, izay mampandeha ny Night Sight.” Amin'ny ankapobeny, io no automation ny dingana fanitsiana loko. Ny milina dia nampiofanina tamin'ny angon-drakitra misy sary "alohan'ny" sy "aorian'ny" mba hahatonga ny sary iray tsara tarehy avy amin'ireo andian-tsary miolakolaka maizina.

Lahatsoratra vaovao: Computational Photography

Raha ny tokony ho izy, dia natao ampahibemaso ny angon-drakitra. Angamba horaisin'ny bandy avy any Apple izany ary farany hampianatra ny angady fitaratra azy ireo haka sary tsara ao anaty haizina.

Ho fanampin'izay, ny Night Sight dia mampiasa ny kajy ny vector motion ny zavatra ao amin'ny frame mba hanamafisana ny blur izay azo antoka fa hitranga miaraka amin'ny hafainganam-pandehan'ny shutter lava. Noho izany, ny smartphone dia afaka maka ampahany mazava amin'ny frame hafa ary mametaka azy ireo.

⇑#Motion stacking - panorama, superzoom ary fampihenana ny feo

Lahatsoratra vaovao: Computational Photography

Ny Panorama dia fialamboly malaza ho an'ny mponina any ambanivohitra. Tsy mbola fantatry ny tantara ny tranga iray izay hahaliana ny olona hafa ankoatra ny mpanoratra azy ny sary saosisy, saingy tsy azo tsinontsinoavina izany - ho an'ny maro, teo no nanombohan'ny stacking voalohany.

Lahatsoratra vaovao: Computational Photography

Ny fomba mahasoa voalohany amin'ny fampiasana panorama dia ny fahazoana sary manana fanapahan-kevitra ambony kokoa noho ny azon'ny matrix fakan-tsary amin'ny fanjairana sary maromaro. Efa ela ny mpaka sary no nampiasa rindrankajy samihafa ho an'ny antsoina hoe sary manara-penitra - rehefa toa mifameno eo anelanelan'ny piksel ny sary mihetsika kely. Amin'izany fomba izany dia afaka mahazo sary misy gigapixel an-jatony farafahakeliny ianao, izay tena ilaina raha mila manonta azy amin'ny afisy dokam-barotra mitovy habe amin'ny trano ianao.

Lahatsoratra vaovao: Computational Photography

Fomba iray hafa mahaliana kokoa ny Pixel Shifting. Ny fakan-tsary tsy misy fitaratra toa an'i Sony sy Olympus dia nanomboka nanohana azy io tamin'ny 2014, saingy mbola tsy maintsy napetaka tamin'ny tanana ny vokatra. Fanavaozana fakantsary lehibe mahazatra.

Nahomby teto ny finday noho ny antony mahatsikaiky - rehefa maka sary ianao dia mihintsana ny tananao. Ity olana toa ity no fototry ny fampiharana ny famahana ny famahana super teratany amin'ny finday.

Mba hahatakarana ny fomba fiasan'izany dia mila mitadidy ny fomba firafitry ny matrix amin'ny fakantsary rehetra ianao. Ny pikantsary tsirairay avy aminy (photodiode) dia tsy afaka mirakitra afa-tsy ny hamafin'ny hazavana - izany hoe ny isan'ny photons miditra. Na izany aza, ny piksel dia tsy afaka mandrefy ny lokony (halavan'ny onjam-peo). Mba hahazoana sary RGB dia tsy maintsy nampiana tehina ihany koa izahay - manarona ny matrice manontolo miaraka amin'ny tsipika misy fitaratra misy loko maro. Ny fampiharana malaza indrindra dia antsoina hoe sivana Bayer ary ampiasaina amin'ny ankamaroan'ny matrices ankehitriny. Tahaka ny sary etsy ambany.

Lahatsoratra vaovao: Computational Photography

Hita fa ny singa R-, G- na B ihany no azon'ny pixel tsirairay ao amin'ny matrix, satria ny foton'ny sisa tavela dia hita taratra amin'ny sivana Bayer. Izy io dia mahafantatra ireo singa tsy hita amin'ny alΓ lan'ny fanombanana ny sandan'ny pixel mifanila aminy.

Misy sela maitso bebe kokoa ao amin'ny sivana Bayer - izany dia natao tamin'ny fanoharana amin'ny mason'olombelona. Hita fa avy amin'ny 50 tapitrisa pixels amin'ny matrix, maitso dia hahazo 25 tapitrisa, mena sy manga - 12,5 tapitrisa tsirairay avy. Ny ambiny dia ho salan'isa - ity dingana ity dia antsoina hoe debayerization na demosaicing, ary ity dia tavy mampihomehy mampihomehy. izay mitsahatra ny zavatra rehetra.

Lahatsoratra vaovao: Computational Photography

Raha ny marina, ny matrices tsirairay dia manana ny algorithm demosaicing hafetsena, fa ho an'ny tanjon'ity tantara ity dia tsy hiraharaha izany isika.

Ny karazana matrices hafa (toy ny Foveon) dia mbola tsy tratra. Na dia miezaka mampiasa sensor tsy misy sivana Bayer aza ny mpanamboatra sasany mba hanatsarana ny maranitra sy ny dynamic range.

Rehefa kely ny hazavana na ny antsipirihan'ny zavatra iray dia tena bitika dia very ny fampahalalana be dia be isika satria ny sivana Bayer dia manapaka mazava ny foton'ny onjam-peo tsy ilaina. Izany no nahatonga azy ireo namorona Pixel Shifting - nanova ny matrix amin'ny 1 pixel miakatra-miankavanana-ankavia mba hisambotra azy rehetra. Amin'ity tranga ity, ny sary dia tsy mivadika ho in-4 lehibe kokoa, araka ny mety ho toa, ny processeur mampiasa tsotra izao angon-drakitra mba hanoratana marina kokoa ny sandan'ny pixel tsirairay. Tsy eo amin'ny mpifanolo-bodirindrina aminy izany, raha lazaina, fa mihoatra ny soatoavina efatra.

Lahatsoratra vaovao: Computational Photography

Ny fifampikasihan-tanana rehefa maka sary amin'ny telefaona dia mahatonga ity dingana ity ho vokatra voajanahary. Ao amin'ny dikan-teny farany amin'ny Google Pixel, ity zavatra ity dia ampiharina sy mihodina isaky ny mampiasa zoom amin'ny telefaona ianao - antsoina hoe Super Res Zoom (eny, tiako koa ny anaran'izy ireo tsy misy indrafo). Nadika tamin’ny laophoneny ihany koa ny Sinoa, na dia niharatsy kely aza izany.

Ny fametahana sary mihetsika kely eo ambonin'ny tsirairay dia ahafahanao manangona fampahalalana bebe kokoa momba ny lokon'ny piksel tsirairay, izay midika hoe fampihenana ny tabataba, ny fampitomboana ny hakingan-tsaina ary ny fampiakarana ny fanapahan-kevitra nefa tsy mampitombo ny isan'ny megapixel ara-batana amin'ny matrix. Ny sainam-pirenena Android maoderina dia manao izany ho azy, tsy mieritreritra an'izany akory ny mpampiasa azy.

⇑#Focus stacking - ny halalin'ny saha rehetra ary avereno mifantoka amin'ny famokarana

Lahatsoratra vaovao: Computational Photography

Ny fomba dia avy amin'ny sary macro, izay olana foana ny halalin'ny saha. Mba hampifantohana ny zavatra iray manontolo dia tsy maintsy maka sary maromaro ianao ary mihodina mandroso sy mandroso ny fifantohana, ary atambatra ho iray maranitra. Io fomba io no matetika nampiasain'ny mpaka sary teny an-tany, ka nahatonga ny aloha sy ny ambadika ho maranitra toy ny aretim-pivalanana.

Lahatsoratra vaovao: Computational Photography

Izany rehetra izany koa dia nifindra tany amin'ny smartphones, na dia tsy misy hype be aza. Tamin'ny taona 2013, navoaka ny Nokia Lumia 1020 miaraka amin'ny "Refocus App", ary tamin'ny 2014, Samsung Galaxy S5 miaraka amin'ny fomba "Selective Focus". Niasa araka ny tetika mitovy izy ireo: tamin'ny fanindriana bokotra iray dia naka sary 3 haingana izy ireo - ny iray misy fifantohana "ara-dalΓ na", ny faharoa misy fifantohana dia nandroso ary ny fahatelo niaraka tamin'ny fifantohana dia nihemotra. Ny programa dia nampifanaraka ny frame ary namela anao hisafidy ny iray amin'izy ireo, izay nambara ho "tena" fanaraha-maso mifantoka amin'ny famokarana.

Tsy nisy fanodinana intsony, satria na dia ity hack tsotra ity aza dia efa ampy nampidirana fantsika hafa tao amin'ny saron'i Lytro sy ireo namany niaraka tamin'ny fifantohana marina. Teny an-dalana, andao hiresaka momba azy ireo (transition master 80 lvl).

⇑#Matrices computational - saha hazavana sy plenoptics

Araka ny efa azontsika tetsy ambony, ny matrices dia mampihoron-koditra amin'ny crutches. Efa zatra izany izahay ary miezaka ny miaina miaraka aminy. Tsy dia niova firy ny firafitr'izy ireo hatramin'ny niandohan'ny fotoana. Ny dingana ara-teknika ihany no nohatsarainay - nampihena ny elanelana misy ny piksel, niady tamin'ny tabataba manelingelina, ary nanampy pikantsary manokana ho an'ny autofocus detection phase. Fa raha maka na dia ny lafo indrindra DSLR ary miezaka ny hitifitra saka mihazakazaka miaraka aminy ao amin'ny efitrano jiro - ny saka, raha lazaina amin'ny fomba malefaka, dia handresy.

Lahatsoratra vaovao: Computational Photography

Efa ela izahay no niezaka namorona zavatra tsara kokoa. Betsaka ny andrana sy fikarohana amin'ity sehatra ity no nalaina tamin'ny google ho an'ny "sensor computational" na "sensor tsy bayer", ary na ny ohatra Pixel Shifting etsy ambony aza dia azo lazaina amin'ny fikasana hanatsara ny matrices amin'ny fampiasana kajy. Na izany aza, ny tantara tena nampanantenaina tao anatin'ny roapolo taona farany dia tonga amintsika avy amin'ny tontolon'ny antsoina hoe fakan-tsary plenoptic.

Mba tsy ho resin-tory ianao amin'ny fiandrasana ny teny sarotra ho avy, dia hanipy ao anatiny aho fa ny fakantsarin'ny Google Pixel farany dia plenoptic "kely". Pixel roa fotsiny, fa na dia izany aza dia mamela azy kajy ny halalin'ny optika marina amin'ny frame na dia tsy misy fakantsary faharoa aza, toy ny olon-drehetra.

Plenoptics dia fitaovam-piadiana mahery vaika izay mbola tsy nitifitra. Ity misy rohy mankany amin'ny iray amin'ireo vao haingana tiako indrindra. lahatsoratra momba ny fahaizan'ny fakan-tsary plenoptic sy ny hoavintsika miaraka amin'izy ireo, izay nindramiko ireo ohatra.

⇑#

Fakan-tsary Plenoptic - ho avy tsy ho ela

Noforonina tamin'ny 1994, nangonina tao Stanford tamin'ny 2004. Ny fakantsary mpanjifa voalohany, Lytro, dia navoaka tamin'ny 2012. Ny indostrian'ny VR ankehitriny dia manao fanandramana mavitrika amin'ny teknolojia mitovy.

Ny fakan-tsary plenoptic dia tsy mitovy amin'ny fakan-tsary mahazatra amin'ny fanovana tokana - ny matrix dia voarakotra amin'ny lantihy, izay samy mandrakotra pixel tena izy. Misy zavatra toy izao:

Lahatsoratra vaovao: Computational Photography

Raha kajy tsara ny halaviran-dalana mankany amin'ny matrix sy ny haben'ny aperture, ny sary farany dia hanana fitambarana piksel mazava - karazana dikan-teny kely amin'ny sary tany am-boalohany.

Hita fa raha maka pixel iray afovoany avy amin'ny cluster tsirairay ianao ary mametaka ny sary miaraka amin'ny fampiasana azy fotsiny, dia tsy misy hafa amin'ny nalaina tamin'ny fakantsary mahazatra. Eny, very kely izahay tamin'ny fanapahan-kevitra, fa hangataka an'i Sony izahay mba hampiditra megapixel bebe kokoa amin'ny matrices vaovao.

Lahatsoratra vaovao: Computational Photography

Vao manomboka ny fahafinaretana. raha maka pixel iray hafa avy amin'ny cluster tsirairay ianao ary atambatra indray ny sary, dia hahazo sary mahazatra indray ianao, toy ny hoe nalaina tamin'ny fiovan'ny pixel iray. Noho izany, miaraka amin'ny clusters 10 Γ— 10 pixel, dia mahazo sary 100 amin'ny zavatra avy amin'ny teboka "kely" samihafa isika.

Lahatsoratra vaovao: Computational Photography

Ny haben'ny cluster lehibe kokoa dia midika hoe sary bebe kokoa, fa ny famaha ambany kokoa. Ao amin'ny tontolon'ny finday misy 41-megapixel matrices, na dia afaka manao tsinontsinona ny fanapahan-kevitra kely aza isika, dia misy fetrany ny zava-drehetra. Tsy maintsy mitazona fifandanjana ianao.

Eny, nanangona fakan-tsary plenoptic izahay, ka inona no omen'izany antsika?

Mifantoka tanteraka

Ny endri-javatra izay noresahin'ny mpanao gazety rehetra tao amin'ny lahatsoratra momba an'i Lytro dia ny fahafahana manitsy am-pahatsorana ny fifantohana amin'ny famokarana. Raha ny marina dia midika izany fa tsy mampiasa algorithm deblurring izahay, fa mampiasa fotsiny ny pixel eo am-pelatanana, mifidy na manao salan'isa avy amin'ny cluster amin'ny filaharana ilaina.

Ny sary RAW avy amin'ny fakantsary plenoptic dia toa hafahafa. Mba hahazoana ilay jeep maranitra mahazatra, dia tsy maintsy manangona azy aloha ianao. Mba hanaovana izany, mila misafidy ny piksel tsirairay amin'ny jeep ianao amin'ny iray amin'ireo cluster RAW. Miankina amin'ny fomba hifidianantsika azy ireo no hiova ny vokany.

Ohatra, arakaraky ny halaviran'ny cluster avy amin'ny toerana nipoiran'ny taratra tany am-boalohany no tsy hifantoka bebe kokoa io taratra io. Satria optika. Mba hahazoana sary miovaova mifantoka, mila mifidy piksela amin'ny halavirana tiana amin'ny tany am-boalohany - na akaiky kokoa na lavitra.

Lahatsoratra vaovao: Computational Photography

 

Sarotra kokoa ny namindra ny fifantohana tamin'ny tenanao - ara-batana fotsiny, vitsy kokoa ny piksela toy izany tao amin'ny cluster. Tamin'ny voalohany, tsy te hanome ny mpampiasa fahafahana hifantoka amin'ny tanany akory ireo mpamorona β€” ny fakantsary mihitsy no nanapa-kevitra izany tamin'ny rindrambaiko. Tsy tian'ny mpampiasa ity ho avy ity, noho izany dia nanampy endri-javatra iray tao amin'ny firmware taty aoriana izy ireo antsoina hoe "mode famoronana", saingy naverin'izy ireo ho voafetra be noho io antony io.

Sarintany lalina sy 3D avy amin'ny fakantsary iray   

Ny iray amin'ireo asa tsotra indrindra amin'ny plenoptics dia ny fahazoana sarintany lalina. Mba hanaovana izany, mila manangona frame roa samy hafa ianao ary manao kajy hoe ohatrinona ny zavatra ao anatiny no miova. Ny fiovana bebe kokoa dia midika hoe lavitra ny fakantsary.

Google vao haingana no nividy sy namono an'i Lytro, saingy nampiasa ny teknolojiany ho an'ny VR sy ... ho an'ny fakantsary Pixel. Nanomboka tamin'ny Pixel 2, ny fakan-tsary dia nanjary "somary" plenoptic voalohany, na dia miaraka amin'ny cluster roa monja aza. Izany dia nanome an'i Google fahafahana tsy hametraka fakan-tsary faharoa, toy ny an'ny lehilahy hafa rehetra, fa hanao kajy ny sarintany lalina amin'ny sary iray ihany.

Lahatsoratra vaovao: Computational Photography

Lahatsoratra vaovao: Computational Photography

Ny sarintany lalina dia amboarina amin'ny alΓ lan'ny sary roa afindran'ny subpixel iray. Ampy tsara ny manao kajy sarintany halalin'ny binary sy manasaraka ny aloha amin'ny ambadika ary manjavozavo ny farany amin'ny bokeh lamaody ankehitriny. Ny vokatry ny layering toy izany koa dia milamina sy "nohatsaraina" amin'ny alΓ lan'ny tamba-jotra neural izay nampiofanina hanatsarana ny sarintany lalina (ary tsy manjavozavo, araka ny fiheveran'ny olona maro).

Lahatsoratra vaovao: Computational Photography

Ny hafetsena dia nahazo plenoptics amin'ny finday saika maimaim-poana izahay. Efa nametraka lens amin'ireo matrices kely ireo izahay mba hampitombo ny flux manjelanjelatra. Ao amin'ny Pixel manaraka, Google dia mikasa ny handeha lavitra kokoa ary handrakotra photodiodes efatra amin'ny fakantsary.

Source: 3dnews.ru

Add a comment