Artikel aslina dipasang dina website sarta diterbitkeun dina 3DNews kalawan idin ti pangarang. Kami nyayogikeun téks lengkep ngeunaan tulisan, iwal sajumlah ageung tautan - aranjeunna bakal mangpaat pikeun jalma anu serius museurkeun topik sareng hoyong diajar aspék téoritis fotografi komputasi sacara langkung jero, tapi pikeun a panongton umum kami dianggap bahan ieu kaleuleuwihan.
Kiwari, teu aya hiji presentasi smartphone anu lengkep tanpa ngaletak kaméra na. Unggal bulan urang ngadangu ngeunaan kasuksésan hareup kaméra mobile: Google ngajarkeun Pixel némbak di nu poek, Huawei ngazum kawas binoculars, Samsung nyelapkeun lidar, sarta Apple ngajadikeun sudut roundest dunya. Aya sababaraha tempat dimana inovasi ngalir gancang pisan ayeuna.
Dina waktos anu sami, kaca spion sigana nyirian waktos. Sony taunan mandi dulur jeung matrices anyar, jeung pabrik puguh ngamutahirkeun digit versi panganyarna terus bersantai jeung ngaroko di sela. Kuring boga $ 3000 DSLR on meja kuring, tapi lamun kuring ngarambat, Kuring nyokot iPhone kuring. Naha?
Salaku klasik ceuk, Kuring indit online kalawan sual ieu. Di dinya aranjeunna ngabahas sababaraha "algoritma" sareng "jaringan saraf", tanpa gaduh ide kumaha persisna mangaruhan fotografi. Wartawan nyaring maca jumlah megapiksel, blogger ngagajikeun unboxing anu dibayar sacara serentak, sareng estetika ngagosok diri ku "persépsi sensual tina palet warna matriks." Sadayana sapertos biasa.
Kuring kedah calik, nyéépkeun satengah hirup kuring sareng terangkeun sadayana nyalira. Dina tulisan ieu kuring bakal nyaritakeun naon anu kuring diajar.
Naon ari fotografi komputasi?
Di mana waé, kaasup Wikipédia, aranjeunna masihan definisi sapertos kieu: fotografi komputasi mangrupikeun teknik néwak sareng ngolah gambar anu ngagunakeun komputasi digital tinimbang transformasi optik. Sadayana ngeunaan éta saé, kecuali éta henteu ngajelaskeun nanaon. Malah pokus otomatis cocog pikeun éta, tapi plenoptics, anu parantos masihan kami seueur hal anu mangpaat, henteu cocog. The vagueness tina definisi resmi sigana hint yén urang boga pamanggih naon urang ngobrol ngeunaan.
Pelopor fotografi komputasi, profésor Stanford Marc Levoy (anu ayeuna tanggung jawab kaméra di Google Pixel) masihan definisi sanés - sakumpulan metode visualisasi komputer anu ningkatkeun atanapi ngalegaan kamampuan fotografi digital, anu nganggo poto biasa dicandak éta. Téhnisna henteu tiasa dicandak nganggo kaméra ieu, kaméra ku cara tradisional. Dina artikel kuring taat kana ieu.
Janten, smartphone kedah disalahkeun pikeun sadayana.
Smartphone teu gaduh pilihan tapi ngalahirkeun jinis fotografi énggal: fotografi komputasi.
Matriks leutik anu bising sareng lénsa aperture leutik, numutkeun sadaya hukum fisika, kedahna ngan ukur nyeri sareng sangsara. Maranehna ngalakukeun kitu nepi ka pamekar maranéhanana ilahar kaluar kumaha cleverly ngagunakeun kaunggulan maranéhanana pikeun nungkulan kalemahan maranéhanana - shutters éléktronik gancang, processor kuat sarta software.
Kalolobaan panalungtikan-profil luhur dina widang fotografi komputasi lumangsung antara 2005 jeung 2015, nu dina elmu dianggap sacara harfiah kamari. Ayeuna, sateuacan panon urang sareng dina saku urang, widang pangaweruh sareng téknologi anyar ngembang anu henteu kantos aya sateuacanna.
Fotografi komputasi sanés ngan ukur selfie sareng neuro-bokeh. Poto panganyarna tina black hole moal mungkin tanpa téknik fotografi komputasi. Pikeun nyandak poto sapertos kitu nganggo teleskop biasa, urang kedah ngajantenkeun ukuran Bumi. Nanging, ku ngagabungkeun data tina dalapan teleskop radio dina titik anu béda dina bola kami sareng nyerat sababaraha naskah dina Python, kami nampi poto cakrawala acara munggaran di dunya. Alus keur selfies ogé.
Mimitian: processing digital
Hayu urang ngabayangkeun yén urang balik 2007. Indung urang anarki, sareng poto-poto urang nyaéta jip 0,6-megapiksel anu ribut anu dicandak dina skateboard. Sabudeureun lajeng urang boga kahayang irresistible munggaran sprinkle prasetél on aranjeunna guna nyumputkeun wretchedness of matrices mobile. Hayu urang teu mungkir diri.
Matan jeung Instagram
Kalayan sékrési Instagram, sadayana janten obsess sareng saringan. Salaku jalma anu ngabalikeun-rékayasa X-Pro II, Lo-Fi sareng Valencia pikeun, tangtosna, tujuan panalungtikan, kuring masih émut yén aranjeunna diwangun ku tilu komponén:
- Setélan warna (Hue, Saturasi, Lightness, Kontras, Level, jsb) - koefisien digital basajan, persis kawas sagala prasetél nu photographers geus dipaké saprak jaman baheula.
- Tone Mappings mangrupikeun véktor nilai, anu masing-masing nyarios ka kami: "Warna beureum kalayan warna 128 kedah janten warna 240."
- Overlay mangrupikeun gambar anu tembus kalayan lebu, gandum, vignette, sareng sadayana anu tiasa ditempatkeun di luhur pikeun kéngingkeun pangaruh anu teu biasa tina pilem kuno. Teu salawasna hadir.
Saringan modern henteu tebih tina trio ieu, aranjeunna ngan ukur janten sakedik kompleks dina matematika. Ku mecenghulna shaders hardware na OpenCL on smartphone, aranjeunna gancang ditulis ulang pikeun GPU, sarta ieu dianggap wildly tiis. Pikeun 2012, tangtu. Kiwari, murid mana waé tiasa ngalakukeun hal anu sami dina CSS, sareng anjeunna tetep moal nampi kasempetan pikeun lulus.
Nanging, kamajuan saringan henteu lirén ayeuna. Lalaki ti Dehanser, contona, hébat dina ngagunakeun saringan nonlinier - tinimbang pemetaan nada proletar, aranjeunna nganggo transformasi nonlinier anu langkung kompleks, anu, numutkeun aranjeunna, muka langkung seueur kamungkinan.
Anjeun tiasa ngalakukeun loba hal kalawan transformasi nonlinier, tapi aranjeunna incredibly kompléks, sarta kami manusa incredibly bodo. Pas datang ka transformasi nonlinier dina sains, urang leuwih resep buka métode numerik jeung cram jaringan neural dimana-mana ambéh maranéhanana nulis masterpieces pikeun urang. Éta sami di dieu.
Automasi sareng impian tombol "karya".
Sakali sadayana ngabiasakeun saringan, urang ngamimitian ngawangun langsung kana kaméra. Sajarah nyumputkeun produsén anu mana anu munggaran, tapi ngan ukur ngartos sabaraha lami éta - dina ios 5.0, anu dileupaskeun deui taun 2011, parantos aya API umum pikeun Gambar Ngaronjatkeun Otomatis. Ngan Jobs anu terang sabaraha lami éta dianggo sateuacan dibuka ka umum.
Automasi ngalakukeun hal anu sami anu dilakukeun ku masing-masing urang nalika muka poto dina pangropéa - éta ngaluarkeun celah dina cahaya sareng bayangan, tambah jenuh, ngaleungitkeun panon beureum sareng palapis tetep. Pamaké malah henteu sadar yén "kaméra anu ningkat sacara dramatis" dina smartphone énggal ngan ukur istighfar sababaraha shaders énggal. Masih aya lima taun deui sateuacan sékrési Google Pixel sareng ngamimitian hype fotografi komputasi.
Kiwari, perangna pikeun tombol "karya" geus dipindahkeun kana widang learning mesin. Sanggeus maén cukup ku pemetaan nada, dulur bergegas ngalatih CNNs na GANs mindahkeun sliders tinimbang pamaké. Dina basa sejen, tina gambar input, nangtukeun sakumpulan parameter optimal nu bakal mawa gambar ieu ngadeukeutan ka pamahaman subjektif tangtu "fotografi alus". Dilaksanakeun dina Pixelmator Pro anu sami sareng éditor sanésna. Gawéna, anjeun bisa nebak, teu kacida alusna jeung teu salawasna.
Stacking nyaéta 90% tina kasuksésan kaméra mobile
Fotografi komputasi anu leres dimimitian ku tumpukan-lapisan sababaraha poto di luhur. Teu masalah pikeun smartphone a klik belasan pigura dina satengah detik. Kamérana henteu gaduh bagian mékanis anu laun: aperturena tetep, sareng tinimbang tirai anu gerak aya jepret éléktronik. processor saukur paréntah matrix sabaraha microseconds kudu nyekel foton liar, sarta eta maca hasilna.
Téhnisna, telepon bisa nyandak poto dina speed video, sarta video dina resolusi poto, tapi eta sadayana gumantung kana speed beus jeung processor. Éta sababna aranjeunna salawasna netepkeun wates program.
Staking sorangan geus mibanda kami pikeun lila. Malah akina dipasang plugins dina Photoshop 7.0 pikeun ngumpul sababaraha poto kana panon-catching HDR atawa stitch babarengan panorama 18000 × 600 piksel jeung ... kanyataanna, teu saurang ogé kantos ilahar kaluar naon anu kudu dipigawé kalayan aranjeunna salajengna. Ieu karunya yén kali éta euyeub tur liar.
Ayeuna urang parantos dewasa sareng nyebatna "fotografi epsilon" - nalika, ku ngarobih salah sahiji parameter kaméra (paparan, fokus, posisi) sareng ngahijikeun pigura anu hasilna, urang nampi hiji hal anu henteu tiasa dicandak dina hiji pigura. Tapi ieu téh istilah pikeun theorists; dina praktekna, ngaran séjén geus dicokot root - staking. Kiwari, kanyataanna, 90% sadaya inovasi dina kaméra sélulér dumasar kana éta.
Hal anu teu dipikiran ku seueur jalma, tapi penting pikeun ngartos sadayana fotografi mobile sareng komputasi: kaméra dina smartphone modern mimiti nyandak poto pas anjeun muka aplikasina. Nu logis, sabab manehna kudu kumaha bae mindahkeun gambar ka layar. Nanging, salian ti layar, éta ngahémat pigura résolusi luhur kana panyangga loop sorangan, dimana nyimpen éta sababaraha detik deui.
Lamun anjeun mencet tombol "nyandak poto", eta sabenerna geus dicokot, kaméra saukur nyokot poto panungtungan ti panyangga.
Ieu kumaha sagala kaméra mobile jalan kiwari. Sahenteuna dina sakabéh flagships teu ti tumpukan sampah. Buffering ngidinan Anjeun pikeun ngawujudkeun teu ngan enol jepret lag, nu photographers geus lila ngimpi, tapi malah négatip - mun anjeun mencet tombol a, smartphone kasampak kana kaliwat, unloads panungtungan 5-10 poto ti panyangga tur mimitian frantically analisa. jeung nempelkeun aranjeunna. Henteu aya deui ngantosan telepon pikeun ngaklik pigura pikeun HDR atanapi mode wengi - ngan ukur nyandak tina panyangga, pangguna moal terang.
Ku jalan kitu, éta kalayan bantuan lag jepret négatip Live Poto dilaksanakeun dina iPhones, sarta HTC miboga hal sarupa deui dina 2013 dina ngaran aneh Zoe.
Paparan tumpukan - HDR sareng merangan parobahan kacaangan
Naha sénsor kaméra sanggup nangkep sakabéh rentang kacaangan anu tiasa diaksés ku panon urang mangrupikeun topik perdebatan anu panas. Aya anu nyebatkeun henteu, sabab panon tiasa ningali dugi ka 25 f-stop, sanaos tina matriks full-frame luhur anjeun tiasa nampi maksimal 14. Batur nyauran perbandingan anu salah, sabab uteuk ngabantosan panon ku nyaluyukeun otomatis. murid jeung ngalengkepan gambar kalawan jaringan neural na, sarta instan rentang dinamis panon sabenerna teu leuwih ti ngan 10-14 f-stop. Hayu urang serahkeun debat ieu ka pamikir korsi anu pangsaéna dina Internét.
Kanyataan tetep: mun anjeun némbak babaturan ngalawan langit caang tanpa HDR dina sagala kaméra mobile, anjeun meunang boh langit normal jeung beungeut hideung babaturan, atawa babaturan well-digambar, tapi langit scorched pati.
Solusina parantos lami diciptakeun - pikeun ngalegaan rentang kacaangan nganggo HDR (High dynamic range). Anjeun kedah nyandak sababaraha pigura dina laju jepret anu béda-béda sareng ngahijikeunana. Janten anu hiji "normal", anu kadua langkung hampang, anu katilu langkung poék. Kami nyandak tempat anu poék tina pigura anu terang, eusian overexposures tina anu poék - kauntungan. Sadaya anu tetep nyaéta pikeun ngajawab masalah bracketing otomatis - sabaraha pikeun mindahkeun paparan unggal pigura ku kituna teu overdo eta, tapi ayeuna murid taun kadua di universitas teknis tiasa ngadamel nangtukeun kacaangan rata-rata gambar.
Dina iPhone panganyarna, Pixel sareng Galaxy, modeu HDR umumna diaktipkeun sacara otomatis nalika algoritma saderhana di jero kaméra nangtukeun yén anjeun némbak hal anu kontras dina dinten anu cerah. Anjeun malah tiasa perhatikeun kumaha telepon ngalihkeun modeu rekaman kana panyangga pikeun ngahemat pigura anu digeser dina paparan - fps dina kaméra turun, sareng gambarna janten langkung juicier. Momen switching jelas katingali dina iPhone X kuring nalika syuting di luar. Tingali langkung caket kana smartphone anjeun waktos salajengna.
Karugian HDR sareng bracketing paparan nyaéta henteuna daya teu tiasa ditembus dina cahaya anu goréng. Malah ku cahaya lampu kamar, pigura tétéla jadi poék yén komputer teu bisa align sarta stitch aranjeunna babarengan. Pikeun ngajawab masalah lampu, dina 2013 Google némbongkeun pendekatan béda pikeun HDR dina smartphone Nexus lajeng dirilis. Anjeunna ngagunakeun waktos tumpukan.
Tumpukan waktos - simulasi paparan panjang sareng selang waktos
Time stacking ngidinan Anjeun pikeun nyieun paparan panjang ngagunakeun runtuyan leuwih pondok. Para panaratas éta fans photographing trails béntang di langit peuting, anu kapanggih teu merenah pikeun muka jepret salila dua jam sakaligus. Hese pisan pikeun ngitung sadaya setélan sateuacanna, sareng sakedik oyag bakal ngarusak sadayana pigura. Aranjeunna mutuskeun pikeun muka jepret ngan pikeun sababaraha menit, tapi sababaraha kali, lajeng balik ka imah jeung nempelkeun pigura hasilna dina Photoshop.
Tétéla éta kaméra pernah sabenerna ditémbak di speed jepret panjang, tapi urang meunang efek simulating eta ku nambahkeun nepi sababaraha pigura dicokot dina urutan. Aya seueur aplikasi anu diserat pikeun smartphone anu ngagunakeun trik ieu kanggo lami, tapi sadayana henteu diperyogikeun saprak fiturna parantos ditambahkeun kana ampir sadaya kaméra standar. Kiwari, malah hiji iPhone bisa kalayan gampang stitch babarengan paparan panjang ti Live Photo.
Hayu urang balik deui ka Google nganggo HDR wengi na. Tétéla yén ngagunakeun waktos bracketing anjeun tiasa nerapkeun HDR anu saé dina poék. Téknologi mimiti muncul dina Nexus 5 sareng disebut HDR +. Sésana telepon Android nampi éta saolah-olah hadiah. Téknologi masih populer pisan bahkan dipuji dina presentasi Pixels panganyarna.
HDR + jalanna cukup basajan: sanggeus ditangtukeun yén anjeun shooting di nu poek, kaméra unloads panungtungan 8-15 poto RAW ti panyangga pikeun overlay aranjeunna dina luhureun unggal lianna. Ku kituna, algoritma ngumpulkeun informasi langkung lengkep ihwal wewengkon poék pigura pikeun ngaleutikan noise - piksel dimana, pikeun sababaraha alesan, kaméra éta teu bisa ngumpulkeun sakabeh informasi jeung indit salah.
Éta sapertos upami anjeun henteu terang kumaha rupa capybara sareng anjeun naroskeun lima jalma pikeun ngajelaskeun éta, carita-caritana bakal sami, tapi masing-masing bakal nyebatkeun sababaraha detil anu unik. Ku cara ieu anjeun bakal ngumpulkeun langkung seueur inpormasi ti ngan ukur naroskeun hiji. Éta sami sareng piksel.
Nambahkeun pigura anu dicandak tina hiji titik masihan pangaruh paparan panjang palsu anu sami sareng béntang di luhur. Paparan puluhan pigura dijumlahkeun, kasalahan dina hiji diminimalkeun dina batur. Bayangkeun sabaraha kali anjeun kedah ngaklik jepret DSLR unggal waktos pikeun ngahontal ieu.
Sadaya anu tetep nyaéta pikeun ngabéréskeun masalah koreksi warna otomatis - pigura anu dicandak dina poék biasana konéng atanapi héjo, sareng urang hoyong kabeungharan siang. Dina versi awal HDR +, ieu direngsekeun ku saukur tweaking setélan, sakumaha dina saringan a la Instagram. Teras aranjeunna nyauran jaringan saraf pikeun ngabantosan.
Ieu kumaha Night Sight muncul - téknologi "fotografi wengi" dina Pixel 2 sareng 3. Dina katerangan aranjeunna nyarios: "Téknik diajar mesin diwangun dina luhureun HDR +, anu ngajantenkeun Night Sight tiasa dianggo." Intina, ieu mangrupikeun otomatisasi tahap koreksi warna. Mesin ieu dilatih dina susunan data "saméméh" jeung "sanggeus" poto dina urutan sangkan hiji geulis ti sagala susunan poto bengkung poék.
Ku jalan kitu, dataset geus sadia pikeun umum. Panginten jalma-jalma ti Apple bakal nyandak éta sareng tungtungna ngajarkeun sekop gelasna pikeun nyandak gambar anu leres dina poék.
Sajaba ti éta, Night Sight ngagunakeun itungan vektor gerak objék dina pigura pikeun normalize blur nu pasti lumangsung kalawan speed jepret panjang. Janten, smartphone tiasa nyandak bagian anu jelas tina pigura anu sanés sareng lem aranjeunna.
Tumpukan gerak - panorama, superzoom sareng réduksi bising
Panorama mangrupikeun hiburan anu populer pikeun warga désa. Sajarah henteu acan terang ngeunaan kasus dimana poto sosis bakal dipikaresep ku saha waé sanés panulisna, tapi éta henteu tiasa dipaliré - pikeun seueur, ieu mangrupikeun tempat tumpukan mimiti.
Cara pangpayunna pikeun ngagunakeun panorama nyaéta nyandak poto résolusi anu langkung luhur tibatan matriks kaméra ku cara ngahijikeun sababaraha pigura. Fotografer parantos lami ngagunakeun parangkat lunak anu béda-béda pikeun anu disebut poto résolusi super - nalika poto-poto anu rada bergeser sigana silih ngalengkepan antara piksel. Ku cara ieu anjeun tiasa kéngingkeun gambar sahenteuna ratusan gigapiksel, anu mangpaat pisan upami anjeun kedah nyitak dina poster iklan saukuran bumi.
Pendekatan anu sanés, anu langkung narik nyaéta Pixel Shifting. Sababaraha kaméra mirrorless kawas Sony jeung Olympus mimiti ngarojong eta deui dina 2014, tapi maranéhanana masih kudu lem hasilna ku leungeun. Inovasi kaméra badag has.
Smartphone parantos suksés di dieu pikeun alesan anu lucu - nalika anjeun nyandak poto, leungeun anjeun oyag. Masalah sigana ieu janten dasar pikeun palaksanaan resolusi super asli dina smartphone.
Pikeun ngartos kumaha ieu jalan, anjeun kedah émut kumaha matriks tina kaméra naon waé anu terstruktur. Masing-masing pikselna (photodiode) ngan ukur tiasa ngarékam inténsitas cahaya - nyaéta, jumlah foton anu asup. Sanajan kitu, piksel teu bisa ngukur warna na (panjang gelombang). Pikeun kéngingkeun gambar RGB, kami ogé kedah nambihan kruk di dieu - nutupan sadayana matriks ku kisi-kisi gelas anu warna-warni. Palaksanaan anu pang populerna disebut saringan Bayer sareng dianggo dina kalolobaan matriks ayeuna. Sigana gambar di handap ieu.
Tétéla yén unggal piksel tina matriks ngan nyekel R-, G- atawa B-komponén, sabab foton sésana anu mercilessly reflected ku filter Bayer. Éta ngakuan komponén-komponén anu leungit ku bluntly rata-rata nilai piksel tatangga.
Aya seueur sél héjo dina saringan Bayer - ieu dilakukeun ku analogi sareng panon manusa. Tétéla éta kaluar tina 50 juta piksel dina matrix, héjo bakal nangkep 25 juta, beureum jeung biru - 12,5 juta unggal. Sésana bakal averaged - prosés ieu disebut debayerization atanapi demosaicing, sarta ieu téh mangrupa crutch lucu gajih on. nu sagalana rests.
Kanyataanna, unggal matriks gaduh algoritma demosaicing anu dipaténkeun licik sorangan, tapi pikeun tujuan carita ieu urang bakal ngalalaworakeun ieu.
Jenis matriks anu sanés (sapertos Foveon) kumaha waé henteu acan kapendak. Sanajan sababaraha pabrik nyobian ngagunakeun sensor tanpa filter Bayer pikeun ngaronjatkeun seukeutna gambar jeung rentang dinamis.
Lamun aya saeutik cahaya atawa detil hiji obyék leutik pisan, urang leungit loba informasi sabab Bayer filter blatantly motong kaluar foton jeung panjang gelombang nu teu dihoyongkeun. Éta sababna aranjeunna sumping sareng Pixel Shifting - ngagentos matriks ku 1 piksel ka luhur-handap-katuhu-kénca pikeun nyekel sadayana. Dina hal ieu, poto teu tétéla 4 kali leuwih badag, sakumaha sigana, processor saukur ngagunakeun data ieu pikeun leuwih akurat ngarekam nilai unggal piksel. Éta rata-rata henteu langkung ti tatanggana, janten nyarios, tapi langkung ti opat nilai sorangan.
Oyag leungeun urang nalika nyandak poto dina telepon ngajadikeun proses ieu konsekuensi alam. Dina vérsi panganyarna tina Google Pixel, hal ieu dilaksanakeun sareng dihurungkeun iraha waé anjeun nganggo zum dina telepon - éta disebut Super Res Zoom (enya, kuring ogé resep nami anu teu karunya). Cina ogé nyalin kana laophones maranéhanana, sanajan tétéla saeutik goréng.
Overlaying poto rada bergeser dina luhureun unggal lianna ngidinan Anjeun pikeun ngumpulkeun inpo nu langkung lengkep ihwal warna unggal piksel, nu hartina ngurangan bising, ngaronjatna seukeutna gambar jeung raising résolusi tanpa nambahan jumlah fisik megapiksel matrix. Unggul Android modern ngalakukeun ieu sacara otomatis, tanpa dipikiran ku pangguna.
Focus stacking - sagala jero widang na refocus di pos-produksi
Métodena asalna tina fotografi makro, dimana kedalaman lapangan anu deet sok janten masalah. Supados sadaya obyék janten fokus, anjeun kedah nyandak sababaraha pigura kalayan pokus ngageser ka mudik, teras ngahijikeun kana hiji pigura anu seukeut. Cara anu sami sering dianggo ku fotografer lanskap, ngajantenkeun latar payun sareng latar anu seukeut sapertos diare.
Kabéh ieu ogé geus dipindahkeun ka smartphone, sanajan tanpa loba hype. Dina 2013, Nokia Lumia 1020 kalawan "Refocus App" dirilis, sarta dina 2014, Samsung Galaxy S5 kalawan mode "Selective Focus". Aranjeunna damel dumasar kana skéma anu sami: ku mencét hiji tombol, aranjeunna gancang nyandak 3 poto - hiji kalayan pokus "normal", anu kadua kalayan pokus ngageser ka hareup sareng anu katilu kalayan pokus ngageser deui. Program éta ngajajarkeun pigura sareng ngamungkinkeun anjeun milih salah sahijina, anu disebut salaku kontrol fokus "nyata" dina pasca produksi.
Henteu aya pamrosésan salajengna, sabab bahkan hack saderhana ieu cekap pikeun ngadorong paku sanés kana tutup Lytro sareng peersna kalayan fokus deui anu jujur. Ku jalan kitu, hayu urang ngobrol ngeunaan aranjeunna (transisi master 80 lvl).
Matriks komputasi - médan cahaya sareng plenoptics
Salaku urang dipikaharti di luhur, matrices kami horor on crutches. Kami ngan ukur biasa sareng nyobian hirup sareng éta. Struktur maranéhanana geus robah saeutik saprak awal waktu. Kami ngan ukur ningkatkeun prosés téknis - kami ngirangan jarak antara piksel, ngalawan gangguan gangguan, sareng nambihan piksel khusus pikeun pokus otomatis deteksi fase. Tapi upami anjeun nyandak DSLR anu paling mahal sareng nyobian motret ucing anu ngajalankeun sareng éta dina lampu kamar - ucing éta, sacara hampang, bakal meunang.
Kami parantos lami nyobian nyiptakeun anu langkung saé. A loba usaha jeung panalungtikan di wewengkon ieu googled pikeun "sensor komputasi" atawa "sensor non-bayer", komo piksel Shifting conto di luhur bisa attributed ka usaha pikeun ngaronjatkeun matrices ngagunakeun itungan. Nanging, carita anu paling ngajangjikeun dina dua puluh taun ka pengker parantos sumping ka urang persis ti dunya anu disebut kaméra plenoptic.
Sangkan anjeun teu sare ti antisipasi kecap kompléks impending, abdi gé buang di insider yén kaméra Google Pixel panganyarna téh ngan "rada" plenoptic. Ngan dua piksel, tapi malah ieu ngamungkinkeun pikeun ngitung jero optik bener pigura sanajan tanpa kaméra kadua, kawas dulur sejenna.
Plenoptics mangrupakeun pakarang kuat anu teu acan dipecat. Ieu tautan ka salah sahiji anu paling anyar karesep kuring. , dimana kuring nginjeum conto ti.
kaméra Plenoptic - datang pas
Nimukeun taun 1994, dikumpulkeun di Stanford di 2004. Kaméra konsumen munggaran, Lytro, dirilis dina 2012. Industri VR ayeuna aktip ékspérimén sareng téknologi anu sami.
Kaméra plenoptic béda ti kaméra konvensional dina ngan ukur hiji modifikasi - matriksna ditutupan ku grid lénsa, anu masing-masing nyertakeun sababaraha piksel nyata. Sapertos kieu:
Upami anjeun leres ngitung jarak tina grid ka matriks sareng ukuran aperture, gambar ahir bakal ngagaduhan klaster piksel anu jelas - jinis mini-versi gambar asli.
Tétéla yén lamun nyokot, sebutkeun, hiji piksel sentral ti unggal klaster jeung lem gambar babarengan ngan ngagunakeun aranjeunna, eta bakal jadi teu béda ti nu dicokot ku kaméra biasa. Sumuhun, urang geus leungit saeutik dina resolusi, tapi urang ngan bakal menta Sony pikeun nambahkeun leuwih megapiksel dina matrices anyar.
Kasenangan ngan ukur dimimitian. mun anjeun nyandak piksel sejen tina unggal klaster sarta stitch gambar babarengan deui, anjeun bakal meunang photograph normal deui, ngan saolah-olah eta dicandak ku shift hiji piksel. Ku kituna, ngabogaan klaster 10 × 10 piksel, urang bakal meunang 100 gambar objék tina "rada" titik béda.
Ukuran klaster anu langkung ageung hartosna langkung seueur gambar, tapi résolusi anu langkung handap. Di dunya smartphone kalawan matrices 41-megapiksel, sanajan urang tiasa maranéh ngalalaworakeun kana resolusi saeutik, aya wates pikeun sagalana. Anjeun kudu ngajaga kasaimbangan.
Oké, kami geus dirakit kaméra plenoptic, jadi naon eta masihan urang?
Fokus deui jujur
Fitur anu sadayana wartawan dibuzzing dina tulisan ngeunaan Lytro nyaéta kamampuan pikeun jujur nyaluyukeun fokus dina pasca produksi. Ku adil kami hartosna yén urang teu make sagala algoritma deblurring, tapi ngagunakeun éksklusif piksel dina leungeun, milih atawa rata-rata aranjeunna tina klaster dina urutan diperlukeun.
Fotografi RAW tina kaméra plenoptic katingalina anéh. Pikeun meunangkeun jeep seukeut biasa kaluar ti dinya, Anjeun kudu ngumpul heula. Jang ngalampahkeun ieu, anjeun kudu milih unggal piksel jeep ti salah sahiji klaster atah. Gumantung kana kumaha urang milih aranjeunna, hasilna bakal robah.
Salaku conto, langkung jauh kluster tina titik kajadian tina sinar asli, langkung teu fokus sinar ieu. Kusabab optik. Pikeun meunangkeun gambar fokus-shifted, urang ngan kudu milih piksel dina jarak nu dipikahoyong ti nu aslina - boh ngadeukeutan atawa salajengna.
Éta langkung hese pikeun mindahkeun fokus ka diri anjeun - sacara fisik, langkung seueur piksel sapertos kitu dina klaster. Awalna, pamekar malah teu hayang masihan pamaké kamampuhan pikeun museurkeun kalawan leungeun maranéhna-kaméra sorangan mutuskeun ieu dina software. Pamaké henteu resep ka hareup ieu, ku kituna aranjeunna nambihan fitur dina firmware engké anu disebut "mode kreatif," tapi ngajantenkeun fokus deui dugi ka alesan ieu.
Peta jero sareng 3D tina hiji kaméra
Salah sahiji operasi pangbasajanna dina plenoptics nyaéta meunangkeun peta jero. Jang ngalampahkeun ieu, anjeun ngan kudu ngumpulkeun dua pigura béda jeung ngitung sabaraha objék di antarana anu bergeser. Leuwih shift hartina leuwih jauh ti kaméra.
Google nembe ngagaleuh sareng maéhan Lytro, tapi nganggo téknologi na pikeun VR na ... pikeun kaméra Pixel. Dimimitian ku Pixel 2, kaméra janten "rada" plenoptic pikeun kahiji kalina, sanaos klaster ukur dua piksel. Ieu masihan Google kasempetan pikeun henteu masang kaméra kadua, sapertos sadayana anu sanés, tapi ngitung peta jerona ngan ukur tina hiji poto.
Peta jero diwangun ngagunakeun dua pigura digeser ku hiji subpiksel. Ieu cukup keur ngitung peta jero binér sarta misahkeun foreground ti tukang jeung blur kiwari dimungkinkeun dina bokeh fashionable. Hasil tina layering sapertos ogé smoothed kaluar sarta "ningkat" ku jaringan neural nu dilatih pikeun ngaronjatkeun peta jero (jeung teu blur, sakumaha loba jalma mikir).
Trikna nyaéta yén kami ngagaduhan plenoptics dina smartphone ampir gratis. Kami parantos nempatkeun lénsa dina matriks alit ieu supados kumaha waé ningkatkeun fluks bercahaya. Dina Pixel salajengna, Google ngarencanakeun pikeun langkung jauh sareng nutupan opat fotodioda nganggo lensa.
sumber: 3dnews.ru