Artikel asli diposting di situs web dan diterbitkan di 3DNews dengan izin dari penulis. Kami menyediakan teks lengkap artikel, dengan pengecualian sejumlah besar tautan - tautan tersebut akan berguna bagi mereka yang benar-benar tertarik dengan topik tersebut dan ingin mempelajari aspek teoretis fotografi komputasi secara lebih mendalam, tetapi untuk a khalayak umum kami menganggap materi ini berlebihan.
Saat ini, tidak ada satu pun presentasi smartphone yang lengkap tanpa kameranya. Setiap bulan kita mendengar tentang kesuksesan kamera ponsel berikutnya: Google mengajari Pixel memotret dalam kegelapan, Huawei melakukan zoom seperti teropong, Samsung memasukkan lidar, dan Apple membuat sudut paling bulat di dunia. Hanya sedikit tempat di mana inovasi mengalir begitu cepat saat ini.
Pada saat yang sama, cermin sepertinya menandai waktu. Sony setiap tahun menghujani semua orang dengan matriks baru, dan produsen dengan malas memperbarui versi terbaru dan terus bersantai dan merokok di sela-sela. Saya memiliki DSLR seharga $3000 di meja saya, tetapi ketika saya bepergian, saya membawa iPhone saya. Mengapa?
Seperti yang dikatakan klasik, saya online dengan pertanyaan ini. Di sana mereka mendiskusikan beberapa “algoritma” dan “jaringan saraf”, tanpa mengetahui apa sebenarnya pengaruhnya terhadap fotografi. Para jurnalis dengan lantang membacakan jumlah megapiksel, para blogger melihat unboxing berbayar secara serempak, dan para ahli kecantikan mencoreng diri mereka dengan “persepsi sensual dari palet warna matriks.” Semuanya seperti biasa.
Saya harus duduk, menghabiskan separuh hidup saya dan memikirkan semuanya sendiri. Pada artikel ini saya akan memberi tahu Anda apa yang saya pelajari.
Apa itu fotografi komputasi?
Di mana pun, termasuk Wikipedia, mereka memberikan definisi seperti ini: fotografi komputasional adalah teknik pengambilan dan pemrosesan gambar apa pun yang menggunakan komputasi digital, bukan transformasi optik. Segala sesuatu tentangnya bagus, hanya saja tidak menjelaskan apa pun. Bahkan fokus otomatis cocok untuk itu, tetapi plenoptik, yang telah memberi kita banyak hal berguna, tidak cocok. Ketidakjelasan definisi resmi sepertinya mengisyaratkan bahwa kita tidak tahu apa yang sedang kita bicarakan.
Pelopor fotografi komputasi, profesor Stanford Marc Levoy (yang sekarang bertanggung jawab atas kamera di Google Pixel) memberikan definisi lain - seperangkat metode visualisasi komputer yang meningkatkan atau memperluas kemampuan fotografi digital, yang dengannya diperoleh foto biasa yang secara teknis tidak dapat diambil dengan kamera ini.kamera dengan cara tradisional. Dalam artikel saya menganut ini.
Jadi, ponsel pintarlah yang harus disalahkan atas segalanya.
Ponsel pintar tidak punya pilihan selain melahirkan jenis fotografi baru: fotografi komputasi.
Matriks kecil yang berisik dan lensa kecil dengan bukaan lambat, menurut semua hukum fisika, seharusnya hanya membawa rasa sakit dan penderitaan. Mereka melakukan hal tersebut sampai para pengembangnya menemukan cara untuk secara cerdik menggunakan kekuatan mereka untuk mengatasi kelemahan mereka - penutup elektronik yang cepat, prosesor dan perangkat lunak yang kuat.
Sebagian besar penelitian penting di bidang fotografi komputasi terjadi antara tahun 2005 dan 2015, yang dalam sains dianggap kemarin. Saat ini, di depan mata dan di kantong kita, sedang berkembang bidang ilmu pengetahuan dan teknologi baru yang belum pernah ada sebelumnya.
Fotografi komputasional bukan hanya tentang selfie dengan neuro-bokeh. Foto lubang hitam terbaru tidak akan mungkin terjadi tanpa teknik fotografi komputasi. Untuk mengambil foto seperti itu dengan teleskop biasa, kita harus membuatnya seukuran Bumi. Namun, dengan menggabungkan data dari delapan teleskop radio di berbagai titik pada bola kami dan menulis beberapa skrip dengan Python, kami memperoleh foto cakrawala peristiwa pertama di dunia. Bagus untuk selfie juga.
Mulai: pemrosesan digital
Bayangkan kita kembali ke tahun 2007. Ibu kami adalah anarki, dan foto kami adalah jip 0,6 megapiksel berisik yang diambil dengan skateboard. Sekitar saat itu kami memiliki keinginan pertama yang tak tertahankan untuk menaburkan preset pada matriks tersebut untuk menyembunyikan keburukan matriks seluler. Janganlah kita menyangkal diri kita sendiri.
Matan dan Instagram
Dengan dirilisnya Instagram, semua orang menjadi terobsesi dengan filter. Sebagai seseorang yang merekayasa balik X-Pro II, Lo-Fi, dan Valencia tentu saja untuk tujuan penelitian, saya masih ingat bahwa mereka terdiri dari tiga komponen:
- Pengaturan warna (Hue, Saturation, Lightness, Contrast, Levels, dll.) - koefisien digital sederhana, persis seperti preset apa pun yang telah digunakan fotografer sejak zaman kuno.
- Pemetaan Nada adalah vektor nilai, yang masing-masing memberi tahu kita: “Warna merah dengan rona 128 harus diubah menjadi rona 240.”
- Hamparan adalah gambar tembus pandang dengan debu, butiran, sketsa, dan segala sesuatu lainnya yang dapat ditempatkan di atasnya untuk mendapatkan efek yang sama sekali tidak biasa dari film lama. Tidak selalu hadir.
Filter modern tidak jauh dari ketiganya, mereka hanya menjadi sedikit lebih kompleks dalam matematika. Dengan munculnya shader perangkat keras dan OpenCL di ponsel cerdas, keduanya dengan cepat ditulis ulang untuk GPU, dan ini dianggap sangat keren. Tentu saja untuk tahun 2012. Saat ini, siswa mana pun dapat melakukan hal yang sama di CSS, dan dia tetap tidak mendapat kesempatan untuk lulus.
Namun, kemajuan filter tidak berhenti hingga saat ini. Orang-orang dari Dehanser, misalnya, pandai menggunakan filter nonlinier - alih-alih pemetaan nada proletar, mereka menggunakan transformasi nonlinier yang lebih kompleks, yang menurut mereka, membuka lebih banyak kemungkinan.
Anda dapat melakukan banyak hal dengan transformasi nonlinier, tetapi transformasi tersebut sangat kompleks, dan kita manusia sangatlah bodoh. Dalam hal transformasi nonlinier dalam sains, kami lebih memilih menggunakan metode numerik dan menjejali jaringan saraf di mana-mana sehingga menghasilkan karya agung untuk kami. Hal yang sama terjadi di sini.
Otomatisasi dan impian akan tombol “mahakarya”.
Setelah semua orang terbiasa dengan filter, kami mulai membuatnya langsung menjadi kamera. Sejarah menyembunyikan pabrikan mana yang pertama kali, tetapi hanya untuk memahami sudah berapa lama - di iOS 5.0, yang dirilis pada tahun 2011, sudah ada API publik untuk Peningkatan Gambar Otomatis. Hanya Jobs yang mengetahui sudah berapa lama digunakan sebelum dibuka untuk umum.
Otomatisasi melakukan hal yang sama seperti yang kita masing-masing lakukan saat membuka foto di editor - otomatisasi menghilangkan celah cahaya dan bayangan, menambah saturasi, menghilangkan mata merah, dan memperbaiki warna kulit. Pengguna bahkan tidak menyadari bahwa “kamera yang ditingkatkan secara dramatis” pada smartphone baru ini hanyalah berkat beberapa shader baru. Masih ada lima tahun tersisa sebelum peluncuran Google Pixel dan dimulainya sensasi fotografi komputasi.
Saat ini, pertarungan untuk mendapatkan tombol “mahakarya” telah berpindah ke bidang pembelajaran mesin. Setelah cukup bermain dengan pemetaan nada, semua orang bergegas melatih CNN dan GAN untuk menggerakkan penggeser, bukan pengguna. Dengan kata lain, dari gambar masukan, tentukan serangkaian parameter optimal yang akan membawa gambar ini lebih dekat ke pemahaman subjektif tertentu tentang “fotografi yang bagus”. Diimplementasikan di Pixelmator Pro dan editor lainnya yang sama. Ini berhasil, seperti yang Anda duga, tidak terlalu baik dan tidak selalu.
Penumpukan adalah 90% keberhasilan kamera ponsel
Fotografi komputasi sejati dimulai dengan penumpukan—melapisi banyak foto di atas satu sama lain. Bukan masalah bagi ponsel cerdas untuk mengklik selusin frame dalam waktu setengah detik. Kamera mereka tidak memiliki bagian mekanis yang lambat: bukaannya tetap, dan alih-alih tirai bergerak, terdapat penutup elektronik. Prosesor hanya memerintahkan matriks berapa mikrodetik yang harus ditangkap foton liar, dan membaca hasilnya.
Secara teknis, ponsel dapat mengambil foto dengan kecepatan video, dan video dengan resolusi foto, tetapi itu semua tergantung pada kecepatan bus dan prosesor. Itu sebabnya mereka selalu menetapkan batasan program.
Staking sendiri telah ada bersama kami sejak lama. Bahkan kakek memasang plugin di Photoshop 7.0 untuk merakit beberapa foto menjadi HDR yang menarik atau menggabungkan panorama 18000 × 600 piksel dan... faktanya, tidak ada yang tahu apa yang harus dilakukan selanjutnya dengan foto tersebut. Sangat disayangkan bahwa zaman sedang kaya dan liar.
Sekarang kita telah menjadi dewasa dan menyebutnya “fotografi epsilon” - ketika, dengan mengubah salah satu parameter kamera (pencahayaan, fokus, posisi) dan menyatukan bingkai yang dihasilkan, kita mendapatkan sesuatu yang tidak dapat ditangkap dalam satu bingkai. Tapi ini adalah istilah untuk para ahli teori, dalam praktiknya, nama lain telah mengakar - staking. Faktanya, saat ini 90% dari semua inovasi dalam kamera ponsel didasarkan pada hal tersebut.
Sesuatu yang tidak terpikirkan oleh banyak orang, namun penting untuk memahami semua fotografi seluler dan komputasi: kamera pada ponsel cerdas modern mulai mengambil foto segera setelah Anda membuka aplikasinya. Yang logis, karena dia perlu mentransfer gambar ke layar. Namun, selain layar, ia menyimpan bingkai resolusi tinggi ke dalam buffer loopnya sendiri, tempat ia menyimpannya selama beberapa detik lagi.
Saat Anda menekan tombol “ambil foto”, sebenarnya sudah diambil, kamera tinggal mengambil foto terakhir dari buffer.
Beginilah cara kerja kamera ponsel saat ini. Setidaknya di semua kapal andalan bukan dari tumpukan sampah. Buffer memungkinkan Anda mewujudkan tidak hanya nol shutter lag, yang telah lama diimpikan oleh para fotografer, tetapi bahkan negatif - saat Anda menekan tombol, ponsel cerdas melihat ke masa lalu, mengeluarkan 5-10 foto terakhir dari buffer dan mulai menganalisis dengan panik dan tempelkan. Tidak perlu lagi menunggu ponsel mengklik bingkai untuk HDR atau mode malam - cukup ambil dari buffer, pengguna bahkan tidak akan mengetahuinya.
Omong-omong, dengan bantuan shutter lag negatif, Live Photo diimplementasikan di iPhone, dan HTC memiliki sesuatu yang serupa pada tahun 2013 dengan nama aneh Zoe.
Penumpukan eksposur - HDR dan melawan perubahan kecerahan
Apakah sensor kamera mampu menangkap seluruh rentang kecerahan yang dapat diakses oleh mata kita adalah topik perdebatan lama. Ada yang bilang tidak, karena mata mampu melihat hingga 25 f-stop, sementara bahkan dari matriks full-frame teratas Anda bisa mendapatkan maksimal 14. Yang lain menyebut perbandingan itu salah, karena otak membantu mata dengan menyesuaikan secara otomatis. pupil dan melengkapi gambar dengan jaringan sarafnya, dan seketika Rentang dinamis mata sebenarnya tidak lebih dari 10-14 f-stop saja. Mari kita serahkan perdebatan ini kepada para pemikir terbaik di Internet.
Faktanya tetap: saat Anda memotret teman di langit cerah tanpa HDR di kamera ponsel mana pun, Anda akan mendapatkan langit normal dan wajah teman yang hitam, atau teman yang digambar dengan baik, namun langitnya hangus hingga mati.
Solusinya telah lama ditemukan - untuk memperluas rentang kecerahan menggunakan HDR (Rentang dinamis tinggi). Anda perlu mengambil beberapa bingkai dengan kecepatan rana berbeda dan menggabungkannya. Jadi yang satu “normal”, yang kedua lebih terang, yang ketiga lebih gelap. Kami mengambil tempat gelap dari bingkai terang, mengisi pencahayaan berlebih dari bingkai gelap - untung. Yang tersisa hanyalah menyelesaikan masalah bracketing otomatis - seberapa banyak menggeser eksposur setiap frame agar tidak berlebihan, tetapi sekarang seorang mahasiswa tahun kedua di sebuah universitas teknik dapat menangani penentuan kecerahan rata-rata sebuah gambar.
Di iPhone, Pixel, dan Galaxy terbaru, mode HDR biasanya diaktifkan secara otomatis saat algoritme sederhana di dalam kamera menentukan bahwa Anda memotret sesuatu dengan kontras di hari yang cerah. Anda bahkan dapat melihat bagaimana ponsel mengalihkan mode perekaman ke buffer untuk menyimpan frame yang digeser dalam eksposur - fps di kamera turun, dan gambar itu sendiri menjadi lebih segar. Momen peralihan terlihat jelas di iPhone X saya saat memotret di luar ruangan. Lihatlah lebih dekat ponsel cerdas Anda lain kali juga.
Kerugian dari HDR dengan bracketing eksposur adalah ketidakberdayaannya yang tidak dapat ditembus dalam pencahayaan yang buruk. Bahkan dengan cahaya lampu ruangan, bingkai menjadi sangat gelap sehingga komputer tidak dapat menyelaraskan dan menyatukannya. Untuk mengatasi masalah cahaya, pada tahun 2013 Google menunjukkan pendekatan berbeda terhadap HDR pada smartphone Nexus yang kemudian dirilis. Dia menggunakan waktu yang menumpuk.
Penumpukan waktu - simulasi eksposur lama dan selang waktu
Penumpukan waktu memungkinkan Anda membuat eksposur panjang menggunakan serangkaian eksposur pendek. Para pionirnya adalah para penggemar memotret jejak bintang di langit malam, yang merasa tidak nyaman untuk membuka penutupnya selama dua jam sekaligus. Sangat sulit untuk menghitung semua pengaturan terlebih dahulu, dan guncangan sekecil apa pun akan merusak keseluruhan frame. Mereka memutuskan untuk membuka rana hanya selama beberapa menit, tetapi berkali-kali, lalu pulang dan menempelkan bingkai yang dihasilkan ke Photoshop.
Ternyata kamera tidak pernah benar-benar memotret pada kecepatan rana yang panjang, namun kami mendapatkan efek simulasi dengan menjumlahkan beberapa frame yang diambil berturut-turut. Ada banyak aplikasi yang ditulis untuk ponsel cerdas yang menggunakan trik ini sejak lama, tetapi semuanya tidak diperlukan karena fitur tersebut telah ditambahkan ke hampir semua kamera standar. Saat ini, bahkan iPhone dapat dengan mudah menggabungkan eksposur panjang dari Live Photo.
Mari kembali ke Google dengan HDR malamnya. Ternyata dengan menggunakan time bracketing Anda dapat menerapkan HDR yang bagus dalam kegelapan. Teknologi ini pertama kali muncul di Nexus 5 dan disebut HDR+. Ponsel Android lainnya menerimanya seolah-olah sebagai hadiah. Teknologinya masih begitu populer bahkan dipuji dalam presentasi Pixel terbaru.
Cara kerja HDR+ cukup sederhana: setelah menentukan bahwa Anda memotret dalam kegelapan, kamera mengeluarkan 8-15 foto RAW terakhir dari buffer untuk menumpuknya satu sama lain. Dengan demikian, algoritme mengumpulkan lebih banyak informasi tentang area gelap bingkai untuk meminimalkan noise - piksel yang, karena alasan tertentu, kamera tidak dapat mengumpulkan semua informasi dan terjadi kesalahan.
Ini seperti jika Anda tidak tahu seperti apa kapibara dan Anda meminta lima orang untuk mendeskripsikannya, cerita mereka akan kurang lebih sama, namun masing-masing akan menyebutkan beberapa detail unik. Dengan cara ini Anda akan mengumpulkan lebih banyak informasi daripada hanya menanyakan satu informasi. Sama halnya dengan piksel.
Menambahkan bingkai yang diambil dari satu titik memberikan efek eksposur panjang palsu yang sama seperti bintang di atas. Paparan lusinan bingkai diringkas, kesalahan pada satu bingkai diminimalkan pada bingkai lainnya. Bayangkan berapa banyak Anda harus mengklik shutter DSLR setiap kali untuk mencapai hal ini.
Yang tersisa hanyalah menyelesaikan masalah koreksi warna otomatis - bingkai yang diambil dalam gelap biasanya berubah menjadi kuning atau hijau, dan kami menginginkan kekayaan cahaya siang hari. Pada versi awal HDR+, masalah ini diselesaikan hanya dengan mengubah pengaturan, seperti pada filter ala Instagram. Kemudian mereka meminta jaringan saraf untuk membantu.
Beginilah tampilan Night Sight - teknologi "fotografi malam" di Pixel 2 dan 3. Dalam deskripsinya tertulis: "Teknik pembelajaran mesin yang dibangun di atas HDR+, yang membuat Night Sight berfungsi." Intinya, ini adalah otomatisasi tahap koreksi warna. Mesin tersebut dilatih pada kumpulan data foto "sebelum" dan "sesudah" untuk menghasilkan satu foto indah dari kumpulan foto gelap yang bengkok.
Omong-omong, kumpulan data tersebut telah tersedia untuk umum. Mungkin orang-orang dari Apple akan mengambilnya dan akhirnya mengajari sekop kaca mereka untuk mengambil gambar dengan baik dalam kegelapan.
Selain itu, Night Sight menggunakan penghitungan vektor gerakan objek dalam bingkai untuk menormalkan keburaman yang pasti terjadi pada kecepatan rana yang lama. Jadi, smartphone bisa mengambil bagian bening dari frame lain dan merekatkannya.
Penumpukan gerakan - panorama, superzoom, dan pengurangan kebisingan
Panorama merupakan hiburan yang populer bagi penduduk pedesaan. Sejarah belum mengetahui adanya kasus di mana foto sosis akan menarik perhatian orang lain selain penulisnya, namun hal ini tidak dapat diabaikan - bagi banyak orang, di sinilah penumpukan dimulai.
Cara pertama yang berguna untuk menggunakan panorama adalah mendapatkan foto dengan resolusi lebih tinggi daripada yang dimungkinkan oleh matriks kamera dengan menggabungkan beberapa bingkai. Fotografer telah lama menggunakan perangkat lunak berbeda untuk apa yang disebut foto resolusi super - ketika foto yang sedikit digeser tampak saling melengkapi di antara piksel. Dengan cara ini Anda bisa mendapatkan gambar minimal ratusan gigapiksel, yang sangat berguna jika Anda perlu mencetaknya pada poster iklan seukuran rumah.
Pendekatan lain yang lebih menarik adalah Pixel Shifting. Beberapa kamera mirrorless seperti Sony dan Olympus mulai mendukungnya pada tahun 2014, namun mereka masih harus merekatkan hasilnya dengan tangan. Inovasi kamera besar yang khas.
Ponsel cerdas berhasil di sini karena alasan yang lucu - saat Anda mengambil foto, tangan Anda gemetar. Tampaknya masalah ini menjadi dasar penerapan resolusi super asli pada ponsel cerdas.
Untuk memahami cara kerjanya, Anda perlu mengingat bagaimana matriks kamera apa pun disusun. Setiap pikselnya (fotodioda) hanya mampu merekam intensitas cahaya - yaitu jumlah foton yang masuk. Namun, sebuah piksel tidak dapat mengukur warnanya (panjang gelombang). Untuk mendapatkan gambar RGB, kami juga harus menambahkan kruk di sini - menutupi seluruh matriks dengan kisi-kisi potongan kaca multi-warna. Implementasinya yang paling populer disebut filter Bayer dan digunakan di sebagian besar matriks saat ini. Tampak seperti gambar di bawah ini.
Ternyata setiap piksel matriks hanya menangkap komponen R-, G- atau B, karena foton yang tersisa tanpa ampun dipantulkan oleh filter Bayer. Ia mengenali komponen yang hilang dengan merata-ratakan nilai piksel tetangganya secara blak-blakan.
Ada lebih banyak sel hijau di filter Bayer - ini dilakukan dengan analogi dengan mata manusia. Ternyata dari 50 juta piksel pada matriks, hijau akan menangkap 25 juta, merah dan biru - masing-masing 12,5 juta. Sisanya akan dirata-ratakan - proses ini disebut debayerization atau demosaicing, dan ini adalah penopang yang sangat lucu. di mana semuanya beristirahat.
Faktanya, setiap matriks memiliki algoritma demosaicing yang telah dipatenkan dan cerdik, namun untuk tujuan cerita ini kita akan mengabaikannya.
Jenis matriks lain (seperti Foveon) belum populer. Meskipun beberapa produsen mencoba menggunakan sensor tanpa filter Bayer untuk meningkatkan ketajaman dan jangkauan dinamis.
Ketika hanya ada sedikit cahaya atau detail suatu objek sangat kecil, kita kehilangan banyak informasi karena filter Bayer secara terang-terangan memotong foton dengan panjang gelombang yang tidak diinginkan. Itu sebabnya mereka menciptakan Pixel Shifting - menggeser matriks sebanyak 1 piksel ke atas-bawah-kanan-kiri untuk menangkap semuanya. Dalam hal ini, fotonya tidak menjadi 4 kali lebih besar, seperti yang terlihat, prosesor hanya menggunakan data ini untuk mencatat nilai setiap piksel dengan lebih akurat. Bisa dikatakan, ia rata-rata bukan atas tetangganya, tetapi atas empat nilai dirinya sendiri.
Gemetar tangan kita saat mengambil foto di ponsel menjadikan proses ini sebagai akibat yang wajar. Di versi terbaru Google Pixel, hal ini diterapkan dan diaktifkan setiap kali Anda menggunakan zoom di ponsel - ini disebut Super Res Zoom (ya, saya juga suka penamaannya yang tanpa ampun). Orang Cina juga menyalinnya ke laophone mereka, meski ternyata sedikit lebih buruk.
Melapisi foto yang sedikit bergeser di atas satu sama lain memungkinkan Anda mengumpulkan lebih banyak informasi tentang warna setiap piksel, yang berarti mengurangi noise, meningkatkan ketajaman, dan meningkatkan resolusi tanpa meningkatkan jumlah fisik megapiksel matriks. Ponsel andalan Android modern melakukan ini secara otomatis, tanpa dipikirkan oleh penggunanya.
Penumpukan fokus - kedalaman bidang apa pun dan fokus ulang dalam pascaproduksi
Metode ini berasal dari fotografi makro, di mana kedalaman bidang yang dangkal selalu menjadi masalah. Agar seluruh objek berada dalam fokus, Anda harus mengambil beberapa bingkai dengan fokus bergeser maju mundur, lalu menyatukannya menjadi satu bingkai yang tajam. Metode yang sama sering digunakan oleh fotografer lanskap, membuat latar depan dan latar belakang setajam diare.
Semua ini juga telah berpindah ke ponsel pintar, meski tanpa banyak hype. Pada tahun 2013, Nokia Lumia 1020 dengan “Refocus App” dirilis, dan pada tahun 2014, Samsung Galaxy S5 dengan mode “Selective Focus”. Mereka bekerja dengan skema yang sama: dengan menekan sebuah tombol, mereka dengan cepat mengambil 3 foto - satu dengan fokus "normal", yang kedua dengan fokus digeser ke depan, dan yang ketiga dengan fokus digeser ke belakang. Program ini menyelaraskan bingkai dan memungkinkan Anda memilih salah satunya, yang disebut-sebut sebagai kontrol fokus “nyata” dalam pascaproduksi.
Tidak ada proses lebih lanjut, karena bahkan peretasan sederhana ini sudah cukup untuk mendorong paku lain ke dalam tutup Lytro dan rekan-rekannya dengan pemfokusan ulang yang jujur. Ngomong-ngomong, mari kita bicarakan tentang mereka (master transisi lvl 80).
Matriks komputasi - bidang cahaya dan plenoptik
Seperti yang kami pahami di atas, matriks kami sangat buruk pada kruk. Kami baru saja terbiasa dan mencoba menjalaninya. Struktur mereka tidak banyak berubah sejak awal mula waktu. Kami hanya meningkatkan proses teknis - kami mengurangi jarak antar piksel, melawan kebisingan interferensi, dan menambahkan piksel khusus untuk fokus otomatis deteksi fase. Namun jika Anda mengambil DSLR paling mahal sekalipun dan mencoba memotret kucing yang sedang berlari bersamanya dalam pencahayaan ruangan - kucing, secara halus, akan menang.
Kami telah mencoba menciptakan sesuatu yang lebih baik sejak lama. Banyak upaya dan penelitian di bidang ini yang dicari di Google untuk “sensor komputasi” atau “sensor non-bayer”, dan bahkan contoh Pergeseran Piksel di atas dapat dikaitkan dengan upaya untuk meningkatkan matriks menggunakan perhitungan. Namun, kisah-kisah yang paling menjanjikan dalam dua puluh tahun terakhir datang kepada kita justru dari dunia yang disebut kamera plenoptik.
Agar Anda tidak tertidur karena antisipasi kata-kata rumit yang akan datang, saya akan memberi tahu Anda bahwa kamera Google Pixel terbaru hanya “sedikit” plenoptik. Hanya dua piksel, tetapi ini pun memungkinkannya menghitung kedalaman optik bingkai yang benar bahkan tanpa kamera kedua, seperti orang lain.
Plenoptik adalah senjata ampuh yang belum bisa ditembakkan. Ini tautan ke salah satu yang terbaru favorit saya. , tempat saya meminjam contohnya.
Kamera plenoptik - segera hadir
Diciptakan pada tahun 1994, dikumpulkan di Stanford pada tahun 2004. Kamera konsumen pertama, Lytro, dirilis pada tahun 2012. Industri VR kini secara aktif bereksperimen dengan teknologi serupa.
Kamera plenoptik berbeda dari kamera konvensional hanya dalam satu modifikasi - matriksnya ditutupi dengan kisi-kisi lensa, yang masing-masing mencakup beberapa piksel nyata. Sesuatu seperti ini:
Jika Anda menghitung dengan benar jarak dari grid ke matriks dan ukuran aperture, gambar akhir akan memiliki kelompok piksel yang jelas - semacam versi mini dari gambar asli.
Ternyata jika Anda mengambil, katakanlah, satu piksel pusat dari setiap cluster dan merekatkan gambar tersebut hanya dengan menggunakan piksel tersebut, maka hasilnya tidak akan berbeda dengan yang diambil dengan kamera biasa. Ya, kami sedikit kehilangan resolusi, tetapi kami hanya akan meminta Sony untuk menambahkan lebih banyak megapiksel pada matriks baru.
Kegembiraan baru saja dimulai. jika Anda mengambil piksel lain dari setiap cluster dan menyatukan kembali gambar tersebut, Anda akan mendapatkan foto normal lagi, seolah-olah diambil dengan pergeseran satu piksel. Jadi, dengan memiliki cluster berukuran 10 × 10 piksel, kita akan mendapatkan 100 gambar objek dari titik yang “sedikit” berbeda.
Ukuran cluster yang lebih besar berarti lebih banyak gambar, tetapi resolusinya lebih rendah. Dalam dunia ponsel cerdas dengan matriks 41 megapiksel, meskipun kita bisa sedikit mengabaikan resolusinya, semuanya ada batasnya. Anda harus menjaga keseimbangan.
Oke, kita sudah merakit kamera plenoptik, jadi apa manfaatnya?
Fokus ulang yang jujur
Fitur yang dibicarakan semua jurnalis dalam artikel tentang Lytro adalah kemampuan untuk menyesuaikan fokus secara jujur dalam pascaproduksi. Yang kami maksud dengan adil adalah kami tidak menggunakan algoritme penghilangan blur apa pun, namun hanya menggunakan piksel yang ada, memilih atau membuat rata-ratanya dari cluster dalam urutan yang diperlukan.
Fotografi RAW dari kamera plenoptik terlihat aneh. Untuk mengeluarkan jeep tajam biasa, Anda harus merakitnya terlebih dahulu. Untuk melakukan ini, Anda perlu memilih setiap piksel jip dari salah satu cluster RAW. Tergantung bagaimana kita memilihnya, hasilnya akan berubah.
Misalnya, semakin jauh cluster dari titik datang sinar aslinya, semakin tidak fokus sinar tersebut. Karena optik. Untuk mendapatkan gambar dengan pergeseran fokus, kita hanya perlu memilih piksel pada jarak yang diinginkan dari aslinya - lebih dekat atau lebih jauh.
Lebih sulit untuk mengalihkan fokus ke diri Anda sendiri - secara fisik, jumlah piksel seperti itu di cluster lebih sedikit. Pada awalnya, para pengembang bahkan tidak ingin memberi pengguna kemampuan untuk fokus dengan tangan mereka—kamera sendiri yang memutuskan hal ini dalam perangkat lunak. Pengguna tidak menyukai masa depan ini, jadi mereka menambahkan fitur di firmware terbaru yang disebut "mode kreatif", tetapi membuat fokus ulang di dalamnya menjadi sangat terbatas karena alasan ini.
Peta kedalaman dan 3D dari satu kamera
Salah satu operasi paling sederhana dalam plenoptik adalah memperoleh peta kedalaman. Untuk melakukan ini, Anda hanya perlu mengumpulkan dua bingkai berbeda dan menghitung seberapa besar pergeseran objek di dalamnya. Lebih banyak pergeseran berarti semakin jauh dari kamera.
Google baru-baru ini membeli dan mematikan Lytro, tetapi menggunakan teknologi mereka untuk VR dan... untuk kamera Pixel. Dimulai dengan Pixel 2, kamera menjadi “sedikit” plenoptik untuk pertama kalinya, meskipun dengan cluster hanya dua piksel. Ini memberi Google kesempatan untuk tidak memasang kamera kedua, seperti kamera lainnya, tetapi untuk menghitung peta kedalaman hanya dari satu foto.
Peta kedalaman dibuat menggunakan dua bingkai yang digeser oleh satu subpiksel. Ini cukup untuk menghitung peta kedalaman biner dan memisahkan latar depan dari latar belakang dan memburamkan latar belakang dalam bokeh yang sekarang modis. Hasil dari pelapisan tersebut juga diperhalus dan “ditingkatkan” oleh jaringan saraf yang dilatih untuk meningkatkan peta kedalaman (dan tidak mengaburkan, seperti yang dipikirkan banyak orang).
Triknya adalah kami mendapatkan plenoptik di ponsel pintar hampir secara gratis. Kami telah memasang lensa pada matriks kecil ini untuk meningkatkan fluks cahaya. Di Pixel berikutnya, Google berencana melangkah lebih jauh dan mencakup empat fotodioda dengan sebuah lensa.
Sumber: 3dnews.ru