Asl maqola veb-saytda joylashtirilgan va muallifning ruxsati bilan 3DNews da chop etilgan. Biz maqolaning to'liq matnini taqdim etamiz, juda ko'p havolalar bundan mustasno - ular mavzuga jiddiy qiziqqan va hisoblash fotografiyasining nazariy jihatlarini chuqurroq o'rganishni xohlaydiganlar uchun foydali bo'ladi, lekin umumiy auditoriya biz ushbu materialni ortiqcha deb hisobladik.
Bugungi kunda bironta ham smartfon taqdimoti kamerasini yalamasdan tugamaydi. Biz har oy mobil kameralarning navbatdagi muvaffaqiyati haqida eshitamiz: Google Pixel-ga qorong‘uda suratga olishni o‘rgatadi, Huawei-ga durbin kabi kattalashtirishni o‘rgatadi, Samsung lidarni joylashtiradi, Apple esa dunyoning eng dumaloq burchaklarini qiladi. Hozirgi kunda innovatsiyalar tez sur'atlar bilan rivojlanayotgan joylar kam.
Shu bilan birga, ko'zgular vaqtni belgilab qo'yganga o'xshaydi. Sony har yili barchaga yangi matritsalar taqdim etadi va ishlab chiqaruvchilar dangasalik bilan so'nggi versiya raqamini yangilaydi va dam olish va chekishda davom etadi. Mening stolimda 3000 dollarlik DSLR bor, lekin sayohat qilganimda iPhone-ni olaman. Nega?
Klassik aytganidek, men bu savol bilan Internetga kirdim. U erda ular ba'zi "algoritmlar" va "neyron tarmoqlar" ni muhokama qilishadi, ular fotografiyaga qanday ta'sir qilishini bilmaydilar. Jurnalistlar megapiksellar sonini baland ovozda o'qiydilar, bloggerlar bir ovozdan pullik qutini ochishni ko'rishmoqda, estetika esa "matritsaning ranglar palitrasini shahvoniy idrok etish" bilan bulg'anmoqda. Hammasi odatdagidek.
Men o‘tirib, umrimning yarmini o‘tkazib, hammasini o‘zim hal qilishim kerak edi. Ushbu maqolada men o'rganganlarimni aytib beraman.
Hisoblash fotografiyasi nima?
Hamma joyda, shu jumladan Vikipediyada ular shunday ta'rif beradilar: hisoblash fotografiyasi optik o'zgarishlar o'rniga raqamli hisoblashdan foydalanadigan har qanday tasvirni olish va qayta ishlash texnikasidir. Bu haqda hamma narsa yaxshi, faqat u hech narsani tushuntirmaydi. Hatto avtofokus ham bunga mos keladi, lekin bizga juda ko'p foydali narsalarni olib kelgan plenoptika mos kelmaydi. Rasmiy ta'riflarning noaniqligi biz nima haqida gapirayotganimizni bilmasligimizga ishora qiladi.
Hisoblash fotografiyasining kashshofi, Stenford professori Mark Levoy (hozirda Google Pixel-da kamera uchun mas'ul) yana bir ta'rif beradi - raqamli fotografiya imkoniyatlarini yaxshilaydigan yoki kengaytiradigan kompyuter vizualizatsiya usullari to'plami, ulardan foydalanib oddiy fotosurat olinadi. texnik jihatdan bu kamera bilan suratga olish mumkin emas.kamera an'anaviy tarzda. Maqolada men bunga amal qilaman.
Demak, hamma narsaga smartfonlar aybdor edi.
Smartfonlarda fotografiyaning yangi turini: hisoblash fotografiyasini yaratishdan boshqa iloji yo'q edi.
Ularning kichik shovqinli matritsalari va mayda sekin diafragma linzalari, barcha fizika qonunlariga ko'ra, faqat og'riq va azob-uqubat keltirishi kerak edi. Ular buni o‘zlarining ishlab chiquvchilari o‘zlarining zaif tomonlarini – tezkor elektron panjurlar, kuchli protsessorlar va dasturiy ta’minotni yengish uchun o‘zlarining kuchli tomonlaridan qanday qilib mohirlik bilan foydalanishni o‘ylab topmaguncha qilishdi.
Hisoblash fotografiyasi sohasidagi yuqori darajadagi tadqiqotlarning aksariyati 2005 va 2015 yillar oralig'ida bo'lib o'tdi, bu fanda kechagi kun deb hisoblanadi. Hozir ko‘z o‘ngimizda va cho‘ntagimizda ilgari hech qachon bo‘lmagan yangi bilim va texnologiya sohasi rivojlanmoqda.
Hisoblash fotografiyasi nafaqat neyro-boke bilan selfi. Qora tuynukning yaqinda olingan fotosuratini hisoblash fotografiya texnikasisiz amalga oshirish mumkin emas edi. Oddiy teleskop bilan bunday suratga olish uchun biz uni Yerning o'lchamiga aylantirishimiz kerak edi. Biroq, sakkizta radio teleskopdan olingan ma'lumotlarni to'pimizning turli nuqtalarida birlashtirib, Python-da bir nechta skriptlarni yozish orqali biz voqea ufqining dunyodagi birinchi fotosuratini oldik. Selfi uchun ham yaxshi.
Boshlash: raqamli ishlov berish
Tasavvur qilaylik, biz 2007 yilga qaytdik. Bizning onamiz anarxiya va bizning fotosuratlarimiz skeytbordda olingan shovqinli 0,6 megapikselli jiplar. Taxminan o'sha paytda bizda mobil matritsalarning baxtsizligini yashirish uchun ularga oldindan o'rnatishni sepib bo'lmaydigan birinchi istak paydo bo'ladi. O'zimizni inkor qilmaylik.
Matan va Instagram
Instagramning chiqarilishi bilan hamma filtrlarga berilib ketdi. X-Pro II, Lo-Fi va Valensiyani, albatta, tadqiqot maqsadlarida teskari muhandislik bilan shug'ullangan kishi sifatida men hali ham eslayman, ular uchta komponentdan iborat edi:
- Rang sozlamalari (Rang, Saturation, Lightness, Contrast, Levels va boshqalar) - oddiy raqamli koeffitsientlar, xuddi fotograflar qadim zamonlardan buyon ishlatgan har qanday oldindan o'rnatilgan koeffitsientlar kabi.
- Ton xaritalari qiymatlar vektorlari bo'lib, ularning har biri bizga aytadi: "128 rangdagi qizil rang 240 rangga aylantirilishi kerak".
- Qoplama - bu chang, don, vinyetka va boshqa barcha narsalar bilan shaffof rasm, bu eski plyonkaning mutlaqo oddiy effektini olish uchun ustiga qo'yilishi mumkin. Har doim ham mavjud emas edi.
Zamonaviy filtrlar bu triodan uzoq emas, ular faqat matematikada biroz murakkabroq bo'ldi. Smartfonlarda apparat shaderlari va OpenCL paydo bo'lishi bilan ular tezda GPU uchun qayta yozildi va bu juda ajoyib deb hisoblandi. 2012 yil uchun, albatta. Bugungi kunda har qanday talaba CSS-da xuddi shunday qila oladi va u hali ham bitiruv imkoniyatiga ega bo'lmaydi.
Biroq, filtrlarning rivojlanishi bugungi kunda to'xtamadi. Masalan, Dehanser yigitlari chiziqli bo'lmagan filtrlardan foydalanishda zo'r - proletar ohangini xaritalash o'rniga ular yanada murakkab chiziqli bo'lmagan o'zgarishlardan foydalanadilar, bu esa, ularning fikriga ko'ra, ko'proq imkoniyatlarni ochadi.
Siz chiziqli bo'lmagan o'zgarishlar bilan ko'p narsalarni qilishingiz mumkin, lekin ular nihoyatda murakkab va biz odamlar juda ahmoqmiz. Ilm-fandagi chiziqli bo'lmagan o'zgarishlar haqida gap ketganda, biz raqamli usullarga o'tishni va neyron tarmoqlarni hamma joyda to'plashni afzal ko'ramiz, shunda ular biz uchun durdona asarlar yozadilar. Bu erda ham xuddi shunday edi.
Avtomatlashtirish va "asar" tugmachasini orzu qiladi
Hamma filtrlarga o'rgangach, biz ularni to'g'ridan-to'g'ri kameralarga qurishni boshladik. Tarix qaysi ishlab chiqaruvchi birinchi bo'lganini yashiradi, ammo bu qancha vaqt oldin bo'lganini tushunish uchun - 5.0 yilda chiqarilgan iOS 2011-da rasmlarni avtomatik yaxshilash uchun ommaviy API allaqachon mavjud edi. U ommaga ochilishidan oldin qancha vaqt ishlatilganligini faqat Jobs biladi.
Avtomatlashtirish muharrirda fotosuratni ochishda har birimiz qiladigan ishni qildi - u yorug'lik va soyalardagi bo'shliqlarni olib tashladi, to'yinganlikni qo'shdi, qizil ko'zlarni olib tashladi va yuz rangini mustahkamladi. Foydalanuvchilar yangi smartfondagi “keskin takomillashtirilgan kamera” bir nechta yangi shaderlarning xizmati ekanligini bilishmagan. Google Pixel-ning chiqarilishiga va hisoblash fotografiyasining boshlanishiga hali besh yil qoldi.
Bugungi kunda "asar" tugmasi uchun kurash mashinani o'rganish maydoniga o'tdi. Ohangni xaritalash bilan etarlicha o'ynab, hamma CNN va GANlarni foydalanuvchi o'rniga slayderlarni harakatlantirishni o'rgatish uchun shoshildi. Boshqacha qilib aytganda, kiritilgan tasvirdan ushbu tasvirni "yaxshi fotografiya" ni ma'lum bir sub'ektiv tushunishga yaqinlashtiradigan optimal parametrlar to'plamini aniqlang. Xuddi shu Pixelmator Pro va boshqa muharrirlarda amalga oshirilgan. Bu siz taxmin qilganingizdek ishlaydi, unchalik yaxshi emas va har doim ham emas.
Stacking mobil kameralar muvaffaqiyatining 90% ni tashkil qiladi
Haqiqiy hisoblash fotografiyasi bir nechta fotosuratlarni bir-birining ustiga qo'yishdan boshlandi. Smartfon uchun yarim soniyada o'nlab kadrlarni bosish muammo emas. Ularning kameralarida sekin mexanik qismlar yo'q: diafragma mahkamlangan va harakatlanuvchi parda o'rniga elektron deklanşör mavjud. Protsessor shunchaki matritsaga yovvoyi fotonlarni qancha mikrosekundda ushlashi kerakligini buyuradi va natijani o'qiydi.
Texnik jihatdan telefon video tezligida suratga olishi mumkin, videoni esa foto ruxsatda olishi mumkin, ammo barchasi avtobus va protsessor tezligiga bog‘liq. Shuning uchun ular doimo dastur chegaralarini o'rnatadilar.
Stakingning o'zi biz bilan uzoq vaqtdan beri mavjud. Hatto bobolar ham Photoshop 7.0-ga bir nechta fotosuratlarni diqqatni jalb qiladigan HDR formatida yig'ish yoki 18000 × 600 pikselli panoramani birlashtirish uchun plaginlarni o'rnatgan va... aslida hech kim ular bilan nima qilishni o'ylab topmagan. Zamonlar boy va yovvoyi bo'lgani achinarli edi.
Endi biz kattalar bo'ldik va buni "epsilon fotografiyasi" deb ataymiz - kamera parametrlaridan birini (ekspozitsiya, fokus, pozitsiya) o'zgartirib, olingan kadrlarni bir-biriga tikib, biz bitta kadrda suratga olinmaydigan narsani olamiz. Ammo bu nazariyotchilar uchun atama, amalda boshqa nom ildiz otgan - staking. Bugungi kunda, aslida, mobil kameralardagi barcha innovatsiyalarning 90 foizi unga asoslangan.
Ko'pchilik o'ylamaydigan, lekin mobil va kompyuter fotografiyasini tushunish juda muhim: zamonaviy smartfondagi kamera uning ilovasini ochishingiz bilanoq suratga olishni boshlaydi. Bu mantiqiy, chunki u qandaydir tarzda tasvirni ekranga o'tkazishi kerak. Biroq, ekranga qo'shimcha ravishda, u yuqori aniqlikdagi kadrlarni o'zining pastadir buferiga saqlaydi va u erda ularni yana bir necha soniya davomida saqlaydi.
"Suratga olish" tugmasini bosganingizda, u allaqachon olingan, kamera shunchaki buferdan oxirgi suratni oladi.
Bugungi kunda har qanday mobil kamera shunday ishlaydi. Hech bo'lmaganda barcha flagmanlarda axlat uyumidan emas. Buferlash nafaqat fotosuratchilar uzoq vaqtdan beri orzu qilgan, balki salbiy lattani ham amalga oshirishga imkon beradi - tugmani bosganingizda, smartfon o'tmishga qaraydi, so'nggi 5-10 fotosuratni buferdan olib tashlaydi va hayajon bilan tahlil qilishni boshlaydi. va ularni yopishtiring. Endi telefon HDR yoki tungi rejim uchun ramkalarni bosishini kutishning hojati yo'q - ularni buferdan oling, foydalanuvchi buni bilmaydi ham.
Aytgancha, Live Photo iPhone-larda salbiy tortishish kechikishi yordamida amalga oshiriladi va HTC 2013 yilda Zoe g'alati nomi bilan shunga o'xshash narsaga ega edi.
Exposure stacking - HDR va yorqinlik o'zgarishlariga qarshi kurash
Kamera sensorlari bizning ko'zimiz uchun mavjud bo'lgan yorqinlikning butun diapazonini suratga olishga qodirmi yoki yo'qmi - bu eski munozarali mavzu. Ba'zilar "yo'q" deyishadi, chunki ko'z 25 f-stopgacha ko'rish qobiliyatiga ega, hatto yuqori to'liq kadrli matritsadan ham siz maksimal 14 tani olishingiz mumkin. Boshqalar esa taqqoslashni noto'g'ri deb atashadi, chunki miya avtomatik ravishda sozlash orqali ko'zga yordam beradi. ko'z qorachig'i va uning neyron tarmoqlari bilan tasvirni to'ldirish va lahza Ko'zning dinamik diapazoni aslida 10-14 f-stopdan oshmaydi. Keling, bu bahsni Internetdagi eng yaxshi kreslo mutafakkirlariga qoldiramiz.
Haqiqat saqlanib qolmoqda: siz do'stlaringizni har qanday mobil kamerada HDRsiz yorqin osmonga qarata otganingizda, siz oddiy osmon va do'stlaringizning qora yuzlarini yoki yaxshi chizilgan do'stlaringizni olasiz, lekin osmon kuyib o'ladi.
Yechim uzoq vaqtdan beri ixtiro qilingan - HDR (Yuqori dinamik diapazon) yordamida yorqinlik diapazonini kengaytirish. Turli tortishish tezligida bir nechta ramkalarni olishingiz va ularni bir-biriga yopishtirishingiz kerak. Shunday qilib, biri "normal", ikkinchisi engilroq, uchinchisi quyuqroq. Biz qorong'i joylarni yorug'lik ramkasidan olamiz, qorong'i joydan ortiqcha ta'sirlarni to'ldiramiz - foyda. Avtomatik qavslash muammosini hal qilish qoladi - uni haddan tashqari oshirmaslik uchun har bir ramkaning ekspozitsiyasini qancha o'zgartirish kerak, ammo endi texnik universitetning ikkinchi kurs talabasi rasmning o'rtacha yorqinligini aniqlashga qodir.
Eng yangi iPhone, Pixel va Galaxy-da HDR rejimi odatda kamera ichidagi oddiy algoritm quyoshli kunda kontrastli biror narsani suratga olishingizni aniqlasa, avtomatik ravishda yoqiladi. Ekspozitsiyada siljigan kadrlarni saqlash uchun telefon yozish rejimini buferga qanday o'tkazayotganini hatto sezishingiz mumkin - kameradagi kadrlar pasayadi va rasmning o'zi shirali bo'ladi. O'tish momenti ochiq havoda suratga olishda iPhone X-da aniq ko'rinadi. Keyingi safar ham smartfoningizga diqqat bilan qarang.
EHM qavslari bilan HDR ning kamchiliklari uning yomon yorug'lik sharoitida o'tib bo'lmaydigan nochorligidir. Xona chiroqining yorug'ligi bilan ham, ramkalar shunchalik qorong'i bo'lib chiqadiki, kompyuter ularni tekislashi va birlashtira olmaydi. Yorug'lik bilan bog'liq muammoni hal qilish uchun 2013 yilda Google o'sha paytda chiqarilgan Nexus smartfonida HDR-ga boshqacha yondashuvni ko'rsatdi. U vaqtni stackingdan foydalangan.
Vaqtni yig'ish - uzoq ta'sir qilish simulyatsiyasi va vaqt oralig'i
Vaqtni stacking bir qator qisqa bo'lganlar yordamida uzoq ekspozitsiyani yaratishga imkon beradi. Kashshoflar tungi osmondagi yulduz izlarini suratga olish ishqibozlari edi, ular birdaniga ikki soat davomida panjurni ochishni noqulay deb topdilar. Barcha sozlamalarni oldindan hisoblash juda qiyin edi va eng kichik silkinish butun ramkani buzadi. Ular panjurni bir necha daqiqaga ochishga qaror qilishdi, lekin ko'p marta, keyin uyga borib, olingan ramkalarni Photoshop-ga yopishtirishdi.
Ma'lum bo'lishicha, kamera hech qachon uzoq tortishish tezligida suratga olmagan, ammo biz ketma-ket olingan bir nechta kadrlarni qo'shish orqali uni simulyatsiya qilish effektiga ega bo'ldik. Uzoq vaqt davomida ushbu hiyla ishlatadigan smartfonlar uchun yozilgan bir qator ilovalar mavjud, ammo ularning barchasi kerak emas, chunki bu xususiyat deyarli barcha standart kameralarga qo'shilgan. Bugungi kunda hatto iPhone ham Live Photo-dan uzoq ekspozitsiyani osongina birlashtira oladi.
Keling, tungi HDR bilan Googlega qaytaylik. Ma'lum bo'lishicha, vaqtni qavslashdan foydalanib, siz qorong'ida yaxshi HDR-ni amalga oshirishingiz mumkin. Texnologiya birinchi marta Nexus 5 da paydo bo'lgan va HDR+ deb nomlangan. Qolgan Android telefonlari buni sovg'a sifatida qabul qilishdi. Texnologiya hali ham shunchalik mashhurki, u hatto eng so'nggi piksellar taqdimotida ham maqtovga sazovor.
HDR+ juda oddiy ishlaydi: siz qorong'uda suratga tushayotganingizni aniqlagandan so'ng, kamera oxirgi 8-15 RAW fotosuratlarini bir-birining ustiga qo'yish uchun buferdan tushiradi. Shunday qilib, algoritm shovqinni minimallashtirish uchun ramkaning qorong'i joylari haqida ko'proq ma'lumot to'playdi - piksellar, bu erda negadir kamera barcha ma'lumotlarni to'play olmadi va xatoga yo'l qo'ydi.
Agar siz kapibara qanday ko'rinishini bilmasangiz va besh kishidan uni tasvirlashni so'ragan bo'lsangiz, ularning hikoyalari taxminan bir xil bo'lar edi, lekin har biri o'ziga xos tafsilotlarni eslatib o'tadi. Shunday qilib, siz shunchaki so'rashdan ko'ra ko'proq ma'lumot to'playsiz. Piksellar bilan ham xuddi shunday.
Bir nuqtadan olingan kadrlarni qo'shish yuqoridagi yulduzlar bilan bir xil soxta uzoq ta'sir qilish effektini beradi. O'nlab kadrlarning ekspozitsiyasi umumlashtiriladi, birida xatolar boshqalarida minimallashtiriladi. Bunga erishish uchun har safar DSLR deklanşörünü necha marta bosishingiz kerakligini tasavvur qiling.
Rangni avtomatik tuzatish muammosini hal qilish qolgan edi - qorong'uda olingan ramkalar odatda sariq yoki yashil rangga aylanadi va biz kunduzgi yorug'likning boyligini xohlaymiz. HDR+ ning dastlabki versiyalarida bu Instagram filtrlarida bo'lgani kabi sozlamalarni o'zgartirish orqali hal qilindi. Keyin ular neyron tarmoqlarni yordamga chaqirishdi.
Pixel 2 va 3-da "tungi suratga olish" texnologiyasi shunday paydo bo'ldi: "Tungi ko'rish" texnologiyasi. Ta'rifda ular: "Tungi ko'rinishni ishlaydigan HDR+ ustiga qurilgan mashinani o'rganish texnikasi" deb aytilgan. Aslida, bu rangni to'g'rilash bosqichini avtomatlashtirish. Mashina "oldin" va "keyin" fotosuratlari ma'lumotlar to'plamida o'qitilgan va har qanday qorong'i egri fotosuratlar to'plamidan bitta chiroyli suratni yaratish uchun o'qitilgan.
Aytgancha, ma'lumotlar to'plami ommaga taqdim etildi. Ehtimol, Apple kompaniyasining yigitlari buni olib, oxir-oqibat shisha belkuraklarini qorong'uda to'g'ri suratga olishni o'rgatadilar.
Bundan tashqari, Night Sight uzoq tortishish tezligida paydo bo'lishi aniq bo'lgan loyqalikni normallashtirish uchun kadrdagi ob'ektlarning harakat vektorini hisoblashdan foydalanadi. Shunday qilib, smartfon boshqa ramkalardan aniq qismlarni olib, ularni yopishtirishi mumkin.
Harakatlarni stacking - panorama, superzoom va shovqinni kamaytirish
Panorama - bu qishloq aholisi uchun mashhur o'yin-kulgi. Tarix hali kolbasa fotosurati uning muallifidan boshqa hech kimni qiziqtiradigan holatlar haqida bilmaydi, ammo buni e'tiborsiz qoldirib bo'lmaydi - ko'pchilik uchun bu erda birinchi navbatda stacking boshlangan.
Panoramadan foydalanishning birinchi foydali usuli bu bir nechta ramkalarni bir-biriga yopishtirish orqali kamera matritsasi ruxsat berganidan yuqori aniqlikdagi fotosuratni olishdir. Fotosuratchilar uzoq vaqtdan beri o'ta aniqlikdagi fotosuratlar uchun turli xil dasturlardan foydalanishgan - bir oz o'zgartirilgan fotosuratlar piksellar orasida bir-birini to'ldiradiganga o'xshaydi. Shunday qilib, siz kamida yuzlab gigapikselli tasvirni olishingiz mumkin, agar siz uni uy o'lchamidagi reklama afishasida chop etishingiz kerak bo'lsa, bu juda foydali.
Yana bir qiziqarli yondashuv - Pixel Shifting. Sony va Olympus kabi ba'zi oynasiz kameralar uni 2014 yilda qo'llab-quvvatlay boshladilar, ammo ular hali ham natijani qo'lda yopishtirishlari kerak edi. Odatiy katta kamera yangiliklari.
Smartfonlar bu yerda kulgili sababga ko‘ra muvaffaqiyat qozondi – suratga tushganingizda qo‘llaringiz titraydi. Ko'rinib turgan bu muammo smartfonlarda o'ziga xos super rezolyutsiyani amalga oshirish uchun asos bo'ldi.
Bu qanday ishlashini tushunish uchun har qanday kameraning matritsasi qanday tuzilganligini eslab qolishingiz kerak. Uning har bir pikseli (fotodiod) faqat yorug'lik intensivligini - ya'ni kiruvchi fotonlar sonini qayd etishga qodir. Biroq, piksel o'z rangini (to'lqin uzunligini) o'lchay olmaydi. RGB rasmini olish uchun biz bu erga qo'ltiq tayoqchalarini ham qo'shishimiz kerak edi - butun matritsani ko'p rangli shisha bo'laklari bilan yoping. Uning eng mashhur ilovasi Bayer filtri deb ataladi va bugungi kunda aksariyat matritsalarda qo'llaniladi. Quyidagi rasmga o'xshaydi.
Ma'lum bo'lishicha, matritsaning har bir pikseli faqat R-, G- yoki B-komponentni ushlaydi, chunki qolgan fotonlar Bayer filtri tomonidan shafqatsizlarcha aks ettiriladi. U qo'shni piksellarning qiymatlarini aniq o'rtacha hisoblab, etishmayotgan komponentlarni aniqlaydi.
Bayer filtrida ko'proq yashil hujayralar mavjud - bu inson ko'ziga o'xshashlik bilan qilingan. Ma'lum bo'lishicha, matritsadagi 50 million pikseldan yashil rang 25 millionni, qizil va ko'k - har biri 12,5 millionni oladi. Qolganlari o'rtacha hisoblanadi - bu jarayon debaerizatsiya yoki demozaika deb ataladi va bu juda kulgili tayoqchadir. hamma narsa dam oladi.
Darhaqiqat, har bir matritsa o'zining ayyor patentlangan demozaika algoritmiga ega, ammo bu hikoyaning maqsadlari uchun biz buni e'tiborsiz qoldiramiz.
Boshqa turdagi matritsalar (masalan, Foveon) hozircha qo'lga olinmagan. Ba'zi ishlab chiqaruvchilar aniqlik va dinamik diapazonni yaxshilash uchun Bayer filtrisiz sensorlardan foydalanishga harakat qilishsa-da.
Agar yorug'lik kam bo'lsa yoki ob'ektning tafsilotlari juda kichik bo'lsa, biz ko'p ma'lumotni yo'qotamiz, chunki Bayer filtri kiruvchi to'lqin uzunligi bilan fotonlarni ochiqchasiga kesib tashlaydi. Shuning uchun ular Pixel Shifting - matritsani 1 pikselga yuqoriga-pastga-o'ngga-chapga siljitish bilan chiqishdi. Bunday holda, fotosurat 4 baravar kattaroq bo'lib chiqmaydi, chunki protsessor har bir pikselning qiymatini aniqroq yozish uchun ushbu ma'lumotlardan foydalanadi. Bu o'rtacha qo'shnilaridan emas, balki o'zining to'rtta qiymatidan oshadi.
Telefonda suratga olayotganda qo'llarimizning titrashi bu jarayonni tabiiy oqibatlarga olib keladi. Google Pixel-ning so'nggi versiyalarida bu narsa amalga oshiriladi va telefonda masshtabdan foydalanganda yoqiladi - bu Super Res Zoom deb ataladi (ha, men ularning shafqatsiz nomlanishini ham yaxshi ko'raman). Xitoyliklar ham buni o'zlarining laofonlariga ko'chirib olishdi, garchi bu biroz yomonroq bo'lib chiqdi.
Bir oz siljigan fotosuratlarni bir-birining ustiga qo'yish har bir pikselning rangi haqida ko'proq ma'lumot to'plash imkonini beradi, bu matritsaning megapiksellarining jismoniy sonini oshirmasdan shovqinni kamaytirish, aniqlikni oshirish va piksellar sonini oshirishni anglatadi. Zamonaviy Android flagmanlari buni o'z foydalanuvchilari bu haqda o'ylamasdan avtomatik ravishda amalga oshiradilar.
Fokus stacking - har qanday maydon chuqurligi va post-ishlab chiqarishda qayta fokuslash
Usul makro suratga olishdan kelib chiqadi, bu erda sayoz maydon chuqurligi doimo muammo bo'lib kelgan. Butun ob'ekt fokusda bo'lishi uchun siz fokusni oldinga va orqaga siljitadigan bir nechta ramkalarni olishingiz va keyin ularni bitta o'tkir ramkaga birlashtirishingiz kerak edi. Xuddi shu usul ko'pincha landshaft fotosuratchilari tomonidan qo'llanilgan, bu diareya kabi oldingi va orqa fonni o'tkir qilib qo'ygan.
Bularning barchasi ko'p shov-shuvsiz bo'lsa ham, smartfonlarga o'tdi. 2013 yilda Nokia Lumia 1020 "Refocus App" va 2014 yilda "Selective Focus" rejimiga ega Samsung Galaxy S5 chiqdi. Ular bir xil sxema bo'yicha ishladilar: tugmani bosish orqali ular tezda 3 ta fotosurat olishdi - biri "oddiy" fokusli, ikkinchisi fokus oldinga siljigan va uchinchisi orqaga siljigan. Dastur kadrlarni hizaladi va ulardan birini tanlash imkonini berdi, bu post-produktsiyada "haqiqiy" fokus nazorati sifatida e'lon qilindi.
Qo'shimcha ishlov berish yo'q edi, chunki hatto bu oddiy buzg'unchilik ham Lytro va uning tengdoshlari qopqog'iga o'zlarining halol refokuslari bilan yana bir tirnoq urish uchun etarli edi. Aytgancha, keling, ular haqida gapiraylik (o'tish ustasi 80 lvl).
Hisoblash matritsalari - yorug'lik maydonlari va plenoptikalar
Yuqorida tushunganimizdek, bizning matritsalarimiz qo'ltiq tayoqchalarida dahshatdir. Biz endigina ko'nikdik va u bilan yashashga harakat qilmoqdamiz. Qadim zamonlardan beri ularning tuzilishi deyarli o'zgarmadi. Biz faqat texnik jarayonni takomillashtirdik – piksellar orasidagi masofani qisqartirdik, shovqin shovqiniga qarshi kurashdik va fazalarni aniqlash avtofokus uchun maxsus piksellar qo‘shdik. Ammo agar siz hatto eng qimmat DSLR-ni olsangiz va u bilan xona yoritgichida yugurayotgan mushukni otishga harakat qilsangiz - mushuk, yumshoq qilib aytganda, g'alaba qozonadi.
Biz uzoq vaqtdan beri yaxshiroq narsani ixtiro qilishga harakat qildik. Ushbu sohadagi ko'plab urinishlar va tadqiqotlar "hisoblash sensori" yoki "bayer bo'lmagan sensor" deb topiladi va hatto yuqoridagi Pixel Shifting misolini hisob-kitoblar yordamida matritsalarni yaxshilashga urinishlar bilan bog'lash mumkin. Biroq, so'nggi yigirma yildagi eng istiqbolli hikoyalar bizga plenoptik kameralar dunyosidan keldi.
Siz yaqinlashib kelayotgan murakkab so'zlarni kutishdan uxlab qolmaslik uchun men insayderga aytamanki, eng so'nggi Google Pixel kamerasi shunchaki "biroz" plenoptik. Faqat ikkita piksel, lekin bu ham hamma kabi ikkinchi kamerasiz ham ramkaning to'g'ri optik chuqurligini hisoblash imkonini beradi.
Plenoptika - bu hali otmagan kuchli qurol. Mana mening eng sevimli so'nggilarimdan biriga havola. , Men misollarni qaerdan oldim.
Plenoptik kamera - tez orada
1994 yilda ixtiro qilingan, 2004 yilda Stenfordda to'plangan. Birinchi iste'molchi kamerasi Lytro 2012 yilda chiqarilgan. VR sanoati hozirda shunga o'xshash texnologiyalar bilan faol tajriba o'tkazmoqda.
Plenoptik kamera an'anaviy kameradan faqat bitta modifikatsiyada farq qiladi - uning matritsasi linzalar tarmog'i bilan qoplangan, ularning har biri bir nechta real piksellarni qamrab oladi. Shunga o'xshash narsa:
Agar siz to'rdan matritsagacha bo'lgan masofani va diafragma o'lchamini to'g'ri hisoblasangiz, yakuniy tasvir piksellarning aniq klasterlariga ega bo'ladi - asl tasvirning mini-versiyalari.
Ma'lum bo'lishicha, agar siz, aytaylik, har bir klasterdan bitta markaziy piksel olib, tasvirni faqat ular yordamida yopishtirib qo'ysangiz, u oddiy kamerada olinganidan farq qilmaydi. Ha, biz piksellar sonini biroz yo'qotdik, lekin biz Sony-dan yangi matritsalarga ko'proq megapiksel qo'shishni so'raymiz.
Qiziq endigina boshlanmoqda. agar siz har bir klasterdan yana bir piksel olib, rasmni yana birlashtirsangiz, siz yana oddiy fotosuratga ega bo'lasiz, go'yo u bir piksel siljishi bilan olingan. Shunday qilib, 10 × 10 pikselli klasterlar bilan biz "biroz" turli nuqtalardan ob'ektning 100 ta tasvirini olamiz.
Kattaroq klaster o'lchami ko'proq tasvirni, lekin past piksellar sonini anglatadi. 41 megapikselli matritsali smartfonlar dunyosida, biz piksellar sonini biroz e'tiborsiz qoldirsak ham, hamma narsaning chegarasi bor. Siz muvozanatni saqlashingiz kerak.
Xo'sh, biz plenoptik kamerani yig'dik, bu bizga nima beradi?
Halol qayta e'tibor
Barcha jurnalistlar Lytro haqidagi maqolalarida shov-shuv ko'targan xususiyat post-produktsiyada diqqatni to'g'rilash qobiliyati edi. To‘g‘rirog‘i, biz hech qanday chalkash algoritmlardan foydalanmaymiz, balki faqat qo‘l ostidagi piksellardan foydalanamiz, ularni kerakli tartibda klasterlardan tanlaymiz yoki o‘rtacha olamiz.
Plenoptik kameradan RAW suratga olish g'alati ko'rinadi. Undan odatiy o'tkir jipni olish uchun avval uni yig'ishingiz kerak. Buning uchun siz RAW klasterlaridan biridan jipning har bir pikselini tanlashingiz kerak. Ularni qanday tanlashimizga qarab, natija o'zgaradi.
Masalan, klaster asl nurning tushish nuqtasidan qanchalik uzoq bo'lsa, bu nur shunchalik ko'p fokusdan tashqarida bo'ladi. Chunki optika. Fokus o'zgartirilgan tasvirni olish uchun biz faqat piksellarni asl nusxadan kerakli masofada tanlashimiz kerak - yaqinroq yoki uzoqroq.
Fokusni o'zingizga qaratish qiyinroq edi - faqat jismoniy jihatdan, klasterlarda bunday piksellar kamroq edi. Dastlab, ishlab chiquvchilar foydalanuvchiga o'z qo'llari bilan diqqatni jamlash qobiliyatini berishni ham xohlamadilar - kameraning o'zi buni dasturiy ta'minotda hal qildi. Foydalanuvchilarga bu kelajak yoqmadi, shuning uchun ular keyingi mikrodasturga "ijodiy rejim" deb nomlangan xususiyatni qo'shdilar, ammo aynan shu sababga ko'ra unga diqqatni qaratish juda cheklangan.
Bir kameradan chuqurlik xaritasi va 3D
Plenoptikadagi eng oddiy operatsiyalardan biri chuqurlik xaritasini olishdir. Buni amalga oshirish uchun siz ikki xil ramka to'plashingiz va ulardagi ob'ektlar qancha siljishini hisoblashingiz kerak. Ko'proq siljish kameradan uzoqroq masofani anglatadi.
Google yaqinda Lytro-ni sotib oldi va o'ldirdi, lekin uning texnologiyasidan o'zining VR va... Pixel kamerasi uchun foydalandi. Pixel 2 dan boshlab, kamera faqat ikkita pikselli klasterlarga ega bo'lsa ham, birinchi marta "biroz" plenoptik bo'ldi. Bu Google-ga boshqa barcha yigitlar singari ikkinchi kamerani o'rnatmaslik, balki chuqurlik xaritasini faqat bitta fotosuratdan hisoblash imkoniyatini berdi.
Chuqurlik xaritasi bir subpikselga siljigan ikkita ramka yordamida qurilgan. Bu ikkilik chuqurlik xaritasini hisoblash va oldingi fonni fondan ajratish va ikkinchisini hozirgi moda bokehda xiralashtirish uchun etarli. Bunday qatlamlashning natijasi chuqurlik xaritalarini yaxshilashga o'rgatilgan neyron tarmoqlar tomonidan ham tekislanadi va "yaxshilanadi" (ko'pchilik o'ylaganidek, xiralashmaydi).
Ayyorlik shundaki, biz smartfonlarda plenoptikani deyarli bepul oldik. Yorug'lik oqimini qandaydir tarzda oshirish uchun biz allaqachon bu kichik matritsalarga linzalarni qo'yganmiz. Keyingi Pixel-da Google oldinga borishni va to'rtta fotodiodni ob'ektiv bilan qoplashni rejalashtirmoqda.
Manba: 3dnews.ru
