Мақаланың түпнұсқасы веб-сайтта орналастырылған және автордың рұқсатымен 3DNews сайтында жарияланған. Біз мақаланың толық мәтінін береміз, көптеген сілтемелерді қоспағанда - олар тақырыпқа шындап қызығушылық танытатын және есептеу фотосуреттерінің теориялық аспектілерін тереңірек зерттегісі келетіндерге пайдалы болады, бірақ жалпы аудитория біз бұл материалды артық деп санадық.
Бүгінгі күні бірде-бір смартфонның тұсаукесері камерасын жалмаусыз аяқталмайды. Біз ай сайын мобильді камералардың келесі жетістігі туралы естиміз: Google Pixel-ді қараңғыда түсіруді, Huawei-ді дүрбі сияқты масштабтауды үйретеді, Samsung лидар енгізеді, Apple әлемдегі ең дөңгелек бұрыштарды жасайды. Қазіргі уақытта инновациялар соншалықты жылдам ағымды жерлер аз.
Сонымен бірге айналар уақытты белгілеп тұрғандай. Sony жыл сайын барлығына жаңа матрицаларды ұсынады, ал өндірушілер соңғы нұсқаның цифрын жалқаулықпен жаңартады және шетте демалуды және темекі шегуді жалғастырады. Менің үстелімде 3000 доллар тұратын DSLR бар, бірақ мен саяхаттағанда мен iPhone-ды аламын. Неліктен?
Классик айтқандай, мен осы сұрақпен желіге кірдім. Онда олар кейбір «алгоритмдерді» және «нейрондық желілерді» талқылайды, олар фотосуретке қалай әсер ететінін білмей-ақ. Журналистер мегапиксельдер санын дауыстап оқиды, блогерлер ақылы қораптан босатуды бірауыздан көріп жатыр, ал эстеттер «матрицаның түс палитрасын сезімтал қабылдаумен» мазақтайды. Бұрынғыдай.
Мен отырып, өмірімнің жартысын өткізіп, бәрін өзім анықтауға тура келді. Бұл мақалада мен не білгенімді айтып беремін.
Есептік фотосурет дегеніміз не?
Барлық жерде, соның ішінде Уикипедияда олар келесідей анықтама береді: есептеу фотографиясы - оптикалық түрлендірулердің орнына цифрлық есептеулерді қолданатын кез келген кескінді түсіру және өңдеу әдісі. Бұл туралы бәрі жақсы, тек ештеңе түсіндірмейді. Оған тіпті автофокус қолайлы, бірақ бізге көптеген пайдалы нәрселерді әкелген пленоптика сәйкес келмейді. Ресми анықтамалардың бұлыңғырлығы біздің не айтып жатқанымызды білмегенімізді меңзеп тұрғандай.
Есептеу фотографиясының пионері, Стэнфорд профессоры Марк Левой (қазір Google Pixel камерасына жауапты) басқа анықтама береді - цифрлық фотосуреттің мүмкіндіктерін жақсартатын немесе кеңейтетін компьютерлік визуализация әдістерінің жиынтығы, оның көмегімен қарапайым фотосурет алынады. бұл камерамен техникалық түрде түсіру мүмкін емес. камераны дәстүрлі түрде. Мақалада мен мұны ұстанамын.
Демек, барлығына смартфондар кінәлі болды.
Смартфондарда фотосуреттің жаңа түрін тудырудан басқа амал қалмады: есептеу фотосуреті.
Олардың шағын шулы матрицалары мен кішкентай баяу диафрагма линзалары, барлық физика заңдарына сәйкес, тек ауырсыну мен азап әкелуі керек еді. Олар мұны әзірлеушілер өздерінің әлсіз жақтарын - жылдам электронды ысырмаларды, қуатты процессорларды және бағдарламалық қамтамасыз етуді жеңу үшін күшті жақтарын қалай ақылмен пайдалану керектігін анықтағанға дейін жасады.
Есептеу фотографиясы саласындағы жоғары профильді зерттеулердің көпшілігі 2005 және 2015 жылдар аралығында болды, бұл ғылымда кеше ғана қарастырылады. Дәл қазір көз алдымызда, қалтамызда бұрын-соңды болмаған жаңа білім мен технология саласы дамып келеді.
Есептеу фотографиясы нейро-бокемен селфи жасау ғана емес. Қара дырдың жақында түсірілген фотосуреті есептеу фотосурет техникасынсыз мүмкін емес еді. Кәдімгі телескоппен мұндай суретке түсіру үшін біз оны Жердің өлшеміне айналдыруымыз керек еді. Дегенмен, доптың әртүрлі нүктелеріндегі сегіз радиотелескоптан алынған деректерді біріктіру және Python тілінде бірнеше сценарий жазу арқылы біз оқиға көкжиегінің әлемдегі алғашқы фотосуретін алдық. Селфиге де жақсы.
Бастау: цифрлық өңдеу
Біз 2007 жылды елестетейік. Біздің анамыз анархия, ал фотоларымыз скейтбордта түсірілген шулы 0,6 мегапиксельді джиптер. Шамамен бізде мобильді матрицалардың қасіретін жасыру үшін оларға алдын ала орнатуларды себуге деген бірінші қайтарымсыз тілек пайда болады. Өзімізді жоққа шығармайық.
Матан және Instagram
Инстаграмның шығуымен барлығы сүзгілерге әуес болды. X-Pro II, Lo-Fi және Валенсияны, әрине, зерттеу мақсатында кері инженерия жасаған адам ретінде олардың үш құрамдас бөлігінен тұратыны әлі есімде:
- Түс параметрлері (Реңк, қанықтылық, ашықтық, контраст, деңгейлер және т.б.) - фотографтар ежелгі уақыттан бері қолданып келген кез келген алдын ала орнату сияқты қарапайым цифрлық коэффициенттер.
- Тонды салыстыру мәндердің векторлары болып табылады, олардың әрқайсысы бізге: «128 реңктегі қызыл түсті 240 реңкіне айналдыру керек».
- Қабаттасу - бұл ескі пленканың мүлде беймәлім әсерін алу үшін үстіне қоюға болатын шаң, дән, виньетка және басқаның бәрі бар мөлдір сурет. Әрқашан болмаған.
Заманауи сүзгілер бұл үштіктен алыс емес, олар математикада біршама күрделірек болды. Смартфондарда аппараттық шейдерлер мен OpenCL пайда болғаннан кейін олар GPU үшін тез қайта жазылды және бұл өте керемет деп саналды. 2012 жылға, әрине. Бүгінгі күні кез келген студент CSS-те солай істей алады, бірақ ол әлі де бітіру мүмкіндігіне ие бола алмайды.
Дегенмен, сүзгілердің жұмысы бүгінде тоқтаған жоқ. Мысалы, Дехансердің жігіттері сызықты емес сүзгілерді жақсы пайдаланады - пролетарлық тонды картаға түсірудің орнына олар күрделі сызықты емес түрлендірулерді пайдаланады, бұл олардың пікірінше, әлдеқайда көп мүмкіндіктер ашады.
Сіз сызықты емес түрлендірулер арқылы көп нәрсені жасай аласыз, бірақ олар керемет күрделі және біз адамдар өте ақымақпыз. Ғылымдағы сызықтық емес түрлендірулерге келетін болсақ, біз сандық әдістерге баруды және нейрондық желілерді біз үшін шедеврлер жазуы үшін барлық жерде толтыруды жөн көреміз. Мұнда да солай болды.
Автоматтандыру және «шедевр» батырмасын армандайды
Барлығы сүзгілерге үйренген соң, біз оларды тікелей камераларға айналдыра бастадық. Тарих қай өндірушінің бірінші болғанын жасырады, бірақ оның қанша уақыт бұрын болғанын түсіну үшін - 5.0 жылы шыққан iOS 2011-де кескіндерді автоматты түрде жақсартуға арналған жалпыға қолжетімді API болды. Оның көпшілікке ашылғанға дейін қанша уақыт қолданылғанын тек Джобс біледі.
Автоматтандыру әрқайсымыз редакторда фотосуретті ашқанда жасайтын әрекетті жасады - ол жарық пен көлеңкедегі бос орындарды алып тастады, қанықтылықты қосты, қызыл көздерді кетірді және бет әлпетін түзетеді. Пайдаланушылар жаңа смартфондағы «күрделі жақсартылған камера» бірнеше жаңа шейдерлердің еңбегі екенін түсінбеді. Google Pixel шығарылымына және есептеу фотографиясының басталуына әлі бес жыл қалды.
Бүгінде «шедевр» түймесі үшін шайқас машиналық оқыту саласына көшті. Тонды салыстырумен жеткілікті түрде ойнағаннан кейін барлығы пайдаланушының орнына жүгірткілерді жылжыту үшін CNN және GAN-ді үйретуге асықты. Басқаша айтқанда, кіріс кескіннен осы кескінді «жақсы фотосурет» туралы белгілі бір субъективті түсінуге жақындататын оңтайлы параметрлер жинағын анықтаңыз. Бірдей Pixelmator Pro және басқа редакторларда енгізілген. Бұл сіз ойлағандай жұмыс істейді, өте жақсы емес және әрқашан емес.
Стектеу - мобильді камералар табысының 90%
Нағыз есептеу фотографиясы бірнеше фотосуреттерді бір-бірінің үстіне қоюдан басталды. Смартфонның жарты секундта ондаған кадрды басу қиын емес. Олардың камераларында баяу механикалық бөліктер жоқ: апертура бекітілген, ал қозғалатын перденің орнына электронды ысырма бар. Процессор жай ғана матрицаға жабайы фотондарды қанша микросекундта ұстау керектігін пәрмен береді және ол нәтижені оқиды.
Техникалық тұрғыдан алғанда, телефон фотосуреттерді бейне жылдамдығымен, ал бейнені фото ажыратымдылығында түсіре алады, бірақ бәрі автобус пен процессордың жылдамдығына байланысты. Сондықтан олар әрқашан бағдарлама шектеулерін белгілейді.
Стейкингтің өзі бізбен бұрыннан бар. Тіпті аталар Photoshop 7.0-де бірнеше фотосуреттерді көз тартатын HDR форматына жинау немесе 18000 × 600 пиксельдік панораманы біріктіру үшін плагиндерді орнатқан және... шын мәнінде, олармен әрі қарай не істеу керектігін ешкім ешқашан түсінбеді. Заманның бай, жабайы болғаны өкінішті.
Енді біз ересектерге айналдық және оны «эпсилондық фотосурет» деп атаймыз - камера параметрлерінің біреуін (экспозиция, фокус, позиция) өзгерту және алынған кадрларды біріктіру арқылы біз бір кадрға түсіру мүмкін емес нәрсені аламыз. Бірақ бұл теоретиктерге арналған термин, іс жүзінде басқа атау тамыр алды - стекинг. Бүгінгі күні, шын мәнінде, мобильді камералардағы барлық жаңалықтардың 90% -ы соған негізделген.
Көптеген адамдар ойланбайтын нәрсе, бірақ мобильді және компьютерлік фотографияны түсіну маңызды: заманауи смартфондағы камера оның қолданбасын ашқаннан кейін бірден суретке түсіре бастайды. Бұл қисынды, өйткені ол қандай да бір түрде кескінді экранға жіберуі керек. Дегенмен, экранға қосымша, ол жоғары ажыратымдылықтағы кадрларды өзінің циклдік буферіне сақтайды, онда ол оларды тағы бірнеше секунд сақтайды.
«Фотосуретке түсіру» түймесін басқанда, ол қазірдің өзінде түсірілген, камера жай ғана буферден соңғы фотосуретті түсіреді.
Бүгінгі таңда кез келген мобильді камера осылай жұмыс істейді. Кем дегенде, барлық флагмандықтарда қоқыс үйінділерінен емес. Буферлеу фотографтар көптен бері армандаған ысырманың нөлдік кідірісін ғана емес, тіпті теріс нәтижені де жүзеге асыруға мүмкіндік береді - түймені басқан кезде смартфон өткенге үңіліп, буферден соңғы 5-10 фотосуретті түсіріп, ашулы түрде талдай бастайды. және оларды қойыңыз. Енді телефонның HDR немесе түнгі режим үшін жақтауларды шертуін күтудің қажеті жоқ - оларды буферден алыңыз, пайдаланушы тіпті білмейді.
Айтпақшы, теріс ысырманың көмегімен Live Photo iPhone-да іске асырылады, ал HTC-де 2013 жылы Zoe деген оғаш атаумен ұқсас нәрсе болған.
Экспозицияны жинақтау - HDR және жарықтық өзгерістерімен күресу
Камера сенсорлары біздің көзімізге қолжетімді барлық жарықтық диапазонын түсіре ала ма, жоқ па - бұл ескі қызу пікірталас тақырыбы. Кейбіреулер «жоқ» дейді, өйткені көз 25-ке дейін f-тоқтамасын көре алады, ал жоғарғы толық кадрлы матрицадан сіз максимум 14-ке дейін ала аласыз. Басқалары салыстыруды қате деп атайды, өйткені ми автоматты түрде реттеу арқылы көзге көмектеседі. қарашық және оның нейрондық желілерімен кескінді аяқтау және лезде Көздің динамикалық диапазоны іс жүзінде 10-14 f-тоқтамадан аспайды. Бұл пікірсайысты интернеттегі ең жақсы кресло ойшылдарына қалдырайық.
Факт қалады: достарды HDR жоқ ашық аспанға қарсы кез келген мобильді камерада түсіргенде, сіз кәдімгі аспан мен достарыңыздың қара беттерін немесе жақсы суреттелген достарды аласыз, бірақ өлі күйіп кеткен аспан.
Шешім бұрыннан ойлап табылған - HDR (Жоғары динамикалық диапазон) көмегімен жарықтық диапазонын кеңейту. Әртүрлі ысырма жылдамдығымен бірнеше кадрды алып, оларды бір-біріне тігу керек. Біреуі «қалыпты», екіншісі ашық, үшіншісі қараңғы. Біз қараңғы жерлерді жеңіл жақтаудан аламыз, қараңғы жақтан артық экспозицияны толтырамыз - пайда. Автоматты кронштейн мәселесін шешу ғана қалады - оны асыра алмау үшін әрбір кадрдың экспозициясын қаншаға ауыстыру керек, бірақ қазір техникалық университеттің екінші курс студенті суреттің орташа жарықтығын анықтауды шеше алады.
Ең соңғы iPhone, Pixel және Galaxy құрылғыларында HDR режимі әдетте камераның ішіндегі қарапайым алгоритм шуақты күнде контрастпен бірдеңе түсіріп жатқаныңызды анықтағанда автоматты түрде қосылады. Сіз тіпті экспозицияда ауысқан кадрларды сақтау үшін телефонның жазу режимін буферге қалай ауыстыратынын байқай аласыз - камерадағы кадр жылдамдығы төмендейді және суреттің өзі шырынды болады. Ауыстыру сәті менің iPhone X-де ашық ауада түсіру кезінде анық көрінеді. Келесі жолы да смартфонға мұқият қараңыз.
Экспозициялық кронштейнмен HDR кемшілігі оның нашар жарықтандыру кезінде өтпейтін дәрменсіздігі болып табылады. Бөлме шамының жарығымен де жақтаулардың қараңғы болып шығатыны сонша, компьютер оларды туралап, бір-біріне тіге алмайды. Жарық мәселесін шешу үшін 2013 жылы Google сол кезде шығарылған Nexus смартфонында HDR-ге басқа тәсілді көрсетті. Ол уақытты жинақтауды пайдаланды.
Уақытты жинақтау – ұзақ экспозицияны модельдеу және уақыт аралығы
Уақытты жинақтау қысқа экспозициялар қатарын пайдаланып ұзақ экспозиция жасауға мүмкіндік береді. Пионерлер түнгі аспандағы жұлдызды жолдарды суретке түсірудің әуесқойлары болды, олар ысырманы бірден екі сағат бойы ашуды ыңғайсыз деп тапты. Барлық параметрлерді алдын ала есептеу соншалықты қиын болды, ал шамалы шайқау бүкіл кадрды бұзады. Олар ысырманы бірнеше минутқа ғана ашуды шешті, бірақ бірнеше рет, содан кейін үйге барып, алынған кадрларды Photoshop-қа қойды.
Камера ешқашан ұзақ ысырма жылдамдығымен түсірмегені белгілі болды, бірақ біз қатарынан түсірілген бірнеше кадрларды қосу арқылы оны модельдеу әсерін алдық. Ұзақ уақыт бойы бұл трюкті қолданатын смартфондар үшін жазылған көптеген қолданбалар бар, бірақ олардың барлығы қажет емес, өйткені бұл функция барлық дерлік стандартты камераларға қосылған. Бүгінгі таңда тіпті iPhone құрылғысы Live Photo арқылы ұзақ экспозицияны оңай біріктіре алады.
Түнгі HDR мүмкіндігі бар Google-ге оралайық. Уақытты кронштейнді қолдану арқылы қараңғыда жақсы HDR жасауға болады екен. Технология алғаш рет Nexus 5-те пайда болды және ол HDR+ деп аталды. Қалған Android телефондары оны сыйлық ретінде алды. Технология әлі де танымал болғаны сонша, ол тіпті соңғы пиксельдердің тұсаукесерінде де жоғары бағаланады.
HDR+ өте қарапайым жұмыс істейді: қараңғыда түсіріп жатқаныңызды анықтаған соң, камера соңғы 8-15 RAW фотосуреттерін бірінің үстіне бірін қою үшін буферден түсіреді. Осылайша, алгоритм шуды азайту үшін кадрдың қараңғы аймақтары туралы көбірек ақпарат жинайды - қандай да бір себептермен камера барлық ақпаратты жинай алмай, қателескен пикселдер.
Егер сіз капибараның қалай көрінетінін білмесеңіз және бес адамнан оны сипаттауды сұрасаңыз, олардың оқиғалары шамамен бірдей болар еді, бірақ әрқайсысы ерекше бөлшектерді атап өтеді. Осылайша сіз жай ғана сұраудан гөрі көбірек ақпарат жинайсыз. Бұл пикселдермен бірдей.
Бір нүктеден алынған кадрларды қосу жоғарыдағы жұлдыздардағыдай жалған ұзақ экспозиция әсерін береді. Ондаған кадрлардың экспозициясы қорытындыланады, біреуіндегі қателер басқаларында азайтылады. Бұған қол жеткізу үшін DSLR ысырмасын қанша рет басу керек екенін елестетіп көріңіз.
Түсті автоматты түзету мәселесін шешу ғана қалды - қараңғыда түсірілген кадрлар әдетте сары немесе жасыл болып шығады, және біз күндізгі жарықтың мол болуын қалаймыз. HDR+ бастапқы нұсқаларында бұл Instagram сүзгілеріндегідей жай ғана параметрлерді өзгерту арқылы шешілді. Содан кейін олар нейрондық желілерді көмекке шақырды.
Түнгі көрініс осылай пайда болды - Pixel 2 және 3-тегі «түнгі суретке түсіру» технологиясы. Сипаттамада олар: «Түнгі көріністі жұмыс істейтін HDR+ үстіне құрастырылған машинада оқыту әдістері» дейді. Негізінде, бұл түсті түзету кезеңінің автоматтандырылуы. Құрылғы қараңғы қисық фотосуреттердің кез келген жинағынан бір әдемі етіп жасау үшін «бұрын» және «кейін» фотосуреттерінің деректер жинағында оқытылды.
Айтпақшы, деректер жиынтығы жалпыға қолжетімді болды. Мүмкін Apple компаниясының жігіттері оны алып, ақырында шыны күректерін қараңғыда дұрыс суретке түсіруді үйрететін шығар.
Бұған қоса, «Түнгі көрініс» ұзақ ысырма жылдамдығымен болатын бұлыңғырлықты қалыпқа келтіру үшін кадрдағы нысандардың қозғалыс векторын есептеуді пайдаланады. Сонымен, смартфон басқа жақтаулардан мөлдір бөлшектерді алып, оларды желімдей алады.
Қозғалыстарды жинақтау - панорама, супермасштабтау және шуды азайту
Панорама – ауыл тұрғындары үшін танымал ойын-сауық. Шұжық фотосуреті оның авторынан басқа ешкімді қызықтыратын кез келген жағдайларды тарих әлі білмейді, бірақ оны елемеуге болмайды - көптеген адамдар үшін бұл жерде бірінші кезекте жинақтау басталды.
Панораманы пайдаланудың бірінші пайдалы жолы - бірнеше кадрды біріктіру арқылы камера матрицасы рұқсат ететіннен жоғары ажыратымдылықтағы фотосуретті алу. Фотографтар ұзақ уақыт бойы жоғары ажыратымдылықтағы фотосуреттер деп аталатын әртүрлі бағдарламалық жасақтаманы пайдаланып келеді - аздап жылжытылған фотосуреттер пикселдер арасында бір-бірін толықтыратын сияқты. Осылайша сіз кем дегенде жүздеген гигапиксельдік кескінді ала аласыз, бұл сізге үйдің өлшеміндегі жарнамалық плакатқа басып шығару қажет болған жағдайда өте пайдалы.
Тағы бір қызықты әдіс - Pixel Shifting. Sony және Olympus сияқты кейбір айнасыз камералар оны 2014 жылы қолдай бастады, бірақ нәтижені қолмен жабыстыруға тура келді. Үлкен камераның әдеттегі инновациялары.
Смартфондар бұл жерде күлкілі себеппен сәтті болды - суретке түсіргенде қолдарыңыз дірілдейді. Бұл мәселе смартфондарда табиғи супер ажыратымдылықты енгізуге негіз болды.
Бұл қалай жұмыс істейтінін түсіну үшін кез келген камераның матрицасы қалай құрылымдалғанын есте сақтау керек. Оның әрбір пикселі (фотодиод) тек жарықтың интенсивтілігін – яғни түсетін фотондардың санын ғана жазуға қабілетті. Дегенмен, пиксель өз түсін (толқын ұзындығын) өлшей алмайды. RGB суретін алу үшін біз мұнда да балдақтарды қосуымыз керек болды - бүкіл матрицаны түрлі-түсті шыны бөліктерінің торымен жабыңыз. Оның ең танымал іске асырылуы Байер сүзгісі деп аталады және қазіргі кезде көптеген матрицаларда қолданылады. Төмендегі суретке ұқсайды.
Матрицаның әрбір пикселі тек R-, G- немесе B-компонентін ұстайды екен, өйткені қалған фотондар Байер фильтрімен аяусыз шағылысады. Ол көрші пикселдердің мәндерін анық орташалау арқылы жетіспейтін компоненттерді таниды.
Байер сүзгісінде жасыл жасушалар көбірек - бұл адамның көзіне ұқсастық арқылы жасалды. Матрицадағы 50 миллион пиксельден жасыл түс 25 миллионды, қызыл мен көк түске 12,5 миллионды түсіретіні белгілі болды.Қалғаны орташаланады - бұл процесс дебайеризация немесе демозайкация деп аталады, және бұл өте күлкілі балдақ. онда бәрі демалады.
Шындығында, әрбір матрицаның өзінің айлакер патенттелген демозайизация алгоритмі бар, бірақ бұл оқиғаның мақсаттары үшін біз мұны елемейміз.
Матрицалардың басқа түрлері (мысалы, Фовеон) әлі де ұстанған жоқ. Кейбір өндірушілер айқындық пен динамикалық диапазонды жақсарту үшін Bayer сүзгісі жоқ сенсорларды қолдануға тырысады.
Жарық аз болғанда немесе нысанның бөлшектері өте кішкентай болса, біз көп ақпаратты жоғалтамыз, өйткені Байер сүзгісі қажетсіз толқын ұзындығы бар фотондарды ашық түрде кесіп тастайды. Сондықтан олар Pixel Shifting - матрицаны 1 пиксельге жоғары-төмен-оңға-солға жылжыту арқылы олардың барлығын ұстап алуды ойлап тапты. Бұл жағдайда фотосурет 4 есе үлкен болып шықпайды, себебі процессор бұл деректерді әрбір пикселдің мәнін дәлірек жазу үшін ғана пайдаланады. Ол көршілерінен орташа емес, өзінің төрт мәнінен жоғары.
Телефонмен суретке түсіру кезінде қолдарымыздың сілкінуі бұл процесті табиғи нәтижеге айналдырады. Google Pixel-тің соңғы нұсқаларында бұл функция телефонда масштабтауды пайдаланған сайын іске асырылады және қосылады - ол Super Res Zoom деп аталады (иә, маған олардың мейірімсіз атаулары да ұнайды). Қытайлар да оны өздерінің лауфондарына көшірді, бірақ бұл сәл нашарлау болды.
Сәл ығысқан фотосуреттерді бірінің үстіне бірін қою әр пикселдің түсі туралы көбірек ақпарат жинауға мүмкіндік береді, бұл матрицаның мегапиксельдерінің физикалық санын көбейтпестен шуды азайтуды, айқындықты арттыруды және ажыратымдылықты арттыруды білдіреді. Заманауи Android флагмандары мұны өз пайдаланушылары бұл туралы ойламай-ақ автоматты түрде жасайды.
Фокусты жинақтау – өрістің кез келген тереңдігі және пост-өндірісте қайта фокустау
Бұл әдіс макрофотографиядан келеді, мұнда тереңдіктің таяздығы әрқашан қиындық туғызды. Бүкіл нысан фокуста болуы үшін фокусты алға-артқа жылжытатын бірнеше кадрды алып, содан кейін оларды бір өткір етіп біріктіру керек болды. Дәл осы әдісті пейзаждық фотографтар жиі қолданып, алдыңғы және фонды диарея сияқты өткір етіп жасады.
Мұның бәрі смартфондарға да көшті, бірақ көп айқай-шусыз. 2013 жылы «Refocus App» Nokia Lumia 1020, ал 2014 жылы «Selective Focus» режимі бар Samsung Galaxy S5 шығарылды. Олар бірдей схема бойынша жұмыс істеді: түймені басу арқылы олар тез арада 3 фотосуретті түсірді - біреуі «қалыпты» фокуста, екіншісі фокус алға, үшіншісі фокус артқа жылжыған. Бағдарлама кадрларды туралады және олардың біреуін таңдауға мүмкіндік берді, ол пост-өндірісте «нақты» фокусты басқару ретінде ұсынылған.
Одан әрі өңдеу болған жоқ, өйткені бұл қарапайым бұзудың өзі Литро мен оның құрдастарының қақпағына тағы бір шеге салуға жеткілікті болды. Айтпақшы, олар туралы сөйлесейік (өтпелі мастер 80 lvl).
Есептеу матрицалары – жарық өрістері және пленоптика
Жоғарыда түсінгеніміздей, біздің матрицалар балдақтағы қорқынышты. Біз оған үйреніп қалдық және онымен өмір сүруге тырысамыз. Олардың құрылымы уақыт басынан бері аз өзгерді. Біз тек техникалық процесті жетілдірдік - пикселдер арасындағы қашықтықты азайттық, кедергі шуымен күрестік және фазаны анықтау автофокусы үшін арнайы пикселдерді қостық. Бірақ егер сіз тіпті ең қымбат DSLR алып, онымен бөлменің жарығында жүгіріп келе жатқан мысықты суретке түсіруге тырыссаңыз - мысық, жұмсақ тілмен айтқанда, жеңеді.
Біз көптен бері жақсырақ нәрсені ойлап табуға тырыстық. Осы саладағы көптеген әрекеттер мен зерттеулер «есептеу сенсоры» немесе «байер емес сенсор» деп ізделеді, тіпті жоғарыдағы Pixel Shifting мысалын есептеулерді пайдаланып матрицаларды жақсарту әрекеттеріне жатқызуға болады. Дегенмен, соңғы жиырма жылдағы ең перспективалы оқиғалар бізге пленоптикалық камералар деп аталатын әлемнен келді.
Алдағы күрделі сөздерді күтуден ұйықтап қалмау үшін мен соңғы Google Pixel камерасы «сәл» пленоптикалық екенін айтамын. Небәрі екі пиксель, бірақ бұл басқалар сияқты екінші камерасыз да кадрдың дұрыс оптикалық тереңдігін есептеуге мүмкіндік береді.
Пленоптика - әлі атылмаған күшті қару. Міне, менің сүйікті жақында болғандарымның біріне сілтеме. , мен мысалдарды қайдан алдым.
Пленоптикалық камера - жақын арада
1994 жылы ойлап табылған, 2004 жылы Стэнфордта жиналған. Алғашқы тұтынушы камерасы Lytro 2012 жылы шығарылды. VR индустриясы қазір ұқсас технологиялармен белсенді түрде тәжірибе жасауда.
Пленоптикалық камера кәдімгі камерадан тек бір модификацияда ерекшеленеді - оның матрицасы линзалар торымен жабылған, олардың әрқайсысы бірнеше нақты пикселдерді қамтиды. Солай:
Егер сіз тордан матрицаға дейінгі қашықтықты және апертура өлшемін дұрыс есептесеңіз, соңғы кескінде пикселдердің анық кластерлері болады - бастапқы кескіннің шағын нұсқаларының сұрыптауы.
Егер сіз, айталық, әр кластерден бір орталық пикселді алып, суретті тек солардың көмегімен желімдесеңіз, оның қарапайым камерамен түсірілгеннен еш айырмашылығы болмайтыны белгілі болды. Иә, біз ажыратымдылықты аздап жоғалттық, бірақ біз Sony-дан жаңа матрицаларға көбірек мегапиксель қосуды сұраймыз.
Қызық енді ғана басталып жатыр. егер әрбір кластерден басқа пикселді алып, суретті қайтадан біріктірсеңіз, бір пиксельдің ығысуымен түсірілгендей қалыпты фотосуретті қайтадан аласыз. Осылайша, 10 × 10 пиксельдік кластерлерге ие бола отырып, біз «сәл» әртүрлі нүктелерден нысанның 100 кескінін аламыз.
Үлкенірек кластер өлшемі көбірек кескіндерді білдіреді, бірақ төмен ажыратымдылық. 41 мегапиксельді матрицалары бар смартфондар әлемінде біз ажыратымдылықты аздап елемеуіміз мүмкін, бірақ бәрінің шегі бар. Тепе-теңдікті сақтау керек.
Жарайды, біз пленоптикалық камераны жинадық, бұл бізге не береді?
Адал қайта назар аудару
Литро туралы мақалаларда барлық журналистер шуылдаған ерекшелігі пост-продакшндағы фокусты шынайы түрде реттеу мүмкіндігі болды. Әділ дегеніміз, біз ешқандай бұрмалау алгоритмдерін пайдаланбаймыз, тек қолдағы пикселдерді қолданамыз, оларды кластерлерден қажетті тәртіпте таңдаймыз немесе орташалаймыз.
Пленоптикалық камерадан RAW фотосуреті біртүрлі көрінеді. Одан әдеттегі өткір джипті алу үшін алдымен оны жинау керек. Ол үшін джиптің әрбір пикселін RAW кластерлерінің бірінен таңдау керек. Оларды қалай таңдағанымызға байланысты нәтиже өзгереді.
Мысалы, кластер бастапқы сәуленің түсу нүктесінен неғұрлым алыс болса, соғұрлым бұл сәуле фокустан тыс болады. Өйткені оптика. Фокусты ауыстыратын кескінді алу үшін бізге түпнұсқадан қажетті қашықтықтағы пикселдерді таңдау керек - жақынырақ немесе одан әрі.
Фокусты өзіңізге аудару қиынырақ болды - таза физикалық тұрғыдан кластерлерде мұндай пикселдер аз болды. Бастапқыда әзірлеушілер пайдаланушыға қолдарымен фокустау мүмкіндігін бергісі келмеді - бұл бағдарламалық жасақтамада камераның өзі шешті. Пайдаланушыларға бұл болашақ ұнамады, сондықтан олар кейінгі микробағдарламаға «шығармашылық режим» деп аталатын мүмкіндікті қосты, бірақ дәл осы себепті оған қайта назар аударуды өте шектеулі етті.
Бір камерадан тереңдік картасы және 3D
Пленоптикадағы қарапайым операциялардың бірі - тереңдік картасын алу. Мұны істеу үшін сізге екі түрлі кадрды жинап, олардағы объектілердің қаншалықты жылжығанын есептеу керек. Көбірек жылжу камерадан алысырақ дегенді білдіреді.
Google жақында Lytro-ны сатып алып, өлтірді, бірақ олардың технологиясын VR және... Pixel камерасы үшін пайдаланды. Pixel 2-ден бастап камера тек екі пикселден тұратын кластерлерге қарамастан, алғаш рет «аздап» пленоптикалық болды. Бұл Google-ға басқа жігіттер сияқты екінші камераны орнатуға емес, тереңдік картасын тек бір фотосуреттен есептеуге мүмкіндік берді.
Тереңдік картасы бір субпиксельге жылжытылған екі жақтау арқылы құрастырылады. Бұл екілік тереңдік картасын есептеу және алдыңғы фонды фоннан бөлу және соңғысын қазіргі сәнді бокеде бұлдырату үшін жеткілікті. Мұндай қабаттастырудың нәтижесі тереңдік карталарын жақсартуға үйретілген нейрондық желілер арқылы тегістеледі және «жетілдіріледі» (көптеген адамдар ойлағандай бұлыңғыр емес).
Бізде смартфондарда пленоптика дерлік тегін болды. Біз осы кішкентай матрицаларға жарық ағынын арттыру үшін линзаларды салып қойғанбыз. Келесі Pixel-де Google одан әрі төрт фотодиодты линзамен жабуды жоспарлап отыр.
Ақпарат көзі: 3dnews.ru