Арыгінал артыкула размешчаны на сайце і апублікаваны на 3DNews з дазволу аўтара. Мы прыводзім поўны тэкст артыкула, за выключэннем велізарнай колькасці спасылак - яны спатрэбяцца тым, хто сур'ёзна зацікавіўся тэмай і хацеў бы вывучыць тэарэтычныя аспекты вылічальнай фатаграфіі больш глыбока, але для шырокай аўдыторыі мы палічылі гэты матэрыял залішнім.
Сёння ні адна прэзентацыя смартфона не абыходзіцца без аблізвання яго камеры. Кожны месяц мы чуем пра чарговы поспех мабільных камер: Google вучыць Pixel здымаць у цемры, Huawei зуміць як бінокль, Samsung устаўляе лідэр, а Apple робіць самыя круглыя ў свеце куточкі. Мала дзе зараз так тоўста цякуць інавацыі.
Люстэркі пры гэтым як быццам топчуцца на месцы. Sony штогод абсыпае ўсіх новымі матрыцамі, а вытворцы ляніва абнаўляюць апошнюю лічбу версіі і працягваюць спакойна паліць у старонцы. У мяне на стале ляжыць люстэрка за $3000, але ў вандраванні я бяру айфон. Чаму?
Як казаў класік - я выйшаў у інтэрнэт з гэтым пытаннем. Там абмяркоўваюць нейкія "алгарытмы" і "нейрасеты", паняцці не маючы, як канкрэтна яны ўплываюць на фатаграфію. Журналісты гучна зачытваюць колькасць мегапікселяў, блогеры хорам пілуюць праплачаныя анбоксінгі, а эстэты абшмароўваюцца "пачуццёвым успрыманнем каляровай палітры матрыцы". Усё як звычайна.
Прыйшлося сесці, выдаткаваць палову жыцця і самому ва ўсім разабрацца. У гэтым артыкуле я раскажу, што даведаўся.
Што такое вылічальная фатаграфія?
Усюды, уключаючы вікіпедыю, даюць прыкладна такое вызначэнне: вылічальная фатаграфія - любыя тэхнікі захопу і апрацоўкі малюнкаў, дзе замест аптычных пераўтварэнняў выкарыстоўваюцца лічбавыя вылічэнні. У ім усё добра, апроч таго, што яно нічога не тлумачыць. Пад яго падыходзіць нават аўтафокус, але не залазіць пленоптыка, якая ўжо прынесла нам шмат карыснага. Размытасць афіцыйных азначэнняў як бы намякае, што мы паняцця не маем пра што гаворым.
Піянер вылічальнай фатаграфіі, прафесар Стэнфарда Marc Levoy (ён жа зараз адказвае за камеру ў Google Pixel) прыводзіць іншае вызначэнне - набор метадаў кампутарнай візуалізацыі, якія паляпшаюць або пашыраюць магчымасці лічбавай фатаграфіі, пры выкарыстанні якіх атрымліваецца звычайная фатаграфія, якая не магла тэхнічна быць знята на дадзеную камеру традыцыйным спосабам. У артыкуле я прытрымліваюся менавіта яго.
Такім чынам, ва ўсім былі вінаватыя смартфоны.
У смартфонаў не было выбару, акрамя як даць жыццё новаму ўвазе фатаграфіі - вылічальнай.
Іх маленькія шумныя матрыцы і маленечкія несветласільныя аб'ектывы па ўсіх законах фізікі павінны былі прыносіць толькі боль і пакуты. Яны і прыносілі, пакуль іх распрацоўшчыкі не здагадаліся хітра выкарыстоўваць іх моцныя бакі, каб перамагчы слабыя, - хуткія электронныя засаўкі, магутныя працэсары і софт.
Большасць гучных даследаванняў у галіне вылічальнай фатаграфіі прыпадаюць на 2005-2015 гады, што ў навуцы лічыцца літаральна ўчора. Прама зараз на нашых вачах і ў нашых кішэнях развіваецца новая вобласць ведаў і тэхналогій, якой ніколі не было.
Вылічальная фатаграфія - гэта не толькі сэлф з нейра-баку. Нядаўняя фатаграфія чорнай дзіркі не з'явілася б на свет без метадаў вылічальнай фатаграфіі. Каб зняць такое фота на звычайны тэлескоп, нам бы прыйшлося зрабіць яго памерам з Зямлю. Аднак, аб'яднаўшы дадзеныя васьмі радыётэлескопаў у розных кропках нашага шарыка і напісаўшы крыху скрыптоў на пітоне, мы атрымалі першую ў свеце фатаграфію гарызонту падзей. Для сэлф таксама спатрэбіцца.
Пачатак: лічбавая апрацоўка
Уявім, што мы вярнулі 2007-ы. Наша мама - анархія, а нашы фатаграфіі - шумныя 0,6-Мп джыпегі, знятыя на скейтборд. Прыкладна тады ў нас з'яўляецца першае непераадольнае жаданне насыпаць на іх прасэтаў, каб схаваць убогасць мабільных матрыц. Не будзем сабе адмаўляць.
Матан і інстаграм
З выхадам інстаграма ўсе звар'яцелі на фільтрах. Як чалавек, які ў свой час рэверс-інжынірыў X-Pro II, Lo-Fi і Valencia у, вядома ж, даследчых (кек) мэтах, я ўсё яшчэ памятаю, што складаліся яны з трох кампанентаў:
- Налад колеру (Hue, Saturation, Lightness, Contrast, Levels і т. д.) - простых лічбавых каэфіцыентаў, у дакладнасці як у любых пресетах, якімі фатографы карысталіся са старажытных часоў.
- Карты мапінга адценняў (Tone Mapping) - вектара значэнняў, кожнае з якіх казала нам: "Чырвоны колер з адценнем 128 трэба ператварыць у адценне 240".
- Оверлея - напаўпразрыстай карцінкі з пылам, збожжам, віньеткай, і ўсім астатнім, што можна накласці зверху для атрымання ніколькі не банальнага эфекту старой плёнкі. Прысутнічаў далёка не заўсёды.
Сучасныя фільтры недалёка сышлі ад гэтай тройкі, толькі сталі крыху складаней па матэматыцы. Са з'яўленнем апаратных шэйдараў і OpenCL на смартфонах іх хутка перапісалі пад GPU, і гэта лічылася дзіка крута. Для 2012 года, канешне. Сёння любы школьнік можа зрабіць такое ж на CSS, і яму ўсё роўна не перападзе на выпускным.
Аднак прагрэс фільтраў сёння не спыніўся. Рабяты з Дэхансера, напрыклад, выдатна ўпарваюцца па нелінейных фільтрах - замест пралетарскага тон-мапінгу яны выкарыстоўваюць больш складаныя нелінейныя пераўтварэнні, што, па іх словах, адчыняе куды больш магчымасцяў.
Нелінейнымі пераўтварэннямі можна нарабіць шмат спраў, але яны неверагодна складаныя, а мы, чалавекі, неверагодна тупыя. Як толькі ў навуцы справа даходзіць да нелінейных пераўтварэнняў, мы аддаем перавагу ісці ў лікавыя метады і напіхваць усюды нейрасетак, каб тыя пісалі шэдэўры за нас. Тое самае было і тут.
Аўтаматыка і мары аб кнопцы "шэдэўр"
Калі ўсё абвыклі да фільтраў, мы пачалі ўбудоўваць іх прама ў камеры. Гісторыя хавае, хто менавіта з вытворцаў быў першым, але чыста для разумення як даўно гэта было – у iOS 5.0, якая выйшла аж у 2011 годзе, ужо быў публічны API для Auto Enhancing Images. Аднаму толькі Джобсу вядома, як доўга ён выкарыстоўваўся да адкрыцця на публіку.
Аўтаматыка рабіла тое ж, што і кожны з нас, адчыняючы фотку ў рэдактары, - выцягвала правалы ў святле і ценях, навальвала сатурайшэна, прыбірала чырвоныя вочы і фіксавала колер асобы. Карыстальнікі нават не здагадваліся, што "драматычна палепшаная камера" у новым смартфоне была толькі заслугай пары новых шэйдараў. Да выйсця Google Pixel і пачаткі хайпа па вылічальнай фатаграфіі заставалася яшчэ пяць гадоў.
Сёння ж баі за кнопку "шэдэўр" перайшлі на поле машыннага навучання. Найграўшыся з тон-мапінгам, усе рынуліся трэніраваць CNN'ы і GAN'ы рухаць паўзуначкі замест карыстача. Іншымі словамі, па ўваходным малюнку вызначаць набор аптымальных параметраў, якія набліжалі бы дадзены малюнак да нейкага суб'ектыўнага разумення "добрай фатаграфіі". Рэалізавана ў тым жа Pixelmator Pro і іншых рэдактарах. Працуе, як можна здагадацца, не надта і не заўсёды.
Стекинг – 90% поспеху мабільных камер
Сапраўдная вылічальная фатаграфія пачалася са стекінга - накладання некалькіх фатаграфій адзін на аднаго. Для смартфона не праблема нашчоўкаць дзясятак кадраў за паўсекунды. У іх камерах няма павольных механічных частак: дыяфрагма фіксаваная, а замест што ездзіць шторкі - электронны затвор. Працэсар проста камандуе матрыцы, колькі мікрасекунд ёй лавіць дзікія фатоны, а сам счытвае вынік.
Тэхнічна тэлефон можа здымаць фота з хуткасцю відэа, а відэа з дазволам фота, але ўсё ўпіраецца ў хуткасць шыны і працэсара. Таму заўжды ставяць праграмныя ліміты.
Сам па сабе стэкінг з намі даўно. яшчэ дзяды ставілі плагіны на Photoshop 7.0, каб сабраць некалькі фатаграфій у вырвівочны HDR або склеіць панараму 18000 × 600 пікселяў і… насамрэч ніхто так і не прыдумаў, што з імі рабіць далей. Багатыя часы былі, шкада, дзікія.
Цяпер мы сталі дарослыя і называем гэта "эпсілон-фатаграфіяй" — калі, змяняючы адзін з параметраў камеры (экспазіцыю, фокус, становішча) і склейваючы атрыманыя кадры, мы атрымліваем нешта, што не магло быць знята адным кадрам. Але гэта тэрмін для тэарэтыкаў, на практыцы ж прыжылася іншая назва - стэкінг. Сёння па факце на ім будуецца 90 працэнтаў усіх інавацый у мабільных камерах.
Рэч, пра якую многія не задумваюцца, але яна важная для разумення ўсёй мабільнай і вылічальнай фатаграфіі: камера ў сучасным смартфоне пачынае рабіць фатаграфіі адразу, як толькі вы адкрываеце яе дадатак. Што лагічна, ёй жа трэба неяк перадаваць выяву на экран. Аднак, апроч экрана, яна захоўвае кадры высокага дазволу ў свой уласны цыклічны буфер, дзе захоўвае іх яшчэ пару секунд.
Калі вы націскаеце кнопку «зняць фота» - яно на самой справе ўжо знята, камера проста бярэ апошняе фота з буфера.
Сёння так працуе любая мабільная камера. Прынамсі ва ўсіх флагманах не з памыйніц. Буферызацыя дазваляе рэалізаваць не проста нулявую затрымку засаўкі, пра якую так даўно марылі фатографы, а нават адмоўную - пры націску на кнопку смартфон зазірае ў мінулае, выгружае 5-10 апошніх фота з буфера і пачынае апантана аналізаваць іх і ляпіць. Больш не трэба чакаць, пакуль тэлефон пстрыкае кадраў для HDR або начнога рэжыму, – проста забірай іх з буфера, карыстач нават не пазнае.
Дарэчы, менавіта з дапамогай адмоўнага лага засаўкі рэалізавана Live Photo у айфонах, а ў HTC падобнае было яшчэ ў 2013 годзе пад дзіўнай назвай Zoe.
Стэкінг па экспазіцыі – HDR і барацьба з перападамі яркасці
Ці здольныя матрыцы фотаапаратаў фіксаваць увесь дыяпазон яркасці, даступны нашаму воку, – старая гарачая тэма для спрэчак. Адны кажуць не, бо вока здольны бачыць да 25 f-стопаў, у той час як нават з топавай фуллфрейм-матрыцы можна выцягнуць максімум 14. Іншыя завуць параўнанне некарэктным, бо воку дапамагае мозг, аўтаматычна падладжваючы зрэнку і дабудоўваючы малюнак сваімі нейросетями, а маментальны дынамічны дыяпазон вочы на самой справе не больш як раз 10-14 f-стопаў. Пакінем гэтыя спрэчкі лепшым канапавым мыслярам інтэрнэту.
Факт застаецца фактам: здымаючы сяброў на фоне яркага неба без HDR на любую мабільную камеру, вы атрымліваеце альбо звычайнае неба і чорныя твары сяброў, альбо прамаляваных сяброў, але выпаленае да смерці неба.
Рашэнне даўно прыдумана - пашыраць дыяпазон яркасці з дапамогай HDR (High dynamic range). Трэба зняць некалькі кадраў з рознай вытрымкай і склеіць іх разам. Каб адзін быў "нармальны", другі пасвятлее, трэці пацямней. Бярэм цёмныя месцы з светлага кадра, перасветы запаўняем з цёмнага - профіт. Застаецца толькі вырашыць задачу аўтаматычнага брекетынгу - наколькі ссунуць экспазіцыю кожнага кадра, каб не перабраць, але з вызначэннем сярэдняй яркасці карцінкі зараз справіцца другакурснік тэхнічнай ВНУ.
На апошніх iPhone, Pixel і Galaxy рэжым HDR наогул уключаецца аўтаматычна, калі няхітры алгарытм усярэдзіне камер вызначае, што вы здымаеце нешта кантраснае ў сонечны дзень. Можна нават заўважыць, як тэлефон перамыкае рэжым запісу ў буфер, каб захоўваць ссунутыя па экспазіцыі кадры, – у камеры падае fps, а сама карцінка становіцца сакавіцей. Момант пераключэння добра замецены на маім iPhone X, калі здымаць на вуліцы. Дагледзіцеся да свайго смартфону ў наступны раз таксама.
Мінус HDR з брекетынгам па экспазіцыі - яго непраходная бездапаможнасць у дрэнным асвятленні. Нават пры святле пакаёвай лямпы кадры атрымліваюцца такімі цёмнымі, што кампутар не можа іх выраўнаваць і склеіць. Для вырашэння праблемы са святлом у 2013-м Google паказаў іншы падыход да HDR у які выйшаў тады смартфоне Nexus. Ён выкарыстоўваў стэкінг па часе.
Стекинг па часе - сімуляцыя доўгай вытрымкі і таймлапс
Стекинг па часе дазваляе атрымаць доўгую вытрымку з дапамогай серыі кароткіх. Першапраходцамі былі аматары паздымаць сляды ад зорак на начным небе, якім было няёмка адчыняць затвор адразу на дзве гадзіны. Так было цяжка загадзя разлічыць усе наладкі, а ад найменшай трасяніны ўвесь кадр выходзіў сапсаваным. Яны вырашылі адчыняць затвор толькі на пару хвілін, але шмат разоў, а потым ішлі дадому і ляпілі атрыманыя кадры ў фоташопе.
Атрымліваецца, камера ніколі фактычна не здымала на доўгай вытрымцы, але мы атрымлівалі эфект яе імітацыі, складаючы некалькі знятых кадраў. Для смартфонаў ужо даўно напісана куча прыкладанняў, якія выкарыстоўваюць гэты трук, але ўсе яны не патрэбныя з тых часоў, як фіча была дададзена амаль ва ўсе стандартныя камеры. Сёння нават айфон лёгка склеіць вам доўгую вытрымку з Live Photo.
Вернемся да гуглу з яго начным HDR. Аказалася, з дапамогай брекетінга па часе можна рэалізаваць нядрэнны HDR у цемры. Тэхналогія ўпершыню з'явілася ў Nexus 5 і звалася HDR+. Астатнія ж тэлефоны на Android атрымалі яе як бы ў падарунак. Тэхналогія да гэтага часу настолькі папулярная, што ёй хваляцца нават у прэзентацыі апошніх Pixel.
Працуе HDR+ дастаткова проста: вызначыўшы, што вы здымаеце ў цемры, камера выгружае з буфера 8-15 апошніх фатаграфій у RAW, каб накласці іх сябар на сябра. Такім чынам алгарытм збірае больш інфармацыі аб цёмных участках кадра каб мінімізаваць шумы – пікселі, дзе па нейкіх прычынах камера не змагла сабраць усю інфармацыю і лажанула.
Як калі б вы не ведалі, як выглядае капібара, і папрасілі пяць чалавек апісаць яе - іх апавяданні былі б прыкладна аднолькавымі, але кожны згадаў бы нейкую ўнікальную дэталь. Дык вы б сабралі больш інфармацыі, чым проста спытаўшы аднаго. Тое ж і з пікселямі.
Складанне знятых з адной кропкі кадраў дае той жа фэйкавы эфект доўгай вытрымкі як з зоркамі вышэй. Экспазіцыя дзясяткаў кадраў падсумоўваецца, памылкі на адным мінімізуюцца на іншых. Уявіце, колькі б кожны раз прыйшлося пстрыкаць засаўкай люстэркі, каб дасягнуць такога.
Заставалася толькі вырашыць праблему аўтаматычнай колеракарэкцыі - знятыя ў цемры кадры звычайна атрымліваюцца пагалоўна жоўтымі або зялёнымі, а мы накшталт як жадаем сакавітасці дзённага асвятлення. У ранніх версіях HDR+ гэта вырашалі простым падкручваннем налад, як у фільтрах а-ля инстаграм. Потым жа заклікалі на дапамогу нейрасеці.
Так з'явіўся Night Sight – тэхналогія "начной фатаграфіі" у Pixel 2 і 3. У апісанні так і кажуць: "Machine learning techniques built on the top of HDR+, that make Night Sight work". Па сутнасці гэта з'яўляецца аўтаматызацыяй этапу колеракарэкцыі. Машыну навучылі на датасеце фотачак "да" і "пасля", каб з усякага набору цёмных крывых фатаграфій рабіць адну прыгожую.
Датасет, дарэчы, выклалі ў адчынены доступ. Можа, хлопцы з Apple возьмуць яго і нарэшце навучаць свае шкляныя рыдлёўкі нармальна здымаць у цемры.
У дадатак у Night Sight выкарыстоўваецца вылічэнне вектара руху аб'ектаў у кадры, каб нармалізаваць змазы, якія абавязкова атрымаюцца на доўгай вытрымцы. Так, смартфон можа ўзяць выразныя часткі з іншых кадраў і прыляпіць.
Стекинг па руху - панарама, суперзум і барацьба з шумамі
Панарама - папулярнае забаўка жыхароў сельскай мясцовасці. Гісторыі пакуль не вядома выпадкаў, каб сасіскафотка аказалася б цікавай камусьці, акрамя яе аўтара, але не згадаць яе нельга — для многіх з гэтага ўвогуле пачаўся стэкінг.
Першы ж карысны спосаб ужывання панарамы - атрыманне фатаграфіі большага дазволу, чым дазваляе матрыца камеры шляхам злепвання некалькіх кадраў. Фатографы даўно выкарыстоўваюць розны софт для так званых фатаграфій з супердазволам – калі крыху зрушаныя фатаграфіі як бы дапаўняюць адзін аднаго паміж пікселяў. Такім чынам можна атрымаць малюнак хоць у сотні гігапікселяў, што вельмі карысна, калі вам трэба раздрукаваць гэта на рэкламным плакаце памерам з хату.
Іншы, ужо цікавейшы падыход – Pixel Shifting. Некаторыя безлюстаркі тыпу Sony і Olympus пачалі падтрымліваць яго яшчэ з 2014-га, але ляпіць вынік усё роўна прымушалі рукамі. Тыповыя інавацыі вялікіх камер.
Смартфоны ж атрымалі поспех тут па смешнай прычыне - калі вы здымаеце фота, вашы рукі трасуцца. Гэта на першы погляд праблема лягла ў аснову рэалізацыі натыўнага супердазволу на смартфонах.
Каб зразумець, як гэта працуе, трэба ўспомніць, як уладкована матрыца любога фотаапарата. Кожны яе піксель (фотадыёд) здольны фіксаваць толькі інтэнсіўнасць святла - т. е. колькасць заляцелых фатонаў. Аднак піксель не можа вымераць яго колер (даўжыню хвалі). Каб атрымаць RGB-малюначак, прыйшлося і тут нагарадзіць мыліц - накрыць усю матрыцу сеткай рознакаляровых шкельцаў. Самая папулярная яе рэалізацыя называецца фільтрам Баера і выкарыстоўваецца сёння ў большасці матрыц. Выглядае як на малюнку ніжэй.
Атрымліваецца, што кожны піксель матрыцы ловіць толькі R-, G-або B-кампаненту, бо астатнія фатоны неміласэрна адлюстроўваюцца фільтрам Баера. Якія адсутнічаюць жа кампаненты ён пазнае тупым асерадненнем значэнняў суседніх пікселяў.
Зялёных вочак у фільтры Баера больш - так зрабілі па аналогіі з чалавечым вокам. Атрымліваецца, што з 50 мільёнаў пікселяў на матрыцы зялёны колер будзе ўлоўліваць 25 млн, чырвоны і сіні - па 12,5 млн. Астатняе будзе асераднёна - гэты працэс завецца дэбайерызацыя ці дэмазаік, і гэта такі тоўсты смешны мыліца, на якім усё трымаецца.
Насамрэч у кожнай матрыцы свой хітры запатэнтаваны алгарытм демозаикинга, але ў рамках дадзенай гісторыі мы гэтым грэбуем.
Іншыя тыпы матрыц (тыпу Foveon) пакуль ну неяк зусім не прыжыліся. Хоць некаторыя вытворцы спрабуюць выкарыстоўваць матрыцы без фільтра Баера для паляпшэння рэзкасці і дынамічнага дыяпазону.
Калі святла мала ці дэталі аб'екта зусім малюсенькія, мы губляем кучу інфармацыі, таму што фільтр Баера нахабна адсякае фатоны з непажаданай даўжынёй хвалі. Таму і прыдумалі рабіць Pixel Shifting – ссоўваць матрыцу на 1 піксель уверх-уніз-направа-налева, каб злавіць іх усё. Фатаграфія пры гэтым не атрымліваецца ў 4 разы больш, як можа здацца, проста працэсар выкарыстоўвае гэтыя дадзеныя, каб дакладней запісаць значэнне кожнага пікселя. Усярэдняе не па суседзях, так бы мовіць, а па чатырох значэннях самога сябе.
Трэска ж нашых рук пры здымцы фота на тэлефон робіць гэты працэс натуральным следствам. У апошніх версіях Google Pixel гэтая штука рэалізаваная і ўключаецца заўсёды, калі вы выкарыстоўваеце зум на тэлефоне, - называецца Super Res Zoom (так, мне таксама падабаецца іх бязлітасны неймінг). Кітайцы таксама скапіявалі яго ў свае ляафоны, хаця атрымалася крыху горш.
Накладанне сябар на сябра трохі зрушаных фатаграфій дазваляе сабраць больш інфармацыі пра колер кожнага пікселя, а значыць, паменшыць шумы, павялічыць рэзкасць і падняць дазвол не павялічваючы фізічны лік мегапікселяў матрыцы. Сучасныя Android-флагманы робяць гэта аўтаматычна, пакуль іх карыстачы нават не задумваюцца пра гэта.
Стэкінг па фокусе - любая глыбіня рэзкасці і рэфокус у постпрадакшэне
Метад прыйшоў з макраздымкі, дзе маленькая глыбіня рэзкасці заўсёды была праблемай. Каб увесь аб'ект быў у фокусе, даводзілася рабіць некалькі кадраў са зрухам фокусу наперад-назад, каб потым пашыць іх у адзін рэзкі. Тым жа метадам часта карысталіся аматары здымкі ландшафтаў, робячы пярэдні і задні план рэзкімі як дыярэя.
Усё гэта таксама пераехала і на смартфоны, праўда, без асаблівага хайпа. У 2013-м выходзіць Nokia Lumia 1020 з "Refocus App", а ў 2014 і Samsung Galaxy S5 з рэжымам "Selective Focus". Працавалі яны па адной і той жа схеме: па націску на кнопку яны хутка рабілі 3 фатаграфіі - адну з "нармальным" фокусам, другую са ссунутым наперад і трэцюю са ссунутым назад. Праграма выраўноўвала кадры і дазваляла абраць адзін з іх, што падавалася як «сапраўднае» кіраванне фокусам у постпрадакшэне.
Ніякай далейшай апрацоўкі не было, бо нават гэтага простага хаку было дастаткова, каб убіць яшчэ адзін цвік у вечка Lytro і аналагаў з іх сумленным рэфокусам. Дарэчы, пагаворым аб іх (майстар пераходаў 80 lvl).
Вылічальныя матрыцы - светлавыя палі і пленоптыка
Як мы зразумелі вышэй, нашы матрыцы - жах на мыліцах. Мы проста абвыклі і спрабуем з гэтым жыць. Па сваёй прыладзе яны мала змяняліся з самага пачатку часоў. Мы толькі ўдасканальвалі тэхпрацэс - памяншалі адлегласць паміж пікселямі, змагаліся з шумамі-наводкамі, дадавалі спецыяльныя пікселі для працы фазавага аўтафокусу. Але варта ўзяць нават самую дарагую люстэрку і паспрабаваць зняць на яе беглага ката пры пакаёвым асвятленні - кот, мякка кажучы, пераможа.
Мы ўжо даўно спрабуем вынайсці нешта лепшае. Шмат спроб і даследаванняў у гэтай вобласці гугліцца па запыце "computational sensor" ці "non-bayer sensor", і нават прыклад з Pixel Shifting вышэй можна аднесці да спроб паляпшэння матрыц з дапамогай вылічэнняў. Аднак самыя шматабяцаючыя гісторыі ў апошнія гадоў дваццаць прыходзяць да нас менавіта са свету так званых пленаптычных камер.
Каб вы не заснулі ад прадчування якія насоўваюцца складаных слоў, укіну інсайд, што камера апошніх Google Pixel як раз «трохі» пленоптычная. Усяго на два пікселі, але нават гэта дазваляе ёй вылічаць сумленную аптычную глыбіню кадра і без другой камеры як ва ўсіх.
Пленаптыка - магутная зброя, якое пакуль яшчэ не стрэліла. Прывяду спасылку на адну з маіх каханых нядаўніх , Адкуль я запазычыў прыклады.
Пленаптычная камера - хутка будзе кожная
Прыдумана ў 1994-м, сабрана ў Стэнфардзе ў 2004-м. Першая спажывецкая камера – Lytro, выпушчаная ў 2012-м. З падобнымі тэхналогіямі зараз актыўна эксперыментуе VR-індустрыя.
Ад звычайнай камеры пленоптычная адрозніваецца толькі адной мадыфікацыяй – матрыца ў ёй накрыта сеткай з лінзаў, кожная з якіх пакрывае некалькі рэальных пікселяў. Неяк так:
калі правільна разлічыць адлегласць ад сеткі да матрыцы і памер дыяфрагмы, у выніковым малюнку атрымаюцца выразныя кластары з пікселяў - гэтакія міні-версіі арыгінальнага малюнка.
Аказваецца, калі ўзяць з кожнага кластара, скажам, адзін цэнтральны піксель і склеіць карцінку толькі па іх - яна нічым не будзе адрознівацца ад знятай на звычайную камеру. Так, мы крыху страцілі ў дазволе, але проста папросім Sony дасыпаць яшчэ мегапікселяў у новых матрыцах.
Весялосць жа на гэтым толькі пачынаецца. калі ўзяць іншы піксель з кожнага кластара і зноў склеіць карцінку - атрымаецца зноў нармальная фатаграфія, толькі як быццам знятая са зрухам на адзін піксель. Такім чынам, маючы кластары 10 × 10 пікселяў, мы атрымаем 100 малюнкаў прадмета з "трохі" розных кропак.
Больш памер кластара - больш малюнкаў, але менш дазвол. У свеце смартфонаў з 41-мегапіксэльнымі матрыцамі мы хоць і можам крыху занядбаць дазволам, але ва ўсяго ёсць мяжа. Даводзіцца захоўваць баланс.
Окей, мы сабралі пленаптычную камеру, і што гэта нам дае?
Сумленны рэфокус
Фіча, пра якую гулі ўсе журналісты ў артыкулах пра Lytro, - магчымасць сумленнай карэкціроўкі фокусу ў постпрадакшэне. Пад сумленнай маецца на ўвазе, што мы не ўжываем усялякія алгарытмы дэблюрынгу, а выкарыстоўваем выключна наяўныя пад рукой пікселі, выбіраючы ці ўсярэдняючы іх з кластараў у патрэбным парадку.
RAW-фатаграфія з пленаптычнай камеры выглядае дзіўна. Каб атрымаць з яе звыклы рэзкі джыпег, трэба спачатку яго сабраць. Для гэтага трэба абраць кожны піксель джыпега з аднаго з кластараў RAW'а. У залежнасці ад таго, як мы іх выберам, будзе мяняцца вынік.
Напрыклад, чым далей знаходзіцца кластар ад месца падзення арыгінальнага промня, тым больш гэты прамень атрымліваецца ў расфокусе. Бо оптыка. Каб атрымаць зрушаны па фокусе малюнак, нам толькі трэба выбраць пікселі на патрэбным нам выдаленні ад арыгінальнага - альбо бліжэй, альбо далей.
Са зрухам фокусу на сябе было складаней - чыста фізічна такіх пікселяў у кластарах было менш. Спачатку распрацоўшчыкі нават не хацелі даваць карыстачу магчымасць факусавацца рукамі – камера сама вырашала гэта праграмна. Карыстачам такая будучыня не спадабалася, таму фічу дадалі ў позніх прашыўках пад назовам «крэатыўны рэжым», але зрабілі рэфокус у ім моцна абмежаваным роўна па гэтай прычыне.
Карта глыбіні і 3D з адной камеры
Адна з самых простых аперацый у пленоптыцы - атрыманне карты глыбіні. Для гэтага трэба проста сабраць два розныя кадры і разлічыць, наколькі ссунуты аб'екты на іх. Больш зрух - далей ад камеры.
Нядаўна Google купіў і забіў Lytro, але выкарыстоўваў іх тэхналогіі для свайго VR і… для камеры ў Pixel. Пачынаючы з Pixel 2 камера ўпершыню стала «трохі» пленаптычнай, праўда, з кластарамі ўсяго па два пікселя. Гэта дало магчымасць гуглу не ставіць другую камеру, як усе астатнія хлопцы, а вылічаць карту глыбіні выключна па адной фатаграфіі.
Карта глыбіні будуецца па двух кадрах, ссунутым на адзін субпіксэль. Гэтага цалкам хапае, каб вылічыць бінарную карту глыбіні і аддзяліць пярэдні план ад задняга і размыць апошні ў модным сягоння баку. Вынік такога расслаення яшчэ згладжваецца і «паляпшаецца» нейрасецямі, якія натрэніраваны паляпшаць карты глыбіні (а не блюрить, як многія думаюць).
Фішка яшчэ ў тым, што пленоптыка ў смартфонах нам дасталася амаль бясплатна. Мы і так ставілі лінзы на гэтыя малюсенькія матрыцы, каб хоць неяк павялічыць светлавы струмень. У наступных Pixel Google плануе пайсці далей і накрыць лінзай чатыры фотадыёды.
Крыніца: 3dnews.ru