Оригінал статті розміщено на сайті та опублікований на 3DNews з дозволу автора. Ми наводимо повний текст статті, за винятком величезної кількості посилань — вони стануть у нагоді тим, хто всерйоз зацікавився темою і хотів би вивчити теоретичні аспекти обчислювальної фотографії глибше, але для широкої аудиторії ми вважали цей надлишковий матеріал.
Сьогодні жодна презентація смартфона не обходиться без облизування камери. Щомісяця ми чуємо про черговий успіх мобільних камер: Google вчить Pixel знімати у темряві, Huawei зумити як бінокль, Samsung вставляє лідер, а Apple робить найкругліші у світі куточки. Мало де зараз так жирно течуть інновації.
Дзеркалки при цьому начебто тупцюють на місці. Sony щорічно обсипає всіх новими матрицями, а виробники ліниво оновлюють останню цифру версії і продовжують спокійно курити осторонь. У мене на столі лежить дзеркалка за $3000, але у подорожі я беру айфон. Чому?
Як казав класик, я вийшов в інтернет з цим питанням. Там обговорюють якісь «алгоритми» та «нейросети», уявлення не маючи, як саме вони впливають на фотографію. Журналісти голосно зачитують кількість мегапікселів, блогери хором пиляють проплачені анбоксинги, а естети обмазуються «чуттєвим сприйняттям палітри кольорів матриці». Все як завжди.
Довелося сісти, витратити половину життя і самому в усьому розібратися. У цій статті я розповім, що дізнався.
Що таке обчислювальна фотографія?
Всюди, включаючи вікіпедію, дають приблизно таке визначення: обчислювальна фотографія — будь-які техніки захоплення та обробки зображень, де замість оптичних перетворень використовуються цифрові обчислення. У ньому все гаразд, крім того, що воно нічого не пояснює. Під нього підходить навіть автофокус, але не влазить пленоптика, яка вже принесла багато корисного. Розмитість офіційних визначень хіба що натякає, що ми поняття немає про що говоримо.
Піонер обчислювальної фотографії, професор Стенфорда Marc Levoy (він же зараз відповідає за камеру в Google Pixel) наводить інше визначення - набір методів комп'ютерної візуалізації, що покращують або розширюють можливості цифрової фотографії, при використанні яких виходить звичайна фотографія, яка не могла бути технічно знята на дану камеру традиційним способом. У статті я дотримуюсь саме його.
Отже, у всьому були винні смартфони.
У смартфонів не було вибору, окрім як дати життя новому виду фотографії – обчислювальної.
Їхні маленькі галасливі матриці та крихітні несвітлосильні об'єктиви за всіма законами фізики мали приносити лише біль та страждання. Вони й приносили, доки їхні розробники не здогадалися хитро використовувати їхні сильні сторони, щоб подолати слабкі — швидкі електронні затвори, потужні процесори та софт.
Більшість гучних досліджень у галузі обчислювальної фотографії припадає на 2005-2015 роки, що в науці вважається буквально вчора. Прямо зараз на наших очах та в наших кишенях розвивається нова галузь знань та технологій, якої ніколи не було.
Обчислювальна фотографія - це не тільки селфі з нейробоке. Недавня фотографія чорної діри не з'явилася б на світ без методів обчислювальної фотографії. Щоб зняти таке фото на звичайний телескоп, нам довелося б зробити його розміром із Землю. Однак, об'єднавши дані восьми радіотелескопів у різних точках нашої кульки та написавши трохи скриптів на пітоні, ми отримали першу у світі фотографію обрії подій. Для селфі теж згодиться.
Початок: цифрова обробка
Уявімо, що ми повернули 2007-й. Наша мама – анархія, а наші фотографії – галасливі 0,6-Мп джипеги, зняті на скейтборд. Приблизно тоді у нас з'являється перше непереборне бажання насипати на них пресетів, щоб приховати убогість мобільних матриць. Не будемо собі відмовляти.
Матан та інстаграм
З виходом інстаграма всі збожеволіли на фільтрах. Як людина, яка свого часу реверс-інжинирувала X-Pro II, Lo-Fi і Valencia в, звичайно ж, дослідницьких (кек) цілях, я все ще пам'ятаю, що складалися вони з трьох компонентів:
- Налаштувань кольору (Hue, Saturation, Lightness, Contrast, Levels тощо) — простих цифрових коефіцієнтів, точно як у будь-яких пресетах, якими фотографи користувалися з давніх часів.
- Карти мапінгу відтінків (Tone Mapping) — вектора значень, кожне з яких говорило нам: «Червоний колір з відтінком 128 треба перетворити на відтінок 240».
- Оверлея - напівпрозорі картинки з пилом, зерном, віньєткою, і всім іншим, що можна накласти зверху для отримання банального ефекту старої плівки. Був далеко не завжди.
Сучасні фільтри недалеко пішли від цієї трійки, лише стали трохи складнішими з математики. З появою апаратних шейдерів та OpenCL на смартфонах їх швидко переписали під GPU і це вважалося дико круто. Для 2012 року, звісно. Сьогодні будь-який школяр може зробити таке саме на CSS, і йому все одно не перепаде на випускному.
Проте прогрес фільтрів сьогодні не зупинився. Хлопці з Дехансера, наприклад, відмінно упарюються по нелінійних фільтрах — замість пролетарського тон-мапінгу вони використовують складніші нелінійні перетворення, що, за їхніми словами, відкриває значно більше можливостей.
Нелінійними перетвореннями можна зробити багато справ, але вони неймовірно складні, а ми, люди, неймовірно тупі. Як тільки в науці справа доходить до нелінійних перетворень, ми вважаємо за краще йти в чисельні методи і напихати всюди нейромереж, щоб ті писали шедеври за нас. Те саме було і тут.
Автоматика та мрії про кнопку «шедевр»
Коли всі звикли до фільтрів, ми почали вбудовувати їх у камери. Історія приховує, хто саме з виробників був першим, але чисто для розуміння, як давно це було — в iOS 5.0, яка вийшла аж у 2011 році, вже був публічний API для Auto Enhancing Images. Лише Джобсу відомо, як довго він використовувався до відкриття на публіку.
Автоматика робила те саме, що й кожен із нас, відкриваючи фотку в редакторі, витягувала провали у світлі та тінях, навалювала сатурейшена, прибирала червоні очі та фіксувала колір обличчя. Користувачі навіть не здогадувалися, що «драматично покращена камера» у новому смартфоні була лише заслугою кількох нових шейдерів. До виходу Google Pixel та початку хайпу з обчислювальної фотографії залишалося ще п'ять років.
Сьогодні бої за кнопку «шедевр» перейшли на поле машинного навчання. Награвшись з тон-мапінгом, всі кинулися тренувати CNN'и та GAN'и рухати повзуночки замість користувача. Іншими словами, за вхідним зображенням визначатиме набір оптимальних параметрів, які б наближали дане зображення до якогось суб'єктивного розуміння «хорошої фотографії». Реалізовано в тому ж Pixelmator Pro та інших редакторах. Працює, як можна здогадатися, не дуже не завжди.
Стекінг - 90% успіху мобільних камер
Справжня обчислювальна фотографія почалася зі стекінгу - накладання кількох фотографій одна на одну. Для смартфона не проблема натиснути десяток кадрів за півсекунди. У їхніх камерах немає повільних механічних частин: діафрагма фіксована, а замість шторки, що їздить, — електронний затвор. Процесор просто командує матрицею, скільки мікросекунд їй ловити дикі фотони, а сам зчитує результат.
Технічно телефон може знімати фото зі швидкістю відео, а відео з роздільною здатністю фото, але все впирається у швидкість шини та процесора. Тому завжди ставлять програмні ліміти.
Сам собою стекінг з нами давно. ще діди ставили плагіни на Photoshop 7.0, щоб зібрати кілька фотографій у вирвиокий HDR або склеїти панораму 18000 × 600 пікселів і ... насправді ніхто так і не придумав, що з ними робити далі. Багаті часи були, шкода, дикі.
Зараз ми стали дорослими і називаємо це «епсілон-фотографією» — коли, змінюючи один із параметрів камери (експозицію, фокус, положення) та склеюючи отримані кадри, ми отримуємо щось, що не могло бути знято одним кадром. Але це термін для теоретиків, на практиці ж прижилася інша назва – стекінг. Сьогодні на ньому будується 90% усіх інновацій у мобільних камерах.
Річ, про яку багато хто не замислюється, але вона важлива для розуміння всієї мобільної та обчислювальної фотографії: камера в сучасному смартфоні починає робити фотографії відразу, як тільки ви відкриваєте її програму. Що логічно, адже їй треба якось передавати зображення на екран. Однак, крім екрану, вона зберігає кадри високої роздільної здатності у свій власний циклічний буфер, де зберігає їх ще кілька секунд.
Коли ви натискаєте кнопку "зняти фото" - воно насправді вже зняте, камера просто бере останнє фото з буфера.
Сьогодні так працює будь-яка мобільна камера. Принаймні у всіх флагманах не з помийок. Буферизація дозволяє реалізувати не просто нульову затримку затвора, про яку так давно мріяли фотографи, а навіть негативну - при натисканні на кнопку смартфон заглядає в минуле, вивантажує 5-10 останніх фото з буфера і починає шалено аналізувати їх і клеїти. Більше не потрібно чекати, поки телефон наклацає кадрів для HDR або нічного режиму, просто забирай їх з буфера, користувач навіть не дізнається.
До речі, саме за допомогою негативного лага затвора реалізовано Live Photo в айфонах, а у HTC подібне було ще 2013 року під дивною назвою Zoe.
Стекінг з експозиції — HDR та боротьба з перепадами яскравості
Чи здатні матриці фотоапаратів фіксувати весь діапазон яскравості, доступний нашому оку — стара гаряча тема для суперечок. Одні кажуть ні, адже око здатне бачити до 25 f-стопів, у той час як навіть з топової фуллфрейм-матриці можна витягнути максимум 14. Інші називають порівняння некоректним, адже оці допомагає мозок, автоматично підлаштовуючи зіницю та добудовуючи зображення своїми нейромережами, а миттєвий динамічний діапазон ока насправді не більше 10-14 f-стопів. Залишимо ці суперечки найкращим диванним мислителям інтернету.
Факт залишається фактом: знімаючи друзів на тлі яскравого неба без HDR на будь-яку мобільну камеру, ви отримуєте або нормальне небо та чорні обличчя друзів, або друзів, що промальовували, але випалене на смерть небо.
Рішення давно вигадане — розширювати діапазон яскравості за допомогою HDR (High dynamic range). Потрібно зняти кілька кадрів із різною витримкою та склеїти їх разом. Щоб один був «нормальний», другий світліший, третій темніший. Беремо темні місця із світлого кадру, пересвіти заповнюємо із темного – профіт. Залишається лише вирішити завдання автоматичного брекетингу — наскільки зрушити експозицію кожного кадру, щоб не переборщити, але з визначенням середньої яскравості картинки зараз впорається другокурсник технічного вишу.
На останніх iPhone, Pixel та Galaxy режим HDR взагалі включається автоматично, коли нехитрий алгоритм усередині камери визначає, що ви знімаєте щось контрастне у сонячний день. Можна навіть помітити, як телефон перемикає режим запису в буфер, щоб зберігати зрушені по експозиції кадри, - в камері падає fps, а сама картинка стає соковитішим. Момент перемикання добре помітний на моєму iPhone X, якщо знімати на вулиці. Придивіться до свого смартфона наступного разу також.
Мінус HDR з брекетингом з експозиції - його непрохідна безпорадність у поганому освітленні. Навіть при світлі кімнатної лампи кадри виходять такими темними, що комп'ютер не може вирівняти їх і склеїти. Для вирішення проблеми зі світлом у 2013-му Google показав інший підхід до HDR у смартфоні Nexus, що вийшов тоді. Він використовував стекінг за часом.
Стекінг за часом - симуляція довгої витримки та таймлапс
Стекінг за часом дозволяє отримати довгу витримку за допомогою коротких серії. Першопрохідниками були любителі зняти сліди від зірок на нічному небі, яким було незручно відкривати затвор одразу на дві години. Так було важко заздалегідь розрахувати всі налаштування, а від найменшої тряски весь кадр виходив зіпсованим. Вони вирішили відкривати затвор лише на пару хвилин, але багато разів, а потім йшли додому та клеїли отримані кадри у фотошопі.
Виходить, камера ніколи фактично не знімала на довгу витримку, але ми отримували ефект її імітації, складаючи кілька знятих кадрів поспіль. Для смартфонів вже давно написана купа додатків, які використовують цей трюк, але всі вони не потрібні з того часу, як фіча була додана майже до всіх стандартних камер. Сьогодні навіть айфон легко склеїть вам довгу витримку із Live Photo.
Повернемося до гугла з його нічним HDR. Виявилося, що за допомогою брекетингу за часом можна реалізувати непоганий HDR у темряві. Технологія вперше з'явилася у Nexus 5 і називалася HDR+. Інші телефони на Android отримали її як би в подарунок. Технологія досі настільки популярна, що їй хваляться навіть у презентації останніх Pixel.
Працює HDR+ досить просто: визначивши, що ви знімаєте у темряві, камера вивантажує з буфера 8-15 останніх фотографій у RAW, щоб накласти їх один на одного. Таким чином, алгоритм збирає більше інформації про темні ділянки кадру, щоб мінімізувати шуми — пікселі, де з якихось причин камера не змогла зібрати всю інформацію і лажанула.
Якби ви не знали, як виглядає капібара, і попросили п'ятьох людей описати її — їхні розповіді були б приблизно однаковими, але кожен згадав би якусь унікальну деталь. Так ви зібрали б більше інформації, ніж просто запитавши одного. Те саме і з пікселями.
Додавання знятих з однієї точки кадрів дає той самий фейковий ефект довгої витримки як із зірками вище. Експозиція десятків кадрів підсумовується, помилки однією мінімізуються на інших. Уявіть, скільки б щоразу довелося клацати затвором дзеркалки, щоб досягти такого.
Залишалося тільки вирішити проблему автоматичної корекції кольору — зняті в темряві кадри зазвичай виходять поголовно жовтими або зеленими, а ми ніби хочемо соковитості денного освітлення. У ранніх версіях HDR+ це вирішували простим підкручуванням налаштувань, як у фільтрах а-ля інстаграм. Потім закликали на допомогу нейромережі.
Так з'явився Night Sight — технологія «нічної фотографії» у Pixel 2 і 3. В описі так і кажуть: «Machine learning techniques built on top of HDR+», that make Night Sight work. По суті це є автоматизацією етапу корекції кольору. Машину навчили на датасеті фото «до» і «після», щоб із будь-якого набору темних кривих фотографій робити одну гарну.
Датасет, до речі, виклали у відкритий доступ. Може, хлопці з Apple візьмуть його і нарешті навчать свої скляні лопати нормально знімати у темряві.
До того ж у Night Sight використовується обчислення вектора руху об'єктів у кадрі, щоб нормалізувати мастила, які обов'язково вийдуть на довгу витримку. Так, смартфон може взяти чіткі частини з інших кадрів та приклеїти.
Стекінг за рухом — панорама, суперзум та боротьба з шумами
Панорама – популярна розвага мешканців сільської місцевості. Історії поки що не відомо випадків, щоб сосискофотка виявилася б цікавою для когось, крім її автора, але не згадати її не можна — для багатьох із цього взагалі почався стекінг.
Перший корисний спосіб застосування панорами — отримання фотографії більшого дозволу, ніж дозволяє матриця камери шляхом склеювання кількох кадрів. Фотографи давно використовують різний софт для так званих фотографій з суперроздільна здатність - коли трохи зміщені фотографії як би доповнюють один одного між пікселів. Таким чином можна отримати зображення хоч у сотні гігапікселів, що дуже корисно, якщо вам треба роздрукувати це на рекламному плакаті розміром із будинок.
Інший, вже цікавіший підхід — Pixel Shifting. Деякі бездзеркалки типу Sony та Olympus почали підтримувати його ще з 2014-го, але клеїти результат все одно примушували руками. Типові інновації великих камер.
Смартфони досягли успіху тут із смішної причини — коли ви знімаєте фото, ваші руки тремтять. Ця на перший погляд проблема лягла в основу реалізації нативного супердозвіл на смартфонах.
Щоб зрозуміти, як це працює, треба згадати, як влаштовано матрицю будь-якого фотоапарата. Кожен її піксель (фотодіод) здатний фіксувати тільки інтенсивність світла - тобто кількість фотонів, що залетіли. Однак піксель не може виміряти його колір (довжину хвилі). Щоб отримати RGB-картинку, довелося і тут нагородити милиць - накрити всю матрицю сіткою різнокольорових скель. Найпопулярніша її реалізація називається фільтром Байєра і використовується сьогодні у більшості матриць. Виглядає як на малюнку нижче.
Виходить, що кожен піксель матриці ловить тільки R-, G-або B-компоненту, адже інші фотони нещадно відбиваються фільтром Байєра. Відсутні компоненти він дізнається тупим усередненням значень сусідніх пікселів.
Зелених осередків у фільтрі Байєра більше – так зробили за аналогією з людським оком. Виходить, що з 50 мільйонів пікселів на матриці зелений колір уловлюватиме 25 млн, червоний і синій — по 12,5 млн. Решта буде усереднена — цей процес називається дебайєризацією або демозаїком, і це такий жирний смішний милиця, на якому все тримається.
Насправді кожна матриця має свій хитрий запатентований алгоритм демозаїкінгу, але в рамках даної історії ми цим знехтуємо.
Інші типи матриць (типу Foveon) поки що якось зовсім не прижилися. Хоча деякі виробники намагаються використовувати матриці без фільтра Байєра для покращення різкості та динамічного діапазону.
Коли світла мало або деталі об'єкта зовсім крихітні, ми втрачаємо купу інформації, тому що фільтр Байєра нахабно відсікає фотони з неугодною довжиною хвилі. Тому і придумали робити Pixel Shifting - зміщувати матрицю на 1 піксель вгору-вниз-вправо-вліво, щоб упіймати їх усі. Фотографія при цьому не виходить у 4 рази більшою, як може здатися, просто процесор використовує ці дані, щоб точніше записати значення кожного пікселя. Усереднює не по сусідах, так би мовити, а за чотирма значеннями самого себе.
Тряска наших рук при зйомці фото на телефон робить цей процес природним наслідком. В останніх версіях Google Pixel ця штука реалізована і включається завжди, коли ви використовуєте зум на телефоні - називається Super Res Zoom (так, мені теж подобається їхній нещадний неймінг). Китайці теж скопіювали його у свої ляофони, хоча вийшло трохи гірше.
Накладання один на одного трохи зміщених фотографій дозволяє зібрати більше інформації про колір кожного пікселя, а значить, зменшити шуми, збільшити різкість і підняти роздільну здатність, не збільшуючи фізичне число мегапікселів матриці. Сучасні Android-флагмани роблять це автоматично, доки їхні користувачі навіть не замислюються про це.
Стекінг по фокусу - будь-яка глибина різкості та рефокус у постпродакшені
Метод прийшов із макрозйомки, де маленька глибина різкості завжди була проблемою. Щоб весь об'єкт був у фокусі, доводилося робити кілька кадрів зі зсувом фокусу вперед-назад, щоб потім пошити їх в один різкий. Тим же методом часто користувалися любителі зйомки ландшафтів, роблячи передній та задній план різкими як діарея.
Все це також переїхало і на смартфони, щоправда, без особливого хайпа. У 2013-му виходить Nokia Lumia 1020 з Refocus App, а в 2014 і Samsung Galaxy S5 з режимом Selective Focus. Працювали вони за однією і тією ж схемою: за натисканням на кнопку вони швидко робили 3 фотографії - одну з "нормальним" фокусом, другу зі зрушеним вперед і третю зі зрушеним назад. Програма вирівнювала кадри та дозволяла вибрати один із них, що подавали як «справжнє» управління фокусом у постпродакшені.
Жодної подальшої обробки не було, адже навіть цього простого хаку було достатньо, щоб вбити ще один цвях у кришку Lytro та аналогів із їхнім чесним рефокусом. До речі, поговоримо про них (майстер переходів 80 lvl).
Обчислювальні матриці - світлові поля та пленоптика
Як ми зрозуміли вище, наші матриці – жах на милицях. Ми просто звикли і намагаємось із цим жити. За своїм пристроєм вони мало змінювалися від початку часів. Ми лише вдосконалювали техпроцес - зменшували відстань між пікселями, боролися з шумами-наведеннями, додавали спеціальні пікселі для роботи фазового автофокусу. Але варто взяти навіть найдорожчу дзеркалку і спробувати зняти на неї кота, що біжить, при кімнатному освітленні — кіт, м'яко кажучи, переможе.
Ми вже давно намагаємося винайти щось краще. Багато спроб і досліджень у цій галузі гуглиться на запит «computational sensor» або «non-bayer sensor», і навіть приклад з Pixel Shifting вище можна віднести до спроб поліпшення матриць за допомогою обчислень. Проте найбільш багатообіцяючі історії в останні двадцять років приходять до нас саме зі світу так званих пленоптичних камер.
Щоб ви не заснули від передчуття складних слів, що насуваються, кину інсайд, що камера останніх Google Pixel якраз «трохи» пленоптична. Усього на два пікселі, але це дозволяє їй обчислювати чесну оптичну глибину кадру і без другої камери як у всіх.
Пленоптика — потужна зброя, яка поки що не вистрілила. Наведу посилання на одну із моїх улюблених недавніх , Звідки я запозичив приклади.
Пленоптична камера – скоро буде кожна
Придумана 1994-го, зібрана в Стенфорді 2004-го. Перша споживча камера - Lytro, випущена 2012-го. Зі схожими технологіями зараз активно експериментує VR-індустрія.
Від звичайної пленоптичної камери відрізняється лише однією модифікацією — матриця в ній накрита сіткою з лінз, кожна з яких покриває кілька реальних пікселів. Якось так:
якщо правильно розрахувати відстань від сітки до матриці та розмір діафрагми, у підсумковому зображенні вийдуть чіткі кластери з пікселів – такі собі міні-версії оригінального зображення.
Виявляється, якщо взяти з кожного кластера, скажімо, один центральний піксель і склеїти картинку тільки по них - вона нічим не відрізнятиметься від знятої на звичайну камеру. Так, ми трохи втратили у дозволі, але просто попросимо Sony досипати ще мегапікселів у нових матрицях.
Веселощі ж на цьому тільки починається. якщо взяти інший піксель із кожного кластера і знову склеїти картинку — вийде знову нормальна фотографія, тільки ніби знята зі зрушенням на один піксель. Таким чином, маючи кластери 10 × 10 пікселів, ми отримаємо 100 зображень предмета з «трохи» різних точок.
Більше розміру кластера — більше зображень, але менше роздільна здатність. У світі смартфонів з 41-мегапіксельними матрицями ми хоч і можемо трохи знехтувати дозволом, але все має межу. Доводиться зберігати баланс.
Окей, ми зібрали плівоптичну камеру, і що нам це дає?
Чесний рефокус
Фіча, про яку дзижчали всі журналісти в статтях про Lytro, - можливість чесного коригування фокусу в постпродакшені. Під чесною мається на увазі, що ми не застосовуємо будь-які алгоритми деблюрингу, а використовуємо винятково наявні під рукою пікселі, вибираючи або середня їх із кластерів у потрібному порядку.
RAW-фотографія з плівоптичної камери виглядає дивно. Щоб отримати з неї звичний джипег, треба спочатку його зібрати. Для цього треба вибрати кожен піксель джипегу з одного із кластерів RAW'а. Залежно від того, як ми їх оберемо, змінюватиметься результат.
Наприклад, чим далі знаходиться кластер від місця падіння оригінального променя, тим більше цей промінь виходить у розфокусі. Тому що оптика. Щоб отримати зміщене по фокусі зображення, нам треба вибрати пікселі на потрібному нам віддаленні від оригінального — або ближче, або далі.
Зі зрушенням фокусу на себе було складніше — суто фізично таких пікселів у кластерах було менше. Спочатку розробники навіть не хотіли давати користувачеві можливість фокусуватися руками – камера сама вирішувала це програмно. Користувачам таке майбутнє не сподобалося, тому фічу додали в пізніх прошивках під назвою «креативний режим», але зробили рефокус у ньому дуже обмеженим з цієї причини.
Карта глибини та 3D з однієї камери
Одна з найпростіших операцій у пленоптиці – отримання карти глибини. Для цього треба просто зібрати два різні кадри та розрахувати, наскільки зрушені об'єкти на них. Більше зрушення далі від камери.
Нещодавно Google купив та вбив Lytro, але використовував їх технології для свого VR і… для камери у Pixel. Починаючи з Pixel 2 камера вперше стала "трохи" пленоптичною, правда, з кластерами всього по два пікселі. Це дало можливість гуглу не ставити другу камеру, як решта хлопців, а обчислювати карту глибини виключно по одній фотографії.
Карта глибини будується двома кадрами, зрушеним однією субпиксель. Цього цілком вистачає, щоб обчислити бінарну карту глибини та відокремити передній план від заднього та розмити останній у модному нині боці. Результат такого розшарування ще згладжується і «поліпшується» нейромережами, які натреновані покращувати карти глибини (а не блюрити, як багато хто думає).
Фішка ще у тому, що пленоптика у смартфонах нам дісталася майже безкоштовно. Ми і так ставили лінзи на ці крихітні матриці, щоб хоч якось збільшити світловий потік. У наступних Pixel Google планує піти далі і накрити лінзою чотири фотодіоди.
Джерело: 3dnews.ru