Нова статия: Изчислителна фотография

Оригиналът на статията е публикуван в сайта Вастрик.ру и е публикувана на 3DNews с разрешението на автора. Предоставяме пълния текст на статията, с изключение на огромния брой линкове — те ще бъдат полезни за тези, които сериозно се интересуват от темата и искат да проучат теоретичните аспекти на компютърната фотография по-дълбоко, но за широка аудитория сметнахме, че този материал е излишен.  

Днес нито една презентация на смартфон не минава без фокусиране върху камерата му. Всеки месец чуваме за новите успехи на мобилните камери: Google учи Pixel да снима в тъмното, Huawei приближава като бинокъл, Samsung вгражда лидар, а Apple прави най-закръглените ъгли в света. Няма много места, където иновациите тъкат толкова бистро.

Зеркалните камери сякаш стоят на едно място. Sony всяка година ни залива с нови матрици, а производителите мързеливо обновяват последната цифра от версията и продължават да пушат встрани. На масата ми лежи огледална камера за $3000, но на пътувания взимам айфон. Защо?

Както казва класикът — излязох в интернет с този въпрос. Там обсъждат някакви "алгоритми" и "невронни мрежи", без да имат представа как конкретно те влияят на фотографията. Журналистите шумно обявяват броя на мегапикселите, блогърите хорово правят платени анбоксинги, а естетите се обмокрят в "чувствителното възприятие на цветната палитра на матрицата". Всичко е както обикновено.

Пришло ми се наложи да седна, да отделя половината си живот и сам да разбера всичко. В тази статия ще разкажа какво научих.

⇡#Какво е компютърна фотография?

Навсякъде, включително в Уикипедия, дават приблизително такова определение: компютърната фотография е всяка техника за улавяне и обработка на изображения, при която вместо оптични преобразования се използват цифрови изчисления. Всичко е наред, освен че не обяснява нищо. Подходящо е дори за автофокус, но не включва пленоптика, която вече ни е донесла много полезно. Неяснотата на официалните определения сякаш намеква, че нямаме представа за какво говорим.

Пионер на изчислителната фотография, професорът от Станфорд Marc Levoy (който сега отговаря за камерата в Google Pixel) предлага друго определение — набор от методи на компютърното зрение, които подобряват или разширяват възможностите на цифровата фотография, при използването на които се получава обикновена снимка, която не е могла технически да бъде заснета на тази камера по традиционен начин. В статията следвам точно неговото определение.

Така че, виновни бяха смартфоните.

Смартфоните нямахaха друг избор, освен да дадат живот на нов вид фотография — изчислителна.

Нехарактерните им шумни матрици и малки, слабо светлосилни обективи по всички физически закони трябваше да донесат само болка и страдание. Те и донесоха, докато разработчиците им не успяха да открият как да използват силните им страни, за да преодолеят слабостите — бързи електронни затвори, мощни процесори и софтуер.

Повечето значими изследвания в областта на изчислителната фотография са от 2005-2015 година, което в науката се счита буквално за вчера. В момента пред нашите очи и в нашите джобове се развива нова област на знания и технологии, каквато никога не е съществувала.

Изчислителната фотография не е само селфита с невропортрети. Някои фотографии на черна дупка не биха могли да се появят без методи на изчислителната фотография. За да направим такава снимка с обикновен телескоп, ще трябваше да увеличим размера му до размера на Земята. Въпреки това, като комбинираме данни от осем радиотелескопа на различни точки от нашата планета и напишем малко скриптове на Python, получихме първата в света фотография на хоризонта на събитията. За селфита също би било полезно.

⇡#Начало: цифрова обработка

Нека си представим, че сме се върнали в 2007 година. Нашата мама — анархия, а нашите снимки — шумни 0,6-Мп джипеги, заснети на скейтборд. Около това време започваме да имаме първото непреодолимо желание да добавим ефекти, за да скрием оскъдността на мобилните матрици. Няма да си го отказваме.

⇡#Матан и инстаграм

С излизането на инстаграм всички се побъркаха по филтрите. Като човек, който в миналото е реверсирал X-Pro II, Lo-Fi и Valencia в, разбира се, изследователски (хе-хе) цели, все още помня, че те се състоят от три компонента:

• Настройките на цвета (Hue, Saturation, Lightness, Contrast, Levels и т. н.) са прости цифрови коефициенти, точно както в която и да е преднастройка, която фотографите са използвали от древни времена.
• Картите за картографиране на тонове (Tone Mapping) са вектори на стойности, всяка от които ни казваше: "Червеният цвят с оттенък 128 трябва да бъде преобразуван в оттенък 240."
• Наложената снимка е полупрозрачна картинка с прах, зърно, винетка и всичко останало, което може да се постави отгоре за постигане на ненапразно ефект на стара лента. Присъстваше не винаги.   

Съвременните филтри не са далеч от тази тройка, а само станаха малко по-сложни математически. С появата на хардуерни шейдери и OpenCL на смартфоните, бързо ги написаха за GPU и това се смяташе за супер готино. За 2012 година, разбира се. Днес всеки ученик може да направи същото на CSS, и той дори няма да получи нищо на завършването.

Обаче напредъкът на филтрите днес не спира. Момчетата от Dehancer, например, отлично се занимават с нелинейни филтри - вместо пролетарски тон-картографиране използват по-сложни нелинейни трансформации, което, според тях, отваря много повече възможности.

Нелинейните трансформации могат да направят много неща, но те са невероятно сложни, а ние, хората, сме невероятно глупави. Когато науката опре до нелинейни трансформации, предпочитаме да използваме числени методи и да напъхваме навсякъде невронни мрежи, за да пишат шедьоври вместо нас. Същото беше и тук.

⇡#Автоматизация и мечти за бутон "шедьовър"

Когато всички свикнаха с филтрите, започнахме да ги вграждаме направо в камерите. Историята крие кой точно от производителите беше първият, но за разбирането колко отдавна беше - в iOS 5.0, която излезе още през 2011 година, вече имаше публичен API за автоматично подобряване на изображения. Само на Джобс му е известно колко дълго е използван преди да бъде отворен за обществеността.

Автоматизацията правеше същото, което правехме всеки от нас, отваряйки снимка в редактора - изваждаше провалите в светлината и сенките, добавяше сатурация, премахваше червените очи и коригираше цвета на лицето. Потребителите дори не подозираха, че "драматично подобрената камера" в новия смартфон беше само заслуга на няколко нови шейдера. Оставаха още пет години до излизането на Google Pixel и началото на хита на изчислителната фотография.

Днес битките за бутона „шедьовър“ преминаха в полето на машинното обучение. След като се поиграха с тоновото картографиране, всички се хвърлиха да тренират CNN и GAN, за да движат плъзгачите вместо потребителите. С други думи, по входното изображение да се определят набор от оптимални параметри, които да приближат това изображение до някакво субективно разбиране за „добра фотография“. Реализирано е в същия Pixelmator Pro и други редактори. Работи, както можем да предположим, не много и не винаги. 

⇡#Стекинг — 90% от успеха на мобилните камери

Истинската изчислителна фотография започна със стекинга — наслагване на няколко снимки една върху друга. За смартфон не е проблем да снимате десетина кадри за половин секунда. В камерите им няма бавни механични части: диафрагмата е фиксирана, а вместо движеща се завеса — електронен затвор. Процесорът просто нарежда на матрицата колко микросекунди да улавя дива светлина, а самият той записва резултата.

Технически телефонът може да снима снимки със скорост на видео, а видео с разрешение на снимка, но всичко опира до скоростта на шина и процесора. Затова винаги поставят софтуерни ограничения.

Стекингът сам по себе си е с нас отдавна. Още дядовците ни поставяха плъгини на Photoshop 7.0, за да съберат няколко снимки в ярък HDR или да слеят панорама 18000 × 600 пиксела и… Всъщност никой не измисли какво да прави с тях след това. Богати времена бяха, жалко, диви.

Сега ние пораснахме и го наричаме „епсилон-фотография“ — когато, променяйки един от параметрите на камерата (експозиция, фокус, положение) и слепявайки получените кадри, получаваме нещо, което не би могло да бъде заснето с един кадър. Но това е термин за теоретици, в практиката обаче се наложи друго наименование — стекинг. Днес по фактическо основание на него се изграждат 90% от всички иновации в мобилните камери.

Нещо, за което много хора не се замислят, но което е важно за разбирането на цялата мобилна и изчислителна фотография: камерата в съвременния смартфон започва да прави снимки веднага, щом отворите приложението й. Което е логично, все пак трябва да предава изображение на екрана. Въпреки това, освен на екрана, тя съхранява кадри с висока резолюция в собственото си циклично буферно пространство, където ги задържа още няколко секунди.

Когато натиснете бутона "снимам фото" — снимката всъщност вече е направена, камерата просто взима последното изображение от буфера.

Днес всяка мобилна камера работи по този начин. Поне в всички флагмани, а не в боклуците. Буферизацията позволява не просто нулево забавяне на затвора, за което фотографите отдавна мечтаят, а дори отрицателно — при натискането на бутона смартфонът надзърта в миналото, извлича 5-10 последни снимки от буфера и започва неистово да ги анализира и съчетава. Вече не е нужно да чакате телефонът да направи снимки за HDR или нощен режим — просто вземете ги от буфера, потребителят дори няма да разбере.

Между другото, именно с помощта на отрицателното забавяне на затвора е реализирана Live Photo в iPhone, а в HTC подобно имаше още през 2013 година под странното име Zoe.

⇡#Стикинг по експозиция — HDR и борба с контраста на яркостта

Могат ли матриците на фотоапаратите да фиксират целия диапазон на яркост, достъпен за нашето око, — стара гореща тема на спорове. Някои казват, че не, тъй като окото може да вижда до 25 f-стопа, докато дори от топ матрица с пълна рамка можем да извлечем максимум 14. Други наричат сравненията некоректни, тъй като на окото му помага мозъкът, автоматично регулиращ зеницата и допълващ изображението със собствените си невронни мрежи, а моменталният динамичен диапазон на окото всъщност не е повече от 10-14 f-стопа. Оставяме тези спорове на най-добрите диванни мислители на интернет.

Факт остава факт: снимайки приятели на фона на ярко небе без HDR на всяка мобилна камера, получаваш или нормално небе и черни лица на приятелите, или нарисувани приятели, но с изгоряло до смърт небе.

Решението отдавна е измислено — разширяване на диапазона на яркостта с помощта на HDR (висок динамичен диапазон). Трябва да снимате няколко кадъра с различна експозиция и да ги слепите заедно. За да е един "нормален", вторият по-светъл, третият по-тъмен. Вземаме тъмните места от светлия кадър, запълваме светлите участъци от тъмния — и печелим. Остава само да се реши задачата за автоматично брекинг — колко да се измести експозицията на всеки кадър, за да не се прекали, но с определянето на средната яркост на изображението сега ще се справи второкурсник от технически университет.

На последните iPhone, Pixel и Galaxy режим HDR изобщо се включва автоматично, когато прост алгоритъм вътре в камерата определи, че снимате нещо контрастно в слънчев ден. Можете дори да забележите как телефонът превключва режима на запис в буфера, за да запази кадри с различна експозиция — fps в камерата пада, а самото изображение става по-сочно. Моментът на превключване е много забележим на моя iPhone X, ако снимам навън. В следващия път, когато ползвате смартфона си, внимавайте и вие.

Недостатъкът на HDR с експозиционен брекетинг е неговата непроходима безпомощност при лошо осветление. Дори при светлината на стая кадрите стават толкова тъмни, че компютърът не може да ги подравни и слепи. За да разреши проблема със светлината, през 2013 г. Google показа различен подход към HDR в излязлия тогава смартфон Nexus. Той използваше времеви стек.

⇡#Времеви стек — симулация на дълга експозиция и таймлапс.

Времевият стек позволява получаването на дълга експозиция чрез серия от кратки. Пионерите бяха любителите на снимането на следи от звезди в нощното небе, на които им беше неудобно да отворят затвора за два часа. Беше трудно предварително да се изчислят всички настройки, а от най-малкото трептене целият кадър ставаше развален. Те решиха да отварят затвора само за няколко минути, но многократно, а след това се връщаха у дома и слепваха получените кадри в Photoshop.

Получава се, че камерата никога всъщност не е снимала с дълга експозиция, но ние получавахме ефекта на нейното имитиране, съставяйки няколко заснети последователно кадъра. За смартфони отдавна са написани много приложения, които използват този трик, но те не са нужни откакто функцията беше добавена почти във всички стандартни камери. Днес дори iPhone лесно ще ви слепи дълга експозиция от Live Photo.

Нека се върнем към Google с неговия нощен HDR. Оказа се, че с помощта на времеви брекетинг може да се реализира приличен HDR в мрак. Технологията за първи път се появи в Nexus 5 и се наричаше HDR+. Другите телефони на Android я получиха като подарък. Технологията все още е толкова популярна, че дори я хвалят в презентацията на последните Pixel.

HDR+ работи доста просто: след като определи, че снимате в тъмното, камерата извежда от буфера 8-15 последни снимки в RAW, за да ги насласти една върху друга. По този начин алгоритъмът събира повече информация за тъмните участъци от кадъра, за да минимизира шума — пиксели, където по някаква причина камерата не е успяла да събере цялата информация и е направила грешка.

Ако не знаехте как изглежда капибара и попитахте петима души да я опишат — техните разкази щяха да бъдат приблизително еднакви, но всеки щеше да спомене някакъв уникален детайл. По този начин ще съберете повече информация, отколкото просто питайки един. Същото важи и за пикселите.

Комбинирането на кадри, направени от една точка, дава същия фалшив ефект на дълга експонация, като при звездите по-горе. Излагането на десетки кадри се събира, а грешките в един минимизират тези в другите. Представете си колко много пъти трябваше да щракнете затвора на огледалната камера, за да постигнете такова.

Оставаше само да се реши проблема с автоматичната цветна корекция — кадрите, заснети в тъмното, обикновено излизат жълти или зелени, а ние все пак искаме свежестта на дневната светлина. В ранните версии на HDR+ това се решаваше с простото настройване на параметрите, като в инстаграмски филтри. По-късно обаче се включиха невронни мрежи.

Така се появи Night Sight — технологията за „нощна фотография“ в Pixel 2 и 3. В описанието така и се казва: „Техники за машинно обучение, изградени на основата на HDR+, които правят Night Sight да работи“. По същество това е автоматизация на етапа на цветната корекция. Машината беше обучена върху набор от снимки „преди“ и „след“, за да преобразува всякакви тъмни извити снимки в една красива.

Наборът от данни, между другото, е публикуван в отворен достъп. Може би момчетата от Apple ще го вземат и най-накрая ще научат своите стъклени лопати да снимат нормално в тъмното.

В допълнение, в Night Sight се използва изчисляване на вектора на движение на обектите в кадъра, за да се нормализират размазванията, които неизбежно ще се получат при дълга експонация. По този начин смартфонът може да заеме ясни части от други кадри и да ги добави.

⇡#Стек от движения — панорама, суперзуум и борба с шума

Панорама — популярно развлечение сред жителите на селата. Все още не се знае случаи, при които панорамна снимка е заинтересувала някого, освен нейния автор, но не може да не се спомене — за много хора именно от това започна стекирането.

Първият полезен начин за приложение на панорамата е получаването на снимка с по-висока резолюция, отколкото матрицата на камерата позволява, чрез комбинирането на няколко кадри. Фотографите отдавна използват различен софтуер за т.нар. снимки с суперрезолюция — когато леко изместени фотографии допълват една друга между пикселите. По този начин може да се получи изображение дори в стотици гигапиксели, което е изключително полезно, ако трябва да го отпечатате на рекламно платно с размерите на къща.

Друг, вече по-интересен подход, е Pixel Shifting. Някои безогледални камери от типа Sony и Olympus започнаха да го поддържат още от 2014 г., но все пак резултата трябваше да се сглобява на ръка. Типични иновации от големите камери.

Смартфоните обаче напреднаха тук по смешна причина — когато правите снимка, ръцете ви треперят. Тази на пръв поглед проблема легна в основата на реализирането на нативна суперрезолюция на смартфоните.

За да разберем как работи, трябва да си спомним как е устроена матрицата на всяка фотоапарат. Всеки пиксел (фотодиод) може да фиксира само интензивността на светлината — т.е. количеството на залетели фотони. Обаче пикселът не може да измери цвета му (дължината на вълната). За да получим RGB-изображение, е трябвало и тук да се адаптира — да покрият цялата матрица с мрежа от разноцветни стъкла. Най-популярната реализация на това се нарича Bayer Filter и се използва днес в повечето матрици. Изглежда като на изображението по-долу.

Получава се, че всеки пиксел на матрицата улавя само R-, G- или B-компонента, тъй като останалите фотони безмилостно се отразяват от Bayer Filter. Липсващите компоненти той получава чрез бруто средно изчисление на стойностите на съседните пиксели.

В зелените клетки на Байер филтъра са повече — направено е по аналогия с човешкото око. Оказва се, че от 50 милиона пиксела на матрицата зелен цвет ще улови 25 милиона, а червеният и синият — по 12,5 милиона. Останалото ще бъде средно — този процес се нарича дебайеризация или демозаик, и това е един вид груба работа, на която всичко се крепи.

Всъщност всяка матрица има свой хитър запатентован алгоритъм за демозаик, но в рамките на тази история ще пренебрегнем това.

Други видове матрици (като Foveon) все още не са се наложили. Въпреки че някои производители се опитват да използват матрици без Байер филтър за подобряване на остротата и динамичния обхват.

Когато светлината е малко или детайлите на обекта са съвсем малки, губим много информация, защото Байер филтърът нарочно отсява фотони с нежелана дължина на вълната. Затова е измислен Pixel Shifting — да се измести матрицата с 1 пиксел нагоре-надолу-наляво-надясно, за да улови всичките. Фотографията не става 4 пъти по-голяма, както може да изглежда, просто процесорът използва тези данни, за да запише по-точно стойността на всеки пиксел. Средното не се взима от съседите, така да се каже, а от четирите стойности на самия себе си.

Държането на телефона ни при снимане причинява този процес да бъде естествено следствие. В последните версии на Google Pixel този елемент е реализиран и се включва всеки път, когато използвате зума на телефона – нарича се Super Res Zoom (да, и на мен ми харесва тяхното безмилостно именуване). Китайците също го копират в своите телефони, въпреки че се получава малко по-лошо.

Наложението на малко изместени снимки позволява да се събере повече информация за цвета на всеки пиксел, а това значи, че можем да намалим шума, да увеличим остротата и да повишим резолюцията, без да увеличаваме физическия брой мегапиксели на матрицата. Съвременните Android флагмани правят това автоматично, докато техните потребители дори не се замислят за това.

⇡#Стекинг по фокуса — всяка дълбочина на резкост и рефокус в постпродукцията.

Методът произлиза от макрофотографията, където малката дълбочина на рязкост винаги е била проблем. За да бъде целият обект на фокус, е трябвало да се правят няколко снимки с преместване на фокуса напред-назад, за да се съединят после в една ясна снимка. Същият метод често е бил използван и от любители на пейзажната фотография, за да направят предния и задния план ясни като диарея.

Всичко това премина и на смартфони, но без много шум. През 2013 г. излиза Nokia Lumia 1020 с „Refocus App“, а през 2014 г. и Samsung Galaxy S5 с режим „Selective Focus“. Те работеха по един и същ принцип: при натискане на бутона, те бързо правеха 3 снимки — едната с „нормален“ фокус, втората с преместен напред и третата с преместен назад. Програмата подравняваше кадрите и позволяваше да се избере един от тях, което се представяше като „истинско“ управление на фокуса в постпродукцията.

Не беше необходима друга обработка, тъй като дори и този прост трик беше достатъчен, за да вбие още един пирон в ковчега на Lytro и аналогичните им с честния им рефокус. Между другото, да поговорим за тях (мастери на преходи на 80 ниво).

⇡#Изчислителни матрици — светлинни полета и пленоптика

Както установихме по-горе, нашите матрици са ужас на кокалчета. Просто сме свикнали и се опитваме да живеем с това. По устройството си те не са се променили значително от самото начало. Само усъвършенствахме технологичния процес — намаляване на разстоянието между пикселите, борба с шумовете-намесители, добавяне на специални пиксели за работа с фазов автофокус. Но да вземем дори най-скъпата DSLR и да опитаме да снимаме бягаща котка при стайно осветление — котката, меко казано, ще победи.

Отдавна се опитваме да изобретим нещо по-добро. Множество опити и изследвания в тази област се откриват с търсене „computational sensor“ или „non-bayer sensor“, а дори и примера с Pixel Shifting по-горе може да се отнесе към опитите за подобряване на матриците чрез изчисления. Въпреки това, най-обещаващите истории през последните двадесет години идват именно от света на така наречените пленоптични камери.

За да не заспите от предвкушението на предстоящите сложни термини, искам да споделя, че камерата на последните Google Pixel е „малко“ пленоптична. Само с два пиксела, но дори и това ѝ позволява да изчислява истинската оптична дълбочина на кадъра и без втора камера, както при всички останали.

Пленоптика — мощно оръжие, което все още не е проработило. Ще дам линк към една от любимите ми статии за възможностите на пленоптичните камери и нашето бъдеще с тях. откъдето взех примери.Пленоптичната камера — скоро ще бъде навсякъде.

⇡#

Създадена през 1994 г., сглобена в Станфорд през 2004 г. Първата потребителска камера — Lytro, пусната на пазара през 2012 г. С подобни технологии в момента активно експериментира VR индустрията.

От обикновената камера пленоптичната се отличава само с една модификация — матрицата в нея е покрита с решетка от лещи, всяка от които покрива няколко реални пиксела. Нещо такова:

ако правилно изчислим разстоянието от решетката до матрицата и размера на диафрагмата, в крайното изображение ще се получат ясни клъстери от пиксели — нещо като мини версии на оригиналното изображение.

Оказва се, че ако вземем от всеки клъстер, да кажем, един централно разположен пиксел и слепим изображението само по тях — то няма да се различава от направеното с обикновена камера. Да, малко сме загубили в резолюцията, но просто ще помолим Sony да добавят още мегапиксели в новите си матрици.

Забавлението обаче едва започва. Ако вземем друг пиксел от всеки клъстер и отново слепим изображението — ще получим отново нормална фотография, само че все едно е направена с изместване на един пиксел. По този начин, имайки клъстери от 10 × 10 пиксела, ще получим 100 изображения на обекта от „малко“ различни точки.

Колкото по-голям е размерът на клъстера — толкова повече изображения, но по-малко резолюция. В света на смартфоните с 41-мегапикселови матрици можем малко да пренебрегнем резолюцията, но всичко има предел. Трябва да запазим баланс.

Добре, сглобихме пленоптична камера, и какво ни дава това?

Честен рефокус

Функцията, за която говореха всички журналисти в статии за Lytro, — възможността за честна корекция на фокуса в постпродукция. Под честна имам предвид, че не прилагаме всякакви алгоритми за намаляване на замъгляването, а използваме изключително наличните пиксели, като избираме или средностатистически взимаме от клъстерите в нужния ред.

Функцията, за която всички журналисти говореха в статиите за Lytro, е възможността за истинска корекция на фокуса в постпродукцията. Под истинска имам предвид, че не прилагаме различни алгоритми за размазване, а използваме изцяло наличните пиксели, като избираме или усредняваме от клъстери в нужната последователност.

RAW фотография от пленоптическа камера изглежда странно. За да получим познатото остро JPEG изображение, първо трябва да го съберем. За целта трябва да изберем всеки пиксел от JPEG-а от един от кластерите на RAW-а. В зависимост от начина, по който ги изберем, резултатът ще се променя.

Например, колкото по-далеч е кластерът от мястото, където попада оригиналният лъч, толкова по-разфокусиран става този лъч. Поради оптиката. За да получим изображение с преместване на фокуса, просто трябва да изберем пиксели на нужното разстояние от оригиналния — или по-близо, или по-далече.

Със сместени фокуси беше по-трудно — физически в кластерите имаше по-малко такива пиксели. Първоначално разработчиците дори не искаха да дават на потребителите възможност да фокусират ръчно — камерата сама решаваше това софтуерно. Потребителите не харесаха такова бъдеще и затова тази функция беше добавена в по-късни версии с името „креативен режим“, но рефокуса в него беше силно ограничен точно за тази причина.

Карта на дълбочината и 3D с една камера   

Едно от най-простите операции в пленоптиката — получаването на карта на дълбочината. За това просто трябва да съберем два различни кадъра и да изчислим, колко размествани са обектите на тях. Повече разместване — по-далеч от камерата.

Скоро Google купи и уби Lytro, но използва техните технологии за своето VR и... за камерата в Pixel. Започвайки от Pixel 2, камерата за първи път стана „малко“ пленоптична, макар и с клъстери, съдържащи само два пиксела. Това позволи на Google да не поставя втора камера, както останалите, а да изчисли картата на дълбочината само по една снимка.

Картата на дълбочината се изгражда от два кадъра, размествани с един субпиксел. Тази информация е достатъчна, за да изчислим бинарната карта на дълбочината и да разделим преден и заден план, и да размътим последния в актуалния стил боке. Резултатът от такова разделяне се изглажда и „подобрява“ от невронни мрежи, които са обучени да подобряват картите на дълбочината (а не да размиват, както много хора си мислят).

Фишката е, че пленоптиката в смартфоните ни дойде почти безплатно. Ние вече поставяхме лещи на тези малки матрици, за да увеличим потока на светлина. В следващите Pixel Google планира да отиде по-далеч и да покрие четири фотодиода с леща.

Източник: 3dnews.ru