Нова статия: Компютърна фотография

Оригинал на статията е публикуван на сайта Вастрик.ру и е публикуван на 3DNews с разрешение на автора. Предоставяме пълния текст на статията, с изключение на множеството линкове — те ще бъдат полезни за тези, които сериозно се интересуват от темата и искат да изучат теоретичните аспекти на изчислителната фотография по-дълбоко, но за широка публика счистахме този материал за излишен.  

Днес нито една презентация на смартфон не минава без преглед на камерата му. Всеки месец чуваме за нов успех на мобилните камери: Google обучава Pixel да снима в тъма, Huawei постига оптична увеличителна способност, Samsung влага лидар, а Apple прави най-окръглените в света ъгли. Много малко места сега могат да се похвалят с толкова масивни иновации.

Зеркалните камери обаче изглежда остават на едно място. Sony всяка година осипва всички с нови матрици, а производителите лениво обновяват последната цифра на версията и продължават небрежно да пушат отстрани. Имам на бюрото си огледална камера за $3000, но на пътуване взимам айфон. Защо?

Както казва класикът — излязох в интернет с този въпрос. Там обсъждат някакви "алгоритми" и "невронни мрежи", без да имат представа как конкретно те влияят на фотографията. Журналистите шумно съобщават за броя на мегапикселите, блогърите хорово правят платени анбоксинги, а естетите се потапят в "чувственото възприятие на цветната палитра на матрицата". Всичко е както обикновено.

Приходи ми се да седна, да прекарам половината си живот и сам да се занимавам с всичко. В тази статия ще разкрия какво научих.

⇡#Какво е изчислителната фотография?

Навсякъде, включително във википедия, дават приблизително такова определение: изчислителната фотография — всякакви техники за улавяне и обработка на изображения, при които вместо оптични преобразувания се използват цифрови изчисления. В него всичко е наред, освен факта, че не обяснява нищо. То обхваща дори автофокуса, но не включва пленоптиката, която вече ни е донесла много полезно. Неяснотата на официалните определения малко като че намеква, че нямаме идея за какво говорим.

Пионер на компютърната фотография, професорът от Станфорд Марк Левой (който в момента е отговорен за камерата в Google Pixel) предлага друго определение – набор от методи за компютърна визуализация, които подобряват или разширяват възможностите на цифровата фотография, при които получаваме обикновена снимка, която не би могла технически да бъде заснета с тази камера по традиционен начин. В статията се придържам точно към неговото определение.

И така, всичко е заради смартфоните.

Смартфоните нямат избор, освен да вдъхнат живот на нов вид фотография – компютърна.

Техните малки шумни сензори и миниатюрни обективи с ниска светлосила по всички физически закони трябваше да причиняват само болка и страдание. И действително причиняваха, докато разработчиците не измислиха как да използват силните им страни, за да преодолеят слабостите – бързи електронни затвори, мощни процесори и софтуер.

Повечето от значимите изследвания в областта на компютърната фотография са между 2005 и 2015 година, което в науката се счита буквално за вчера. В момента пред нашите очи и в джобовете ни се развива нова област от знания и технологии, каквато никога не е съществувала.

Компютърната фотография не е само селфита с неон-боке. Н 최근ната снимка на черна дупка нямаше да се появи без методите на компютърната фотография. За да заснемем такава снимка с обикновен телескоп, трябваше да го направим с размерите на Земята. Обаче, като комбинирахме данни от осем радиотелескопа на различни места по нашата топка и написахме малко скриптове на Python, получихме първото в света изображение на хоризонта на събитията. И за селфита също ще свърши работа.

⇡#Начало: цифрова обработка

Представете си, че се връщаме в 2007 година. Нашата мама е анархия, а нашите снимки са шумни 0,6-Мп джипег формати, заснети на скейтборд. Приблизително тогава се появява първото неудържимо желание да добавим влияния, за да прикрием бедността на мобилните сензори. Да не се лишаваме от това.

⇡#Матан и Instagram

С излизането на Instagram всички полудяха по филтрите. Като човек, който в свое време е реверс-инженерил X-Pro II, Lo-Fi и Valencia в, разбира се, изследователски (хех) цели, все още помня, че се състоят от три компонента:

• Настройки на цвета (Hue, Saturation, Lightness, Contrast, Levels и т.н.) — простички цифрови коефициенти, точно като в каквито и да е пресети, които фотографите са използвали от древни времена.
• Картите за картографиране на нюанси (Tone Mapping) — вектори със стойности, от които всяка заявява: „Червеният цвят с нюанс 128 трябва да бъде преобразуван в нюанс 240.“
• Оверлеят — полупрозрачни картинки с прах, зърно, винетиране и всичко останало, което може да се наложи отгоре за получаване на далеч не банален ефект на стара лента. Не винаги е бил наличен.   

Съвременните филтри не са много по-далеч от тази троица, а само са станали малко по-сложни математически. С появата на хардуерни шейдъри и OpenCL на смартфоните, бяха бързо пренаписани за GPU, и това се смяташе за изключително готино. За 2012 година, разбира се. Днес всеки ученик може да направи същото с CSS и той все пак няма да получи нищо на завършването си.

Но напредъкът на филтрите днес не е спряло. Хората от Dehancer, например, отлично се справят с нелинейните филтри — вместо пролетарското тон-мapping те използват по-сложни нелинейни преобразувания, които, според тях, отварят много повече възможности.

С нелинейните преобразувания може да се направи много, но те са невероятно сложни, а ние, хората, сме невероятно глупави. Веднага щом науката стигне до нелинейни преобразувания, предпочитаме да се насочим към числени методи и да натъпчем навсякъде невронни мрежи, за да пишат шедеври вместо нас. Същото беше и тук.

⇡#Автоматика и мечти за бутон „шедевър“

Когато всички свикнаха с филтрите, започнахме да ги вграждаме направо в камерите. Историята крие кой точно производител е бил първият, но за разбиране колко отдавна е било — в iOS 5.0, която излезе чак през 2011 година, вече имаше публичен API за Авто подобряване на изображения. Само на Джобс е известно колко долго е бил използван преди публичното си разкритие.

Автоматиката правеше точно това, което всеки от нас прави, отваряйки снимка в редактора — издърпваше провали в светлината и сенките, увеличаваше сатурацията, премахваше червените очи и коригираше цвета на лицето. Потребителите дори не подозираха, че „драматично подобрената камера“ в новия смартфон бе само заслуга на няколко нови шейдъра. Оставаха още пет години до излизането на Google Pixel и началото на хайпа около изчислителната фотография.

Днес битките за бутона „шедьовър“ преминаха в света на машинното обучение. След като се поиграха с тоновата мапинг, всички се втурнаха да обучават CNN и GAN, за да движат плъзгачите вместо потребителя. С други думи, по входното изображение да се определи набор от оптимални параметри, които да приближат това изображение до някакво субективно разбиране за „добра снимка“. Реализирано е в същия Pixelmator Pro и в други редактори. Работи, както може да се предположи, не много добре и не винаги. 

⇡#Стекването — 90% от успеха на мобилните камери

Истинската изчислителна фотография започна със стекването — наслагването на няколко снимки една върху друга. За смартфона не е проблем да направи десетина кадри за половин секунда. В техните камери няма бавни механични части: диафрагмата е фиксирана, а вместо движеща се завеса — електронен затвор. Процесорът просто командва матрицата колко микросекунди да улавя дивите фотони, а самият той обработва резултата.

Технически телефонът може да снима снимки със скорост на видео, а видеото с резолюция на снимка, но всичко опира до скоростта на шина и процесор. Затова винаги поставят софтуерни ограничения.

Самото стекване е с нас отдавна. Още предици поставяха плъгини в Photoshop 7.0, за да съберат няколко снимки в ярък HDR или да съединят панорама 18000 × 600 пиксела и… всъщност никой така и не измисли какво да прави с тях после. Бяха богати времена, жалко че дики.

Сега ние сме пораснали и го наричаме „епсилон-фотография“ — когато, променяйки един от параметрите на камерата (експозиция, фокус, позиция) и комбинирайки получените кадри, получаваме нещо, което не би могло да бъде заснето с един кадър. Но това е термин за теоретици, на практика обаче се установи другото наименование — стекване. Днес всъщност 90% от всички иновации в мобилните камери се основават на него.

Нещо, за което много хора не се замислят, но то е важно за разбирането на цялата мобилна и изчислителна фотография: камерата в съвременния смартфон започва да прави снимки веднага, щом отворите приложението ѝ. Както е логично, тя трябва да предава изображение на екрана. Въпреки това, освен на екрана, тя запазва кадри с висока резолюция в собствен буфер, където ги съхранява още няколко секунди.

Когато натискате бутона „снимайте снимка“ — всъщност снимката вече е направена, камерата просто взима последната снимка от буфера.

Днес така работи всяка мобилна камера. Най-малко при всички флагмани, а не от боклуците. Буферирането позволява да се реализира не просто нулево закъснение на затвора, което фотографите мечтаят отдавна, а дори отрицателно — при натискане на бутона смартфонът надниква в миналото, изтегля 5-10 последни снимки от буфера и започва неуморно да ги анализира и комбинира. Не е нужно повече да чакате, докато телефонът завърти кадри за HDR или нощен режим, — просто вземете ги от буфера, потребителят дори няма да разбере.

Между прочим, именно с помощта на отрицателното закъснение на затвора е реализацията на Live Photo в айфоните, а в HTC подобно беше изработено още през 2013 година под странното име Zoe.

⇡#Стекинг по експозиция — HDR и борба с колебанията в яркостта

Способни ли са матриците на фотоапаратите да фиксират целия диапазон на яркост, достъпен за нашето око, — старата и гореща тема за спорове. Някои казват, че не, защото окото е способно да вижда до 25 f-стопа, докато дори от топовата фуллфрейм матрица може да се изцеди максимум 14. Други твърдят, че сравнението не е коректно, тъй като на окото му помага мозъкът, който автоматично регулира зеницата и сглобява изображението със своите невронни мрежи, а моментният динамичен диапазон на окото всъщност не е по-голям от 10-14 f-стопа. Оставяме тези спорове на най-добрите дивани мислители в интернет.

Фактът остава факт: когато снимате приятели на фона на яркото небе без HDR на всяка мобилна камера, получавате или нормално небе и черни лица на приятелите, или изрисувани приятели, но изгоряло до смърт небе.

Решението е открито отдавна — да се разширява диапазонът на яркостта с помощта на HDR (High dynamic range). Трябва да се направят няколко кадъра с различно време на експонация и да се слепят заедно. Единият да бъде „нормален“, вторият по-светъл, третият по-тъмен. Вземаме тъмните места от светлия кадър, пренасищанията запълваме от тъмния — печалба. Остава само да решим задачата за автоматичното експониране — колко да се премести експозицията на всеки кадър, за да не се прекали, но с определянето на средната яркост на картината сега може да се справи второкурсник от техническия университет.

На последните iPhone, Pixel и Galaxy режимът HDR се активира автоматично, когато прост алгоритъм в камерата установи, че снимате нещо контрастно в слънчев ден. Можете дори да забележите как телефонът превключва режима на запис в буфера, за да запази кадри с коригирана експозиция — fps в камерата спада, а изображението става по-наситено. Моментът на превключване е ясно видим на моя iPhone X, когато снимам навън. Обърнете внимание на смартфона си и следващия път.

Недостатък на HDR с експозиционен брекетинг е неговата напълно безпомощна способност при лошо осветление. Дори при светлина от настолна лампа кадрите излизат толкова тъмни, че компютърът не може да ги подравни и слепи. За решаване на проблема със светлината през 2013 година Google показа различен подход към HDR с излязлия тогава смартфон Nexus. Той използва времево стекиране.

⇡#Времево стекиране — симулация на дълга експозиция и таймлапс

Времевото стекиране позволява да получите дълга експозиция, използвайки серия от кратки. Пионери в това бяха любители, които снимаха следи от звезди на нощното небе и които не можеха да оставят затвора отворен веднага за два часа. Беше трудно предварително да се изчислят всички настройки, а от малкото разклащане целият кадър излизаше развален. Те решиха да отварят затвора само за няколко минути, но много пъти, а след това се прибираха у дома и лепяха получените кадри в Photoshop.

Получава се, че камерата всъщност никога не е снимала с дълга експозиция, но получавахме ефект на нейната симулация, комбинирайки няколко последователно направени кадри. За смартфони отдавна са написани много приложения, които използват този трик, но всичките са ненужни, откакто функцията беше добавена в почти всичките стандартни камери. Днес дори айфон лесно ще слепи дълга експозиция от Live Photo.

Да се върнем към Google с неговия нощен HDR. Оказа се, че с времеви брекетинг може да се реализира уютен HDR в тъма. Технологията за първи път се появи в Nexus 5 и се наричаше HDR+. Останалите телефони с Android я получиха като подарък. Технологията е толкова популярна, че се хвалят дори в презентацията на последните Pixel.

HDR+ работи сравнително пр Simply: след като установи, че снимате в тъмнина, камерата извърля от буфера 8-15 последни снимки в RAW формат, за да ги наложи една върху друга. По този начин алгоритъмът събира повече информация за тъмните участъци на кадъра, за да минимизира шума — пиксели, където по някакви причини камерата не е могла да събере цялата информация и е допуснала грешка.

Както ако не знаете как изглежда капибара и помолите петима души да я опишат — техните разкази биха били приблизително еднакви, но всеки би споменал някакъв уникален детайл. Така ще съберете повече информация, отколкото просто ако питате един човек. Същото е и с пикселите.

Сложението на кадри, заснети от една точка, дава същия фалшив ефект на дълга експозиция като звездите по-горе. Експозицията на десетки кадри се сумира, грешките в един се минимизират в другите. Представете си колко пъти би трябвало да щракнете механизма на огледалната камера, за да постигнете такова.

Оставаше само да решим проблема с автоматичната цветова корекция — кадрите, заснети в тъмнина, обикновено излизат изцяло жълти или зелени, а ние като че ли искаме наситеността на дневната светлина. В ранните версии на HDR+ това се решаваше с простото настройване на параметри, като в Instagram-филтрите. По-късно на помощ дойдоха невронните мрежи.

Така се появи Night Sight — технологията за "нощна фотография" в Pixel 2 и 3. В описанието така и се казва: "Техники за машинно обучение, изградени върху HDR+, които правят Night Sight да работи". Всъщност това е автоматизация на етапа на цветова корекция. Машината е обучена с набор от снимки "преди" и "след", за да преобразува всякакъв набор от тъмни, неудачни снимки в една красива.

Наборът от данни, между другото, е публикуван в открит достъп. Може би момчетата от Apple ще го вземат и най-накрая ще научат своите стъклени метли как да снимат нормално в тъмнина.

В допълнение, в Night Sight се използва изчисление на вектора на движение на обектите в кадъра, за да нормализира размазванията, които неизменно се получават при дълга експозиция. По този начин смартфонът може да вземе ясни части от други кадри и да ги залепи.

⇡#Стигането по движение — панорама, супер-зум и борба с шума.

Панорамата е популярно развлечение на жителите на селските райони. На този етап не се знае за случай, в който сосискофотката да е била интересна за някого, освен за нейния автор, но е невъзможно да не споменем за нея — за много от тях именно от тук е започнал стекингът.

Първият полезен начин за приложение на панорамата е получаването на снимка с по-висока резолюция, отколкото позволява матрицата на камерата, чрез свързване на няколко кадъра. Фотографите отдавна използват различен софтуер за така наречените снимки с суперразрешение — когато леко изместените снимки се допълват помежду си между пикселите. По този начин може да се получи изображение с дори стотици гигапиксели, което е доста полезно, ако трябва да го разпечатате на рекламно платно с размерите на къща.

Друг, вече по-интензивен подход, е Pixel Shifting. Някои безогледални камери от типа на Sony и Olympus започнаха да го поддържат още от 2014 година, но за да се свърже резултатът, все пак трябваше да се прави ръчно. Типични иновации на големите камери.

Смартфоните обаче постигнаха успех тук по смешна причина — когато правите снимка, ръцете ви треперят. Тази на пръв поглед проблема легна в основата на реализацията на родното суперразрешение в смартфоните.

За да разберем как работи това, трябва да си спомним как е устроена матрицата на всяка камера. Всеки нейни пиксел (фотодиод) е способен да фиксира само интензивността на светлината — т.е. количеството фотони, които влизат. Въпреки това, пикселът не може да измери цвета му (дължината на вълната). За да получим RGB-картинка, се наложи и тук да се наложат множество компромиси — да покрием цялата матрица с мрежа от разноцветни стъкълца. Най-популярната ѝ реализация се нарича Байеров филтър и се използва днес в повечето матрици. Изглежда като на картинката по-долу.

Оказва се, че всеки пиксел на матрицата хваща само R-, G- или B-компонента, тъй като останалите фотони безмилостно се отразяват от Байеровия филтър. Липсващите компоненти той разпознава чрез грубо средно аритметично на стойностите на съседните пиксели.

Зелените клетки в Байерския филтър са повече — направено е по аналогия с човешкото око. Така че от 50 милиона пиксела на матрицата, зелен цвят ще улавя 25 милиона, червеният и синият — по 12,5 милиона. Останалото ще бъде усреднено — този процес се нарича дебайеризация или демозаик, и е един такъв смешен аксесоар, на който всичко се крепи.

Наистина, всяка матрица има свой хитър запатентован алгоритъм за демозаикиране, но в рамките на тази история ще го пренебрегнем.

Други типове матрици (като Foveon) все още не са особено популярни. Въпреки това, някои производители се опитват да използват матрици без Байерски филтър за подобряване на остротата и динамичния диапазон.

Когато светлината е малко или детайлите на обекта са много малки, губим много информация, защото Байерският филтър мачка досадно фотоните с нежелана дължина на вълната. Затова е измислено Pixel Shifting — да се премества матрицата с 1 пиксел нагоре-надолу-наляво-надясно, за да ги уловим всички. Снимката не става 4 пъти по-голяма, както може да изглежда, просто процесорът използва тези данни, за да запише по-точно стойността на всеки пиксел. Усреднява не по съседите, така да се каже, а по четирите стойности на самия себе си.

Треперенето на ръцете ни при снимане с телефон прави този процес естествено следствие. В последните версии на Google Pixel, тази функция е реализирана и се включва винаги, когато използвате зума на телефона — нарича се Super Res Zoom (да, и на мен ми харесва тяхното безпощадно именуване). Китайците също го копираха в своите телефони, макар че стана малко по-лошо.

Наложението на малко изместени снимки позволява да се събере повече информация за цвета на всеки пиксел, а това значи да се намалят шумовете, да се увеличи остротата и да се повиши резолюцията, без да се увеличава физическото число на мегапикселите на матрицата. Съвременните Android флагмани правят това автоматично, докато потребителите дори не се замислят за него.

⇡#Стекинг по фокус — всяка дълбочина на резкость и рефокусиране в постпродукция

Методът произхожда от макроснимането, където малката дълбочина на полето винаги е била проблем. За да бъде целият обект на фокус, е било необходимо да се направят няколко снимки с преместване на фокуса напред-назад, след което да се комбинират в едно остро изображение. Същият метод често е използван и от любители на пейзажната фотография, правейки преден и заден план остри като диария.

Всичко това също премина и на смартфоните, макар и без особено шум. През 2013 г. излиза Nokia Lumia 1020 с „Refocus App“, а през 2014 г. и Samsung Galaxy S5 с режим „Selective Focus“. Те работеха по един и същи модел: с натискане на бутона бързо правеха 3 фотографии - една с „нормален“ фокус, втора с преместен напред и трета с преместен назад. Програмата подравняваше кадрите и позволяваше да се избере един от тях, което се представяше като „истинско“ управление на фокуса в постпродукцията.

Не е имало никаква допълнителна обработка, тъй като дори този прост трик е бил достатъчен, за да натъкми още един гвоздей в ковчега на Lytro и аналогични устройства с техния честен рефокус. Между другото, ще поговорим за тях (майстори на преходите 80 ниво).

⇡#Визуални матрици - светлинни полета и пленоптика

Както видяхме по-горе, нашите матрици са ужас на патерици. Просто сме свикнали и се опитваме да живеем с тях. По своето устройство те не са се променили много от самото начало. Единствено усъвършенстваме технологичния процес - намаляваме разстоянието между пикселите, борим се с шума и добавяме специални пиксели за работа на фазовия автофокус. Но просто е необходимо да вземете дори най-скъпата професионална камера и да опитате да снимате бягаща котка при стайна осветеност - котката, меко казано, ще спечели.

Отдавна се опитваме да измислим нещо по-добро. Много опити и изследвания в тази област могат да бъдат намерени под запитване „computational sensor“ или „non-bayer sensor“, и дори примерът с Pixel Shifting по-горе може да се отнесе към опити за подобряване на матриците с помощта на изчисления. Въпреки това, най-обещаващите истории през последните двадесет години идват именно от света на т.нар. пленоптични камери.

За да не заспите от предвкушението на предстоящите сложни термини, ще споделя информация, че камерата на последните Google Pixel е „малко“ пленоптична. Няма много пиксели, но дори това й позволява да изчислява честната оптична дълбочина на кадъра и без втора камера, както при всички останали.

Пленоптиката е мощно оръжие, което все още не е изстреляно. Ще дам връзка на една от моите любими последни статии за възможностите на пленоптичните камери и нашето бъдеще с тях, от която взех примери.

⇡#

Пленоптичната камера — скоро ще има всяка

Създадена през 1994 г., сглобена в Станфорд през 2004 г. Първата потребителска камера — Lytro, издадена през 2012 г. С подобни технологии в момента активно експериментира VR индустрията.

От обикновената камера пленоптичната се отличава само с една модификация — матрицата в нея е покрита с мрежа от лещи, всяка от които обхваща няколко реални пиксела. Нещо такова:

ако правилно се изчисли разстоянието от мрежата до матрицата и размерът на диафрагмата, в крайното изображение ще се получат ясни клъстери от пиксели — мини версии на оригиналното изображение.

Оказва се, че ако вземем по един централен пиксел от всеки клъстер и сглобим картинката само по тях — тя няма да се отличава от направената с обикновена камера. Да, малко сме загубили в резолюцията, но просто ще помолим Sony да добавят още мегапиксели в новите матрици.

Забавлението обаче едва сега започва. ако вземем друг пиксел от всеки клъстер и отново сглобим картината — отново ще получите нормална фотография, но сякаш направена с изместване с един пиксел. По този начин, имайки клъстери 10 × 10 пиксела, ще получим 100 изображения на обекта от "малко" различни точки.

Колкото по-голям е размерът на клъстера — толкова повече изображения, но по-малко резолюция. В света на смартфоните с 41-мегапикселови матрици можем леко да пренебрегнем резолюцията, но всичко има граница. Трябва да се запази баланс.

Окей, сглобихме пленоптична камера и какво ни дава това?

Честен рефокус

Функция, за която всички журналисти говореха в статиите за Lytro, — възможността за честна корекция на фокуса в постпродукцията. Под честна имаме предвид, че не прилагаме всякакви алгоритми за премахване на размазване, а използваме единствено наличните пиксели, избирайки или среднявайки ги от клъстерите в нужния ред.

RAW снимката от пленоптичната камера изглежда странно. За да получим познатия остър JPEG, първо трябва да я съберем. За това трябва да изберем всеки пиксел от JPEG от един от кластерите на RAW. В зависимост от начина, по който ще ги изберем, резултатът ще се променя.

Например, колкото по-далеч е кластерът от мястото на падане на оригиналния лъч, толкова повече този лъч ще бъде разфокусиран. Защото това е оптика. За да получим изображение с изместена фокусировка, просто трябва да изберем пикселите на желаното от нас разстояние от оригиналния – или по-близо, или по-далече.

С изместването на фокуса към себе си беше по-трудно – физически в кластерите имаше по-малко такива пиксели. Първоначално разработчиците дори не искаха да дават възможност на потребителя да фокусира ръчно – камерата сама решаваше това програмно. Потребителите не харесаха такова бъдеще, затова функцията беше добавена в по-късни фърмуерни версии, наречена „креативен режим“, но рефокусирането беше силно ограничено точно по тази причина.

Карта на дълбочината и 3D от една камера   

Една от най-простите операции в пленоптиката е получаването на карта на дълбочината. За това трябва просто да съберем два различни кадъра и да изчислим, колко са изместени обектите на тях. По-голямо изместване – по-далеч от камерата.

Неотдавна Google купи и уби Lytro, но използва тяхната технология за своя VR и… за камерата в Pixel. Започвайки от Pixel 2, камерата за пръв път стана „малко“ пленоптична, макар и с клъстери от само два пиксела. Това позволи на Google да не поставя втора камера, както правят всички останали, а да изчислява картата на дълбочината изключително на базата на една снимка.

Картата на дълбочината се изгражда на базата на два кадъра, изместени на един субпиксел. Това е напълно достатъчно, за да изчислим бинарна карта на дълбочината и да отделим преден фон от заден, като размажем последния в модното в момента боке. Резултатът от такова разграничение допълнително се изглажда и „подобрява“ от невронни мрежи, обучени да подобряват картите на дълбочината (а не да размиват, както много хора си мислят).

Другият момент е, че пленоптиката в смартфоните ни стана почти безплатна. Вече поставяхме лещи на тези миниатюрни матрици, за да увеличим потока на светлина. В следващите Pixel Google планира да отиде по-далече и да покрие четири фотодиода с леща.

Източник: 3dnews.ru