Нова статия: Компютърна фотография

Оригиналната статия е публикувана на сайта Vastrik.ru и публикувано в 3DNews с разрешението на автора. Предоставяме пълния текст на статията, с изключение на огромен брой връзки - те ще бъдат полезни за тези, които сериозно се интересуват от темата и биха искали да проучат по-задълбочено теоретичните аспекти на компютърната фотография, но ние взехме предвид този материал е излишен за широка публика.  

Днес нито едно представяне на смартфон не е завършено, без да оближе камерата му. Всеки месец чуваме за нов успех на мобилните камери: Google учи Pixel как да снима на тъмно, Huawei увеличава като бинокъл, Samsung поставя лидар, а Apple прави най-закръглените ъгли в света. Малко са местата, където иновациите текат толкова смело сега.

Огледалата в същото време сякаш отбелязват времето. Sony обсипва всички с нови матрици всяка година, а производителите мързеливо актуализират последната цифра на версията и продължават да пушат спокойно встрани. Имам DSLR за $3000 на бюрото си, но когато пътувам, вземам iPhone. Защо?

Както каза класикът, отидох онлайн с този въпрос. Там се обсъждат някакви „алгоритми“ и „невронни мрежи“, без да се знае как точно влияят на фотографията. Журналистите шумно четат броя на мегапикселите, блогърите в хор виждат платени разопаковки, а естетите се мажат с „чувствено възприемане на цветовата палитра на матрицата“. Всичко е както обикновено.

Трябваше да седна, да прекарам половината си живот и да го разбера сам. В тази статия ще ви разкажа какво научих.

#Какво е компютърна фотография?

Навсякъде, включително Wikipedia, дават нещо подобно: компютърната фотография е всяка техника за заснемане и обработка на изображения, където се използват цифрови изчисления вместо оптични трансформации. Всичко в него е добро, с изключение на това, че не обяснява нищо. Дори автофокусът се побира под него, но пленоптиците, които вече ни донесоха много полезни неща, не се побират. Неяснотата на официалните дефиниции като че ли подсказва, че нямаме представа за какво говорим.

Пионерът в компютърната фотография Станфордският професор Марк Левой (който сега отговаря за камерата в Google Pixel) дава различно определение – набор от техники за компютърно изобразяване, които подобряват или разширяват възможностите на цифровата фотография, която, когато се използва, води до редовно снимка, която технически не може да бъде направена с този фотоапарат по традиционния начин. В статията се придържам към него.

И така, смартфоните бяха виновни за всичко.

Смартфоните нямаха друг избор, освен да дадат живот на нов вид фотография: компютърна фотография.

Техните малки шумящи матрици и миниатюрни безапертурни лещи по всички закони на физиката трябваше да носят само болка и страдание. Те го направиха, докато техните разработчици не измислиха как да използват умно силните им страни, за да преодолеят слабостите си - бързи електронни щори, мощни процесори и софтуер.

Нова статия: Компютърна фотография

Най-известните изследвания в областта на изчислителната фотография попадат в периода 2005-2015 г., който в науката се счита буквално за вчера. Точно сега, пред очите ни и в джобовете ни, се развива нова област от знания и технологии, които никога не са съществували.

Компютърната фотография не е само невро-боке селфита. Скорошната снимка на черна дупка не би била възможна без техники за изчислителна фотография. За да направим такава снимка с конвенционален телескоп, ще трябва да го направим с размерите на Земята. Въпреки това, чрез комбиниране на данните от осем радиотелескопа в различни точки на нашия балон и писане на някои скриптове на Python, ние получихме първата в света снимка на хоризонта на събитията. Става и за селфита.

Нова статия: Компютърна фотография

#Начало: цифрова обработка

Да си представим, че сме върнали 2007-ма. Нашата майка е анархия и нашите снимки са шумни 0,6MP джипове, заснети на скейтборд. Горе-долу по това време имаме първото неустоимо желание да им насипем предварително зададени настройки, за да скрием окаяността на мобилните матрици. Нека не се отричаме.

Нова статия: Компютърна фотография

#матан и инстаграм

С пускането на Instagram всички са обсебени от филтрите. Като човек, който е реконструирал X-Pro II, Lo-Fi и Valencia за, разбира се, изследователски (ek) цели, все още си спомням, че те се състоят от три компонента:

  • Настройките на цвета (Hue, Saturation, Lightness, Contrast, Levels и т.н.) са прости цифрови съотношения, точно като всяка предварителна настройка, която фотографите са използвали от древни времена.
  • Tone Mappings - вектори от стойности, всеки от които ни каза: "Червено с нюанс 128 трябва да се превърне в нюанс 240."
  • Overlay - полупрозрачна картина с прах, зърно, винетка и всичко останало, което може да се насложи отгоре, за да се получи ефектът на стар филм, който не е никак банален. Не винаги присъстваше.   

Съвременните филтри не са далеч от тези три, само че са станали малко по-сложни в математиката. С навлизането на хардуерните шейдъри и OpenCL на смартфоните, те бързо бяха пренаписани за GPU и се смяташе за изключително готино. За 2012 г. разбира се. Днес всеки студент може да направи същото в CSS и пак няма да стигне до дипломирането.

Въпреки това напредъкът на филтрите днес не е спрял. Момчетата от Dehanser например са страхотни в нелинейните филтри - вместо пролетарски тон-картографиране, те използват по-сложни нелинейни трансформации, което според тях отваря много повече възможности.

Много неща могат да се направят с нелинейни трансформации, но те са невероятно сложни, а ние, хората, сме невероятно тъпи. Щом става въпрос за нелинейни трансформации в науката, ние предпочитаме да се занимаваме с числени методи и да тъпчем невронни мрежи навсякъде, за да ни пишат шедьоври. И тук беше същото.

#Автоматизация и мечти за бутона "шедьовър".

След като всички свикнаха с филтрите, започнахме да ги вграждаме направо в камерите. Историята крие кой производител е първият, но само за да разберем колко отдавна е било - в iOS 5.0, която беше пусната още през 2011 г., вече имаше публичен API за автоматично подобряване на изображения. Само Джобс знае колко дълго е бил в употреба, преди да бъде пуснат на обществеността.

Автоматизацията направи същото като всеки от нас, отваряйки снимка в редактора - извади спадове в светлина и сенки, натрупа наситеност, премахна червени очи и фиксиран тен. Потребителите дори не знаеха, че „драстично подобрената камера“ в новия смартфон е заслуга само на няколко нови шейдъра. Минаха още пет години, преди Google Pixel да излезе на пазара и да започне шумът върху изчислителната фотография.

Нова статия: Компютърна фотография

Днес битките за бутона „шедьовър“ се преместиха в областта на машинното обучение. След като си поиграха достатъчно с тоналното картографиране, всички се втурнаха да обучават CNN и GAN да движат плъзгачите вместо потребителя. С други думи, използвайки входното изображение, определете набор от оптимални параметри, които биха доближили това изображение до някакво субективно разбиране за „добра фотография“. Внедрено в същия Pixelmator Pro и други редактори. Работи, както можете да предположите, не много и не винаги. 

#Подреждането е 90% от успеха на мобилната камера

Истинската изчислителна фотография започна с наслагване - наслагване на няколко снимки една върху друга. За смартфона не е проблем да заснеме дузина кадъра за половин секунда. В камерите им няма бавни механични части: диафрагмата е фиксирана, а вместо движеща се завеса има електронен затвор. Процесорът просто командва на матрицата колко микросекунди да улови диви фотони и чете самия резултат.

Технически, телефонът може да снима снимки с видео скорост и видео с фото резолюция, но всичко зависи от скоростта на шината и процесора. Следователно те винаги определят софтуерни ограничения.

Самото залагане е с нас от дълго време. дори баби и дядовци инсталираха плъгини на Photoshop 7.0, за да комбинират няколко снимки в привличащ вниманието HDR или да слепят една панорама с размери 18000 × 600 пиксела и ... всъщност никой не разбра какво да прави с тях след това. Богатите времена бяха, за съжаление, диви.

Сега сме станали възрастни и го наричаме „епсилон фотография“ - когато, променяйки един от параметрите на камерата (експозиция, фокус, позиция) и залепвайки получените кадри, получаваме нещо, което не може да бъде заснето в един кадър. Но това е термин за теоретици, но в практиката се е наложило друго наименование – залагане. Днес всъщност 90% от всички иновации в мобилните камери са изградени върху него.

Нова статия: Компютърна фотография

Нещо, за което мнозина не се замислят, но което е от съществено значение за разбирането на цялата мобилна и компютърна фотография: камерата на модерен смартфон започва да прави снимки веднага щом отворите нейното приложение. Което е логично, защото тя трябва по някакъв начин да пренесе изображението на екрана. Въпреки това, в допълнение към екрана, той записва кадри с висока разделителна способност в собствен кръгъл буфер, където ги съхранява за още няколко секунди.

При натискане на бутона "снимай" - реално вече е направена, камерата просто прави последната снимка от буфера.

Ето как работи всяка мобилна камера днес. Поне във всички флагмани, не от купищата боклук. Буферирането ви позволява да приложите не само нулево забавяне на затвора, за което фотографите са мечтали толкова дълго, но дори и отрицателно - когато натиснете бутона, смартфонът гледа в миналото, разтоварва последните 5-10 снимки от буфер и започва трескаво да ги анализира и лепи. Край на чакането телефонът да щрака кадри за HDR или нощен режим - просто ги вземете от буфера, потребителят дори няма да разбере.

Нова статия: Компютърна фотография

Между другото, именно с помощта на отрицателното забавяне на затвора Live Photo беше внедрено в iPhone, а HTC имаше нещо подобно през 2013 г. под странното име Zoe.

#Подреждане на експозицията - HDR и борбата с разликите в яркостта

Нова статия: Компютърна фотография

Дали матриците на камерата са в състояние да уловят целия диапазон от яркост, достъпен за очите ни, е стара гореща тема за дебат. Някои казват, че не, защото окото може да види до 25 f-стопа, докато дори най-добрата матрица с пълен кадър може да изобрази максимум 14. Други наричат ​​сравнението неправилно, защото мозъкът помага на окото, като автоматично настройва зеницата и завършване на изображението с неговите невронни мрежи, и незабавно динамичният обхват на окото всъщност е не повече от само 10-14 f-стопа. Нека оставим тези аргументи на най-добрите мислители в Интернет.

Фактът остава: когато снимате приятели срещу ярко небе без HDR на която и да е мобилна камера, получавате или нормално небе и черни лица на приятели, или нарисувани приятели, но небе, изгорено до смърт.

Решението отдавна е измислено - да се разшири обхватът на яркостта с помощта на HDR (Висок динамичен диапазон). Трябва да направите няколко снимки с различни скорости на затвора и да ги залепите. Така че единият е „нормален“, вторият е по-светъл, третият е по-тъмен. Взимаме тъмни места от светла рамка, запълваме преекспониране от тъмна - печалба. Остава само да се реши проблемът с автоматичния скоб - колко да се измести експозицията на всеки кадър, за да не се прекалява, но второкурсник от технически университет вече ще се справи с определянето на средната яркост на картината.

Нова статия: Компютърна фотография

При най-новите iPhone, Pixels и Galaxy HDR обикновено се включва автоматично, когато прост алгоритъм във фотоапарата определи, че снимате нещо с контраст в слънчев ден. Можете дори да забележите как телефонът превключва режима на запис към буфера, за да запази кадри, изместени в експозиция - fps пада в камерата, а самата снимка става по-сочна. Точката на превключване се вижда ясно на моя iPhone X при снимане на открито. Погледнете по-отблизо вашия смартфон следващия път.

Недостатъкът на HDR с клин на експозицията е неговата непроницаема безпомощност при лошо осветление. Дори под светлината на стайна лампа рамките са толкова тъмни, че компютърът не може да ги изправи и залепи. За да реши проблема със светлината през 2013 г., Google показа различен подход към HDR в пуснатия тогава смартфон Nexus. Той използва времево залагане.

#Натрупване на време - симулация на дълга експозиция и изтичане на времето

Нова статия: Компютърна фотография

Подреждането на времето ви позволява да получите дълга експозиция със серия от кратки експозиции. Пионерите бяха любители на заснемането на следи от звезди в нощното небе, за които беше неудобно да отварят затвора за два часа наведнъж. Беше толкова трудно да се изчислят всички настройки предварително и от най-малкото разклащане цялата рамка излезе развалена. Решиха да отворят капака само за няколко минути, но много пъти, след което се прибраха и поставиха получените кадри във Photoshop.

Нова статия: Компютърна фотография

Оказва се, че камерата всъщност никога не е снимала с ниска скорост на затвора, но получихме ефекта на нейната имитация, като добавихме няколко кадъра, заснети подред. За смартфони отдавна са написани куп приложения с този трик, но всички те не са необходими, тъй като функцията е добавена към почти всички стандартни камери. Днес дори iPhone може лесно да съедини дълга експозиция от Live Photo.

Нова статия: Компютърна фотография

Да се ​​върнем към Google с неговия нощен HDR. Оказа се, че с помощта на времеви скоби можете да реализирате добър HDR на тъмно. Технологията се появи за първи път в Nexus 5 и беше наречена HDR+. Останалите телефони с Android го получиха като подарък. Технологията все още е толкова популярна, че дори се възхвалява на презентациите на най-новите Pixels.

HDR+ работи съвсем просто: след като установи, че снимате на тъмно, камерата разтоварва последните 8-15 снимки в RAW от буфера, за да ги насложи една върху друга. Така алгоритъмът събира повече информация за тъмните зони на кадъра, за да минимизира шума – пикселите, където по някаква причина камерата не е успяла да събере цялата информация и е объркала.

Това е все едно, ако не знаете как изглежда капибара и помолите петима души да го опишат - техните истории ще бъдат почти еднакви, но всеки ще споменава някакъв уникален детайл. По този начин ще съберете повече информация, отколкото просто да попитате. Същото и с пикселите.

Добавянето на кадри, взети от една точка, дава същия фалшив ефект на дълга експозиция, както при звездите по-горе. Експозицията на десетки кадри се обобщава, грешките на един са сведени до минимум на други. Представете си колко пъти ще трябва да щракнете върху затвора на DSLR, за да постигнете това.

Нова статия: Компютърна фотография

Остава само да се реши проблемът с автоматичната корекция на цветовете - снимките, заснети на тъмно, обикновено се оказват жълти или зелени без изключение и ние искаме сочността на дневната светлина. В ранните версии на HDR + това беше решено чрез просто промяна на настройките, както във филтрите a la instagram. Тогава те повикаха на помощ невронни мрежи.

Ето как се появи Night Sight - технологията за „нощна фотография“ в Pixel 2 и 3. Описанието гласи така: „Техники за машинно обучение, изградени върху HDR +, които правят Night Sight работа“. Всъщност това е автоматизацията на етапа на корекция на цвета. Колата беше обучена на набор от данни от снимки „преди“ и „след“, за да се направи една красива от всеки набор от тъмни изкривени снимки.

Нова статия: Компютърна фотография

Между другото, наборът от данни беше публично достъпен. Може би момчетата от Apple ще го вземат и най-накрая ще научат своите стъклени лопати да стрелят правилно на тъмно.

Освен това Night Sight използва изчислението на вектора на движение на обектите в кадъра, за да нормализира замъгляването, което със сигурност ще се случи при бавни скорости на затвора. Така че смартфонът може да вземе ясни части от други рамки и да ги постави.

#Motion stacking - панорама, суперзум и намаляване на шума

Нова статия: Компютърна фотография

Панорамата е популярно забавление за хората от провинцията. Историята все още не познава случаи, когато снимка на наденица би била интересна за някой друг, освен за нейния автор, но е невъзможно да не го споменем - за мнозина залагането започна с това.

Нова статия: Компютърна фотография

Първият полезен начин за използване на панорама е да получите снимка с по-висока разделителна способност, отколкото позволява матрицата на камерата, като залепите няколко кадъра заедно. Фотографите отдавна използват различен софтуер за така наречените снимки със супер разделителна способност - когато леко изместените снимки изглежда се допълват една друга между пикселите. По този начин можете да получите изображение от поне стотици гигапиксели, което е доста полезно, ако трябва да го отпечатате върху рекламен плакат с размер на къща.

Нова статия: Компютърна фотография

Друг, по-интересен подход е Pixel Shifting. Някои безогледални фотоапарати като Sony и Olympus започнаха да го поддържат от 2014 г., но все още се принуждаваха да залепват резултата на ръка. Типични иновации за големи камери.

Смартфоните са успели тук по забавна причина - когато правите снимка, ръцете ви треперят. Този привидно проблем формира основата за внедряването на естествена супер разделителна способност на смартфони.

За да разберете как работи, трябва да запомните как е подредена матрицата на всяка камера. Всеки негов пиксел (фотодиод) може да записва само интензитета на светлината - тоест броя на фотоните, които са влетели. Един пиксел обаче не може да измери своя цвят (дължина на вълната). За да получа RGB изображение, трябваше да натрупам патерици и тук - покрих цялата матрица с решетка от многоцветно стъкло. Най-популярната реализация се нарича филтър на Байер и се използва в повечето матрици днес. Изглежда като снимката по-долу.

Нова статия: Компютърна фотография

Оказва се, че всеки пиксел от матрицата улавя само R-, G- или B-компонента, тъй като останалите фотони се отразяват безмилостно от филтъра на Байер. Той разпознава липсващите компоненти чрез грубо осредняване на стойностите на съседните пиксели.

Във филтъра на Байер има повече зелени клетки - това беше направено по аналогия с човешкото око. Оказва се, че от 50 милиона пиксела на матрицата, 25 милиона ще уловят зелено, по 12,5 милиона за червено и синьо.Останалото ще бъде осреднено - този процес се нарича дебайеризация или демомозайка и това е толкова дебела смешна патерица на на което всичко почива.

Нова статия: Компютърна фотография

Всъщност всяка матрица има свой хитър патентован алгоритъм за демозайка, но в рамките на тази история ние ще пренебрегнем това.

Други видове матрици (като Foveon) все още изобщо не са пуснали корени. Въпреки че някои производители се опитват да използват матрици без филтър на Bayer, за да подобрят остротата и динамичния диапазон.

Когато има малко светлина или детайлите на обекта са много малки, ние губим много информация, защото филтърът на Байер нагло отрязва фотони с неприемлива дължина на вълната. Затова им хрумва идеята да направят Pixel Shifting – изместване на матрицата с 1 пиксел нагоре-надолу-надясно-наляво, за да ги уловят всичките. Снимката не се оказва 4 пъти по-голяма, както може да изглежда, процесорът просто използва тези данни, за да запише по-точно стойността на всеки пиксел. Той не осреднява съседите, така да се каже, а четирите стойности на себе си.

Нова статия: Компютърна фотография

Треперенето на ръцете ни, когато снимаме с телефона си, прави този процес естествено следствие. В последните версии на Google Pixel това нещо е имплементирано и се включва винаги, когато използвате zoom на телефона – казва се Super Res Zoom (да, харесвам и безмилостното им именуване). Китайците също го копираха в своите лаофони, въпреки че се оказа малко по-зле.

Наслагването на леко изместени снимки една върху друга ви позволява да съберете повече информация за цвета на всеки пиксел, което означава намаляване на шума, увеличаване на остротата и повишаване на разделителната способност без увеличаване на физическия брой мегапиксели на матрицата. Съвременните флагмани на Android правят това автоматично, преди потребителите дори да се замислят за това.

#Натрупване на фокус - всякаква дълбочина на полето и префокусиране в постпродукцията

Нова статия: Компютърна фотография

Методът идва от макро фотографията, където плитката дълбочина на полето винаги е била проблем. За да бъде фокусиран целият обект, трябваше да направя няколко кадъра с изместване на фокуса напред и назад, за да ги свържа в един остър. Пейзажните фотографи често използват същия метод, правейки предния и задния план остри като диария.

Нова статия: Компютърна фотография

Всичко това се премести и в смартфоните, макар и без много шум. През 2013 г. Nokia Lumia 1020 излиза с „Refocus App“, а през 2014 г. Samsung Galaxy S5 излиза с режим „Селективен фокус“. Те работеха по една и съща схема: с натискане на бутон бързо правеха 3 снимки - едната с „нормален” фокус, втората с изместен напред и третата с изместен назад. Програмата подравнява кадрите и ви позволява да изберете един от тях, който беше рекламиран като "истински" контрол на фокуса в постпродукцията.

Нямаше допълнителна обработка, защото дори този прост хак беше достатъчен, за да забие още един пирон в корицата на Lytro и аналози с тяхното честно префокусиране. Между другото, нека поговорим за тях (transition master 80 lvl).

#Изчислителни матрици - светлинни полета и пленоптика

Както разбрахме по-горе, нашите матрици са ужас на патерици. Просто свикнахме с това и се опитваме да живеем с него. По отношение на тяхната структура те са се променили малко от началото на времето. Ние само подобрихме техническия процес - намалихме разстоянието между пикселите, борихме се с интерферентния шум, добавихме специални пиксели за автофокус с фазово откриване. Но си струва да вземете дори най-скъпия DSLR и да се опитате да заснемете бягаща котка върху него при стайно осветление - котката, меко казано, ще спечели.

Нова статия: Компютърна фотография

Дълго време се опитваме да измислим нещо по-добро. Много опити и изследвания в тази област се търсят в Google за „изчислителен сензор“ или „не-байеров сензор“ и дори примерът за преместване на пикселите по-горе може да се отдаде на опити за подобряване на матриците чрез изчисления. Но най-обещаващите истории през последните двадесет години идват при нас именно от света на така наречените пленоптични камери.

За да не заспите в очакване на предстоящи трудни думи, ще ви кажа вътрешен човек, че камерата на най-новите Google Pixels е просто „малко“ пленоптична. Само два пиксела, но дори това му позволява да изчисли честна оптична дълбочина на кадъра без втора камера, както всички останали.

Plenooptic е мощно оръжие, което все още не е стреляло. Ето линк към един от любимите ми скорошни статии за възможностите на пленоптичните камери и нашето бъдеще с тяхоткъдето взех примери.

#

Пленоптичната камера - скоро ще бъде всяка

Изобретен през 1994 г., сглобен в Станфорд през 2004 г. Първата потребителска камера, Lytro, беше пусната през 2012 г. VR индустрията активно експериментира с подобни технологии.

Пленоптичната камера се различава от конвенционалната камера само по една модификация - матрицата в нея е покрита с решетка от лещи, всяка от които покрива няколко реални пиксела. Нещо като това:

Нова статия: Компютърна фотография

ако изчислите правилно разстоянието от решетката до матрицата и размера на блендата, крайното изображение ще доведе до ясни клъстери от пиксели - един вид мини-версия на оригиналното изображение.

Оказва се, че ако вземете да речем по един централен пиксел от всеки клъстер и залепите снимката само върху тях, тя няма да се различава по нищо от тази, направена с обикновена камера. Да, загубихме малко в резолюцията, но просто ще помолим Sony да добави повече мегапиксели в нови матрици.

Нова статия: Компютърна фотография

Забавлението едва сега започва. ако вземете още един пиксел от всеки клъстер и отново залепите снимката, пак ще получите нормална снимка, само че сякаш е направена с отместване с един пиксел. Така, имайки клъстери от 10 × 10 пиксела, ще получим 100 изображения на обекта от „малко“ различни точки.

Нова статия: Компютърна фотография

По-големият размер на клъстера означава повече изображения, но по-малка разделителна способност. В света на смартфоните с 41-мегапикселови матрици, въпреки че можем малко да пренебрегнем резолюцията, всичко си има граници. Трябва да поддържаш баланс.

Добре, сглобихме пленоптична камера и какво ни дава това?

Честно префокусиране

Функцията, за която всички журналисти бръмчаха в статии за Lytro, беше възможността честно да се коригира фокусът в постпродукцията. Под честно имаме предвид, че не използваме никакви алгоритми за премахване на замъгляване, а използваме само наличните пиксели, като ги избираме или осредняваме от клъстери в правилния ред.

RAW снимка от пленоптична камера изглежда странно. За да получите обичайния остър джип от него, първо трябва да го съберете. За да направите това, трябва да изберете всеки пиксел на джипа от един от RAW клъстерите. В зависимост от това как ги избираме, резултатът ще се променя.

Например, колкото по-далеч е клъстерът от мястото, където падна първоначалният лъч, толкова повече този лъч е извън фокус. Защото оптика. За да получим разфокусирано изображение, просто трябва да изберем пиксели на нужното ни разстояние от оригинала – по-близо или по-далеч.

Нова статия: Компютърна фотография

 

По-трудно беше да преместиш фокуса върху себе си - чисто физически имаше по-малко такива пиксели в клъстерите. Първоначално разработчиците дори не искаха да дадат на потребителя възможност да се фокусира с ръцете си - самата камера реши това програмно. Потребителите не харесаха това бъдеще, тъй като в по-късния фърмуер беше добавена функция, наречена „творчески режим“, но префокусирането в него беше направено много ограничено точно поради тази причина.

Дълбочинна карта и 3D от една камера   

Една от най-простите операции в пленоптиците е получаването на карта на дълбочината. За да направите това, просто трябва да съберете две различни рамки и да изчислите как обектите се изместват върху тях. По-голямо изместване означава по-далеч от камерата.

Google наскоро купи и унищожи Lytro, но използва тяхната технология за своята VR и... за камерата на Pixel. Започвайки с Pixel 2, за първи път камерата стана „донякъде“ пленоптична, макар и с групи от само два пиксела. Това даде възможност на Google да не инсталира втора камера, както всички останали, а да изчисли картата на дълбочината само от една снимка.

Нова статия: Компютърна фотография

Нова статия: Компютърна фотография

Картата на дълбочината е изградена от два кадъра, изместени с един субпиксел. Това е напълно достатъчно, за да изчислите двоичната карта на дълбочината и да отделите предния план от фона и да го замъглите в модерното сега боке. Резултатът от такова наслояване все още се изглажда и „подобрява“ от невронни мрежи, които са обучени да подобряват картите на дълбочината (а не да размазват, както много хора мислят).

Нова статия: Компютърна фотография

Друг трик е, че получихме пленоптиците в смартфоните почти безплатно. Вече поставихме лещи на тези малки матрици, за да увеличим по някакъв начин светлинния поток. В следващия Pixel Google планира да отиде по-далеч и да покрие четири фотодиода с леща.

Източник: 3dnews.ru

Добавяне на нов коментар