Oryginał artykułu został opublikowany na stronie internetowej i opublikowane w 3DNews za zgodą autora. Podajemy pełny tekst artykułu, za wyjątkiem ogromnej liczby linków - przydadzą się one tym, którzy poważnie interesują się tematem i chcieliby głębiej zgłębić teoretyczne aspekty fotografii obliczeniowej, ale dla ogółu odbiorców, uznaliśmy ten materiał za zbędny.
Dziś żadna prezentacja smartfona nie jest kompletna bez polizania jego aparatu. Co miesiąc słyszymy o kolejnych sukcesach aparatów mobilnych: Google uczy Pixela strzelać w ciemności, Huawei przybliżania jak lornetka, Samsung wstawia lidar, a Apple robi najbardziej zaokrąglone zakręty świata. Niewiele jest obecnie miejsc, w których innowacje przepływają tak szybko.
Jednocześnie lustra zdają się odmierzać czas. Sony co roku zasypuje wszystkich nowymi matrycami, a producenci leniwie aktualizują cyfrową wersję najnowszej wersji i dalej odpoczywają i palą na uboczu. Mam na biurku lustrzankę cyfrową za 3000 dolarów, ale kiedy podróżuję, zabieram ze sobą iPhone'a. Dlaczego?
Jak powiedział klasyk, udałem się do Internetu z tym pytaniem. Tam omawiają pewne „algorytmy” i „sieci neuronowe”, nie mając pojęcia, jak dokładnie wpływają one na fotografię. Dziennikarze głośno odczytują liczbę megapikseli, blogerzy zgodnie piją płatne unboxingi, a esteci smarują się „zmysłowym postrzeganiem palety barw matrycy”. Wszystko jest jak zwykle.
Musiałem usiąść, spędzić połowę życia i samemu to wszystko przemyśleć. W tym artykule opowiem Ci, czego się dowiedziałem.
Czym jest fotografia obliczeniowa?
Wszędzie, łącznie z Wikipedią, podają mniej więcej taką definicję: fotografia obliczeniowa to dowolna technika przechwytywania i przetwarzania obrazu, która wykorzystuje przetwarzanie cyfrowe zamiast transformacji optycznych. Wszystko w tym jest dobre, z wyjątkiem tego, że niczego nie wyjaśnia. Nadaje się do tego nawet autofokus, ale plenooptyka, która przyniosła nam już wiele przydatnych rzeczy, nie pasuje. Niejasność oficjalnych definicji zdaje się sugerować, że nie mamy pojęcia, o czym mówimy.
Pionier fotografii obliczeniowej, profesor Stanforda Marc Levoy (obecnie odpowiedzialny za aparat w Google Pixel) podaje inną definicję - zbiór metod wizualizacji komputerowej poprawiających lub rozszerzających możliwości fotografii cyfrowej, za pomocą których uzyskuje się zwykłe zdjęcie, które technicznie nie dało się tego zrobić aparatem w tradycyjny sposób. W artykule się tego trzymam.
Zatem wszystkiemu winne były smartfony.
Smartfony nie miały innego wyjścia, jak tylko stworzyć nowy rodzaj fotografii: fotografię obliczeniową.
Ich małe, hałaśliwe matryce i maleńkie obiektywy o wolnej przysłonie, zgodnie ze wszystkimi prawami fizyki, powinny były przynieść jedynie ból i cierpienie. Robili tak, dopóki ich twórcy nie wymyślili, jak sprytnie wykorzystać ich mocne strony, aby pokonać słabości – szybkie elektroniczne migawki, potężne procesory i oprogramowanie.
Większość głośnych badań w dziedzinie fotografii obliczeniowej miała miejsce w latach 2005–2015, co w nauce uważa się za dosłownie wczoraj. Właśnie teraz, na naszych oczach i w naszych kieszeniach, rozwija się nowa dziedzina wiedzy i technologii, która nigdy wcześniej nie istniała.
Fotografia obliczeniowa to nie tylko selfie z neuro-bokeh. Niedawne zdjęcie czarnej dziury nie byłoby możliwe bez technik fotografii obliczeniowej. Aby zrobić takie zdjęcie zwykłym teleskopem musielibyśmy zrobić je wielkości Ziemi. Jednak łącząc dane z ośmiu radioteleskopów w różnych punktach naszej kuli i pisząc kilka skryptów w Pythonie, uzyskaliśmy pierwszą na świecie fotografię horyzontu zdarzeń. Dobry także do selfie.
Początek: obróbka cyfrowa
Wyobraźmy sobie, że wróciliśmy do roku 2007. Nasza matka to anarchia, a nasze zdjęcia to hałaśliwe 0,6-megapikselowe jeepy zrobione na deskorolce. Mniej więcej wtedy pojawia się pierwsza nieodparta chęć obsypania ich presetami, by ukryć nędzę mobilnych matryc. Nie odmawiajmy sobie.
Matana i Instagrama
Wraz z pojawieniem się Instagrama wszyscy zaczęli mieć obsesję na punkcie filtrów. Jako osoba, która dokonała inżynierii wstecznej X-Pro II, Lo-Fi i Valencia oczywiście w celach badawczych, wciąż pamiętam, że składały się one z trzech komponentów:
- Ustawienia kolorów (Barwa, Nasycenie, Jasność, Kontrast, Poziomy itp.) - proste cyfrowe współczynniki, dokładnie takie same jak wszelkie gotowe ustawienia, których fotografowie używali od czasów starożytnych.
- Tone Mappings to wektory wartości, z których każdy mówi nam: „Kolor czerwony o odcieniu 128 należy zamienić na odcień 240”.
- Nakładka to półprzezroczysty obraz z kurzem, ziarnem, winietą i wszystkim innym, co można nałożyć na wierzch, aby uzyskać wcale nie banalny efekt starego filmu. Nie zawsze był obecny.
Nowoczesne filtry nie są daleko od tego trio, stały się jedynie nieco bardziej złożone w matematyce. Wraz z pojawieniem się sprzętowych shaderów i OpenCL na smartfonach, szybko zostały one przepisane na GPU, co uznano za szalenie fajne. Oczywiście za rok 2012. Dziś każdy student może zrobić to samo w CSS, a i tak nie będzie miał szansy ukończyć studiów.
Jednak postęp filtrów nie zatrzymał się dzisiaj. Chłopaki z Dehansera np. świetnie radzą sobie z filtrami nieliniowymi – zamiast proletariackiego mapowania tonów stosują bardziej złożone transformacje nieliniowe, co ich zdaniem otwiera znacznie więcej możliwości.
Za pomocą transformacji nieliniowych można zrobić wiele rzeczy, ale są one niezwykle złożone, a my, ludzie, jesteśmy niesamowicie głupi. Jeśli chodzi o nieliniowe przemiany w nauce, wolimy sięgać po metody numeryczne i wpychać wszędzie sieci neuronowe, aby pisały za nas arcydzieła. Tutaj było tak samo.
Automatyzacja i marzenia o przycisku „arcydzieło”.
Kiedy już wszyscy przyzwyczaili się do filtrów, zaczęliśmy montować je bezpośrednio w kamerach. Historia ukrywa, który producent był pierwszy, ale żeby zrozumieć, jak dawno to było - w iOS 5.0, wydanym w 2011 roku, istniało już publiczne API do automatycznego poprawiania obrazów. Tylko Jobs wie, jak długo był używany przed udostępnieniem go zwiedzającym.
Automatyzacja zrobiła to samo, co każdy z nas robi otwierając zdjęcie w edytorze - wyciągnęła luki w światłach i cieniach, dodała nasycenia, usunęła zaczerwienienia oczu i utrwaliła karnację. Użytkownicy nawet nie zdawali sobie sprawy, że „dramatycznie ulepszony aparat” w nowym smartfonie to właśnie zasługa kilku nowych shaderów. Do premiery Google Pixel i rozpoczęcia się szumu wokół fotografii obliczeniowej pozostało jeszcze pięć lat.
Dziś walka o przycisk „arcydzieło” przeniosła się na obszar uczenia maszynowego. Po wystarczającej zabawie z mapowaniem tonów wszyscy rzucili się do szkolenia CNN i GAN, aby zamiast użytkownika przesuwały suwaki. Innymi słowy, z obrazu wejściowego należy określić zestaw optymalnych parametrów, które przybliżą ten obraz do pewnego subiektywnego rozumienia „dobrej fotografii”. Zaimplementowano w tym samym Pixelmator Pro i innych edytorach. To działa, jak można się domyślić, niezbyt dobrze i nie zawsze.
Układanie w stosy to 90% sukcesu kamer mobilnych
Prawdziwa fotografia obliczeniowa zaczęła się od układania w stosy – nakładania wielu fotografii jedna na drugą. Dla smartfona klikanie kilkunastu klatek w pół sekundy nie stanowi żadnego problemu. Ich aparaty nie mają powolnych części mechanicznych: przysłona jest stała, a zamiast ruchomej kurtyny jest elektroniczna migawka. Procesor po prostu nakazuje matrycy, ile mikrosekund powinna wyłapać dzikie fotony i odczytuje wynik.
Technicznie rzecz biorąc, telefon może robić zdjęcia z prędkością wideo, a wideo w rozdzielczości fotograficznej, ale wszystko zależy od szybkości magistrali i procesora. Dlatego zawsze ustalają limity programu.
Samo staking towarzyszy nam już od dawna. Nawet dziadkowie zainstalowali wtyczki w Photoshopie 7.0, aby złożyć kilka zdjęć w przyciągający wzrok HDR lub połączyć panoramę o rozdzielczości 18000 × 600 pikseli i… tak naprawdę nikt nie wiedział, co z nimi dalej zrobić. Szkoda, że czasy były bogate i dzikie.
Teraz dorośliśmy i nazywamy to „fotografią epsilon” – gdy zmieniając jeden z parametrów aparatu (ekspozycja, ostrość, położenie) i łącząc powstałe klatki, otrzymujemy coś, czego nie da się uchwycić w jednym kadrze. Ale to określenie dla teoretyków, w praktyce zakorzeniła się inna nazwa – tyczenie. Dziś tak naprawdę na nim opiera się 90% wszystkich innowacji w aparatach mobilnych.
Coś, o czym wiele osób nie myśli, ale jest ważne dla zrozumienia całej fotografii mobilnej i komputerowej: aparat nowoczesnego smartfona zaczyna robić zdjęcia natychmiast po otwarciu aplikacji. Co jest logiczne, bo trzeba jakoś przenieść obraz na ekran. Jednak oprócz ekranu zapisuje klatki o wysokiej rozdzielczości we własnym buforze pętli, gdzie przechowuje je jeszcze przez kilka sekund.
Kiedy naciśniesz przycisk „zrób zdjęcie”, faktycznie jest ono już zrobione, aparat po prostu pobiera ostatnie zdjęcie z bufora.
Tak działa dziś każda mobilna kamera. Przynajmniej we wszystkich flagowcach nie ze śmietnika. Buforowanie pozwala zrealizować nie tylko zerowe opóźnienie migawki, o którym fotografowie od dawna marzyli, ale nawet negatywne - po naciśnięciu przycisku smartfon zagląda w przeszłość, wyładowuje z bufora ostatnie 5-10 zdjęć i zaczyna gorączkowo analizować i wklej je. Koniec z czekaniem, aż telefon kliknie klatki w trybie HDR lub nocnym – po prostu wyjmij je z bufora, użytkownik nawet się nie dowie.
Nawiasem mówiąc, za pomocą ujemnego opóźnienia migawki Live Photo jest wdrażane w iPhone'ach, a HTC miał coś podobnego w 2013 roku pod dziwną nazwą Zoe.
Stakowanie ekspozycji - HDR i zwalczanie zmian jasności
To, czy czujniki aparatu są w stanie uchwycić cały zakres jasności dostępny dla naszych oczu, jest starym, gorącym tematem debaty. Niektórzy twierdzą, że nie, bo oko jest w stanie dostrzec aż 25 przysłon, podczas gdy nawet z topowej, pełnoklatkowej matrycy można uzyskać maksymalnie 14. Inni uważają, że porównanie jest błędne, bo mózg pomaga oku, dostosowując się automatycznie źrenicy i uzupełnienia obrazu jej sieciami neuronowymi, i moment Zakres dynamiczny oka w rzeczywistości nie przekracza 10-14 stopni przysłony. Zostawmy tę debatę najlepszym fotelowym myślicielom w Internecie.
Fakt pozostaje faktem: fotografując znajomych na tle jasnego nieba bez HDR dowolnym aparatem mobilnym, otrzymujesz albo normalne niebo i czarne twarze przyjaciół, albo dobrze narysowanych przyjaciół, ale niebo spalone na śmierć.
Rozwiązanie zostało wynalezione już dawno - poszerzenie zakresu jasności za pomocą HDR (High Dynamic Range). Musisz zrobić kilka klatek przy różnych czasach otwarcia migawki i połączyć je ze sobą. Żeby jeden był „normalny”, drugi jaśniejszy, trzeci ciemniejszy. Z jasnej ramki bierzemy ciemne miejsca, z ciemnej uzupełniamy prześwietlenia - zysk. Pozostało jeszcze rozwiązać problem automatycznego Braketingu – o ile przesunąć ekspozycję każdej klatki, aby nie przesadzić, ale teraz student drugiego roku politechniki poradzi sobie z określeniem średniej jasności zdjęcia.
Na najnowszych iPhone'ach, Pixelach i Galaxy tryb HDR jest zazwyczaj włączany automatycznie, gdy prosty algorytm w aparacie wykryje, że fotografujesz coś z kontrastem w słoneczny dzień. Można nawet zauważyć, jak telefon przełącza tryb nagrywania na bufor, aby zapisywać klatki przesunięte w ekspozycji – spada liczba klatek na sekundę w aparacie, a samo zdjęcie staje się bardziej soczyste. Moment przełączenia jest wyraźnie widoczny na moim iPhonie X podczas filmowania w plenerze. Następnym razem również przyjrzyj się bliżej swojemu smartfonowi.
Wadą HDR z stopniowaniem ekspozycji jest jego nieprzenikniona bezradność przy słabym oświetleniu. Nawet przy świetle lampy w pomieszczeniu ramki okazują się tak ciemne, że komputer nie jest w stanie ich wyrównać i zszyć. Aby rozwiązać problem światła, w 2013 roku Google pokazał inne podejście do HDR w wypuszczonym wówczas smartfonie Nexus. Używał kumulowania czasu.
Time stacking - symulacja długiego naświetlania i upływu czasu
Time stacking umożliwia utworzenie długich ekspozycji przy użyciu serii krótkich. Pionierzy byli miłośnikami fotografowania śladów gwiazd na nocnym niebie, dla których niewygodne było otwieranie migawki na dwie godziny jednocześnie. Trudno było wcześniej obliczyć wszystkie ustawienia, a najmniejsze potrząśnięcie psułoby cały kadr. Postanowili otworzyć migawkę tylko na kilka minut, ale wiele razy, a potem wrócili do domu i wkleili powstałe klatki w Photoshopie.
Okazuje się, że aparat tak naprawdę nigdy nie robił zdjęć z długim czasem otwarcia migawki, ale efekt jego symulacji uzyskaliśmy, dodając kilka klatek wykonanych pod rząd. Od dawna istnieje wiele aplikacji na smartfony, które korzystają z tej sztuczki, ale nie wszystkie są potrzebne, ponieważ funkcja ta została dodana do prawie wszystkich standardowych aparatów. Dziś nawet iPhone może z łatwością połączyć długie czasy naświetlania ze zdjęcia na żywo.
Wróćmy do Google’a z jego nocnym HDR. Okazało się, że za pomocą nawiasu czasowego można zaimplementować dobry HDR w ciemności. Technologia ta pojawiła się po raz pierwszy w Nexusie 5 i nosiła nazwę HDR+. Reszta telefonów z Androidem otrzymała go jak w prezencie. Technologia ta jest wciąż na tyle popularna, że chwalono ją nawet w prezentacji najnowszych Pixeli.
HDR+ działa po prostu: po ustaleniu, że fotografujesz w ciemności, aparat pobiera z bufora ostatnie 8–15 zdjęć RAW, aby nałożyć je jedno na drugie. Dzięki temu algorytm zbiera więcej informacji o ciemnych obszarach kadru, aby zminimalizować szumy – piksele, w których z jakiegoś powodu aparat nie był w stanie zebrać wszystkich informacji i poszedł nie tak.
To tak, jakbyś nie wiedział, jak wygląda kapibara i poprosił pięć osób o jej opisanie, ich historie byłyby mniej więcej takie same, ale każda wspomniałaby o jakimś unikalnym szczególe. W ten sposób zgromadzisz więcej informacji, niż tylko zadając pytanie. Podobnie jest z pikselami.
Dodanie klatek wykonanych z jednego punktu daje taki sam efekt fałszywego długiego naświetlania, jak w przypadku gwiazd powyżej. Sumuje się ekspozycję kilkudziesięciu klatek, w innych minimalizuje się błędy w jednej. Wyobraź sobie, ile razy musiałbyś kliknąć migawkę lustrzanki cyfrowej, aby to osiągnąć.
Pozostało tylko rozwiązać problem automatycznej korekcji kolorów – kadry robione w ciemności zwykle wychodzą na żółto lub zielono, a nam zależy na bogactwie światła dziennego. We wczesnych wersjach HDR+ rozwiązano ten problem, po prostu modyfikując ustawienia, jak w przypadku filtrów a la Instagram. Następnie wezwali na pomoc sieci neuronowe.
Tak pojawił się Night Sight, czyli technologia „fotografii nocnej” w Pixelach 2 i 3. W opisie napisano: „Techniki uczenia maszynowego zbudowane na bazie HDR+, dzięki którym Night Sight działa”. W istocie jest to automatyzacja etapu korekcji kolorów. Maszyna została przeszkolona na zestawie danych obejmującym zdjęcia „przed” i „po”, aby z dowolnego zestawu ciemnych, krzywych zdjęć stworzyć jedno piękne.
Nawiasem mówiąc, zbiór danych został udostępniony publicznie. Może chłopaki z Apple'a to wezmą i wreszcie nauczą swoje szklane łopaty prawidłowego robienia zdjęć w ciemności.
Ponadto Night Sight wykorzystuje obliczenia wektora ruchu obiektów w kadrze, aby znormalizować rozmycie, które z pewnością wystąpi przy długim czasie otwarcia migawki. Smartfon może więc wyjąć przezroczyste części z innych ramek i je skleić.
Motion stacking – panorama, superzoom i redukcja szumów
Panorama to popularna rozrywka mieszkańców obszarów wiejskich. Historia nie zna jeszcze przypadków, w których zdjęcie kiełbasy zainteresowałoby kogokolwiek innego niż jego autora, ale nie można go zignorować – dla wielu to właśnie od niego zaczęło się układanie.
Pierwszym użytecznym sposobem wykorzystania panoramy jest uzyskanie zdjęcia o wyższej rozdzielczości niż pozwala na to matryca aparatu poprzez złączenie ze sobą kilku klatek. Fotografowie od dawna używają różnych programów do tworzenia tak zwanych zdjęć o super rozdzielczości, gdy lekko przesunięte zdjęcia wydają się uzupełniać wzajemnie między pikselami. W ten sposób można uzyskać obraz o wielkości co najmniej setek gigapikseli, co jest bardzo przydatne, jeśli trzeba wydrukować go na plakacie reklamowym wielkości domu.
Innym, bardziej interesującym podejściem jest przesuwanie pikseli. Niektóre aparaty bezlusterkowe, takie jak Sony i Olympus, zaczęły wspierać tę funkcję już w 2014 roku, ale nadal musiały kleić wynik ręcznie. Typowe innowacje w zakresie dużych aparatów.
Smartfony odniosły tu sukces z zabawnego powodu – gdy robisz zdjęcie, ręce się trzęsą. Ten pozornie problem stał się podstawą do wdrożenia natywnej super rozdzielczości w smartfonach.
Aby zrozumieć, jak to działa, trzeba pamiętać, jak zbudowana jest matryca dowolnego aparatu. Każdy z jego pikseli (fotodioda) jest w stanie zarejestrować jedynie natężenie światła – czyli liczbę przychodzących fotonów. Jednakże piksel nie jest w stanie zmierzyć swojego koloru (długości fali). Aby uzyskać obraz RGB, tutaj także musieliśmy dodać kule – całą matrycę pokryć siatką z wielobarwnych kawałków szkła. Jego najpopularniejsza implementacja nazywa się filtrem Bayera i jest obecnie używana w większości macierzy. Wygląda jak na zdjęciu poniżej.
Okazuje się, że każdy piksel matrycy wychwytuje tylko składową R, G lub B, gdyż pozostałe fotony są bezlitośnie odbijane przez filtr Bayera. Rozpoznaje brakujące elementy poprzez dosadne uśrednianie wartości sąsiednich pikseli.
W filtrze Bayera jest więcej zielonych komórek - zrobiono to analogicznie do ludzkiego oka. Okazuje się, że z 50 milionów pikseli na matrycy zielony uchwyci 25 milionów, czerwony i niebieski - po 12,5 miliona.Reszta zostanie uśredniona - proces ten nazywa się debayeryzacją lub demozaicją i to jest taka gruba śmieszna kula w którym wszystko odpoczywa.
Tak naprawdę każda matryca ma swój własny, sprytny, opatentowany algorytm demozaikowania, ale na potrzeby tej historii pominiemy to.
Inne typy macierzy (takie jak Foveon) jakoś jeszcze się nie przyjęły. Chociaż niektórzy producenci starają się stosować czujniki bez filtra Bayera, aby poprawić ostrość i zakres dynamiki.
Kiedy jest mało światła lub szczegóły obiektu są bardzo małe, tracimy wiele informacji, ponieważ filtr Bayera rażąco odcina fotony o niepożądanej długości fali. Dlatego wymyślili Pixel Shifting – przesunięcie matrycy o 1 piksel góra-dół-prawo-lewo, aby uchwycić je wszystkie. W tym przypadku zdjęcie nie okazuje się 4 razy większe, jak mogłoby się wydawać, procesor po prostu wykorzystuje te dane, aby dokładniej zapisać wartość każdego piksela. Średnio nie przewyższa swoich sąsiadów, że tak powiem, ale ponad cztery wartości siebie.
Drżenie rąk podczas robienia zdjęć telefonem sprawia, że proces ten jest naturalną konsekwencją. W najnowszych wersjach Google Pixel ta funkcja jest zaimplementowana i włącza się za każdym razem, gdy używasz zoomu w telefonie – nazywa się to Super Res Zoom (tak, podoba mi się też ich bezlitosne nazewnictwo). Chińczycy też to przepisali na swoje laofony, choć wyszło trochę gorzej.
Nakładanie na siebie lekko przesuniętych zdjęć pozwala zebrać więcej informacji o kolorze każdego piksela, co oznacza redukcję szumów, zwiększenie ostrości i podniesienie rozdzielczości bez zwiększania fizycznej liczby megapikseli matrycy. Nowoczesne flagowce z Androidem robią to automatycznie, a ich użytkownicy nawet o tym nie myślą.
Fokusowanie – dowolna głębia ostrości i zmiana ostrości w postprodukcji
Metoda ta wywodzi się z makrofotografii, gdzie mała głębia ostrości zawsze była problemem. Aby cały obiekt był ostry, trzeba było wykonać kilka klatek z przesuwaniem ostrości tam i z powrotem, a następnie zszyć je w jedną ostrą. Tę samą metodę często stosowali fotografowie krajobrazu, sprawiając, że pierwszy plan i tło były ostre jak biegunka.
Wszystko to przeniosło się także na smartfony, choć bez większego szumu. W 2013 roku na rynek trafiła Nokia Lumia 1020 z aplikacją „Refocus App”, a w 2014 roku Samsung Galaxy S5 z trybem „Selective Focus”. Działali według tego samego schematu: naciskając przycisk, szybko robili 3 zdjęcia - jedno z „normalną” ostrością, drugie z ostrością przesuniętą do przodu i trzecie z ostrością przesuniętą do tyłu. Program dopasowywał klatki i pozwalał wybrać jedną z nich, co było reklamowane jako „prawdziwa” kontrola ostrości w postprodukcji.
Nie było dalszej obróbki, ponieważ nawet ten prosty hack wystarczył, aby wbić kolejny gwóźdź w pokrywę Lytro i jego rówieśników dzięki ich uczciwemu ponownemu skupieniu. Swoją drogą porozmawiajmy o nich (mistrz przejścia 80 lvl).
Macierze obliczeniowe - pola świetlne i plenooptyka
Jak zrozumieliśmy powyżej, nasze matryce to horror o kulach. Przyzwyczailiśmy się do tego i staramy się z tym żyć. Ich struktura niewiele się zmieniła od zarania dziejów. Udoskonaliliśmy jedynie proces techniczny - zmniejszyliśmy odległość między pikselami, walczyliśmy z szumem zakłócającym i dodaliśmy specjalne piksele do autofokusa z detekcją fazową. Ale jeśli weźmiesz nawet najdroższą lustrzankę cyfrową i spróbujesz sfotografować z nią biegnącego kota w oświetleniu pokojowym - kot, delikatnie mówiąc, wygra.
Długo próbowaliśmy wymyślić coś lepszego. Wiele prób i badań w tej dziedzinie jest wyszukiwanych w Google pod hasłami „czujnik obliczeniowy” lub „czujnik inny niż Bayer”, a nawet powyższy przykład przesunięcia pikseli można przypisać próbom ulepszenia matryc za pomocą obliczeń. Jednak najbardziej obiecujące historie ostatnich dwudziestu lat dotarły do nas właśnie ze świata tzw. kamer plenoptycznych.
Abyście nie zasnęli z oczekiwania na zbliżające się skomplikowane słowa, dorzucę wtajemniczonemu, że aparat najnowszego Google Pixela jest po prostu „lekko” plenoptyczny. Tylko dwa piksele, ale i to pozwala obliczyć prawidłową głębię optyczną kadru nawet bez drugiego aparatu, jak wszyscy.
Plenooptyka to potężna broń, która jeszcze nie wystrzeliła. Oto link do jednego z moich ulubionych ostatnio. , skąd zapożyczyłem przykłady.
Kamera plenooptyczna - już wkrótce
Wynaleziony w 1994 r., zebrany w Stanford w 2004 r. Pierwszy aparat konsumencki, Lytro, został wypuszczony na rynek w 2012 roku. Branża VR aktywnie eksperymentuje obecnie z podobnymi technologiami.
Kamera plenoptyczna różni się od aparatu konwencjonalnego tylko jedną modyfikacją – jej matrycę pokryto siatką soczewek, z których każdy obejmuje kilka rzeczywistych pikseli. Coś takiego:
Jeśli poprawnie obliczysz odległość siatki od matrycy i wielkość apertury, końcowy obraz będzie miał wyraźne skupiska pikseli - coś w rodzaju mini wersji oryginalnego obrazu.
Okazuje się, że jeśli z każdego klastra weźmiemy powiedzmy po jednym centralnym pikselu i skleimy obraz tylko za ich pomocą, nie będzie on różnił się od tego, który robimy zwykłym aparatem. Tak, straciliśmy trochę na rozdzielczości, ale po prostu poprosimy Sony o dodanie większej liczby megapikseli w nowych matrycach.
Zabawa dopiero się zaczyna. jeśli z każdego skupiska weźmiesz po jednym pikselu i ponownie połączysz zdjęcie, otrzymasz znowu normalne zdjęcie, tylko tak, jakby zostało zrobione z przesunięciem o jeden piksel. Zatem mając skupiska o wymiarach 10×10 pikseli, otrzymamy 100 obrazów obiektu z „nieco” różnych punktów.
Większy rozmiar klastra oznacza więcej obrazów, ale niższą rozdzielczość. W świecie smartfonów z 41-megapikselowymi matrycami, choć możemy nieco zaniedbać rozdzielczość, wszystko ma swoje granice. Trzeba zachować równowagę.
OK, zmontowaliśmy kamerę plenoptyczną, więc co nam to daje?
Szczere ponowne skupienie
Cechą, o której szumili wszyscy dziennikarze w artykułach o Lytro, była możliwość uczciwego dostosowania ostrości w postprodukcji. Przez uczciwe rozumiemy, że nie używamy żadnych algorytmów usuwających rozmycie, ale wykorzystujemy wyłącznie dostępne piksele, wybierając lub uśredniając je z klastrów w wymaganej kolejności.
Fotografia RAW z aparatu plenoptycznego wygląda dziwnie. Aby wyciągnąć z niego zwykłego, ostrego jeepa, musisz go najpierw złożyć. Aby to zrobić, musisz wybrać każdy piksel jeepa z jednego z klastrów RAW. W zależności od tego jak je wybierzemy, efekt będzie się zmieniał.
Na przykład, im dalej gromada znajduje się od punktu padania pierwotnej wiązki, tym bardziej jest ona nieostra. Ponieważ optyka. Aby uzyskać obraz z przesuniętą ostrością, wystarczy wybrać piksele w żądanej odległości od oryginału – bliżej lub dalej.
Trudniej było przenieść ostrość na siebie - czysto fizycznie, takich pikseli było mniej w klastrach. Początkowo twórcy nie chcieli nawet dać użytkownikowi możliwości ustawiania ostrości za pomocą rąk – sam aparat decydował o tym w oprogramowaniu. Użytkownikom nie podobała się ta przyszłość, więc w późniejszym oprogramowaniu dodali funkcję zwaną „trybem kreatywnym”, ale właśnie z tego powodu ponowne ustawianie ostrości było w niej bardzo ograniczone.
Mapa głębi i obraz 3D z jednej kamery
Jedną z najprostszych operacji w plenooptyce jest uzyskanie mapy głębi. Aby to zrobić, wystarczy zebrać dwie różne klatki i obliczyć, jak bardzo przesunięte są znajdujące się w nich obiekty. Większe przesunięcie oznacza większą odległość od aparatu.
Google niedawno kupił i zabił Lytro, ale wykorzystał ich technologię do swojej VR i… aparatu Pixel. Począwszy od Pixela 2, aparat po raz pierwszy stał się „nieznacznie” plenoptyczny, aczkolwiek ze skupiskami składającymi się tylko z dwóch pikseli. Dało to Google możliwość nie instalowania drugiej kamery, jak wszyscy inni, ale obliczenie mapy głębi wyłącznie na podstawie jednego zdjęcia.
Mapa głębi zbudowana jest z dwóch klatek przesuniętych o jeden subpiksel. To wystarczy, aby obliczyć binarną mapę głębi i oddzielić pierwszy plan od tła i rozmyć to drugie w modnym obecnie bokeh. Wynik takiego nakładania warstw jest również wygładzany i „poprawiany” przez sieci neuronowe, które są wytrenowane w celu poprawy map głębi (a nie rozmycia, jak wielu ludzi myśli).
Rzecz w tym, że plenooptykę dostaliśmy w smartfonach niemal za darmo. Na te maleńkie matryce umieściliśmy już soczewki, aby w jakiś sposób zwiększyć strumień świetlny. W kolejnym Pixelu Google planuje pójść dalej i zasłonić soczewką cztery fotodiody.
Źródło: 3dnews.ru