Der Originalartikel ist auf der Website veröffentlicht und mit Genehmigung des Autors auf 3DNews publiziert. Wir stellen den vollständigen Text des Artikels zur Verfügung, mit Ausnahme der zahlreichen Links - diese sind für diejenigen nützlich, die ernsthaft an dem Thema interessiert sind und die theoretischen Aspekte der computergestützten Fotografie vertiefen möchten, aber für ein breiteres Publikum hielten wir dieses Material für überflüssig.
Heute kommt keine Smartphone-Präsentation ohne das Hervorheben der Kamera aus. Jeden Monat hören wir von den neuesten Errungenschaften mobiler Kameras: Google lehrt Pixel, im Dunkeln zu fotografieren, Huawei zoomt wie ein Fernglas, Samsung integriert LiDAR und Apple kreiert die rundesten Ecken der Welt. Innovationsströme fließen derzeit kaum an einem anderen Ort so üppig.
DSLR-Kameras scheinen hingegen stagnierend zu sein. Sony bringt jährlich neue Sensoren auf den Markt, während die Hersteller die letzte Versionsnummer träge aktualisieren und weiterhin entspannt im Hintergrund verweilen. Ich habe eine DSLR für 3.000 $ auf meinem Tisch liegen, aber auf Reisen nehme ich ein iPhone mit. Warum?
Wie ein Klassiker schon sagte: Ich bin mit dieser Frage ins Internet gegangen. Dort diskutiert man über irgendwelche „Algorithmen“ und „neuronale Netzwerke“, ohne zu verstehen, wie sie konkret die Fotografie beeinflussen. Journalisten zählen laut die Megapixel, während Blogger im Chor bezahlte Unboxings drehen, und Ästheten sich mit der „sensiblen Wahrnehmung der Farbtöne der Matrix“ schmücken. Alles wie gewohnt.
Ich musste mich hinsetzen, die Hälfte meines Lebens opfern und alles selbst herausfinden. In diesem Artikel werde ich mitteilen, was ich gelernt habe.
Was ist rechnergestützte Fotografie?
Überall, auch in Wikipedia, findet man ungefähr folgende Definition: Rechnergestützte Fotografie umfasst alle Techniken zur Aufnahme und Bearbeitung von Bildern, bei denen anstelle optischer Umwandlungen digitale Berechnungen verwendet werden. An sich ist die Definition in Ordnung, nur erklärt sie nichts. Autofokus fällt darunter, aber die Plenoptic-Optik, die uns bereits viel Nützliches gebracht hat, passt nicht hinein. Die Unschärfe offizieller Definitionen deutet darauf hin, dass wir keine Ahnung haben, wovon wir sprechen.
Der Pionier der Computerfotografie, Stanford-Professor Marc Levoy (der momentan die Kamera bei Google Pixel verantwortet), präsentiert eine andere Definition – eine Reihe von Methoden der Computervisualisierung, die die Möglichkeiten der digitalen Fotografie verbessern oder erweitern. Dabei entsteht ein typisches Foto, das technisch gesehen mit diesem Kameramodell auf herkömmliche Weise nicht aufgenommen werden konnte. In diesem Artikel folge ich genau seiner Argumentation.
Also waren die Smartphones schuld.
Die Smartphones hatten keine andere Wahl, als eine neue Art der Fotografie ins Leben zu rufen – die rechnergestützte.
Ihre kleinen, rauschenden Sensoren und winzigen, lichtschwachen Objektive sollten gemäß den physikalischen Gesetzen nur Schmerz und Leid erzeugen. Dies taten sie auch, bis die Entwickler es schafften, clever ihre Stärken zu nutzen, um die Schwächen zu überwinden – schnelle elektronische Verschlüsse, leistungsstarke Prozessoren und Software.
Die meisten bedeutenden Forschungen im Bereich der Computerfotografie stammen aus den Jahren 2005 bis 2015, was in der Wissenschaft buchstäblich gestern ist. Gerade jetzt entwickelt sich vor unseren Augen und in unseren Taschen ein neues Wissens- undTechnologiefeld, das es so noch nie gegeben hat.
Computerfotografie ist mehr als nur Selfies mit einem neurotischen Bokeh. Das kürzlich aufgenommene Bild schwarzer Löcher wäre ohne Methoden der Computerfotografie nicht möglich gewesen. Um ein solches Foto mit einem herkömmlichen Teleskop zu machen, müssten wir es so groß wie die Erde bauen. Doch indem wir Daten von acht Radioteleskopen an verschiedenen Punkten unseres Planeten kombiniert und ein paar Skripte in Python geschrieben haben, haben wir das erste Bild des Ereignishorizonts der Welt erhalten. Auch für Selfies ist es nützlich.
Einführung: digitale Bildbearbeitung
Stellen wir uns vor, wir wären im Jahr 2007 zurück. Unsere Mutter ist Anarchie, und unsere Fotos sind rauschende 0,6-MP-JPEGs, die auf einem Skateboard aufgenommen wurden. Ungefähr zu dieser Zeit entsteht das erste unwiderstehliche Verlangen, Presets darüber zu legen, um die Armut mobiler Sensoren zu verbergen. Lassen wir uns nicht davon abhalten.
Matan und Instagram
Mit dem Aufkommen von Instagram haben sich alle in die Filter verliebt. Als jemand, der einst X-Pro II, Lo-Fi und Valencia reverse-engineered hat – selbstverständlich zu Forschungszwecken – erinnere ich mich noch daran, dass sie aus drei Komponenten bestanden:
- Farbeinstellungen (Hue, Saturation, Lightness, Contrast, Levels usw.) – einfache digitale Koeffizienten, genau wie in jedem Preset, das Fotografen seit jeher verwenden.
- Ton-Mapping-Karten – Vektoren von Werten, von denen jeder uns sagte: „Die rote Farbe mit dem Wert 128 soll in die Nuance 240 umgewandelt werden.“
- Overlays – halbtransparente Bilder mit Staub, Körnung, Vignettierung und allem anderen, was man darüberlegen kann, um einen nicht ganz banalen Effekt alter Filme zu erzielen. Diese waren nicht immer vorhanden.
Moderne Filter sind nicht viel weiter von diesem Trio entfernt und haben nur mathematisch etwas komplexere Ansätze. Mit der Einführung von Hardware-Shadern und OpenCL auf Smartphones wurden sie schnell für die GPU neu geschrieben, was damals als unglaublich cool galt. Für das Jahr 2012 war das natürlich eine Sensation. Heute kann jedes Kind so etwas in CSS erstellen, und es wird nie Anerkennung zum Abschluss bekommen.
Der Fortschritt bei den Filtern hat jedoch heute nicht haltgemacht. Die Leute von Dehancer sind beispielsweise sehr kreativ mit nichtlinearen Filtern — anstelle von proletarischem Tone-Mapping verwenden sie komplexere nichtlineare Transformationen, die, wie sie sagen, viel mehr Möglichkeiten eröffnen.
Mit nichtlinearen Transformationen kann man eine Menge anstellen, aber sie sind unglaublich komplex, und wir Menschen sind unglaublich begrenzt. Sobald es in der Wissenschaft um nichtlineare Transformationen geht, ziehen wir es vor, auf numerische Methoden zurückzugreifen und überall künstliche Intelligenz einzusetzen, um Meisterwerke für uns zu schaffen. Genau das war auch hier der Fall.
Automatik und die Träume von der "Meisterwerk"-Schaltfläche.
Als sich alle an die Filter gewöhnt hatten, begannen wir, sie direkt in die Kameras einzubauen. Die Geschichte verbirgt, welcher Hersteller der erste war, aber nur um zu verdeutlichen, wie lange das schon her ist — in iOS 5.0, das bereits 2011 veröffentlicht wurde, gab es bereits eine öffentliche API für das automatische Verbessern von Bildern. Nur Steve Jobs weiß, wie lange es genutzt wurde, bevor es der Öffentlichkeit zugänglich gemacht wurde.
Die Automatik machte das, was wir alle tun, wenn wir ein Foto im Editor öffnen – sie zog Lichter und Schatten heraus, erhöhte die Sättigung, entfernte rote Augen und passte den Hautton an. Die Benutzer ahnten nicht einmal, dass die „dramatisch verbesserte Kamera“ im neuen Smartphone nur das Ergebnis einiger neuer Shader war. Es sollten noch fünf Jahre vergehen, bis das Google Pixel erschien und der Hype um Computational Photography begann.
Heute hat der Kampf um den „Meisterwerk“-Button das Gebiet des maschinellen Lernens erobert. Nachdem man sich mit Tone-Mapping ausgetobt hat, stürzten sich alle darauf, CNNs und GANs zu trainieren, um die Regler im Sinne des Benutzers zu bewegen. Mit anderen Worten, es geht darum, anhand des Eingabebildes eine Reihe optimaler Parameter zu bestimmen, die das Bild einem subjektiven Verständnis von „guter Fotografie“ näher bringen. Dies ist in Pixelmator Pro und anderen Editoren umgesetzt. Es funktioniert, wie man sich vorstellen kann, nicht immer und nicht sehr gut.
Stacking – 90 % des Erfolgs mobiler Kameras
Die wahre computergestützte Fotografie begann mit dem Stacken – dem Überlagern mehrerer Fotos übereinander. Für ein Smartphone ist es kein Problem, innerhalb von einer halben Sekunde ein Dutzend Aufnahmen zu machen. In ihren Kameras gibt es keine langsamen mechanischen Teile: die Blende ist fixiert und anstelle des beweglichen Verschlusses kommt ein elektronischer Verschluss zum Einsatz. Der Prozessor gibt einfach der Matrix den Befehl, wie viele Mikrosekunden sie wilde Photonen einfangen soll, während er das Ergebnis abruft.
Technisch gesehen kann ein Telefon Fotos in Videogeschwindigkeit aufnehmen und Videos mit der Auflösung von Fotos, aber alles hängt von der Geschwindigkeit des Busses und des Prozessors ab. Deshalb setzt man immer Softwarelimits.
Das Stacken selbst ist uns schon lange bekannt. Bereits unsere Vorfahren verwendeten Plugins in Photoshop 7.0, um mehrere Fotos in ein schockierendes HDR zu verwandeln oder ein Panorama von 18000 × 600 Pixeln zu erstellen, und… tatsächlich hat bis heute niemand eine Idee, was man damit weiter machen soll. Es waren reiche Zeiten, schade, dass sie wild waren.
Jetzt sind wir erwachsen geworden und nennen es „Epsilon-Fotografie“ – wenn wir einen der Kamera-Parameter (Belichtung, Fokus, Position) ändern und die entstandenen Bilder zusammenfügen, um etwas zu erhalten, das mit einem einzigen Schuss nicht aufgenommen werden konnte. Aber das ist ein Begriff für Theoretiker; in der Praxis hat sich ein anderer Begriff durchgesetzt – Stacking. Heute basiert tatsächlich 90 % aller Innovationen in mobilen Kameras darauf.
Eine Sache, über die viele nicht nachdenken, aber die wichtig ist, um die gesamte mobile und computergestützte Fotografie zu verstehen: Die Kamera in modernen Smartphones beginnt sofort mit der Aufnahme von Fotos, sobald Sie die App öffnen. Das ist logisch, sie muss schließlich das Bild auf dem Bildschirm anzeigen. Darüber hinaus speichert sie hochauflösende Bilder in ihrem eigenen zyklischen Puffer, wo sie sie noch ein paar Sekunden lang speichert.
Wenn Sie die Taste „Foto aufnehmen“ drücken, ist das Bild tatsächlich bereits aufgenommen; die Kamera greift einfach auf das letzte Foto im Puffer zu.
So funktioniert heutzutage jede mobile Kamera. Zumindest in allen Flaggschiffen, nicht von der Müllhalde. Die Pufferung ermöglicht nicht nur die seit langem von Fotografen erträumte null Verzögerung des Auslösers, sondern sogar eine negative - beim Drücken des Knopfes schaut das Smartphone in die Vergangenheit, lädt die letzten 5-10 Fotos aus dem Puffer und beginnt sie intensiv zu analysieren und zusammenzufügen. Es ist nicht mehr nötig zu warten, bis das Telefon Aufnahmen für HDR oder den Nachtmodus macht - einfach die Bilder aus dem Puffer abrufen, der Benutzer wird es nicht einmal bemerken.
Übrigens wird das Live Photo auf iPhones durch negative Auslöseverzögerung ermöglicht, und bei HTC gab es so etwas bereits 2013 unter dem seltsamen Namen Zoe.
Stacking nach Belichtung - HDR und Bekämpfung von Helligkeitsunterschieden
Die Frage, ob Kamerasensoren den gesamten Helligkeitsbereich erfassen können, den unser Auge wahrnimmt, ist ein immer wieder kontroverses Thema. Einige sagen, dass es nicht möglich ist, denn das menschliche Auge kann bis zu 25 Blendenstufen sehen, während man selbst aus einem hochwertigen Vollformatsensor maximal 14 Blendenstufen herausholen kann. Andere argumentieren, dass der Vergleich nicht fair ist, da das Auge von unserem Gehirn unterstützt wird, das automatisch die Pupille anpasst und das Bild mithilfe seiner neuronalen Netzwerke vervollständigt. Der momentane dynamische Bereich des Auges liegt tatsächlich bei etwa 10 bis 14 Blendenstufen. Diese Diskussionen überlassen wir besser den Couch-Theoretikern des Internets.
Die Realität ist einfach: Fotografieren Sie Freunde vor einem hellen Himmel ohne HDR mit irgendeiner Mobilkamera, erhalten Sie entweder einen schönen Himmel mit schwarzen Gesichtern Ihrer Freunde oder gut belichtete Freunde mit völlig ausgebranntem Himmel.
Die Lösung ist längst bekannt – die Erweiterung des Helligkeitsbereichs durch HDR (High Dynamic Range). Dazu müssen mehrere Aufnahmen mit unterschiedlichen Belichtungszeiten gemacht und zusammengefügt werden. Eine Aufnahme sollte "normal" sein, die zweite etwas heller und die dritte dunkler. Von der hellen Aufnahme nehmen wir die dunklen Bereiche, und die Überbelichtungen füllen wir mit der dunklen – fertig. Es bleibt nur, das automatische Bracketing zu lösen – wie stark die Belichtung jeder Aufnahme verschoben werden muss, um es nicht zu übertreiben; ein Zweitsemester eines technischen Studiengangs könnte jetzt die durchschnittliche Helligkeit des Bildes bestimmen.
Bei den neuesten iPhones, Pixeln und Galaxy-Modellen wird der HDR-Modus automatisch aktiviert, wenn ein einfacher Algorithmus in der Kamera erkennt, dass Sie an einem sonnigen Tag etwas Kontrastreiches fotografieren. Man kann sogar sehen, wie das Telefon in den Aufnahmemodus wechselt, um die belichteten Aufnahmen im Puffer zu speichern – die fps in der Kamera sinken, und das Bild wird lebendiger. Der Moment des Wechsels ist auf meinem iPhone X gut zu erkennen, wenn ich draußen fotografiere. Achten Sie das nächste Mal auch auf Ihr Smartphone.
HDR ohne Belichtungsbracketing zeigt seine unerträgliche Schwäche bei schlechten Lichtverhältnissen. Selbst bei Licht von einer Raumlampe werden die Aufnahmen so dunkel, dass der Computer sie nicht ausrichten und zusammenfügen kann. Um das Problem mit dem Licht zu lösen, präsentierte Google 2013 einen anderen Ansatz für HDR im damaligen Smartphone Nexus. Es verwendete zeitliches Stacking.
Zeitliches Stacking — eine Simulation von Langzeitbelichtung und Zeitraffer
Zeitliches Stacking ermöglicht es, eine Langzeitbelichtung durch eine Serie kurzer Belichtungen zu erzielen. Die Pioniere waren Hobbyfilmer, die die Spuren von Sternen am Nachthimmel festhalten wollten und es unpraktisch fanden, den Verschluss gleich für zwei Stunden zu öffnen. Es war schwierig, alle Einstellungen im Voraus genau zu berechnen, und jede kleinste Erschütterung konnte das gesamte Bild ruinieren. Sie entschieden sich, den Verschluss nur für ein paar Minuten zu öffnen, jedoch mehrfach, und gingen später nach Hause, um die aufgenommenen Bilder in Photoshop zusammenzufügen.
Die Kamera hat also nie wirklich mit einer langen Belichtungszeit fotografiert, sondern wir haben den Effekt einer solchen Imitation erzielt, indem wir mehrere aufeinanderfolgende Aufnahmen übereinandergelegt haben. Für Smartphones gibt es schon lange eine Vielzahl an Apps, die diesen Trick verwenden, doch seit dieser Funktionsumfang fast in allen Standardkameras integriert ist, sind sie nicht mehr notwendig. Heute kann sogar das iPhone eine lange Belichtungsaufnahme leicht aus einem Live-Foto zusammensetzen.
Kommen wir zurück zu Google und seinem Nacht-HDR. Es stellte sich heraus, dass man mit zeitlichem Bracketing ein akzeptables HDR im Dunkeln erzielen kann. Diese Technologie erschien erstmals im Nexus 5 und wurde HDR+ genannt. Andere Android-Smartphones erhielten sie quasi als Geschenk. Die Technologie ist nach wie vor so beliebt, dass sie sogar in der Präsentation der neuesten Pixel-Geräte angepriesen wird.
HDR+ funktioniert ziemlich einfach: Wenn die Kamera erkennt, dass Sie im Dunkeln fotografieren, lädt sie 8-15 der letzten RAW-Fotos aus dem Puffer, um sie übereinanderzulegen. So sammelt der Algorithmus mehr Informationen über die dunklen Bereiche des Bildes, um das Rauschen zu minimieren – also Pixel, bei denen die Kamera aus verschiedenen Gründen nicht alle Informationen sammeln konnte und das Bild dadurch fehlerhaft wurde.
Stellen Sie sich vor, Sie wüssten nicht, wie ein Wasserschwein aussieht, und bitten fünf Personen, es zu beschreiben – ihre Berichte wären ungefähr gleich, aber jeder würde ein einzigartiges Detail erwähnen. So sammeln Sie mehr Informationen, als wenn Sie nur eine Person fragen würden. Das Gleiche gilt für Pixel.
Das Zusammenfügen von Aufnahmen aus einem festen Punkt erzeugt denselben gefälschten Effekt einer langen Belichtungszeit, wie bei den vorher genannten Sternen. Die Belichtung mehrerer Aufnahmen wird addiert, Fehler bei einer Aufnahme werden durch die anderen ausgeglichen. Stellen Sie sich vor, wie oft man bei einer Spiegelreflexkamera den Auslöser betätigen müsste, um einen solchen Effekt zu erzielen.
Es blieb nur noch die Herausforderung der automatischen Farbkorrektur zu lösen – Bilder, die bei Dunkelheit aufgenommen wurden, sind normalerweise durchweg gelb oder grün, und wir möchten in der Regel die Lebendigkeit des Tageslichts. In den frühen Versionen von HDR+ wurde dies durch einfaches Anpassen der Einstellungen, ähnlich wie bei Instagram-Filtern, gelöst. Später wurden dann neuronale Netzwerke zur Hilfe gerufen.
So entstand Night Sight – die Technologie für "Nachtfotografie" in den Pixel-Modellen 2 und 3. Im Beschreibungstext steht: "Maschinelles Lernen, das auf HDR+ aufbaut und Night Sight zum Funktionieren bringt." Im Grunde genommen handelt es sich dabei um die Automatisierung des Farbkorrekturprozesses. Die Maschine wurde mit einem Datensatz von "Vorher"- und "Nachher"-Fotos trainiert, um aus einer Menge dunkler, unscharfer Bilder ein einziges schönes Bild zu erzeugen.
Übrigens wurde der Datensatz öffentlich zugänglich gemacht. Vielleicht nehmen die Leute bei Apple ihn und bringen endlich ihren Glasgeräte bei, ordentlich bei Dunkelheit zu fotografieren.
Zusätzlich nutzt Night Sight die Berechnung von Bewegungsvektoren von Objekten im Bild, um Unschärfen zu normalisieren, die bei langen Belichtungszeiten unvermeidlich sind. So kann das Smartphone scharfe Teile aus anderen Bildaufnahmen verwenden und sie zusammenfügen.
Bewegungsstacking – Panorama, Superzoom und Rauschunterdrückung.
Panorama ist ein beliebtes Vergnügen der ländlichen Bevölkerung. Bisher sind keine bekannt, bei denen die sogenannte "Wurstfotografie" für jemanden von Interesse war, außer für den Fotografen selbst. Aber man kann sie nicht unerwähnt lassen – für viele begann damit überhaupt erst das Stacking.
Die erste nützliche Anwendung der Panorama-Technik ist die Erstellung eines Fotos mit höherer Auflösung, als es der Kamerasensor zulässt, indem mehrere Aufnahmen zusammengefügt werden. Fotografen nutzen seit langem verschiedene Softwarelösungen für das, was man als Superauflösung bezeichnet – dabei ergänzen sich leicht versetzte Fotos pixelgenau. So kann ein Bild mit Hunderten von Gigapixeln erstellt werden, was besonders nützlich ist, wenn man es für ein großes Werbebanner benötigt.
Ein weiterer, interessanterer Ansatz ist das Pixel Shifting. Einige spiegellose Kameramodelle wie Sony und Olympus unterstützen dies bereits seit 2014, jedoch musste man das Ergebnis trotzdem manuell zusammenfügen. Typische Innovationen großer Kameras.
Smartphones hingegen haben hier aus einem amüsanten Grund einen Vorteil – wenn Sie Fotos aufnehmen, zittern Ihre Hände. Dieses scheinbar simple Problem bildet die Grundlage für die Implementierung nativer Superauflösung auf Smartphones.
Um zu verstehen, wie das funktioniert, müssen wir uns vorstellen, wie der Sensor einer Kamera aufgebaut ist. Jedes Pixel (Fotodioden) kann nur die Lichtintensität erfassen — das heißt, die Anzahl der eingetroffenen Photonen. Allerdings kann ein Pixel nicht deren Farbe (Wellenlänge) messen. Um ein RGB-Bild zu erhalten, mussten hier ebenfalls verschiedene Tricks angewendet werden — die gesamte Matrix wurde mit einem Gitter aus bunten Glasstücken überzogen. Die bekannteste Umsetzung dieses Konzepts ist der Bayer-Filter, der heute in den meisten Sensoren verwendet wird. So sieht das aus, wie auf dem Bild unten.
Das bedeutet, dass jedes Pixel der Matrix nur die R-, G- oder B-Komponente einfängt, da die anderen Photonen durch den Bayer-Filter gnadenlos reflektiert werden. Die fehlenden Komponenten werden durch eine grobe Mittelung der Werte benachbarter Pixel ermittelt.
Es gibt mehr grüne Zellen im Bayer-Filter — das wurde analog zum menschlichen Auge gestaltet. Das bedeutet, dass von 50 Millionen Pixeln auf dem Sensor 25 Millionen die Farbe Grün erfassen, während Rot und Blau jeweils 12,5 Millionen erfassen. Der Rest wird gemittelt — dieser Prozess wird als Debayerisierung oder Demosaicing bezeichnet, und das ist ein recht komplizierter, witziger Trick, auf dem alles basiert.
Jede Matrix hat tatsächlich ihren eigenen ausgeklügelten, patentierten Demosaicing-Algorithmus, aber im Rahmen dieser Geschichte blenden wir das aus.
Andere Matrizenarten (wie die Foveon-Technologie) haben sich bisher nicht wirklich durchgesetzt. Zwar versuchen einige Hersteller, matixen ohne Bayer-Filter zu nutzen, um Schärfe und dynamischen Bereich zu verbessern.
Bei wenig Licht oder wenn die Details des Objekts sehr klein sind, gehen viele Informationen verloren, da der Bayer-Filter frech Photonen mit unerwünschter Wellenlänge herausfiltert. Daher wurde Pixel Shifting entwickelt – die Matrix wird um 1 Pixel nach oben, unten, rechts und links verschoben, um sie alle zu erfassen. Dabei ist das Foto nicht viermal größer, wie es scheinen mag; der Prozessor nutzt diese Daten, um die Werte jedes Pixels präziser zu erfassen. Es wird nicht nach benachbarten Werten gemittelt, sondern nach vier Werten derselben Matrix.
Die Erschütterung unserer Hände beim Fotografieren mit dem Handy macht diesen Prozess zu einer natürlichen Folge. In den neuesten Versionen des Google Pixel wird diese Funktion automatisch aktiviert, sobald Sie den Zoom verwenden – das nennt sich Super Res Zoom (ja, mir gefällt auch ihr gnadenloses Naming). Die Chinesen haben das ebenfalls in ihren Smartphones übernommen, auch wenn das Ergebnis etwas schlechter ist.
Das Überlagern von leicht verschobenen Fotos ermöglicht es, mehr Informationen über die Farbe jedes Pixels zu sammeln, wodurch der Rauschteppich reduziert, die Schärfe erhöht und die Auflösung gesteigert werden kann, ohne die physische Anzahl der Megapixel des Sensors zu erhöhen. Moderne Android-Flaggschiffe erledigen das automatisch, während ihre Nutzer nicht einmal darüber nachdenken.
Fokusstapeln – jede Tiefenschärfe und Nachfokussierung in der Nachbearbeitung
Die Methode stammt aus der Makrofotografie, wo die geringe Tiefenschärfe immer ein Problem darstellte. Um das gesamte Objekt scharf zu halten, musste man mehrere Aufnahmen mit nahem und fernem Fokus machen, um sie dann zu einem scharfen Bild zusammenzufügen. Dieselbe Methode wird häufig von Landschaftsphotografen genutzt, um den Vorder- und Hintergrund scharf zu halten.
All dies hat sich auch auf Smartphones ausgeweitet, allerdings ohne großen Hype. 2013 erschien das Nokia Lumia 1020 mit der "Refocus App", gefolgt 2014 vom Samsung Galaxy S5 mit dem Modus "Selective Focus". Sie funktionierten nach demselben Prinzip: Mit einem Druck auf den Knopf wurden schnell drei Fotos aufgenommen – eines mit "normalem" Fokus, eines mit vorverlagertem Fokus und eines mit zurückverlagertem Fokus. Die Software richtete die Bilder aus und erlaubte es, eines davon auszuwählen, was als "echte" Kontrolle über den Fokus in der Nachbearbeitung angepriesen wurde.
Eine weitere Bearbeitung war nicht notwendig, denn selbst dieser einfache Trick reichte aus, um einen weiteren Nagel in den Sarg von Lytro und ähnlichen Geräten mit ihren ehrlichen Refokus-Optionen zu schlagen. Übrigens, sprechen wir über sie (Übergangsmagier 80 lvl).
Rechenmatrizen – Lichtfelder und plenoptische Optik
Wie bereits erwähnt, sind unsere Sensoren ein Desaster. Wir sind einfach daran gewöhnt und versuchen, damit zu leben. In ihrer Konstruktion haben sie sich seit den Anfangszeiten kaum verändert. Wir haben nur den Produktionsprozess verbessert – den Abstand zwischen den Pixeln verringert, Rauschen minimiert und spezielle Pixel für die Arbeit mit Phasen-Autofokus hinzugefügt. Aber selbst wenn man die teuerste Spiegelreflexkamera zur Hand nimmt und versucht, einen schnellen Katzenlauf bei Raumlicht festzuhalten – die Katze wird, milde gesagt, gewinnen.
Wir versuchen schon lange, etwas Besseres zu entwickeln. Viele Versuche und Forschungen in diesem Bereich sind unter den Begriffen „computational sensor“ oder „non-bayer sensor“ zu finden, und selbst das oben genannte Beispiel mit Pixel Shifting kann als Versuch angesehen werden, Sensoren durch Berechnungen zu verbessern. Doch die vielversprechendsten Geschichten der letzten zwanzig Jahre stammen genau aus der Welt der sogenannten plenoptischen Kameras.
Um Ihnen nicht die Vorfreude auf die bevorstehenden komplizierten Worte zu verderben, sei Ihnen als Insight verraten, dass die Kamera der letzten Google Pixel tatsächlich "ein wenig" plenoptisch ist. Nur zwei Pixel sind es, aber selbst das ermöglicht es ihr, die ehrliche optische Tiefe des Bildes zu berechnen - ganz ohne die zweite Kamera, wie es bei vielen anderen der Fall ist.
Plenoptik ist eine mächtige Waffe, die bisher noch nicht wirklich zum Einsatz kam. Ich verlinke auf einen meiner Lieblingsartikel aus der letzten Zeit. woraus ich die Beispiele entnommen habe.
Bald wird jede Kamera plenoptisch sein.
Die Idee wurde 1994 entwickelt, im Jahr 2004 in Stanford umgesetzt. Die erste Verbraucherkamera – Lytro – wurde 2012 veröffentlicht. Die VR-Industrie experimentiert derzeit aktiv mit ähnlichen Technologien.
Der Hauptunterschied zwischen einer normalen Kamera und einer plenoptischen besteht nur in einer Modifikation: Der Sensor ist mit einem Gitter aus Linsen bedeckt, wobei jede Linse mehrere reale Pixel abdeckt. So sieht es aus:
Wenn man den Abstand vom Gitter zum Sensor und die Größe der Blende richtig berechnet, entstehen im Endbild klare Cluster aus Pixeln – kleine Versionen des ursprünglichen Bildes.
Es stellt sich heraus, dass, wenn man aus jedem Cluster zum Beispiel ein zentrales Pixel nimmt und das Bild nur daraus zusammensetzt, es sich nicht von einem normalen Kamerabild unterscheiden wird. Ja, wir haben etwas an Auflösung verloren, aber wir bitten Sony einfach, in den neuen Sensoren noch mehr Megapixel hinzuzufügen.
Der Spaß fängt hier erst richtig an. Wenn man ein anderes Pixel aus jedem Cluster nimmt und das Bild erneut zusammensetzt, erhält man wieder ein normales Foto, nur als wäre es mit einer Verschiebung von einem Pixel aufgenommen worden. So bekommen wir mit Clustern von 10 × 10 Pixeln 100 Bilder des Objekts aus 'ein wenig' unterschiedlichen Perspektiven.
Je größer der Cluster, desto mehr Bilder, aber desto geringer die Auflösung. In einer Welt der Smartphones mit 41-Megapixel-Sensoren können wir zwar etwas auf die Auflösung verzichten, aber alles hat seine Grenzen. Wir müssen ein Gleichgewicht finden.
Okay, wir haben eine plenoptische Kamera gebaut, und was bringt uns das?
Ehrliche Neufokussierung
Eine Funktion, über die alle Journalisten in ihren Artikeln zu Lytro gesprochen haben, ist die Möglichkeit, den Fokus im Nachhinein ehrlich zu korrigieren. Mit ehrlich meinen wir, dass wir keine Algorithmen zur Entschärfung verwenden, sondern ausschließlich die vorhandenen Pixel nutzen, indem wir sie je nach Bedarf aus Clustern auswählen oder im Mittelwert zusammenfassen.
Ein RAW-Foto von einer lichtfeld-basierenden Kamera sieht seltsam aus. Um daraus ein gewohnte scharfes JPEG zu erstellen, muss es zunächst zusammengesetzt werden. Dazu müssen wir jeden Pixel des JPEGs aus einem der RAW-Cluster auswählen. Je nachdem, wie wir diese auswählen, ändert sich das Ergebnis.
Wenn zum Beispiel ein Cluster weiter vom Ursprungsstrahl entfernt ist, wird dieser Strahl umso unschärfer. Das liegt an der Optik. Um ein bildliches Ergebnis mit verändertem Fokus zu erhalten, müssen wir lediglich die Pixel in der gewünschten Entfernung vom Original auswählen – entweder näher oder weiter entfernt.
Mit dem Fokus auf sich selbst war es schwierig - physisch gab es weniger solcher Pixel in den Clustern. Zunächst wollten die Entwickler den Nutzern nicht einmal die Möglichkeit geben, manuell zu fokussieren - die Kamera entschied dies programmatisch. Den Nutzern gefiel diese Zukunft nicht, weshalb die Funktion in späteren Firmware-Versionen unter dem Namen „Kreativmodus“ hinzugefügt wurde, jedoch war der Refokus aus genau diesem Grund stark eingeschränkt.
Tiefenkarte und 3D mit einer Kamera
Eine der einfachsten Operationen in der Plenoptik ist das Erstellen einer Tiefenkarte. Dazu müssen einfach zwei verschiedene Aufnahmen gemacht und berechnet werden, wie stark die Objekte darauf verschoben sind. Je größer die Verschiebung, desto weiter entfernt von der Kamera.
Kürzlich hat Google Lytro übernommen und eingestellt, aber ihre Technologien für die eigene VR und… für die Kamera im Pixel verwendet. Mit dem Pixel 2 wurde die Kamera erstmals „ein wenig“ plenoptisch, jedoch mit Clustern von nur zwei Pixeln. Dies ermöglichte es Google, keine zweite Kamera einzubauen wie alle anderen, sondern die Tiefenkarte ausschließlich aus einem Foto zu berechnen.
Die Tiefenkarte wird aus zwei Bildern erstellt, die um einen Subpixel verschoben sind. Das reicht vollkommen aus, um eine binäre Tiefenkarte zu berechnen und den Vordergrund vom Hintergrund zu trennen sowie Letzteren im aktuellen Bokeh-Stil zu verwischen. Das Ergebnis dieser Schichtung wird zudem geglättet und 'verbessert' durch neuronale Netzwerke, die darauf trainiert sind, Tiefenkarten zu optimieren (und nicht zu verwischen, wie viele denken).
Das Beste daran ist, dass uns die Plenoptik in Smartphones fast kostenlos zur Verfügung steht. Wir haben bereits Linsen auf diese winzigen Sensoren gesetzt, um den Lichtstrom irgendwie zu erhöhen. In den nächsten Pixel-Geräten plant Google, noch weiterzugehen und vier Fotodioden mit einer Linse zu überdecken.
Quelle: 3dnews.ru
