Der Originalartikel ist auf der Website veröffentlicht und wurde mit Genehmigung des Autors auf 3DNews veröffentlicht. Wir bringen den vollständigen Text des Artikels, mit Ausnahme einer großen Anzahl von Links – diese werden für diejenigen nützlich sein, die sich ernsthaft für das Thema interessieren und die theoretischen Aspekte der Computerfotografie eingehender studieren möchten, aber für ein breites Publikum halten wir dieses Material für überflüssig.
Heute kommt keine Smartphone-Präsentation ohne das Lecken seiner Kamera aus. Jeden Monat hören wir von einem weiteren Erfolg mobiler Kameras: Google lehrt den Pixel, im Dunkeln zu fotografieren, Huawei zoomt wie ein Fernglas, Samsung baut LiDAR ein und Apple macht die rundesten Ecken der Welt. Nirgendwo fließen Innovationen derzeit so reichhaltig.
DSLRs hingegen scheinen auf der Stelle zu treten. Sony überschwemmt jeden jährlich mit neuen Sensoren, während die Hersteller faul die letzte Zahl der Version aktualisieren und weiterhin entspannt in der Ecke rauchen. Auf meinem Tisch liegt eine DSLR für 3000 Dollar, aber auf Reisen nehme ich mein iPhone mit. Warum?
Wie der Klassiker sagte – ich ging mit dieser Frage ins Internet. Dort diskutieren sie über irgendwelche „Algorithmen“ und „Neuronnets“, ohne genau zu wissen, wie sie konkret Fotografien beeinflussen. Journalisten lesen laut die Anzahl der Megapixel vor, Blogger erstellen im Chor bezahlte Unboxing-Videos, und Ästheten schmieren sich mit „sensibler Wahrnehmung der Farbpalette des Sensors“ ein. Alles wie gewohnt.
Ich musste mich setzen, die Hälfte meines Lebens investieren und alles selbst herausfinden. In diesem Artikel werde ich erzählen, was ich gelernt habe.
Was ist Computerfotografie?
Überall, auch in der Wikipedia, wird ungefähr so eine Definition gegeben: Computerfotografie – alle Techniken zum Erfassen und Bearbeiten von Bildern, bei denen anstelle von optischen Umwandlungen digitale Berechnungen verwendet werden. Sie ist in Ordnung, abgesehen davon, dass sie nichts erklärt. Auch der Autofokus passt darunter, aber die Plenoptik, die uns bereits viel Nützliches gebracht hat, passt nicht rein. Die Unschärfe offizieller Definitionen deutet darauf hin, dass wir keine Ahnung haben, wovon wir sprechen.
Der Pionier der computerbasierten Fotografie, Professor Marc Levoy von Stanford (der jetzt auch für die Kamera im Google Pixel verantwortlich ist), gibt eine andere Definition — eine Reihe von Methoden der Computer Vision, die die Möglichkeiten der digitalen Fotografie verbessern oder erweitern, wobei man gewöhnliche Fotos erhält, die technisch nicht mit dieser Kamera auf herkömmliche Weise aufgenommen werden konnten. In diesem Artikel halte ich mich genau daran.
Also, es waren die Smartphones schuld.
Die Smartphones hatten keine Wahl, als eine neue Art der Fotografie — die rechnergestützte — zum Leben zu erwecken.
Ihre kleinen, rauschenden Sensoren und winzigen, lichtschwachen Objektive hätten nach allen physikalischen Gesetzen nur Schmerz und Leid bringen können. Das taten sie auch, bis die Entwickler clever genug waren, ihre Stärken auszunutzen, um die Schwächen zu kompensieren — schnelle elektronische Verschlüsse, leistungsstarke Prozessoren und Software.
Die meisten bedeutenden Forschungsarbeiten im Bereich der rechnergestützten Fotografie fallen in die Jahre 2005-2015, was in der Wissenschaft buchstäblich gestern ist. Direkt vor unseren Augen und in unseren Taschen entwickelt sich jetzt ein neues Wissens- und Technologiefeld, das es zuvor nie gegeben hat.
Rechnergestützte Fotografie ist nicht nur Selfies mit neuronaler Hintergrundunschärfe. Das kürzliche Foto eines schwarzen Lochs wäre ohne die Methoden der rechnergestützten Fotografie nicht entstanden. Um ein solches Bild mit einem herkömmlichen Teleskop aufzunehmen, müssten wir es so groß wie die Erde machen. Indem wir jedoch Daten von acht Radioteleskopen an verschiedenen Punkten unseres Planeten zusammengeführt und ein bisschen Python-Software geschrieben haben, erhielten wir das erste weltweit Foto des Ereignishorizonts. Dafür kann man auch ein Selfie verwenden.
Anfang: digitale Bildbearbeitung
Stellen wir uns vor, es ist das Jahr 2007. Unsere Mama ist Anarchie, und unsere Fotos sind rauschende 0,6-Mp JPEGs, die mit einem Skateboard aufgenommen wurden. Etwa zu dieser Zeit bekommen wir das erste unausweichliche Verlangen, Presets darauf zu packen, um die Armseligkeit mobiler Sensoren zu verbergen. Lassen wir uns nicht davon abhalten.
Matan und Instagram
Mit dem Erscheinen von Instagram drehte sich alles um Filter. Als jemand, der X-Pro II, Lo-Fi und Valencia in, natürlich, Forschungszwecken (kek) zurückentwickelt hat, erinnere ich mich noch, dass sie aus drei Komponenten bestanden:
- Farb Einstellungen (Hue, Sättigung, Helligkeit, Kontrast, Levels usw.) – einfache digitale Koeffizienten, genau wie in allen Presets, die Fotografen seit jeher verwendet haben.
- Farb Mapping Karten (Tone Mapping) – Vektoren von Werten, die uns sagten: "Die Rottöne mit einem Wert von 128 müssen in den Farbton 240 umgewandelt werden."
- Overlays – halbtransparente Bilder mit Staub, Körnung, Vignette und allem, was darüber gelegt werden kann, um einen keineswegs banalen Effekt alter Filme zu erzielen. Oft nicht immer vorhanden.
Moderne Filter haben sich von diesem Trio nicht weit entfernt, sie sind lediglich mathematisch etwas komplexer geworden. Mit dem Aufkommen von Hardware-Shadern und OpenCL auf Smartphones wurden sie schnell für GPUs umgeschrieben, und das galt als unglaublich cool. Im Jahr 2012, natürlich. Heute kann jeder Schüler so etwas mit CSS erstellen, und es interessiert niemanden, wenn er seinen Abschluss macht.
Der Fortschritt der Filter hat sich jedoch heute nicht gestoppt. Die Leute von Dehancer, zum Beispiel, beschäftigen sich großartig mit nichtlinearen Filtern – anstelle des proletarischen Tone Mapping verwenden sie komplexere nichtlineare Transformationen, die, laut ihnen, viel mehr Möglichkeiten eröffnen.
Mit nichtlinearen Transformationen kann man viel anstellen, aber sie sind unglaublich komplex, und wir Menschen sind unglaublich dumm. Sobald es in der Wissenschaft um nichtlineare Transformationen geht, ziehen wir es vor, zu numerischen Methoden zu wechseln und überall neuronale Netze zu verwenden, damit sie Meisterwerke für uns schreiben. Das galt auch hier.
Automatik und der Traum vom Button „Meisterwerk“
Als sich alle an die Filter gewöhnt hatten, begannen wir, sie direkt in die Kameras einzubauen. Die Geschichte verbirgt, wer von den Herstellern der erste war, aber nur zum Verständnis, wie lange das her ist – in iOS 5.0, die schon 2011 herauskam, gab es bereits eine öffentliche API für Auto Enhancing Images. Nur Jobs weiß, wie lange es verwendet wurde, bevor es der Öffentlichkeit zugänglich gemacht wurde.
Die Automatik machte das Gleiche wie jeder von uns, der ein Foto im Editor öffnet – sie holte Schatten- und Lichtverlust heraus, verstärkte die Sättigung, entfernte rote Augen und korrigierte die Hautfarbe. Die Nutzer ahnten nicht einmal, dass die „dramatisch verbesserte Kamera“ im neuen Smartphone nur auf der Grundlage einiger neuer Shader entstand. Es dauerte noch fünf Jahre, bis Google Pixel herauskam und der Hype um die computergestützte Fotografie begann.
Heute sind die Kämpfe um den Knopf „Meisterwerk“ auf das Gebiet des maschinellen Lernens übergegangen. Nachdem man mit Tone Mapping gespielt hat, stürzte sich jeder darauf, CNNs und GANs zu trainieren, um die Regler anstelle des Benutzers zu bewegen. Mit anderen Worten, es geht darum, anhand des Eingangsbildes eine Reihe von optimalen Parametern zu bestimmen, die das betreffende Bild einem subjektiven Verständnis von „guter Fotografie“ näherbringen. Implementiert in derselben Pixelmator Pro und anderen Editoren. Funktioniert, wie man erraten kann, nicht immer und nicht ganz.
Stacking — 90% des Erfolgs mobiler Kameras
Echte computergestützte Fotografie begann mit Stacking — der Überlagerung mehrerer Fotos übereinander. Für das Smartphone ist es kein Problem, in einer halben Sekunde ein Dutzend Aufnahmen zu machen. In ihren Kameras gibt es keine langsamen mechanischen Teile: Die Blende ist fixiert, und anstelle einer fahrenden Blende gibt es einen elektronischen Verschluss. Der Prozessor sagt einfach dem Sensor, wie viele Mikrosekunden er wilde Photonen einfangen soll, während er das Ergebnis ausliest.
Technisch gesehen kann das Telefon Fotos mit Video-Geschwindigkeit aufnehmen und Videos mit Fotoauflösung, aber alles hängt von der Geschwindigkeit des Busses und des Prozessors ab. Daher werden immer Softwaregrenzen gesetzt.
Das Stacking begleitet uns schon lange. Schon die Großeltern haben Plugins für Photoshop 7.0 installiert, um mehrere Fotos zu einem grellen HDR zusammenzustellen oder ein Panorama von 18000 × 600 Pixeln zu erstellen, und… tatsächlich hat niemand je wirklich herausgefunden, was man danach damit machen soll. Es waren reiche Zeiten, schade, dass sie wild waren.
Jetzt sind wir erwachsen geworden und nennen es „Epsilon-Fotografie“ — wenn wir durch das Ändern eines Kameraparameters (Belichtung, Fokus, Position) und das Zusammenfügen der erhaltenen Bilder etwas erhalten, das nicht mit einem einzelnen Bild aufgenommen werden konnte. Aber dies ist ein Begriff für Theoretiker, in der Praxis hat sich ein anderer Name durchgesetzt — Stacking. Heute basiert faktisch 90% aller Innovationen in mobilen Kameras auf ihm.
Eine Sache, über die viele nicht nachdenken, die jedoch wichtig für das Verständnis der gesamten mobilen und computerunterstützten Fotografie ist: Die Kamera im modernen Smartphone beginnt sofort, Fotos zu machen, sobald Sie ihre App öffnen. Was logisch ist, denn sie muss das Bild ja irgendwie auf den Bildschirm übertragen. Allerdings speichert sie neben dem Bildschirm auch hochauflösende Bilder in ihrem eigenen zyklischen Puffer, wo sie sie noch ein paar Sekunden lang aufbewahrt.
Wenn Sie die Taste „Foto aufnehmen“ drücken, ist das Foto tatsächlich bereits aufgenommen, die Kamera greift einfach auf das letzte Foto im Puffer zu.
So funktioniert jede mobile Kamera heutzutage. Zumindest in allen Flaggschiffen und nicht in Billiggeräten. Die Pufferung ermöglicht nicht nur eine tatsächlich null Verzögerung des Auslösers, von der Fotografen lange geträumt haben, sondern sogar eine negative – wenn man den Auslöser drückt, schaut das Smartphone in die Vergangenheit und lädt die letzten 5-10 Fotos aus dem Puffer herunter und beginnt, sie intensiv zu analysieren und zu kombinieren. Man muss nicht mehr warten, bis das Telefon Bilder für HDR oder den Nachtmodus aufnimmt – einfach die Fotos aus dem Puffer abrufen, der Benutzer merkt es nicht einmal.
Übrigens ist es genau mit Hilfe der negativen Auslöseverzögerung möglich, Live Photos auf iPhones zu realisieren, während HTC etwas Ähnliches schon 2013 unter dem merkwürdigen Namen Zoe hatte.
Belichtungstacking – HDR und der Kampf gegen Helligkeitsschwankungen
Ob die Sensoren von Kameras den gesamten Helligkeitsbereich, den unser Auge wahrnehmen kann, erfassen können, ist ein altbekanntes und umstrittenes Thema. Einige sagen nein, denn das Auge kann bis zu 25 Blendenstufen sehen, während man selbst aus dem besten Vollformatsensor maximal 14 herausholen kann. Andere halten den Vergleich für unfair, da das Gehirn dem Auge hilft, indem es automatisch die Pupille anpasst und das Bild mit seinen eigenen neuronalen Netzwerken vervollständigt, und der momentane Dynamikumfang des Auges tatsächlich nur 10-14 Blendenstufen beträgt. Lassen wir diese Debatten den besten Gedankenführern des Internets.
Fakt ist Fakt: Wenn Sie Freunde vor einem hellen Himmel ohne HDR mit einer beliebigen mobilen Kamera aufnehmen, erhalten Sie entweder einen normalen Himmel mit schwarzen Gesichtern Ihrer Freunde oder Ihrer Freunde, die gut sichtbar sind, aber der Himmel ist völlig überbelichtet.
Die Lösung ist längst gefunden: den Helligkeitsbereich mit Hilfe von HDR (High Dynamic Range) zu erweitern. Man muss mehrere Aufnahmen mit unterschiedlichen Belichtungszeiten machen und sie zusammenfügen. Eine Aufnahme sollte „normal“ sein, die zweite etwas heller, die dritte dunkler. Wir nehmen die dunklen Bereiche aus dem hellen Bild und fügen Überbelichtungen aus dem dunklen Bild hinzu – einfach genial. Jetzt bleibt nur die Aufgabe des automatischen Bracketing zu lösen – wie stark man die Belichtung jedes Bildes verschieben sollte, um nicht zu übertreiben, aber einen Überblick über die durchschnittliche Helligkeit des Bildes kann auch ein Zweitsemesterstudent einer technischen Hochschule bewältigen.
Bei den neuesten iPhones, Pixel und Galaxy wird der HDR-Modus automatisch aktiviert, sobald ein einfacher Algorithmus innerhalb der Kamera erkennt, dass Sie an einem sonnigen Tag etwas kontrastreiches aufnehmen. Man kann sogar beobachten, wie das Telefon den Aufnahmemodus wechselt, um überbelichtete Bilder im Puffer zu speichern – die fps der Kamera sinken und das Bild wird lebendiger. Der Moment des Wechsels ist auf meinem iPhone X gut sichtbar, wenn ich draußen filme. Achten Sie bei Ihrem Smartphone beim nächsten Mal auch darauf.
Der Nachteil von HDR mit Belichtungsreihen ist seine vollständige Unbrauchbarkeit bei schlechten Lichtverhältnissen. Selbst bei Licht einer Tischlampe sind die Bilder so dunkel, dass der Computer sie nicht ausrichten und zusammenfügen kann. Um das Lichtproblem zu lösen, zeigte Google 2013 einen anderen Ansatz für HDR im damaligen Smartphone Nexus. Es verwendete zeitliches Stacking.
Zeitliches Stacking – eine Simulation langer Belichtungszeiten und Zeitraffer.
Zeitliches Stacking ermöglicht es, eine lange Belichtungszeit durch eine Serie kurzer Belichtungen zu erzielen. Pioniere waren Hobbyfotografen, die Spuren von Sternen am Nachthimmel aufnehmen wollten und es unbequem fanden, den Verschluss für zwei Stunden geöffnet zu lassen. Es war schwierig, alle Einstellungen im Voraus richtig zu berechnen, und selbst die geringste Erschütterung ruinierte das gesamte Bild. Sie beschlossen, den Verschluss nur für ein paar Minuten zu öffnen, aber das viele Male, und gingen dann nach Hause, um die aufgenommenen Bilder im Photoshop zusammenzufügen.
Das bedeutet, dass die Kamera niemals tatsächlich mit langer Belichtung fotografiert hat, aber wir den Effekt ihrer Simulation erhielten, indem wir mehrere aufeinanderfolgende Bilder stapelten. Für Smartphones gibt es schon lange eine Vielzahl von Anwendungen, die diesen Trick nutzen, doch seit die Funktion in fast allen Standardkameras hinzugefügt wurde, sind sie nicht mehr nötig. Heute kann sogar ein iPhone Ihnen leicht eine lange Belichtung aus einem Live Photo zusammenfügen.
Kehren wir zu Google und seinem Nacht-HDR zurück. Es stellte sich heraus, dass mit zeitlichem Stacking ein ansprechendes HDR im Dunkeln realisiert werden kann. Die Technologie erschien erstmals im Nexus 5 und wurde HDR+ genannt. Andere Android-Telefone erhielten sie sozusagen als Geschenk. Die Technologie ist bis heute so beliebt, dass sie sogar in der Präsentation der neuesten Pixel gelobt wird.
HDR+ funktioniert ziemlich einfach: Wenn die Kamera erkennt, dass Sie bei Dunkelheit fotografieren, lädt sie 8-15 der letzten Fotos im RAW-Format aus dem Puffer, um sie übereinander zu legen. So sammelt der Algorithmus mehr Informationen über die dunklen Bereiche des Bildes, um das Rauschen zu minimieren — Pixel, bei denen die Kamera aus irgendwelchen Gründen nicht alle Informationen erfassen konnte.
Es ist, als ob Sie nicht wüssten, wie eine Kapibara aussieht, und fünf Personen bitten würden, sie zu beschreiben — ihre Erzählungen wären ungefähr gleich, aber jeder würde ein einzigartiges Detail erwähnen. So hätten Sie mehr Informationen gesammelt, als wenn Sie nur eine Person gefragt hätten. Genauso verhält es sich mit den Pixeln.
Das Überlagern von Bildern, die von einem einzigen Punkt aufgenommen wurden, erzeugt denselben gefälschten Langzeitbelichtungseffekt wie oben bei den Sternen. Die Belichtung mehrerer Bilder wird summiert, Fehler bei einem werden bei den anderen minimiert. Stellen Sie sich vor, wie oft man den Auslöser einer Spiegelreflexkamera betätigen müsste, um so etwas zu erreichen.
Es musste nur das Problem der automatischen Farbkorrektur gelöst werden — Fotos, die im Dunkeln aufgenommen wurden, sind in der Regel alle gelb oder grün, und wir wollen ja die Lebendigkeit des Tageslichts. In den frühen Versionen von HDR+ wurde dies mit einfachen Anpassungen wie in Instagram-ähnlichen Filtern gelöst. Später kamen dann Neuralnetze zur Hilfe.
So entstand Night Sight — die Technologie "Nachtfotografie" für Pixel 2 und 3. Es wird beschrieben: „Mit Machine Learning-Techniken, die auf HDR+ aufbauen und Night Sight funktionieren lassen“. Im Grunde ist dies eine Automatisierung der Farbkorrektur. Die Maschine wurde mit einem Datensatz von "vorher" und "nachher" Bildern trainiert, um aus einer Zusammenstellung dunkler, unansehnlicher Fotos ein schönes Bild zu machen.
Der Datensatz wurde übrigens öffentlich zugänglich gemacht. Vielleicht nehmen die Leute von Apple ihn auf und lernen endlich, wie ihre gläsernen Geräte im Dunkeln richtig fotografieren.
Zusätzlich wird in Night Sight der Bewegungsvektor von Objekten im Bild berechnet, um Bewegungsunschärfe, die bei langen Belichtungszeiten unvermeidlich ist, zu normalisieren. So kann das Smartphone klare Teile von anderen Bildern übernehmen und zusammenfügen.
Bewegungsstacking — Panorama, Superzoom und Rauschbekämpfung
Panorama ist eine beliebte Freizeitbeschäftigung der Landbewohner. Bisher ist kein Fall bekannt, in dem ein Wurstfoto für jemand anderen als seinen Urheber von Interesse war, aber man kann es nicht unerwähnt lassen – für viele hat damit das Stecken angefangen.
Die erste nützliche Anwendung der Panoramaaufnahme ist das Erzeugen von Fotos mit höherer Auflösung, als die Kamera-Matrix ermöglicht, durch das Zusammenfügen mehrerer Aufnahmen. Fotografen nutzen schon lange verschiedene Software für sogenannte Superauflösungsfotos – wenn leicht verschobene Bilder sich gegenseitig zwischen den Pixeln ergänzen. So kann man ein Bild in hunderten von Gigapixeln erhalten, was sehr nützlich ist, wenn man es auf ein Werbeplakat in Hausgröße drucken möchte.
Ein anderer, bereits interessanterer Ansatz ist das Pixel Shifting. Einige spiegellose Kameras wie Sony und Olympus unterstützen dies seit 2014, aber das Zusammenfügen der Ergebnisse musste dennoch manuell erfolgen. Typische Innovationen großer Kameras.
Smartphones haben hier aus einem lustigen Grund Erfolg gehabt – wenn Sie Fotos aufnehmen, zittern Ihre Hände. Dieses auf den ersten Blick als Problem erscheinende Phänomen bildete die Grundlage für die Implementierung nativer Superauflösung auf Smartphones.
Um zu verstehen, wie das funktioniert, muss man sich vor Augen führen, wie der Sensor jeder Kamera aufgebaut ist. Jeder Pixel (Fotodioden) kann nur die Lichtintensität erfassen – d.h. die Anzahl der eingestrahlten Photonen. Ein Pixel kann jedoch nicht seine Farbe (Wellenlänge) messen. Um ein RGB-Bild zu erhalten, mussten hier auch Umgehungen gefunden werden – die gesamte Matrix wurde mit einem Gitter aus bunten Glasscheiben abgedeckt. Die gängigste Implementierung ist als Bayer-Filter bekannt und wird heute in den meisten Sensoren verwendet. Sie sieht aus wie auf dem Bild unten.
Das bedeutet, dass jeder Pixel des Sensors nur die R-, G- oder B-Komponente erfasst, da die übrigen Photonen vom Bayer-Filter gnadenlos reflektiert werden. Die fehlenden Komponenten erfährt er durch einfaches Mitteln der Werte benachbarter Pixel.
Grüne Zellen im Bayer-Filter sind mehr — das wurde nach dem Vorbild des menschlichen Auges gestaltet. Das bedeutet, dass von 50 Millionen Pixeln auf dem Sensor die grüne Farbe 25 Millionen erkennen wird, rot und blau jeweils 12,5 Millionen. Der Rest wird gemittelt — dieser Prozess wird Debayerisierung oder Demosaik genannt, und es ist eine ziemlich umständliche, lustige Notlösung, auf der alles beruht.
Jede Matrix hat tatsächlich ihren eigenen cleveren patentierten Demosaikierungsalgorithmus, aber in dieser Geschichte werden wir das ignorieren.
Andere Matrizes (wie zum Beispiel Foveon) haben sich bislang kaum durchgesetzt. Obwohl einige Hersteller versuchen, Matrizen ohne Bayer-Filter zu verwenden, um die Schärfe und den Dynamikbereich zu verbessern.
Wenn das Licht schwach ist oder die Details des Objekts winzig sind, verlieren wir eine Menge Informationen, weil der Bayer-Filter dreist Photonen mit unerwünschter Wellenlänge herausfiltert. Daher wurde Pixel Shifting erfunden — das Versetzen des Sensors um 1 Pixel nach oben, unten, rechts und links, um sie alle einzufangen. Das Foto wird dabei nicht viermal größer, wie es scheinen mag; der Prozessor nutzt diese Daten, um den Wert jedes Pixels präziser zu erfassen. Es wird nicht nach Nachbarn gemittelt, sondern nach vier eigenen Werten.
Das Zittern unserer Hände beim Fotografieren mit dem Handy macht diesen Prozess zu einer natürlichen Folge. In den neuesten Versionen von Google Pixel ist dieses Feature implementiert und wird immer aktiviert, wenn man den Zoom auf dem Handy verwendet — es heißt Super Res Zoom (ja, ich mag ihre unbarmherzige Namensgebung auch). Die Chinesen haben es auch in ihre Handys kopiert, obwohl es ein bisschen schlechter ausgefallen ist.
Das Übereinanderlegen leicht versetzter Fotos ermöglicht es, mehr Informationen über die Farbe jedes Pixels zu sammeln, und verringert somit das Rauschen, erhöht die Schärfe und hebt die Auflösung, ohne die physische Anzahl an Megapixeln der Matrix zu erhöhen. Moderne Android-Flaggschiffe machen dies automatisch, während ihre Benutzer nicht einmal darüber nachdenken.
Fokussierungstacking — jede Schärfentiefe und Nachfokussierung in der Nachbearbeitung
Die Methode stammt aus der Makrofotografie, wo eine geringe Tiefenschärfe immer ein Problem war. Um das gesamte Objekt scharf abzubilden, musste man mehrere Aufnahmen mit verschobener Schärfe nach vorne und hinten machen, um sie dann zu einem scharfen Bild zusammenzufügen. Dieselbe Methode wurde oft auch von Landschaftsfotografen verwendet, um den Vorder- und Hintergrund so scharf wie möglich zu gestalten.
Das alles hat sich auch auf Smartphones übertragen, allerdings ohne besonderen Hype. 2013 kam das Nokia Lumia 1020 mit der „Refocus App“ heraus, und 2014 das Samsung Galaxy S5 mit dem Modus „Selective Focus“. Sie arbeiteten nach dem gleichen Prinzip: Mit einem Tastendruck machten sie schnell drei Fotos – eines mit „normalem“ Fokus, eines mit nach vorne verschobener und eines mit nach hinten verschobener Schärfe. Die Software richtete die Bilder aus und erlaubte die Auswahl eines von ihnen, was als „echte“ Steuerung der Schärfe in der Nachbearbeitung präsentiert wurde.
Es gab keine weitere Bearbeitung, denn selbst dieser einfache Hack war ausreichend, um einen weiteren Nagel in den Sarg von Lytro und ähnlichen Geräten mit ihrem ehrlichen Refocus zu treiben. Übrigens, sprechen wir über sie (Übergangskünstler der 80. Stufe).
Computational Matrices – Lichtfelder und Plenoptik
Wie wir oben verstanden haben, sind unsere Matrizen ein Albtraum auf Krücken. Wir haben uns einfach daran gewöhnt und versuchen, damit zu leben. In ihrer Struktur haben sie sich seit Anfang der Zeiten wenig verändert. Wir haben nur den technischen Prozess perfektioniert – den Abstand zwischen den Pixeln verringert, Rauschübertragungen bekämpft, spezielle Pixel für den phasengestützten Autofokus hinzugefügt. Aber selbst bei der teuersten Spiegelreflexkamera und dem Versuch, darauf eine laufende Katze bei Raumlicht zu fotografieren – die Katze wird, um es milde auszudrücken, siegen.
Wir versuchen schon seit langem, etwas Besseres zu erfinden. Viele Versuche und Forschungen in diesem Bereich lassen sich mit der Suche nach „Computational Sensor“ oder „Non-Bayer Sensor“ googeln, und selbst das Beispiel mit Pixel Shifting oben kann als Versuch gewertet werden, Matrizen durch Berechnung zu verbessern. Doch in den letzten zwanzig Jahren kommen die vielversprechendsten Geschichten aus der Welt der sogenannten plenoptischen Kameras.
Damit Sie nicht vor Vorfreude auf komplexe Worte einschlafen, gebe ich Ihnen einen Insider-Tipp: Die Kamera der letzten Google Pixels ist tatsächlich ein bisschen plenoptisch. Nur mit zwei Pixeln, aber selbst das ermöglicht es ihr, die ehrliche optische Tiefenschärfe des Bildes zu berechnen, ganz ohne die zweite Kamera wie bei anderen.
Die Plenoptik ist eine mächtige Technologie, die bisher noch nicht richtig zur Anwendung gelangt ist. Ich werde auf einen meiner Lieblingsartikel über die Möglichkeiten von plenoptischen Kameras und unsere gemeinsame Zukunft verweisen. Die plenoptische Kamera — bald wird es sie überall geben.
Entwickelt 1994, zusammengestellt an der Stanford University im Jahr 2004. Die erste Verbraucherkamera — Lytro, veröffentlicht im Jahr 2012. Mit ähnlichen Technologien experimentiert die VR-Industrie derzeit intensiv.
Der Unterschied zu einer herkömmlichen Kamera liegt nur in einer Modifikation — Der Sensor ist mit einem Netz aus Linsen bedeckt, wobei jede Linse mehrere reale Pixel abdeckt. So funktioniert es:
Wenn man den Abstand vom Netz zum Sensor und die Größe der Blende richtig berechnet, ergeben sich im endgültigen Bild klare Cluster aus Pixeln – eine Art Miniaturversion des Originalbildes.
Es stellt sich heraus, dass, wenn man aus jedem Cluster beispielsweise ein zentrales Pixel entnimmt und das Bild nur anhand dieser Pixel zusammensetzt, es sich nicht von einem mit einer herkömmlichen Kamera aufgenommenen Bild unterscheidet. Ja, wir verlieren ein wenig an Auflösung, aber wir können Sony einfach bitten, weitere Megapixel in die neuen Sensoren zu packen.
Der Spaß beginnt aber erst richtig. Wenn man ein anderes Pixel aus jedem Cluster nimmt und das Bild erneut zusammensetzt, erhält man wieder ein normales Foto, nur als ob es mit einem Pixelverschiebung aufgenommen wurde. Mit Clustern von 10 × 10 Pixeln erhalten wir 100 Bilder des Objekts aus "ein wenig" verschiedenen Blickwinkeln.
Je größer die Cluster, desto mehr Bilder erhält man, aber die Auflösung wird geringer. In einer Welt mit Smartphones, die 41-Megapixel-Sensoren haben, können wir die Auflösung zwar etwas vernachlässigen, aber alles hat seine Grenzen. Man muss ein Gleichgewicht finden.
Okay, wir haben eine plenoptische Kamera zusammengestellt, und was bedeutet das für uns?
Echter Nachfokus.
Ein Feature, über das alle Journalisten in ihren Artikeln über Lytro schwärmten – die Möglichkeit einer ehrlichen Fokuskorrektur in der Nachbearbeitung. Mit "ehrlich" ist gemeint, dass wir keine verschiedenen Entschlackungsalgorithmen verwenden, sondern ausschließlich die verfügbaren Pixel nutzen, indem wir sie aus den Clustern in der gewünschten Reihenfolge auswählen oder mitteln.
Das Feature, über das in den Artikeln über Lytro von allen Journalisten gesprochen wurde, ist die Möglichkeit der ehrlichen Nachbearbeitung des Fokus in der Postproduktion. Mit ehrlich ist gemeint, dass wir keine Deblur-Algorithmen verwenden, sondern ausschließlich die verfügbaren Pixel nutzen, indem wir sie je nach Bedarf auswählen oder aus Clustern im richtigen Ordnung mitteln.
Ein RAW-Foto aus einer plenoptischen Kamera sieht seltsam aus. Um daraus ein gewohnt scharfes JPEG zu erhalten, muss man es zuerst zusammenstellen. Dazu muss man jeden Pixel des JPEGs aus einem der RAW-Cluster auswählen. Je nachdem, wie wir sie auswählen, wird das Ergebnis variieren.
Zum Beispiel gilt: Je weiter ein Cluster von dem Ort entfernt ist, an dem der ursprüngliche Strahl auftrifft, desto mehr ist dieser Strahl unscharf. Das liegt an der Optik. Um ein unscharfes Bild zu erhalten, müssen wir nur die Pixel in dem gewünschten Abstand vom Original auswählen – entweder näher oder weiter weg.
Mit dem Fokusverschiebung auf sich selbst war es schwieriger – rein physikalisch gab es solche Pixel in den Clustern weniger. Anfangs wollten die Entwickler dem Benutzer nicht einmal die Möglichkeit geben, manuell zu fokussieren – die Kamera entschied dies selbstständig. Den Nutzern gefiel diese Zukunft nicht, daher wurde die Funktion in späteren Firmware-Versionen unter dem Namen „Kreativmodus“ hinzugefügt, aber der Refokus wurde aus genau diesem Grund stark eingeschränkt.
Tiefenkarte und 3D mit einer Kamera
Eine der einfachsten Operationen in der Plenoptik ist die Erzeugung einer Tiefenkarte. Dazu müssen einfach zwei verschiedene Bilder zusammengefügt werden, und es wird berechnet, wie sehr die Objekte darauf verschoben sind. Eine größere Verschiebung heißt, dass sie weiter von der Kamera entfernt sind.
Kürzlich hat Google Lytro gekauft und eingestellt, aber ihre Technologien für sein VR und... für die Kamera im Pixel verwendet. Mit dem Pixel 2 wurde die Kamera erstmals „ein wenig“ plenoptisch, allerdings mit Clustern von nur zwei Pixeln. Dies ermöglichte es Google, keine zweite Kamera wie alle anderen zu installieren, sondern die Tiefenkarte ausschließlich anhand eines einzigen Fotos zu berechnen.
Die Tiefenkarte wird aus zwei Bildern erstellt, die um einen Subpixel verschoben sind. Dies reicht aus, um eine binäre Tiefenkarte zu berechnen und den Vordergrund vom Hintergrund zu trennen und letzterem im derzeit modischen Bokeh Unschärfe zu verleihen. Das Ergebnis dieser Schichtung wird zudem durch neuronale Netze geglättet und „verbessert“, die darauf trainiert sind, Tiefenkarten zu verbessern (und nicht zu verwischen, wie viele denken).
Das Besondere ist, dass uns die Plenoptik in Smartphones fast kostenlos zur Verfügung steht. Wir haben ohnehin Linsen auf diese winzigen Matrizen montiert, um den Lichtstrom irgendwie zu erhöhen. In den nächsten Pixeln plant Google, weiterzugehen und eine Linse über vier Fotodioden zu legen.
Quelle: 3dnews.ru
