Der Originalartikel ist auf der Website veröffentlicht und mit Genehmigung des Autors auf 3DNews veröffentlicht. Wir stellen den vollständigen Text des Artikels zur Verfügung, mit Ausnahme einer großen Anzahl von Links – sie werden für diejenigen nützlich sein, die sich ernsthaft für das Thema interessieren und die theoretischen Aspekte der Computerfotografie vertieft studieren möchten, aber für einen Für die allgemeine Öffentlichkeit hielten wir dieses Material für überflüssig.
Heutzutage ist keine einzige Smartphone-Präsentation vollständig, ohne die Kamera abzulecken. Jeden Monat hören wir vom nächsten Erfolg mobiler Kameras: Google bringt Pixel bei, im Dunkeln zu fotografieren, Huawei bringt ihm bei, wie ein Fernglas zu zoomen, Samsung führt Lidar ein und Apple baut die rundsten Ecken der Welt. Es gibt wenige Orte, an denen Innovationen heutzutage so schnell voranschreiten.
Gleichzeitig scheinen die Spiegel die Zeit zu markieren. Sony überschüttet jeden jedes Jahr mit neuen Matrizen, und die Hersteller aktualisieren träge die neueste Ziffernversion und entspannen sich weiterhin und rauchen am Spielfeldrand. Ich habe eine 3000-Dollar-DSLR auf meinem Schreibtisch, aber wenn ich reise, nehme ich mein iPhone mit. Warum?
Wie der Klassiker sagte, bin ich mit dieser Frage online gegangen. Dort diskutieren sie über einige „Algorithmen“ und „neuronale Netze“, ohne zu wissen, welchen genauen Einfluss diese auf die Fotografie haben. Journalisten verlesen lautstark die Anzahl der Megapixel, Blogger sägen unisono bezahlte Unboxings und Ästheten beschmieren sich mit „sinnlicher Wahrnehmung der Farbpalette der Matrix“. Alles wie gewöhnlich.
Ich musste mich hinsetzen, die Hälfte meines Lebens damit verbringen, alles selbst herauszufinden. In diesem Artikel werde ich Ihnen erzählen, was ich gelernt habe.
Was ist Computerfotografie?
Überall, auch bei Wikipedia, gibt es ungefähr diese Definition: Computerfotografie ist jede Bilderfassungs- und -verarbeitungstechnik, die digitale Berechnungen anstelle optischer Transformationen verwendet. Alles daran ist gut, außer dass es nichts erklärt. Sogar der Autofokus ist dafür geeignet, aber die Plenoptik, die uns schon viel Nützliches gebracht hat, passt nicht. Die Unbestimmtheit der offiziellen Definitionen scheint darauf hinzudeuten, dass wir keine Ahnung haben, wovon wir sprechen.
Der Pionier der Computerfotografie, Stanford-Professor Marc Levoy (der jetzt für die Kamera bei Google Pixel verantwortlich ist), gibt eine andere Definition – eine Reihe von Computervisualisierungsmethoden, die die Fähigkeiten der digitalen Fotografie verbessern oder erweitern, mit denen ein normales Foto erstellt wird das konnte mit dieser Kamera technisch nicht aufgenommen werden. Kamera auf herkömmliche Weise. Im Artikel halte ich mich daran.
Smartphones waren also an allem schuld.
Smartphones hatten keine andere Wahl, als eine neue Art der Fotografie hervorzubringen: die Computerfotografie.
Ihre kleinen, rauschenden Matrizen und winzigen Linsen mit langsamer Blende hätten nach allen Gesetzen der Physik nur Schmerz und Leid bringen sollen. Sie taten dies, bis ihre Entwickler herausfanden, wie sie ihre Stärken geschickt nutzen konnten, um ihre Schwächen zu überwinden – schnelle elektronische Verschlüsse, leistungsstarke Prozessoren und Software.
Der Großteil der hochkarätigen Forschung auf dem Gebiet der Computerfotografie fand zwischen 2005 und 2015 statt, was in der Wissenschaft buchstäblich als gestern gilt. Gerade jetzt entwickelt sich vor unseren Augen und in unserer Tasche ein neues Wissens- und Technologiegebiet, das es so noch nie gegeben hat.
Bei der Computerfotografie geht es nicht nur um Selfies mit Neuro-Bokeh. Das aktuelle Foto eines Schwarzen Lochs wäre ohne Techniken der Computerfotografie nicht möglich gewesen. Um ein solches Foto mit einem normalen Teleskop aufzunehmen, müssten wir es auf die Größe der Erde bringen. Durch die Kombination von Daten von acht Radioteleskopen an verschiedenen Punkten unseres Balls und das Schreiben einiger Skripte in Python erhielten wir jedoch das weltweit erste Foto des Ereignishorizonts. Auch gut für Selfies.
Beginn: digitale Bearbeitung
Stellen wir uns vor, wir wären 2007 zurückgekehrt. Unsere Mutter ist Anarchie und unsere Fotos sind laute 0,6-Megapixel-Jeeps, aufgenommen auf einem Skateboard. Ungefähr dann verspüren wir zum ersten Mal den unwiderstehlichen Wunsch, Presets darüber zu streuen, um die Erbärmlichkeit mobiler Matrizen zu verbergen. Verleugnen wir uns nicht.
Matan und Instagram
Mit der Veröffentlichung von Instagram wurden alle von Filtern besessen. Als jemand, der X-Pro II, Lo-Fi und Valencia natürlich zu Forschungszwecken rückentwickelt hat, erinnere ich mich noch daran, dass sie aus drei Komponenten bestanden:
- Farbeinstellungen (Farbton, Sättigung, Helligkeit, Kontrast, Pegel usw.) – einfache digitale Koeffizienten, genau wie alle Voreinstellungen, die Fotografen seit der Antike verwenden.
- Tone Mappings sind Vektoren von Werten, die uns jeweils sagen: „Die rote Farbe mit einem Farbton von 128 sollte in einen Farbton von 240 umgewandelt werden.“
- Ein Overlay ist ein durchscheinendes Bild mit Staub, Körnung, Vignette und allem anderen, was darüber gelegt werden kann, um den gar nicht so banalen Effekt eines alten Films zu erzielen. War nicht immer vorhanden.
Moderne Filter sind von diesem Trio nicht mehr weit entfernt, lediglich in der Mathematik sind sie etwas komplexer geworden. Mit dem Aufkommen von Hardware-Shadern und OpenCL auf Smartphones wurden sie schnell für die GPU umgeschrieben, was als äußerst cool galt. Für 2012 natürlich. Heutzutage kann jeder Student dasselbe in CSS tun, und er wird immer noch keine Chance auf einen Abschluss haben.
Der Fortschritt der Filter ist jedoch bis heute nicht gestoppt. Die Jungs von Dehanser zum Beispiel sind großartig darin, nichtlineare Filter zu verwenden – statt proletarischer Tonzuordnung verwenden sie komplexere nichtlineare Transformationen, was ihrer Meinung nach viel mehr Möglichkeiten eröffnet.
Mit nichtlinearen Transformationen kann man vieles machen, aber sie sind unglaublich komplex und wir Menschen sind unglaublich dumm. Sobald es in der Wissenschaft um nichtlineare Transformationen geht, greifen wir lieber zu numerischen Methoden und stopfen überall neuronale Netze voll, damit sie Meisterwerke für uns schreiben. Hier war es genauso.
Automatisierung und Träume von einem „Meisterwerk“-Knopf
Nachdem sich alle an Filter gewöhnt hatten, begannen wir, sie direkt in Kameras einzubauen. Die Geschichte verrät, welcher Hersteller der erste war, aber nur um zu verstehen, wie lange das her ist: In iOS 5.0, das 2011 veröffentlicht wurde, gab es bereits eine öffentliche API für die automatische Bildverbesserung. Nur Jobs weiß, wie lange es genutzt wurde, bevor es der Öffentlichkeit zugänglich gemacht wurde.
Die Automatisierung hat das Gleiche bewirkt, was jeder von uns tut, wenn er ein Foto im Editor öffnet – es hat Lücken in Licht und Schatten gezogen, Sättigung hinzugefügt, rote Augen entfernt und den Teint fixiert. Den Nutzern war nicht einmal bewusst, dass die „dramatisch verbesserte Kamera“ im neuen Smartphone nur das Verdienst einiger neuer Shader war. Bis zur Veröffentlichung des Google Pixel und dem Beginn des Computerfotografie-Hypes vergingen noch fünf Jahre.
Heute hat sich der Kampf um den „Meisterwerk“-Button auf den Bereich des maschinellen Lernens verlagert. Nachdem wir genug mit Tone Mapping herumgespielt hatten, beeilten sich alle, CNNs und GANs beizubringen, Schieberegler anstelle des Benutzers zu bewegen. Mit anderen Worten: Bestimmen Sie aus dem Eingabebild einen Satz optimaler Parameter, die dieses Bild einem bestimmten subjektiven Verständnis von „guter Fotografie“ näher bringen würden. Implementiert im gleichen Pixelmator Pro und anderen Editoren. Es funktioniert, wie Sie vielleicht vermuten, nicht sehr gut und nicht immer.
Stacking macht 90 % des Erfolgs mobiler Kameras aus
Echte Computerfotografie begann mit dem Stapeln – dem Übereinanderschichten mehrerer Fotos. Für ein Smartphone ist es kein Problem, in einer halben Sekunde ein Dutzend Bilder anzuklicken. Ihre Kameras haben keine langsamen mechanischen Teile: Die Blende ist fest und anstelle eines beweglichen Vorhangs gibt es einen elektronischen Verschluss. Der Prozessor gibt der Matrix einfach den Befehl, wie viele Mikrosekunden sie wilde Photonen einfangen soll, und liest das Ergebnis vor.
Technisch gesehen kann das Telefon Fotos mit Videogeschwindigkeit und Videos mit Fotoauflösung aufnehmen, aber alles hängt von der Geschwindigkeit des Busses und des Prozessors ab. Deshalb legen sie immer Programmgrenzen fest.
Das Abstecken selbst begleitet uns schon seit langer Zeit. Sogar Großväter haben Plugins für Photoshop 7.0 installiert, um mehrere Fotos zu einem auffälligen HDR zusammenzusetzen oder ein Panorama mit 18000 × 600 Pixeln zusammenzufügen, und ... tatsächlich hat niemand jemals herausgefunden, was man als nächstes damit machen sollte. Schade, dass die Zeiten reich und wild waren.
Jetzt sind wir erwachsen geworden und nennen es „Epsilon-Fotografie“ – wenn wir durch Ändern eines der Kameraparameter (Belichtung, Fokus, Position) und Zusammenfügen der resultierenden Bilder etwas erhalten, das nicht in einem Bild erfasst werden konnte. Aber das ist ein Begriff für Theoretiker; in der Praxis hat sich ein anderer Name durchgesetzt – das Abstecken. Tatsächlich basieren heute 90 % aller Innovationen bei mobilen Kameras darauf.
Etwas, worüber viele Menschen nicht nachdenken, das aber für das Verständnis der Mobil- und Computerfotografie insgesamt wichtig ist: Die Kamera eines modernen Smartphones beginnt mit der Aufnahme von Fotos, sobald Sie die entsprechende App öffnen. Was logisch ist, denn sie muss das Bild irgendwie auf den Bildschirm übertragen. Allerdings speichert es zusätzlich zum Bildschirm hochauflösende Bilder in seinem eigenen Schleifenpuffer, wo es sie für ein paar weitere Sekunden speichert.
Drückt man den „Foto aufnehmen“-Knopf, ist das Foto eigentlich schon aufgenommen, die Kamera nimmt einfach das letzte Foto aus dem Puffer.
So funktioniert heute jede mobile Kamera. Zumindest bei allen Flaggschiffen nicht vom Müllhaufen. Durch das Puffern können Sie nicht nur eine Null-Auslöseverzögerung realisieren, von der Fotografen schon lange geträumt haben, sondern sogar eine negative – auf Knopfdruck blickt das Smartphone in die Vergangenheit, entlädt die letzten 5-10 Fotos aus dem Puffer und beginnt hektisch zu analysieren und fügen Sie sie ein. Sie müssen nicht mehr darauf warten, dass das Telefon Bilder für HDR oder den Nachtmodus anklickt – nehmen Sie sie einfach aus dem Puffer, der Benutzer merkt es nicht einmal.
Live Photo wird übrigens mit Hilfe der negativen Verschlussverzögerung in iPhones implementiert, und HTC hatte bereits 2013 unter dem seltsamen Namen Zoe etwas Ähnliches.
Belichtungsstapelung – HDR und Bekämpfung von Helligkeitsänderungen
Ob Kamerasensoren in der Lage sind, den gesamten für unsere Augen zugänglichen Helligkeitsbereich zu erfassen, ist ein altes, heiß diskutiertes Thema. Manche sagen nein, denn das Auge ist in der Lage, bis zu 25 Blendenstufen zu sehen, während selbst aus einer Top-Vollformat-Matrix maximal 14 herauskommen. Andere halten den Vergleich für falsch, weil das Gehirn dem Auge hilft, indem es sich automatisch anpasst die Pupille und die Vervollständigung des Bildes mit seinen neuronalen Netzen und dem Augenblick. Der Dynamikumfang des Auges beträgt eigentlich nicht mehr als nur 10-14 Blendenstufen. Überlassen wir diese Debatte den besten Sesseldenkern im Internet.
Die Tatsache bleibt bestehen: Wenn Sie Freunde vor einem hellen Himmel ohne HDR mit einer mobilen Kamera fotografieren, erhalten Sie entweder einen normalen Himmel und die schwarzen Gesichter Ihrer Freunde oder gut gezeichnete Freunde, aber einen verbrannten Himmel.
Die Lösung ist längst erfunden – den Helligkeitsbereich mittels HDR (High Dynamic Range) zu erweitern. Sie müssen mehrere Bilder mit unterschiedlichen Verschlusszeiten aufnehmen und diese zusammenfügen. Das eine ist also „normal“, das zweite heller, das dritte dunkler. Wir nehmen dunkle Stellen aus einem hellen Rahmen, füllen Überbelichtungen aus einem dunklen auf – profitieren. Es bleibt nur noch, das Problem der automatischen Belichtungsreihe zu lösen – um wie viel die Belichtung jedes Bildes verschoben werden muss, um es nicht zu übertreiben, aber ein Student im zweiten Jahr an einer technischen Universität kann jetzt damit umgehen, die durchschnittliche Helligkeit eines Bildes zu bestimmen.
Auf den neuesten iPhone-, Pixel- und Galaxy-Geräten wird der HDR-Modus im Allgemeinen automatisch aktiviert, wenn ein einfacher Algorithmus in der Kamera feststellt, dass Sie an einem sonnigen Tag etwas mit Kontrast aufnehmen. Sie können sogar bemerken, wie das Telefon den Aufnahmemodus auf Puffer umschaltet, um in der Belichtung verschobene Bilder zu speichern – die Bilder pro Sekunde in der Kamera sinken und das Bild selbst wird saftiger. Der Umschaltmoment ist auf meinem iPhone X beim Filmen im Freien deutlich sichtbar. Schauen Sie sich Ihr Smartphone beim nächsten Mal auch genauer an.
Der Nachteil von HDR mit Belichtungsreihe ist seine undurchdringliche Hilflosigkeit bei schlechten Lichtverhältnissen. Selbst im Licht einer Zimmerlampe werden die Rahmen so dunkel, dass der Computer sie nicht ausrichten und zusammenfügen kann. Um das Lichtproblem zu lösen, zeigte Google 2013 im damals veröffentlichten Nexus-Smartphone einen anderen Ansatz für HDR. Er nutzte Zeitstapelung.
Time Stacking – Langzeitbelichtungssimulation und Zeitraffer
Mit der Zeitstapelung können Sie aus einer Reihe von Kurzbelichtungen eine Langzeitbelichtung erstellen. Die Pioniere waren Fans des Fotografierens von Sternspuren am Nachthimmel und empfanden es als unbequem, den Verschluss zwei Stunden lang gleichzeitig zu öffnen. Es war so schwierig, alle Einstellungen im Voraus zu berechnen, und die kleinste Erschütterung würde den gesamten Rahmen ruinieren. Sie beschlossen, den Verschluss nur für ein paar Minuten, aber viele Male zu öffnen, gingen dann nach Hause und fügten die resultierenden Bilder in Photoshop ein.
Es stellt sich heraus, dass die Kamera eigentlich nie mit einer langen Verschlusszeit aufgenommen hat, aber wir haben den Effekt einer Simulation erzielt, indem wir mehrere nacheinander aufgenommene Bilder addiert haben. Es gibt seit langem eine Reihe von Apps für Smartphones, die diesen Trick verwenden, aber alle werden nicht benötigt, da die Funktion in fast alle Standardkameras integriert wurde. Heutzutage kann sogar ein iPhone problemlos eine Langzeitbelichtung aus einem Live-Foto zusammenfügen.
Kehren wir zurück zu Google mit seinem Nacht-HDR. Es stellte sich heraus, dass man mit Hilfe von Time Bracketing auch bei Dunkelheit gutes HDR umsetzen kann. Die Technologie erschien erstmals im Nexus 5 und hieß HDR+. Der Rest der Android-Handys erhielt es wie ein Geschenk. Die Technologie erfreut sich immer noch so großer Beliebtheit, dass sie sogar bei der Präsentation der neuesten Pixel gelobt wird.
HDR+ funktioniert ganz einfach: Nachdem die Kamera festgestellt hat, dass Sie im Dunkeln fotografieren, entlädt sie die letzten 8-15 RAW-Fotos aus dem Puffer, um sie übereinander zu legen. Daher sammelt der Algorithmus mehr Informationen über die dunklen Bereiche des Bildes, um Rauschen zu minimieren – Pixel, bei denen die Kamera aus irgendeinem Grund nicht alle Informationen sammeln konnte und einen Fehler gemacht hat.
Wenn Sie nicht wüssten, wie ein Wasserschwein aussieht, und fünf Leute bitten würden, es zu beschreiben, wären ihre Geschichten ungefähr gleich, aber jeder würde ein einzigartiges Detail erwähnen. Auf diese Weise würden Sie mehr Informationen sammeln, als nur jemanden zu fragen. Mit Pixeln ist es genauso.
Das Hinzufügen von Bildern, die von einem Punkt aus aufgenommen wurden, ergibt den gleichen falschen Langzeitbelichtungseffekt wie bei den Sternen oben. Die Belichtung von Dutzenden von Bildern wird zusammengefasst, Fehler in einem werden in anderen minimiert. Stellen Sie sich vor, wie oft Sie jedes Mal auf den DSLR-Auslöser klicken müssten, um dies zu erreichen.
Es blieb nur noch die Lösung des Problems der automatischen Farbkorrektur – im Dunkeln aufgenommene Bilder fallen normalerweise vollständig gelb oder grün aus, und wir möchten sozusagen die Sättigung des Tageslichts. In frühen Versionen von HDR+ wurde dieses Problem durch einfaches Anpassen der Einstellungen gelöst, wie bei Filtern à la Instagram. Dann riefen sie neuronale Netze zu Hilfe.
So entstand Night Sight – die Technologie der „Nachtfotografie“ in Pixel 2 und 3. In der Beschreibung heißt es: „Techniken des maschinellen Lernens, die auf HDR+ aufbauen und dafür sorgen, dass Night Sight funktioniert.“ Im Wesentlichen handelt es sich dabei um die Automatisierung der Farbkorrekturphase. Die Maschine wurde anhand eines Datensatzes von „Vorher“- und „Nachher“-Fotos trainiert, um aus jedem Satz dunkler, schiefer Fotos ein schönes Bild zu erstellen.
Der Datensatz wurde übrigens öffentlich zugänglich gemacht. Vielleicht nehmen es die Jungs von Apple und bringen ihren Glasschaufeln endlich bei, auch im Dunkeln richtig zu fotografieren.
Darüber hinaus nutzt Night Sight die Berechnung des Bewegungsvektors von Objekten im Bild, um die Unschärfe zu normalisieren, die bei einer langen Verschlusszeit mit Sicherheit auftritt. So kann das Smartphone Klarsichtteile aus anderen Rahmen übernehmen und diese verkleben.
Motion Stacking – Panorama, Superzoom und Rauschunterdrückung
Panorama ist eine beliebte Unterhaltung für Bewohner ländlicher Gebiete. Die Geschichte kennt noch keinen Fall, in dem ein Wurstfoto für jemand anderen als seinen Autor von Interesse wäre, aber es kann nicht ignoriert werden – für viele begann das Stapeln hier überhaupt erst.
Die erste nützliche Möglichkeit, ein Panorama zu verwenden, besteht darin, durch Zusammenfügen mehrerer Bilder ein Foto mit einer höheren Auflösung zu erhalten, als die Kameramatrix zulässt. Für sogenannte Super-Resolution-Aufnahmen – bei denen sich leicht verschobene Aufnahmen zwischen den Pixeln scheinbar ergänzen – nutzen Fotografen schon lange unterschiedliche Software. Auf diese Weise können Sie ein Bild mit mindestens Hunderten von Gigapixeln erhalten, was sehr nützlich ist, wenn Sie es auf ein Werbeplakat in der Größe eines Hauses drucken müssen.
Ein weiterer, interessanterer Ansatz ist Pixel Shifting. Einige spiegellose Kameras wie Sony und Olympus begannen bereits 2014 mit der Unterstützung, mussten das Ergebnis jedoch noch von Hand aufkleben. Typische große Kamerainnovationen.
Das haben Smartphones aus einem lustigen Grund geschafft: Wenn man ein Foto macht, zittern die Hände. Dieses scheinbare Problem bildete die Grundlage für die Implementierung der nativen Superauflösung auf Smartphones.
Um zu verstehen, wie das funktioniert, müssen Sie sich daran erinnern, wie die Matrix jeder Kamera aufgebaut ist. Jedes seiner Pixel (Fotodiode) ist nur in der Lage, die Intensität des Lichts – also die Anzahl der einfallenden Photonen – aufzuzeichnen. Allerdings kann ein Pixel seine Farbe (Wellenlänge) nicht messen. Um ein RGB-Bild zu erhalten, mussten wir auch hier Krücken hinzufügen – die gesamte Matrix mit einem Gitter aus mehrfarbigen Glasstücken bedecken. Seine beliebteste Implementierung heißt Bayer-Filter und wird heute in den meisten Matrizen verwendet. Sieht aus wie auf dem Bild unten.
Es stellt sich heraus, dass jedes Pixel der Matrix nur die R-, G- oder B-Komponente einfängt, weil die restlichen Photonen vom Bayer-Filter gnadenlos reflektiert werden. Es erkennt die fehlenden Komponenten, indem es die Werte benachbarter Pixel stumpf mittelt.
Im Bayer-Filter gibt es mehr grüne Zellen – dies erfolgte in Analogie zum menschlichen Auge. Es stellt sich heraus, dass Grün von 50 Millionen Pixeln auf der Matrix 25 Millionen erfasst, Rot und Blau jeweils 12,5 Millionen. Der Rest wird gemittelt – dieser Vorgang wird Debayerisierung oder Demosaicing genannt, und das ist so eine fette, lustige Krücke auf dem alles ruht.
Tatsächlich verfügt jede Matrix über ihren eigenen raffinierten, patentierten Demosaikierungsalgorithmus, aber für die Zwecke dieser Geschichte werden wir dies vernachlässigen.
Andere Arten von Matrizen (wie Foveon) haben sich irgendwie noch nicht durchgesetzt. Allerdings versuchen einige Hersteller, Sensoren ohne Bayer-Filter zu verwenden, um Schärfe und Dynamikumfang zu verbessern.
Wenn wenig Licht vorhanden ist oder die Details eines Objekts sehr klein sind, verlieren wir viele Informationen, weil der Bayer-Filter Photonen mit einer unerwünschten Wellenlänge offensichtlich abschneidet. Aus diesem Grund haben sie Pixel Shifting entwickelt – die Matrix wird um 1 Pixel nach oben, unten, rechts und links verschoben, um sie alle zu erfassen. In diesem Fall ist das Foto nicht, wie es scheint, viermal größer, der Prozessor verwendet diese Daten einfach, um den Wert jedes Pixels genauer aufzuzeichnen. Es mittelt sozusagen nicht über seine Nachbarn, sondern über vier Werte seiner selbst.
Das Zittern unserer Hände beim Fotografieren mit dem Telefon macht diesen Vorgang zu einer natürlichen Folge. In den neuesten Versionen von Google Pixel ist dieses Ding implementiert und schaltet sich ein, wenn Sie den Zoom auf dem Telefon verwenden – es heißt Super Res Zoom (ja, ich mag auch ihre gnadenlose Benennung). Auch die Chinesen kopierten es in ihre Laophone, allerdings kam es etwas schlimmer.
Durch das Übereinanderlegen leicht verschobener Fotos können Sie mehr Informationen über die Farbe jedes Pixels sammeln. Dies bedeutet, das Rauschen zu reduzieren, die Schärfe zu erhöhen und die Auflösung zu erhöhen, ohne die physische Anzahl der Megapixel der Matrix zu erhöhen. Moderne Android-Flaggschiffe erledigen dies automatisch, ohne dass ihre Nutzer darüber nachdenken.
Focus Stacking – beliebige Schärfentiefe und Neufokussierung in der Postproduktion
Die Methode stammt aus der Makrofotografie, wo geringe Schärfentiefe schon immer ein Problem war. Damit das gesamte Objekt scharf abgebildet war, musste man mehrere Bilder mit hin- und herverschiebendem Fokus aufnehmen und sie dann zu einem scharfen Bild zusammenfügen. Die gleiche Methode wurde oft von Landschaftsfotografen verwendet, um Vorder- und Hintergrund so scharf wie Durchfall zu machen.
All dies hat sich auch auf Smartphones ausgeweitet, allerdings ohne großen Hype. Im Jahr 2013 erschien das Nokia Lumia 1020 mit „Refocus App“ und im Jahr 2014 das Samsung Galaxy S5 mit „Selective Focus“-Modus. Sie arbeiteten nach dem gleichen Schema: Per Knopfdruck machten sie schnell drei Fotos – eines mit „normalem“ Fokus, das zweite mit nach vorne verschobenem Fokus und das dritte mit nach hinten verschobenem Fokus. Das Programm richtete die Bilder aus und ermöglichte die Auswahl eines davon, was in der Postproduktion als „echte“ Fokussteuerung angepriesen wurde.
Eine weitere Bearbeitung erfolgte nicht, denn selbst dieser einfache Hack reichte aus, um Lytro und seinen Mitbewerbern mit ihrer ehrlichen Neuausrichtung einen weiteren Nagel ins Gesicht zu schlagen. Lasst uns übrigens darüber reden (Übergangsmeister 80 Level).
Computermatrizen – Lichtfelder und Plenoptik
Wie wir oben verstanden haben, sind unsere Matrizen Schrecken auf Krücken. Wir haben uns einfach daran gewöhnt und versuchen, damit zu leben. Ihre Struktur hat sich seit Anbeginn der Zeit kaum verändert. Wir haben nur den technischen Prozess verbessert – wir haben den Abstand zwischen den Pixeln verringert, gegen Interferenzrauschen gekämpft und spezielle Pixel für den Phasendetektions-Autofokus hinzugefügt. Aber wenn Sie selbst die teuerste DSLR nehmen und versuchen, damit eine laufende Katze bei Raumbeleuchtung zu fotografieren, wird die Katze, gelinde gesagt, gewinnen.
Wir versuchen schon seit langem, etwas Besseres zu erfinden. Viele Versuche und Forschungen in diesem Bereich werden nach „Computersensor“ oder „Nicht-Bayer-Sensor“ gegoogelt, und selbst das obige Beispiel für Pixelverschiebung kann auf Versuche zurückgeführt werden, Matrizen mithilfe von Berechnungen zu verbessern. Die vielversprechendsten Geschichten der letzten zwanzig Jahre kamen jedoch gerade aus der Welt der sogenannten plenoptischen Kameras.
Damit Sie vor der Vorfreude auf bevorstehende komplexe Wörter nicht einschlafen, füge ich einen Insider hinzu, dass die Kamera des neuesten Google Pixel nur „leicht“ plenoptisch ist. Nur zwei Pixel, aber selbst damit kann er wie alle anderen auch ohne zweite Kamera die richtige optische Bildtiefe berechnen.
Plenoptics ist eine mächtige Waffe, die noch nicht abgefeuert wurde. Hier ist ein Link zu einem meiner aktuellen Favoriten. , wo ich die Beispiele ausgeliehen habe.
Plenoptische Kamera – bald verfügbar
1994 erfunden, 2004 in Stanford gesammelt. Die erste Consumer-Kamera, Lytro, kam 2012 auf den Markt. Die VR-Branche experimentiert derzeit aktiv mit ähnlichen Technologien.
Eine plenoptische Kamera unterscheidet sich von einer herkömmlichen Kamera nur in einer Modifikation: Ihre Matrix ist mit einem Linsenraster bedeckt, von denen jede mehrere echte Pixel abdeckt. Irgendwie so:
Wenn Sie den Abstand vom Gitter zur Matrix und die Größe der Blende richtig berechnen, weist das endgültige Bild klare Pixelcluster auf – eine Art Miniversion des Originalbilds.
Es stellt sich heraus, dass sich das Bild nicht von dem unterscheidet, das mit einer normalen Kamera aufgenommen wurde, wenn man beispielsweise ein zentrales Pixel aus jedem Cluster nimmt und das Bild nur mit diesen zusammenfügt. Ja, wir haben ein wenig an Auflösung verloren, aber wir werden Sony einfach bitten, mehr Megapixel in die neuen Matrizen aufzunehmen.
Der Spaß fängt gerade erst an. Wenn Sie aus jedem Cluster ein weiteres Pixel nehmen und das Bild erneut zusammenfügen, erhalten Sie wieder ein normales Foto, nur so, als ob es mit einer Verschiebung um ein Pixel aufgenommen worden wäre. Mit Clustern von 10 × 10 Pixeln erhalten wir also 100 Bilder des Objekts von „etwas“ unterschiedlichen Punkten.
Eine größere Clustergröße bedeutet mehr Bilder, aber eine geringere Auflösung. In der Welt der Smartphones mit 41-Megapixel-Matrix kann man die Auflösung zwar ein wenig vernachlässigen, aber es gibt für alles eine Grenze. Man muss das Gleichgewicht halten.
Okay, wir haben eine plenoptische Kamera zusammengebaut. Was bringt uns das?
Ehrliche Neuausrichtung
Das Merkmal, über das alle Journalisten in Artikeln über Lytro schwärmten, war die Möglichkeit, den Fokus in der Postproduktion ehrlich anzupassen. Mit fair meinen wir, dass wir keine Unschärfealgorithmen verwenden, sondern ausschließlich die vorhandenen Pixel verwenden und sie in der erforderlichen Reihenfolge aus Clustern auswählen oder mitteln.
RAW-Fotografie von einer plenoptischen Kamera sieht seltsam aus. Um den gewohnt scharfen Jeep daraus zu bekommen, muss man ihn zunächst zusammenbauen. Dazu müssen Sie jedes Pixel des Jeeps aus einem der RAW-Cluster auswählen. Je nachdem, wie wir sie auswählen, wird sich das Ergebnis ändern.
Je weiter der Cluster beispielsweise vom Einfallspunkt des ursprünglichen Strahls entfernt ist, desto unscharfer ist dieser Strahl. Wegen der Optik. Um ein fokusverschobenes Bild zu erhalten, müssen wir lediglich Pixel im gewünschten Abstand vom Original auswählen – entweder näher oder weiter entfernt.
Es war schwieriger, den Fokus auf sich selbst zu richten – rein physikalisch gab es in den Clustern weniger solcher Pixel. Die Entwickler wollten dem Nutzer zunächst nicht einmal die Möglichkeit geben, mit den Händen zu fokussieren – das hat die Kamera per Software selbst entschieden. Den Benutzern gefiel diese Zukunft nicht, deshalb fügten sie in späterer Firmware eine Funktion namens „Kreativmodus“ hinzu, machten die Neufokussierung jedoch aus genau diesem Grund sehr eingeschränkt.
Tiefenkarte und 3D von einer Kamera
Eine der einfachsten Operationen in der Plenoptik ist die Erstellung einer Tiefenkarte. Dazu müssen Sie lediglich zwei verschiedene Frames sammeln und berechnen, um wie viel die darin enthaltenen Objekte verschoben sind. Mehr Verschiebung bedeutet weiter von der Kamera entfernt.
Google hat kürzlich Lytro gekauft und wieder eingestellt, nutzte deren Technologie jedoch für seine VR und ... für die Pixel-Kamera. Ab Pixel 2 wurde die Kamera erstmals „leicht“ plenoptisch, allerdings mit Clustern von nur zwei Pixeln. Dies gab Google die Möglichkeit, nicht wie alle anderen eine zweite Kamera zu installieren, sondern die Tiefenkarte ausschließlich aus einem Foto zu berechnen.
Die Tiefenkarte wird aus zwei um ein Subpixel verschobenen Bildern erstellt. Dies reicht völlig aus, um eine binäre Tiefenkarte zu berechnen, den Vordergrund vom Hintergrund zu trennen und diesen im mittlerweile modischen Bokeh unscharf zu machen. Das Ergebnis einer solchen Schichtung wird auch durch neuronale Netze geglättet und „verbessert“, die darauf trainiert sind, Tiefenkarten zu verbessern (und nicht zu verwischen, wie viele Leute denken).
Der Trick ist, dass wir Plenoptics in Smartphones fast kostenlos bekommen haben. Auf diese winzigen Matrizen haben wir bereits Linsen gesetzt, um den Lichtstrom irgendwie zu erhöhen. Beim nächsten Pixel will Google noch weiter gehen und vier Fotodioden mit einer Linse abdecken.
Source: 3dnews.ru