Entdecken Sie das fast Unsichtbare – jetzt auch in Farbe: eine Methode zur Visualisierung von Objekten durch Streuung.

Eine der bekanntesten Fähigkeiten von Superman ist sein Superblick, der es ihm ermöglichte, Atome zu betrachten, im Dunkeln zu sehen und auf große Entfernungen zu blicken sowie durch Objekte hindurchzusehen. Diese Fähigkeit wird auf den Bildschirmen sehr selten demonstriert, existiert jedoch. In unserer Realität können wir auch durch nahezu undurchsichtige Objekte sehen, indem wir einige wissenschaftliche Tricks anwenden. Bisher waren die durch diese Techniken erhaltenen Bilder immer monochrom, bis vor Kurzem. Heute werden wir eine Studie kennenlernen, in der Forscher der Duke University (USA) es geschafft haben, einen farbigen Schnappschuss von Objekten hinter einer undurchsichtigen Wand zu machen, indem sie eine einmalige Lichtanwendung nutzten. Was ist diese Supertechnologie, wie funktioniert sie und in welchen Bereichen kann sie eingesetzt werden? Darüber wird uns der Bericht der Forschungsgruppe informieren. Lassen Sie uns anfangen.

Grundlage der Forschung

Trotz aller möglichen „Extras“ der Visualisierungstechnologie von Objekten in streuenden Medien gibt es eine Reihe von Umsetzungsproblemen dieser Technologie. Das Hauptproblem ist, dass sich die Pfade der Photonen, die durch den Streuer laufen, erheblich ändern, was zu zufälligen Mustern führt. Speckl* auf der anderen Seite.

Speckl* ist ein zufälliges Interferenzmuster, das durch die gegenseitige Interferenz kohärenter Wellen mit zufälligen Phasenverschiebungen und/oder einer zufälligen Intensitätsverteilung entsteht. Es sieht meist aus wie eine Ansammlung von hellen Punkten auf einem dunklen Hintergrund.

In den letzten Jahren wurden mehrere Visualisierungsmethoden entwickelt, die es ermöglichen, die Effekte des Streuers zu umgehen und Informationen über das Objekt aus dem Speckelmuster zu extrahieren. Das Problem dieser Methoden liegt in ihren Einschränkungen – man benötigt bestimmte Kenntnisse über das Objekt, Zugang zu dem streuenden Medium oder dem Objekt usw.

Gleichzeitig gibt es eine Methode, die von Wissenschaftlern als wesentlich leistungsfähiger angesehen wird – die Erinnerungseffekt-Visualisierung (ME). Diese Methode ermöglicht es, ein Objekt zu visualisieren, ohne dass vorherige Kenntnisse über das Objekt oder das Streumedium erforderlich sind. Wie wir wissen, hat jede Methode ihre Nachteile, und die ME-Methode bildet da keine Ausnahme. Für hochkontrastierende Speckle-Muster und damit genauere Bilder muss die Beleuchtung schmalbandig sein, d.h. unter 1 nm.

Es ist ebenfalls möglich, die Einschränkungen der ME-Methode zu umgehen, allerdings sind diese Tricks wieder mit dem Zugang zur optischen Quelle oder zum Objekt vor dem Streuer oder mit direkten Messungen verbunden. PSF*.

PSF* – die Punktstreufunktion, die das Bild beschreibt, das ein Bildgebungsverfahren erhält, wenn es eine punktuelle Lichtquelle oder ein punktuelles Objekt beobachtet.

Forscher bezeichnen diese Methoden als funktional, aber nicht perfekt, da die Messung der PSF nicht immer möglich ist, beispielsweise aufgrund der Dynamik des Streuers oder weil dieser vor der Visualisierungsprozedur nicht zugänglich ist. Mit anderen Worten, es gibt noch Entwicklungspotenzial.

In ihrer Arbeit schlagen die Forscher einen alternativen Ansatz vor. Sie demonstrieren uns eine Methode zur Implementierung der multispektralen Visualisierung von Objekten durch ein streuendes Medium unter Verwendung einer einzigen Speckle-Messung mit einer monochromen Kamera. Im Gegensatz zu anderen Techniken erfordert diese Methode keine vorherigen Kenntnisse über das PSF-System oder das Spektrum der Lichtquelle.

Die neue Methode ermöglicht die Erstellung hochqualitativer Bilder des Zielobjekts in fünf klar getrennten spektralen Kanälen zwischen 450 nm und 750 nm, was durch Berechnungen bestätigt wurde. Praktisch wurde bisher die Visualisierung von drei gut getrennten spektralen Kanälen zwischen 450 nm und 650 nm und sechs benachbarten spektralen Kanälen zwischen 515 nm und 575 nm erreicht.

Funktionsprinzip der neuen Methode

Bild Nr. 1: Lampe – räumlicher Lichtmodulator – Streuung (mit irisförmiger Blende) – codierende Apertur – Prisma – optisches Relais (1:1-Visualisierung) – monochrome Kamera.

Die Forscher heben drei grundlegende Elemente jeder Visualisierung durch ein Streuungselement hervor: das Objekt von Interesse (entweder extern beleuchtet oder selbstleuchtend), der Streuer und der Detektor.

Wie in Standard-ME-Systemen wird in dieser Untersuchung ein Objekt betrachtet, dessen Winkelgröße sich im Sichtfeld der ME befindet und sich in einem Abstand von u hinter dem Streuobjekt befindet. Nach der Wechselwirkung mit dem Streuobjekt breitet sich das Licht über eine Distanz von v aus, bevor es den Detektor erreicht.

Die gewöhnliche ME-Visualisierung verwendet Standardkameras, während in dieser Methode ein Modul eines kodierenden Detektors eingesetzt wird, das aus einer kodierenden Apertur und einem optischen Element besteht, das von der Wellenlänge abhängt. Ziel dieses Elements ist die einzigartige Modulation jedes spektralen Kanals, bevor sie kombiniert und in einem monochromen Detektor umgewandelt werden.

Somit wurde anstelle einer einfachen Messung eines hochkontrastarmen Spektrums, dessen spektrale Kanäle untrennbar vermischt sind, ein spektral multiplexiertes Signal aufgezeichnet, das sich gut zur Trennung eignet.

Die Forscher betonen erneut, dass ihre Methode keine im Voraus bekannten Eigenschaften oder Annahmen über das Streuobjekt oder die Lichtquelle erfordert.

Nach der Durchführung vorläufiger Messungen des multiplexierten Speckles wurde ein bekannter Wert Tλ (ein kodierendes Muster, das von der Wellenlänge abhängt) verwendet, um das Speckle in jedem Spektralbereich individuell zu rekonstruieren.

In ihrer Arbeit verwendeten die Wissenschaftler in der Berechnungs- und Simulationsphase bestimmte Methoden des maschinellen Lernens, die dabei helfen können, eine zuvor nicht betrachtete Methode zu realisieren. Zunächst wurde das Feature-Learning einer spärlichen Matrix verwendet, um das Speckle darzustellen.

Feature-Learning* – ermöglicht es dem System, automatisch die notwendigen Darstellungen zu finden, die zur Identifizierung der Merkmale der Eingangsdaten erforderlich sind.

In der Folge wurde eine Datenbasis erstellt, die auf Speckle-Bildern aus verschiedenen Messkonfigurationen trainiert wurde. Diese Basis ist relativ allgemein und unabhängig von bestimmten Objekten und Streuern, die an der Generierung der Maske Iλx, y beteiligt sind. Mit anderen Worten, das System wird auf der Grundlage eines Streuers trainiert, der nicht in der experimentellen Konfiguration verwendet wird, d.h. das System hat keinen Zugriff darauf, wie es die Forscher beabsichtigten.

Für die Speckle-Bilder in jedem Wellenlängenbereich wurde der OMP-Algorithmus (orthogonale Musterverfolgung).

) verwendet. Schließlich wurden die Bilder des Objekts durch die unabhängige Berechnung der Autokorrelation jedes spektralen Kanals und die Inversion der Autokorrelation bei jeder Wellenlänge erhalten. Die resultierenden Bilder bei jeder Wellenlänge werden dann kombiniert, um ein farbiges Bild des Objekts zu erstellen.

Bild Nr. 2: Schritt-für-Schritt-Prozess zur Erstellung des Objektsbildes.
Diese Methode, so ihre Schöpfer, trifft keine Annahmen über Korrelationsbeziehungen zwischen den spektralen Kanälen und erfordert nur die Annahme, dass die Wellenlängenwerte ausreichend zufällig sind. Darüber hinaus benötigt diese Methode nur Informationen über den codierenden Detektor und verlässt sich auf die Vorab-Kalibrierung der codierenden Blende sowie auf eine vorab trainierte Datenbibliothek. Solche Eigenschaften machen diese Visualisierungsmethode äußerst vielseitig und nicht-invasiv.

Simulations Ergebnisse

Beginnen wir mit den Ergebnissen der Simulation.

Abbildung Nr. 3

Das obenstehende Bild zeigt Beispiele von mehrspektralen Aufnahmen zweier Objekte, die durch einen Streuungsfilter aufgenommen wurden. In der oberen Reihe befindet sich 3a ein interessantes Objekt, das aus mehreren Zahlen besteht, die sowohl in falschen Farben als auch in spektralen Kanalaufteilungen dargestellt sind. Bei der Darstellung des Objekts in falschen Farben wird das Intensitätsprofil jeder Wellenlänge im CIE 1931 RGB Raum angezeigt.

Das rekonstruierte Objekt (untere Reihe 3a) zeigt sowohl in falschen Farben als auch aus der Perspektive einzelner spektraler Kanäle, dass die Methode eine hervorragende Visualisierung ermöglicht und nur minimalen Überschneidungen zwischen den spektralen Kanälen aufweist, die im Prozess keine wesentliche Rolle spielen.

Nach dem Erhalt des rekonstruierten Objekts, d.h. nach der Visualisierung, war es notwendig, die Genauigkeit zu bewerten, indem die spektrale Intensität (gemittelt über alle hellen Pixel) des echten Objekts mit der des rekonstruierten Objekts verglichen wurde (3b).

Auf den Bildern 3c sind das echte Objekt (obere Reihe) und das rekonstruierte Bild (untere Reihe) für eine Zelle aus Pflanzestängeln dargestellt, und 3d es wird eine Analyse der Visualisierungsgenauigkeit gezeigt.

Um die Genauigkeit der Visualisierung zu bewerten, mussten die Werte des strukturellen Ähnlichkeitskoeffizienten (SSIM) und des Peak Signal-to-Noise Ratio (pSNR) des realen Objekts für jeden Spektralkanal berechnet werden.

Die obige Tabelle zeigt, dass jeder der fünf Kanäle einen SSIM-Koeffizienten von 0,8–0,9 und einen PSNR von über 20 aufweist. Daraus folgt, dass trotz des niedrigen Kontrasts des Speckelsignals die Überlagerung auf dem Detektor von fünf Spektralbändern mit einer Breite von 10 nm eine ausreichend präzise Rekonstruktion der räumlich-spektralen Eigenschaften des untersuchten Objekts ermöglicht. Mit anderen Worten, die Methode funktioniert, jedoch sind dies nur Ergebnisse der Modellierung. Um sich in ihrem Tun vollkommen sicher zu sein, führten die Wissenschaftler eine Reihe praktischer Experimente durch.

Ergebnisse der Experimente

Einer der bedeutendsten Unterschiede zwischen der Modellierung und realen Experimenten ist die Umgebung, d.h. die Bedingungen, unter denen das eine oder das andere durchgeführt wird. Im ersten Fall gibt es kontrollierte Bedingungen, im zweiten - unvorhersehbare, d.h. wie es eben kommt.

Es wurden drei Spektralkanäle mit einer Bandbreite von 8-12 nm untersucht, die sich auf 450, 550 und 650 nm konzentrieren. In Kombination mit verschiedenen relativen Größen erzeugen sie eine breite Farbpalette.

Bild Nr. 4

Das obige Bild zeigt den Vergleich zwischen dem echten Objekt (der mehrfarbige Buchstabe „H“) und der rekonstruierten Version. Die Lichtbelichtungszeit (Belichtungszeit) wurde auf 1800 s eingestellt, was ein SNR von 60-70 dB ermöglichte. Laut Wissenschaftlern ist dieser SNR-Wert nicht entscheidend für die Erfahrung, sondern dient als zusätzliche Bestätigung der Funktionalität ihrer Methode, insbesondere bei komplexen Objekten. In der Realität, außerhalb kontrollierter Laborbedingungen, kann diese Methode jedoch um einen Faktor schneller sein.

In der obersten Reihe des Bildes Nr. 4 ist das Objekt bei jeder Wellenlänge (von links nach rechts) sowie das tatsächliche Farbbildobjekt zu sehen.

Um bei der Visualisierung ein Bild eines realen Objekts zu erhalten, wurde eine Maschinenkamerakamera mit entsprechenden Bandfiltern verwendet, um die spektralen Komponenten direkt darzustellen und ein Vollfarbbild durch die Summierung der resultierenden spektralen Kanäle zu erzeugen.

Die zweite Reihe des obigen Bildes zeigt die Autokorrelationsmuster jedes rekonstruierten spektralen Kanals, die multiplexierte Messungen bilden, die als Eingangsdaten für die Datenverarbeitungsphase dienen.

Die dritte Reihe zeigt das rekonstruierte Objekt in jedem spektralen Kanal sowie das rekonstruierte Vollfarbobjekt, d.h. das Endergebnis der Visualisierung.

Das Vollfarbbild zeigt, dass die relativen Größen zwischen den spektralen Kanälen ebenfalls korrekt sind, da die Farben des kombinierten rekonstruierten Bildes dem realen Wert entsprechen und der SSIM-Wert für jeden Kanal über 0,92 liegt.

Die untere Reihe bestätigt diese Aussage, indem sie den Vergleich der Intensität des echten Objekts mit dem rekonstruierten zeigt. Die Daten beider stimmen in allen spektralen Bereichen überein.

Daraus folgt, dass selbst die vorhandene Rausch- und potenziellen Modellierungsfehler nicht verhindert haben, ein hochqualitatives Bild zu erhalten, und die Ergebnisse der Experimente stimmen hervorragend mit den Modellierungsergebnissen überein.

Das oben beschriebene Experiment wurde mit getrennten spektralen Kanälen durchgeführt. Die Wissenschaftler führten ein weiteres Experiment durch, diesmal jedoch mit benachbarten Kanälen, genauer gesagt mit einem kontinuierlichen spektralen Bereich von 60 nm.

Bild Nr. 5

Als reales Objekt diente der Buchstabe „X“ und das Zeichen „+“ (5a). Das Spektrum des Buchstabens „X“ ist relativ gleichmäßig und kontinuierlich – zwischen 515 und 575 nm, während das „+“ ein strukturiertes Spektrum hat, das hauptsächlich zwischen 535 und 575 nm liegt (5b). Für dieses Experiment betrug die Belichtungszeit 120 s, um das gewünschte (wie zuvor) SNR von 70 dB zu erreichen.

Zudem wurde ein Bandpassfilter mit einer Breite von 60 nm über das gesamte Objekt und ein Tiefpassfilter über dem Zeichen „+“ verwendet. Während der Rekonstruktion wird das 60 nm-Spektrum in 6 benachbarte Kanäle mit einer Breite von 10 nm aufgeteilt (5b).

Wie wir auf den Bildern sehen können 5c, stimmen die resultierenden Bilder hervorragend mit dem realen Objekt überein. Dieses Experiment hat gezeigt, dass das Vorhandensein oder Fehlen spektraler Korrelationen im gemessenen Speck keinen Einfluss auf die Effektivität der untersuchten Visualisierungsmethodik hat. Die Forscher sind der Meinung, dass nicht die spektralen Eigenschaften des Objekts, sondern vielmehr die Kalibrierung des Systems und die Details seines codierenden Detektors eine viel größere Rolle im Visualisierungsprozess und dessen Erfolg spielen.

Für eine detailliertere Auseinandersetzung mit den Nuancen der Untersuchung empfehle ich, einen Blick in den den Bericht der Wissenschaftler und Zusätzliche Materialien dazu.

Epilog

In dieser Arbeit beschrieben die Wissenschaftler eine neue Methode der multispektralen Visualisierung durch einen Streuungskörper. Die Modulation des spektralen Interferenzmusters, das von der Wellenlänge abhängt, durch eine kodierende Apertur ermöglichte eine einmalige multiplexierte Messung und die Berechnung des Spekels mittels eines auf maschinellem Lernen basierenden OMP-Algorithmus.

Anhand des Beispieles des bunten Buchstabens „H“ zeigten Wissenschaftler, dass die Fokussierung auf fünf spektralen Kanälen, die dem violetten, grünen und drei Rottönen entsprechen, eine Rekonstruktion des Bildes ermöglicht, die alle Farben des Originals (blau, gelb usw.) enthält.

Laut den Forschern könnte ihre Methodik sowohl in der Medizin als auch in der Astronomie nützlich sein. Farben tragen in beiden Bereichen wichtige Informationen: In der Astronomie geht es um die chemische Zusammensetzung der untersuchten Objekte, in der Medizin um die molekulare Zusammensetzung von Zellen und Geweben.

In diesem Stadium weisen die Wissenschaftler lediglich auf ein Problem hin, das zu Ungenauigkeiten bei der Visualisierung führen kann: Modellierungsfehler. Aufgrund der relativ langen Dauer des Prozesses können Umgebungsänderungen auftreten, die nicht in der Vorbereitungsphase berücksichtigt wurden. In Zukunft wird jedoch geplant, einen Weg zu finden, um dieses Problem zu beheben, um die beschriebene Visualisierungsmethodik nicht nur präzise, sondern auch unter allen Bedingungen stabil zu machen.

Freitagsthema:

Vielen Dank für Ihre Aufmerksamkeit! Bleiben Sie neugierig und haben Sie ein tolles Wochenende, Leute! 🙂

Danke, dass Sie bei uns bleiben. Gefallen Ihnen unsere Artikel? Möchten Sie mehr interessante Inhalte sehen? Unterstützen Sie uns mit einer Bestellung oder empfehlen Sie uns weiter. 30 % Rabatt für Habr-Nutzer auf unser einzigartiges Äquivalent von Entry-Level-Servern, das wir für Sie entwickelt haben: Die ganze Wahrheit über VPS (KVM) E5-2650 v4 (6 Kerne) 10GB DDR4 240GB SSD 1Gbps ab 20 $ oder wie man Server richtig teilt? (Verfügbar sind Optionen mit RAID1 und RAID10, bis zu 24 Kerne und bis zu 40GB DDR4).

Dell R730xd zum halben Preis? Nur bei uns 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TB ab 199 $ in den Niederlanden! Dell R420 — 2x E5-2430 2.2GHz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — ab 99 $! Lesen Sie darüber Wie man eine Unternehmenskosten-Infrastruktur mit Dell R730xd E5-2650 v4-Servern für ein paar Euro aufbaut?

Quelle: habr.com