Voir l'invisible presque invisible, et en couleur : méthode de visualisation des objets à travers un diffuseur

L'une des capacités les plus célèbres de Superman est sa vision surhumaine, qui lui permettait d'examiner les atomes, de voir dans l'obscurité et à de très grandes distances, ainsi que de voir à travers des objets. Cette capacité est rarement démontrée à l'écran, mais elle existe. Dans notre réalité, il est également possible de voir à travers des objets pratiquement totalement opaques en utilisant certains trucs scientifiques. Cependant, les images obtenues ont toujours été en noir et blanc, jusqu'à récemment. Aujourd'hui, nous allons nous pencher sur une étude dans laquelle des chercheurs de l'université de Duke (États-Unis) ont réussi à réaliser une image en couleur d'objets cachés derrière un mur opaque en utilisant une seule impulsion lumineuse. Quelle est cette super-technologie, comment fonctionne-t-elle et dans quels domaines peut-elle être appliquée ? C'est ce que nous expliqueront les membres du groupe de recherche. Allons-y.

Fondement de l'étude

Malgré tous les avantages possibles de la technologie de visualisation d'objets dans des milieux diffusants, il existe plusieurs problèmes liés à la mise en œuvre de cette technologie. Le principal est le fait que les trajets des photons qui traversent le diffuseur changent fortement, ce qui entraîne des motifs aléatoires. speckle* de l'autre côté.

Speckle* est un motif d'interférence aléatoire formé par l'interférence mutuelle de vagues cohérentes qui présentent des décalages de phase aléatoires et/ou une distribution d'intensité aléatoire. Il apparaît le plus souvent comme un ensemble de points lumineux sur un fond sombre.

Au cours des dernières années, plusieurs méthodes de visualisation ont été développées, permettant de contourner les effets du diffuseur et d'extraire des informations sur l'objet à partir du motif de speckle. Le problème de ces méthodes est leur limitation : il est nécessaire d'avoir certaines connaissances sur l'objet, d'avoir accès au milieu diffusant ou à l'objet, etc.

En même temps, il existe une méthode considérée par les scientifiques comme beaucoup plus avancée — la visualisation avec effet de mémoire (ME). Cette méthode permet de visualiser un objet sans savoirs préalables concernant lui-même ou le milieu diffusant. Tous les méthodes ont leurs inconvénients, comme nous le savons, et la méthode ME n'est pas une exception. Pour obtenir des motifs de speckle à fort contraste et, par conséquent, des images plus précises, l'éclairage doit être étroitement monochromatique, c'est-à-dire inférieur à 1 nm.

Contourner les limitations de la méthode ME est également possible, mais, encore une fois, ces astuces sont liées à l'accès à la source lumineuse optique ou à l'objet avant le diffuseur ou à la mesure directe. PSF*.

PSF* — fonction de diffusion du point, décrivant l'image que reçoit le système de formation lors de l'observation d'une source lumineuse ponctuelle ou d'un objet ponctuel.

Les chercheurs qualifient ces méthodes de fonctionnelles, mais non parfaites, car la mesure de la PSF n'est pas toujours possible en raison, par exemple, de la dynamique du diffuseur ou de son inaccessibilité avant la procédure de visualisation. En d'autres termes, il reste du travail à faire.

Dans leur étude, les chercheurs proposent une autre approche. Ils nous montrent une méthode de mise en œuvre de la visualisation multispectrale d'objets à travers un milieu diffusant, en utilisant une unique mesure de speckle avec une caméra monochromatique. Contrairement à d'autres techniques, celle-ci ne nécessite pas de connaissances préalables sur le système PSF ou le spectre de la source.

La nouvelle méthode permet de créer des images de haute qualité de l'objet cible dans cinq canaux spectrals bien séparés entre 450 nm et 750 nm, ce qui a été confirmé par des calculs. En pratique, il a cependant été possible d'atteindre la visualisation de trois canaux spectrals bien séparés entre 450 nm et 650 nm et de six canaux spectrals adjacents entre 515 et 575 nm.

Principe de fonctionnement de la nouvelle méthode

Image n°1 : lampe — modulateur spatial de lumière — diffuseur (avec diaphragme d'iris) — ouverture de codage — prisme — relais optique (visualisation 1:1) — caméra monochromatique.

Les chercheurs notent trois éléments principaux de toute visualisation à travers un diffuseur : l'objet d'intérêt (éclairé de l'extérieur ou s'auto-éclairant), le diffuseur et le détecteur.

Comme dans les systèmes ME standards, cette étude considère un objet dont la taille angulaire se situe à l'intérieur du champ de vision ME et à une distance u derrière le diffuseur. Après interaction avec le diffuseur, la lumière se propage sur une distance v avant d'atteindre le détecteur.

La visualisation ME standard utilise des caméras classiques, tandis que cette méthode fait appel à un module de détecteur codant composé d'une ouverture de codage et d'un élément optique dépendant de la longueur d'onde. L'objectif de cet élément est de moduler de manière unique chaque canal spectral avant leur combinaison et conversion dans un détecteur monochromatique.

Ainsi, au lieu de mesurer simplement un speckle à faible contraste, dont les canaux spectraux sont inextricablement mélangés, un signal spectral multiplexé a été enregistré, ce qui convient bien à la séparation.

Les chercheurs soulignent à nouveau que leur méthode ne nécessite aucune caractéristique ou hypothèse préalablement connue concernant le diffuseur ou la source lumineuse.

Après avoir effectué des mesures préliminaires sur le speckle multiplexé, une valeur Tλ connue (motif de codage dépendant de la longueur d'onde) a été utilisée pour la reconstruction individuelle du speckle dans chaque bande spectrale.

Dans leur travail lors de la phase de calcul et de modélisation, les scientifiques ont appliqué certaines méthodes d'apprentissage machine qui peuvent aider à mettre en œuvre une méthode auparavant non envisagée. Tout d'abord, un apprentissage basé sur les caractéristiques de matrices creuses a été utilisé pour représenter le speckle.

L'apprentissage basé sur les caractéristiques* — permet au système de trouver automatiquement les représentations nécessaires pour identifier les caractéristiques des données d'origine.

En conséquence, une base de données a été créée, entraînée sur des images de speckle provenant de diverses configurations de mesure. Cette base est suffisamment généralisée et ne dépend pas d'objets ou de diffuseurs spécifiques impliqués dans la génération du masque Iλx, y. En d'autres termes, le système est entraîné sur un diffuseur qui n'est pas utilisé dans la configuration expérimentale, c'est-à-dire que le système n'y a pas accès, comme le souhaitaient les chercheurs.

Pour obtenir des images de speckle à chaque longueur d'onde, l'algorithme OMP a été utilisé (poursuite orthogonale correspondante).

Enfin, en calculant l'autocorrélation de chaque canal spectral de manière indépendante et en inversant l'autocorrélation à chaque longueur d'onde, des images de l'objet ont été obtenues. Les images obtenues à chaque longueur d'onde sont ensuite combinées pour créer une image couleur de l'objet.

Image n°2 : processus étape par étape pour la composition d'une image d'objet.
Cette méthode, selon ses créateurs, ne fait aucune hypothèse sur les corrélations entre les canaux spectraux et nécessite seulement l'hypothèse selon laquelle la valeur de la longueur d'onde est suffisamment aléatoire. De plus, cette méthode nécessite uniquement des informations sur le détecteur d'encodage, s'appuyant sur l'étalonnage préalable de l'ouverture d'encodage et une bibliothèque de données préalablement entraînée. Ces caractéristiques rendent cette méthode de visualisation très universelle et non invasive.

Résultats de la simulation

Pour commencer, examinons les résultats de la simulation.

Image n°3

L'image ci-dessus montre des exemples d'images multispectrales de deux objets, prises à travers un diffuseur. La rangée supérieure sur 3a contient l'objet d'intérêt, composé de plusieurs nombres, présentés à la fois en fausses couleurs et en décomposition par canal spectral. Lors de la construction de l'objet en fausses couleurs, le profil d'intensité de chaque longueur d'onde est affiché dans l'espace CIE 1931 RGB.

L'objet reconstruit (rangée inférieure sur 3a) à la fois en fausses couleurs et en termes de canaux spectraux individuels montre que la méthodologie assure une excellente visualisation avec seulement une interaction croisée minime entre les canaux spectraux, qui n'a pas d'importance dans le processus.

Après l'obtention de l'objet reconstruit, c'est-à-dire après la visualisation, il était nécessaire d'évaluer le degré de précision en comparant l'intensité spectrale (moyenne sur tous les pixels lumineux) de l'objet réel et de l'objet reconstruit (3b).

Sur les images 3c sont représentés l'objet réel (rangée supérieure) et l'image reconstruite (rangée inférieure) pour une cellule de tige de coton, et sur 3d est présentée l'analyse de la précision de la visualisation.

Pour évaluer la précision de la visualisation, il était nécessaire de calculer les valeurs du coefficient de similarité structurelle (SSIM) et du rapport signal sur bruit de pointe (pSNR) de l'objet réel pour chaque canal spectral.

Le tableau ci-dessus montre que chacun des cinq canaux a un coefficient SSIM de 0,8 à 0,9 et un PSNR supérieur à 20. Cela signifie que, malgré le faible contraste du signal speckle, le chevauchement sur le détecteur de cinq bandes spectrales de 10 nm de large permet de reconstruire de manière suffisamment précise les propriétés spatio-spectrales de l'objet étudié. En d'autres termes, la méthodologie fonctionne, cependant, ce ne sont que des résultats de simulation. Pour être entièrement convaincus de leur travail, les scientifiques ont mené une série d'expériences pratiques.

Résultats des expériences

L'une des différences les plus importantes entre la simulation et les expériences réelles est l'environnement, c'est-à-dire les conditions dans lesquelles chacune des deux se déroule. Dans le premier cas, il existe des conditions contrôlées, tandis que dans le second, elles sont imprévisibles, c'est-à-dire selon comment cela se passe.

Trois canaux spectraux de 8 à 12 nm de large, centrés à 450, 550 et 650 nm, ont été examinés, qui, en combinaison avec différentes valeurs relatives, génèrent une large gamme de couleurs.

Image n°4

L'image ci-dessus montre la comparaison entre l'objet réel (la lettre « H » colorée) et celui reconstruit. Le temps d'irradiation (exposition) a été fixé à 1800 s, ce qui a permis d'obtenir un SNR entre 60 et 70 dB. Un tel niveau de SNR, selon les scientifiques, n'est pas extrêmement important pour l'expérience, mais sert de confirmation supplémentaire de l'efficacité de leur méthodologie, surtout dans le cas d'objets complexes. En réalité, plutôt que dans des conditions de laboratoire, cette méthode pourrait être de plusieurs ordres de grandeur plus rapide.

La rangée supérieure de l'image n°4 montre l'objet à chaque longueur d'onde (de gauche à droite) et l'objet en pleine couleur réel.

Pour obtenir une image de l'objet réel lors de la visualisation, une caméra de vision par machine a été utilisée avec des filtres de bande appropriés pour afficher directement les composants spectraux et obtenir une image en couleur complète en sommant les canaux spectraux résultants.

La deuxième rangée de l'image ci-dessus montre les motifs d'autocorrélation de chaque canal spectral reconstruit, formant des mesures multiplexées, qui sont des données d'entrée pour l'étape de traitement des données.

La troisième rangée est un objet reconstruit dans chaque canal spectral, ainsi qu'un objet en couleurs reconstruit, c'est-à-dire le résultat final de la visualisation.

L'image en couleur montre que les magnitudes relatives entre les canaux spectraux sont également correctes, car la couleur de l'image reconstruite combinée correspond à la valeur réelle, et le coefficient SSIM dépasse 0,92 pour chaque canal.

La rangée la plus basse confirme cette affirmation, démontrant la comparaison de l'intensité de l'objet réel et de l'objet reconstruit. Les données des deux coïncident dans tous les domaines spectraux.

Il en découle que même la présence de bruit et de potentielles erreurs de modélisation n'ont pas entravé l'obtention d'une image de haute qualité, et les résultats des expériences correspondent bien aux résultats de la modélisation.

L'expérience décrite ci-dessus a été réalisée en tenant compte des canaux spectraux séparés. Les scientifiques ont mené une autre expérience, mais avec des canaux adjacents, plus précisément avec une plage spectrale continue de 60 nm.

Image n°5

L'objet réel était la lettre « X » et le signe « + » (5a). Le spectre de la lettre « X » est relativement uniforme et continu — entre 515 et 575 nm, tandis que celui du « + » présente un spectre structuré, principalement situé entre 535 et 575 nm (5b). Pour cette expérience, l'exposition était de 120 s pour atteindre le SNR souhaité (comme précédemment) de 70 dB.

Un filtre bande de 60 nm a également été utilisé sur l'ensemble de l'objet et un filtre passe-bas sur le signe « + ». Lors de la reconstruction, le spectre de 60 nm est divisé en 6 canaux adjacents de 10 nm de large (5b).

Comme nous pouvons le voir sur les images 5c, les images résultantes concordent parfaitement avec l'objet réel. Cette expérience a montré que la présence ou l'absence de corrélations spectraux dans la speckle mesurée n'affecte pas l'efficacité de la méthode de visualisation étudiée. Les scientifiques eux-mêmes estiment que c'est moins les caractéristiques spectrales de l'objet qui jouent un rôle dans le processus de visualisation, mais plutôt le calibrage du système et des détails de son détecteur codant.

Pour en savoir plus sur les détails de l'étude, je vous recommande de consulter le rapport des chercheurs et documents complémentaires à ce sujet.

Épilogue

Dans cette étude, les chercheurs ont décrit une nouvelle méthode de visualisation multispectrale à travers un diffuseur. La modulation des speckles, dépendante de la longueur d'onde, à l'aide d'une ouverture de codage, a permis de réaliser une mesure multiplexée et de calculer le speckle à l'aide d'un algorithme OMP basé sur l'apprentissage automatique.

À l'aide de la lettre « Н » de différentes couleurs, les scientifiques ont montré que se concentrer sur cinq canaux spectraux, correspondant au violet, au vert et à trois nuances de rouge, permet d'obtenir une reconstruction de l'image contenant toutes les couleurs de l'original (bleu, jaune, etc.).

Selon les chercheurs, leur méthodologie pourrait être utile tant en médecine qu'en astronomie. La couleur véhicule des informations importantes dans les deux directions : en astronomie — la composition chimique des objets étudiés, en médecine — la composition moléculaire des cellules et des tissus.

À ce stade, les chercheurs signalent un seul problème pouvant entraîner des inexactitudes dans la visualisation : les erreurs de modélisation. En raison du temps relativement long nécessaire à l'exécution du processus, des changements dans l'environnement peuvent survenir, apportant des corrections non prises en compte lors de la préparation. Cependant, à l'avenir, il est prévu de trouver un moyen de compenser ce problème, ce qui permettra de rendre la méthode de visualisation décrite non seulement précise mais également stable dans toutes les conditions.

Hors sujet du vendredi :

Merci de votre attention, restez curieux et passez tous un excellent week-end, les amis ! 🙂

Merci de rester avec nous. Aimez-vous nos articles ? Voulez-vous voir plus de contenus intéressants ? Soutenez-nous en passant une commande ou en recommandant à vos amis. 30% de réduction pour les utilisateurs de Habr sur un équivalent unique des serveurs d'entrée de gamme, conçu spécialement pour vous : Toute la vérité sur le VPS (KVM) E5-2650 v4 (6 cœurs) 10Go DDR4 240Go SSD 1Gbps à partir de 20 $ ou comment bien diviser un serveur ? (options disponibles avec RAID1 et RAID10, jusqu'à 24 cœurs et jusqu'à 40 Go DDR4).

Dell R730xd à moitié prix ? Uniquement chez nous 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64Go DDR4 4x960Go SSD 1Gbps 100 To à partir de 199 $ aux Pays-Bas ! Dell R420 — 2x E5-2430 2.2GHz 6C 128Go DDR3 2x960Go SSD 1Gbps 100To — à partir de 99 $ ! Lisez sur Comment construire une infrastructure de classe entreprise avec des serveurs Dell R730xd E5-2650 v4 coûtant 9000 euros pour des clopinettes ?

Source : habr.com