L'une des capacités les plus célèbres de Superman est la supervision, qui lui permet d'observer les atomes, de voir dans l'obscurité et à de grandes distances, et même de voir à travers les objets. Cette capacité est extrêmement rarement affichée à l’écran, mais elle existe. Dans notre réalité, il est également possible de voir à travers des objets presque complètement opaques en utilisant quelques astuces scientifiques. Cependant, jusqu’à récemment, les images obtenues étaient toujours en noir et blanc. Aujourd'hui, nous allons examiner une étude dans laquelle des scientifiques de l'Université Duke (États-Unis) ont pu prendre une photographie couleur d'objets cachés derrière un mur opaque en utilisant une seule exposition à la lumière. Quelle est cette super technologie, comment fonctionne-t-elle et dans quels domaines peut-elle être utilisée ? Le rapport du groupe de recherche nous en parlera. Aller.
Base de recherche
Malgré tous les avantages possibles de la technologie de visualisation d'objets dans des milieux diffusants, la mise en œuvre de cette technologie pose un certain nombre de problèmes. Le principal est le fait que les trajectoires des photons traversant le diffuseur changent considérablement, ce qui conduit à des motifs aléatoires. taches* d'un autre côté.
Moucheté* est un motif d'interférence aléatoire formé par l'interférence mutuelle d'ondes cohérentes qui ont des déphasages aléatoires et/ou un ensemble aléatoire d'intensité. Le plus souvent, cela ressemble à un ensemble de points clairs (points) sur un fond sombre.
Ces dernières années, plusieurs techniques d'imagerie ont été développées pour contourner les effets de diffusion et extraire des informations sur les objets à partir du motif de taches. Le problème avec ces techniques réside dans leurs limites : vous devez avoir certaines connaissances sur l'objet, avoir accès au milieu ou à l'objet diffusant, etc.
Dans le même temps, selon les scientifiques, il existe une méthode beaucoup plus avancée : la visualisation avec effet mémoire (ME). Cette méthode permet de visualiser un objet sans connaissance préalable de lui-même ou du milieu de diffusion. Tout le monde a des défauts, on le sait, et la méthode ME ne fait pas exception. Pour obtenir des motifs de taches très contrastés et, par conséquent, des images plus précises, l'éclairage doit être à bande étroite, c'est-à-dire moins de 1 nm.
Il est également possible de déjouer les limites de la méthode ME, mais là encore, ces astuces impliquent d'accéder à la source optique ou à l'objet avant le diffuseur, ou de mesurer directement PSF*.
PSF* - une fonction d'étalement de points qui décrit l'image que le système d'imagerie reçoit lors de l'observation d'une source lumineuse ponctuelle ou d'un objet ponctuel.
Les chercheurs qualifient ces méthodes de réalisables, mais pas parfaites, car la mesure du PSF n'est pas toujours possible en raison, par exemple, de la dynamique du diffuseur ou de son inaccessibilité avant la procédure d'imagerie. En d’autres termes, il y a quelque chose sur lequel travailler.
Dans leurs travaux, les chercheurs proposent une approche différente. Ils nous montrent une méthode pour réaliser une imagerie multispectrale d’objets à travers un milieu diffusant en utilisant une seule mesure de speckle avec une caméra monochrome. Contrairement à d’autres techniques, cela ne nécessite pas de connaissance préalable du système PSF ou du spectre source.
La nouvelle méthode produit des images de haute qualité de l'objet cible dans cinq canaux spectraux bien séparés entre 450 nm et 750 nm, ce qui a été confirmé par les calculs. En pratique, il a été possible jusqu'à présent de visualiser trois canaux spectraux bien séparés entre 450 nm et 650 nm et six canaux spectraux adjacents entre 515 et 575 nm.
Comment fonctionne la nouvelle méthode
Image n°1 : lampe - modulateur spatial de lumière - diffuseur (avec diaphragme à iris) - ouverture de codage - prisme - relais optique (visualisation 1:1) - caméra monochrome.
Les chercheurs notent trois éléments de base de toute imagerie par diffuseur : l’objet d’intérêt (éclairé de l’extérieur ou auto-lumineux), le diffuseur et le détecteur.
Comme dans les systèmes ME standards, cette étude considère un objet dont la taille angulaire est située à l'intérieur du champ de vision ME et à une distance u derrière le diffuseur. Après avoir interagi avec le diffuseur, la lumière parcourt une distance v avant d'atteindre le détecteur.
L'imagerie ME conventionnelle utilise des caméras standard, mais cette méthode utilise un module détecteur de codage constitué d'une ouverture de codage et d'un élément optique dépendant de la longueur d'onde. Le but de cet élément est de moduler de manière unique chaque canal spectral avant de les combiner et de les convertir en un détecteur monochrome.
Ainsi, au lieu de simplement mesurer le speckle à faible contraste dont les canaux spectraux sont inextricablement mélangés, un signal spectralement multiplexé a été enregistré, ce qui convient bien à la séparation.
Les chercheurs soulignent une fois de plus que leur méthode ne nécessite aucune caractéristique ou hypothèse pré-connue concernant le diffuseur ou la source lumineuse.
Après avoir effectué des mesures préliminaires du speckle multiplexé, la valeur connue de Tλ (modèle de codage dépendant de la longueur d'onde) a été utilisée pour reconstruire individuellement le speckle dans chaque bande spectrale.
Dans leur travail, au stade des calculs et de la modélisation, les scientifiques ont utilisé certaines méthodes d'apprentissage automatique qui peuvent aider à la mise en œuvre d'une méthode jusqu'alors inconsidérée. Premièrement, l’apprentissage des caractéristiques matricielles clairsemées a été utilisé pour représenter le speckle.
Apprentissage des fonctionnalités* — permet au système de trouver automatiquement les représentations nécessaires pour identifier les caractéristiques des données sources.
Le résultat a été une base de données formée sur des images de taches provenant de diverses configurations de mesure. Cette base est assez généralisée et ne dépend pas d'objets et de diffuseurs spécifiques participant à la génération du masque Iλx, y. En d'autres termes, le système est entraîné à partir d'un diffuseur qui n'est pas utilisé dans la configuration expérimentale, c'est-à-dire le système n’y a pas accès, comme le souhaitaient les chercheurs.
L'algorithme OMP a été utilisé pour obtenir des images de speckle à chaque longueur d'onde (poursuite de correspondance orthogonale).
Enfin, en calculant indépendamment l’autocorrélation de chaque canal spectral et en inversant l’autocorrélation à chaque longueur d’onde, des images de l’objet ont été obtenues. Les images résultantes à chaque longueur d'onde sont ensuite combinées pour créer une image couleur de l'objet.
Image n°2 : le processus étape par étape de composition d'une image d'un objet.
Cette technique, selon ses créateurs, ne fait aucune hypothèse sur les corrélations entre les canaux spectraux et nécessite uniquement l'hypothèse que la valeur de la longueur d'onde est plutôt aléatoire. De plus, cette méthode ne nécessite que des informations sur le détecteur de codage, en s'appuyant sur un pré-étalonnage de l'ouverture de codage et une bibliothèque de données pré-entraînées. Ces caractéristiques rendent cette méthode d’imagerie très polyvalente et non invasive.
Résultats de la simulation
Examinons d’abord les résultats de la simulation.
Image #3
L'image ci-dessus montre des exemples d'image multispectrale de deux objets prises à travers un diffuseur. Rangée supérieure sur 3a contient un objet d'intérêt composé de plusieurs nombres, affichés à la fois en fausses couleurs et décomposés par canal spectral. Lors du tracé d'un objet en fausses couleurs, le profil d'intensité de chaque longueur d'onde est affiché dans l'espace RVB CIE 1931.
Objet reconstruit (rangée du bas sur 3a), tant en fausses couleurs qu'en termes de canaux spectraux individuels, démontre que la technique fournit une excellente visualisation et seulement une diaphonie mineure entre les canaux spectraux, qui ne joue pas un rôle particulier dans le processus.
Après avoir reçu l'objet reconstruit, c'est-à-dire Après le rendu, il a fallu évaluer le degré de précision en comparant l'intensité spectrale (moyenne sur tous les pixels lumineux) de l'objet réel et de celui reconstruit (3b).
Dans les images 3c montre un objet réel (rangée du haut) et une image reconstruite (rangée du bas) pour une cellule souche de coton, et en 3d une analyse de la précision de la visualisation est présentée.
Pour évaluer la précision de l'imagerie, il était nécessaire de calculer les valeurs de l'indice de similarité structurelle (SSIM) et le rapport signal/bruit maximal (pSNR) de l'objet réel pour chaque canal spectral.
Le tableau ci-dessus montre que chacun des cinq canaux a un coefficient SSIM de 0,8 à 0,9 et un PSNR supérieur à 20. Il s'ensuit que malgré le faible contraste du signal de speckle, la superposition de cinq bandes spectrales d'une largeur de 10 nm sur le détecteur permet une reconstruction assez précise des propriétés spatio-spectrales de l'objet étudié. Autrement dit, la technique fonctionne, mais ce ne sont que des résultats de simulation. Pour avoir une confiance totale dans leur travail, les scientifiques ont mené une série d'expériences pratiques.
Résultats de l'expérience
L'une des différences les plus significatives entre la simulation et les expériences réelles est l'environnement, c'est-à-dire conditions dans lesquelles les deux sont réalisés. Dans le premier cas, il y a des conditions contrôlées, dans le second, il y a des conditions imprévisibles, c'est-à-dire nous verrons comment ça se passe.
Trois canaux spectraux d'une largeur de 8 à 12 nm centrés à 450, 550 et 650 nm ont été considérés, qui, combinés à différentes magnitudes relatives, génèrent une large gamme de couleurs.
Image #4
L'image ci-dessus montre une comparaison entre l'objet réel (le "H" multicolore) et l'objet reconstruit. Le temps d'exposition à la lumière (vitesse d'obturation, c'est-à-dire exposition) a été fixé à 1800 s, ce qui a permis d'obtenir un SNR compris entre 60 et 70 dB. Cet indicateur SNR, selon les scientifiques, n'est pas extrêmement important pour l'expérience, mais sert de confirmation supplémentaire de la performance de leur technique, notamment dans le cas d'objets complexes. En réalité, et non dans des conditions de laboratoire, cette méthode peut être beaucoup plus rapide.
La rangée supérieure de l'image n°4 montre l'objet à chaque longueur d'onde (de gauche à droite) et l'objet en couleur réel.
Pour obtenir une image de l'objet réel grâce à l'imagerie, une caméra de vision par ordinateur a été utilisée avec des filtres passe-bande appropriés pour imager directement les composantes spectrales et obtenir une image en couleur en additionnant les canaux spectraux résultants.
La deuxième rangée de l'image ci-dessus montre les modèles d'autocorrélation de chaque canal spectral reconstruit formant les mesures multiplexées qui sont l'entrée de l'étape de traitement des données.
La troisième rangée est l'objet reconstruit dans chaque canal spectral, ainsi que l'objet en couleur reconstruit, c'est-à-dire résultat final de la visualisation.
L'image en couleur montre que les amplitudes relatives entre les canaux spectraux sont également correctes, puisque la couleur de l'image reconstruite combinée correspond à la valeur réelle et que le coefficient SSIM atteint plus de 0,92 pour chaque canal.
La rangée du bas confirme cette affirmation, montrant une comparaison de l'intensité de l'objet réel et de celle reconstruite. Les données des deux coïncident dans toutes les plages spectrales.
Il s'ensuit que même la présence de bruit et d'erreurs potentielles de modélisation ne nous ont pas empêché d'obtenir une image de haute qualité, et les résultats expérimentaux étaient bien corrélés avec les résultats de modélisation.
L'expérience décrite ci-dessus a été réalisée en tenant compte de canaux spectraux séparés. Les scientifiques ont mené une autre expérience, mais cette fois avec des canaux adjacents, ou plutôt avec une gamme spectrale continue de 60 nm.
Image #5
Le véritable objet était la lettre « X » et le signe « + » (5a). Le spectre de la lettre « X » est relativement uniforme et continu – entre 515 et 575 nm, mais le « + » a un spectre structuré, principalement situé entre 535 et 575 nm (5b). Pour cette expérience, l'exposition était de 120 s pour atteindre le SNR souhaité (comme auparavant) de 70 dB.
Un filtre passe-bande de 60 nm de large a également été utilisé sur l’ensemble de l’objet et un filtre passe-bas sur le signe « + ». Lors de la reconstruction, le spectre 60 nm est divisé en 6 canaux adjacents d'une largeur de 10 nm (5b).
Comme nous pouvons le voir sur les images 5с, les images résultantes sont en excellent accord avec l'objet réel. Cette expérience a montré que la présence ou l'absence de corrélations spectrales dans le speckle mesuré n'affecte pas l'efficacité de la technique d'imagerie étudiée. Les scientifiques eux-mêmes estiment qu'un rôle beaucoup plus important dans le processus de visualisation, ou plutôt dans son succès, n'est pas tant joué par les caractéristiques spectrales de l'objet que par l'étalonnage du système et les détails de son détecteur de codage.
Pour un aperçu plus détaillé des nuances de l'étude, je vous recommande de jeter un œil à и pour lui.
Le final
Dans ce travail, les scientifiques ont décrit une nouvelle méthode d’imagerie multispectrale via un diffuseur. La modulation de speckle dépendante de la longueur d'onde à l'aide d'une ouverture de codage a permis une seule mesure multiplexée et un calcul de speckle à l'aide d'un algorithme OMP basé sur l'apprentissage automatique.
En prenant comme exemple la lettre multicolore « H », les scientifiques ont montré que se concentrer sur cinq canaux spectraux correspondant au violet, au vert et aux trois nuances de rouge permet d'obtenir une reconstruction de l'image contenant toutes les couleurs de l'original (bleu, jaune, etc.).
Selon les chercheurs, leur technique peut être utile aussi bien en médecine qu’en astronomie. La couleur véhicule des informations importantes dans les deux sens : en astronomie - la composition chimique des objets étudiés, en médecine - la composition moléculaire des cellules et des tissus.
À ce stade, les scientifiques notent un seul problème pouvant entraîner des imprécisions de visualisation : les erreurs de modélisation. En raison du temps assez long nécessaire pour mener à bien le processus, des changements dans l'environnement peuvent survenir et introduire des ajustements qui n'ont pas été pris en compte lors de la phase de préparation. Cependant, à l'avenir, nous prévoyons de trouver un moyen d'atténuer ce problème, ce qui rendra la technique d'imagerie décrite non seulement précise, mais également stable dans toutes les conditions.
Vendredi off-top :
Lumières, couleurs, musique et trio des cinglés bleus les plus célèbres du monde (Blue Man Group).
Merci d'avoir lu, restez curieux et passez un bon week-end les gars ! 🙂
Merci de rester avec nous. Vous aimez nos articles ? Vous voulez voir du contenu plus intéressant ? Soutenez-nous en passant une commande ou en recommandant à vos amis, 30 % de réduction pour les utilisateurs Habr sur un analogue unique de serveurs d'entrée de gamme, que nous avons inventé pour vous : (disponible avec RAID1 et RAID10, jusqu'à 24 cœurs et jusqu'à 40 Go de DDR4).
Dell R730xd 2 fois moins cher ? Ici seulement aux Pays-Bas! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - à partir de 99$ ! En savoir plus
Source: habr.com