Veure allò gairebé invisible, també en color: una tècnica per visualitzar objectes a través d'un difusor

Veure allò gairebé invisible, també en color: una tècnica per visualitzar objectes a través d'un difusor

Una de les habilitats més famoses de Superman és la supervisió, que li va permetre mirar els àtoms, veure a la foscor ia grans distàncies, i fins i tot veure a través dels objectes. Aquesta habilitat es mostra molt poques vegades a la pantalla, però existeix. En la nostra realitat, també és possible veure a través d'objectes gairebé completament opacs mitjançant alguns trucs científics. Tanmateix, les imatges resultants eren sempre en blanc i negre, fins fa poc. Avui veurem un estudi en què científics de la Universitat de Duke (EUA) van poder fer una fotografia en color d'objectes amagats darrere d'una paret opaca amb una sola exposició a la llum. Què és aquesta súper tecnologia, com funciona i en quins àmbits es pot utilitzar? L'informe del grup de recerca ens ho explicarà. Vés.

Base de recerca

Malgrat tots els possibles beneficis de la tecnologia per visualitzar objectes en mitjans de dispersió, hi ha una sèrie de problemes en la implementació d'aquesta tecnologia. El principal és el fet que els camins dels fotons que passen pel dispersor canvien molt, el que condueix a patrons aleatoris. taques* per una altra banda.

Veure allò gairebé invisible, també en color: una tècnica per visualitzar objectes a través d'un difusor
Taca* és un patró d'interferència aleatori format per la interferència mútua d'ones coherents que tenen canvis de fase aleatoris i/o un conjunt aleatori d'intensitats. Molt sovint sembla un conjunt de punts clars (punts) sobre un fons fosc.

En els darrers anys, s'han desenvolupat diverses tècniques d'imatge per evitar els efectes de dispersió i extreure informació d'objectes del patró de taques. El problema d'aquestes tècniques són les seves limitacions: cal tenir certs coneixements sobre l'objecte, tenir accés al mitjà o objecte de dispersió, etc.

Al mateix temps, hi ha un mètode molt més avançat, segons els científics: la visualització amb efecte de memòria (ME). Aquest mètode permet visualitzar un objecte sense coneixements previs sobre si mateix o el medi de dispersió. Tothom té deficiències, com sabem, i el mètode ME no és una excepció. Per obtenir patrons de taques d'alt contrast i, en conseqüència, imatges més precises, la il·luminació ha de ser de banda estreta, és a dir. inferior a 1 nm.

També és possible superar les limitacions del mètode ME, però de nou aquests trucs impliquen accedir a la font o objecte òptic abans del difusor, o mesurar directament PSF*.

PSF* - una funció de propagació puntual que descriu la imatge que rep el sistema d'imatge quan observa una font de llum puntual o un objecte puntual.

Els investigadors anomenen aquests mètodes viables, però no perfectes, ja que la mesura de PSF no sempre és possible a causa, per exemple, de la dinàmica del dispersor o de la seva inaccessibilitat abans del procediment d'imatge. En altres paraules, hi ha alguna cosa per treballar.

En el seu treball, els investigadors proposen un enfocament diferent. Ens mostren un mètode per a la realització d'imatges multiespectrals d'objectes a través d'un medi de dispersió mitjançant una mesura única de taques amb una càmera monocroma. A diferència d'altres tècniques, això no requereix coneixements previs del sistema PSF ni de l'espectre font.

El nou mètode produeix imatges d'alta qualitat de l'objecte objectiu en cinc canals espectrals ben separats entre 450 nm i 750 nm, cosa que es va confirmar mitjançant càlculs. A la pràctica, fins ara ha estat possible visualitzar tres canals espectrals ben separats entre 450 nm i 650 nm i sis canals espectrals adjacents entre 515 i 575 nm.

Com funciona el nou mètode

Veure allò gairebé invisible, també en color: una tècnica per visualitzar objectes a través d'un difusor
Imatge núm. 1: làmpada - modulador de llum espacial - difusor (amb diafragma iris) - obertura de codificació - prisma - relé òptic (visualització 1:1) - càmera monocroma.

Els investigadors observen tres elements bàsics de qualsevol imatge difusora: l'objecte d'interès (il·luminat externament o auto-lluminós), el difusor i el detector.

Com en els sistemes ME estàndard, aquest estudi considera un objecte la mida angular del qual es troba dins del camp de visió ME i a una distància u darrere del difusor. Després d'interaccionar amb el difusor, la llum recorre una distància v abans d'arribar al detector.

La imatge ME convencional utilitza càmeres estàndard, però aquest mètode utilitza un mòdul detector de codificació que consta d'una obertura de codificació i un element òptic depenent de la longitud d'ona. L'objectiu d'aquest element és modular de manera única cada canal espectral abans de combinar-los i convertir-los en un detector monocrom.

Així, en comptes de mesurar simplement el speckle de baix contrast els canals espectrals del qual es barregen inextricablement, es va gravar un senyal multiplexat espectralment, que és molt adequat per a la separació.

Els investigadors tornen a emfatitzar que el seu mètode no requereix cap característiques o supòsits preconeguts sobre el difusor o la font de llum.

Després de fer mesures preliminars de la taca multiplexada, es va utilitzar el valor conegut de Tλ (patró de codificació depenent de la longitud d'ona) per reconstruir individualment la taca a cada banda espectral.

En el seu treball, en l'etapa de càlculs i modelatge, els científics van utilitzar certs mètodes d'aprenentatge automàtic que poden ajudar a la implementació d'un mètode abans no considerat. En primer lloc, es va utilitzar l'aprenentatge de característiques de matriu escassa per representar el speckle.

Aprenentatge de funcions* — permet que el sistema trobi automàticament les representacions necessàries per identificar les característiques de les dades font.

El resultat va ser una base de dades entrenada amb imatges de taques de diverses configuracions de mesura. Aquesta base és força generalitzada i no depèn d'objectes i dispersors específics que participin en la generació de la màscara Iλx, y. És a dir, el sistema s'entrena a partir d'un difusor que no s'utilitza en la configuració experimental, és a dir. el sistema no hi té accés, com volien els investigadors.

L'algoritme OMP es va utilitzar per obtenir imatges speckle a cada longitud d'ona (recerca d'aparellament ortogonal).

Finalment, calculant l'autocorrelació de cada canal espectral de manera independent i invertint l'autocorrelació a cada longitud d'ona, es van obtenir imatges de l'objecte. Les imatges resultants a cada longitud d'ona es combinen per crear una imatge en color de l'objecte.

Veure allò gairebé invisible, també en color: una tècnica per visualitzar objectes a través d'un difusor
Imatge núm. 2: procés pas a pas de composició d'una imatge d'un objecte.
Aquesta tècnica, segons els seus creadors, no fa suposicions sobre les correlacions entre canals espectrals i només requereix la suposició que el valor de la longitud d'ona és força aleatori. A més, aquest mètode només requereix informació sobre el detector de codificació, basant-se en la calibració prèvia de l'obertura de codificació i una biblioteca de dades prèviament entrenada. Aquestes característiques fan que aquest mètode d'imatge sigui molt versàtil i no invasiu.

Resultats de la simulació

Primer, mirem els resultats de la simulació.

Veure allò gairebé invisible, també en color: una tècnica per visualitzar objectes a través d'un difusor
Imatge #3

La imatge de dalt mostra exemples d'una imatge multiespectral de dos objectes presa a través d'un difusor. Fila superior 3a conté un objecte d'interès format per diversos números, mostrats tant en color fals com desglossats per canal espectral. Quan es dibuixa un objecte en fals color, el perfil d'intensitat de cada longitud d'ona es mostra a l'espai RGB CIE 1931.

Objecte reconstruït (fila inferior a 3a) tant en fals color com en termes de canals espectrals individuals, demostra que la tècnica proporciona una visualització excel·lent i només una diafonia menor entre canals espectrals, que no juga un paper especial en el procés.

Després de rebre l'objecte reconstruït, és a dir. Després de la renderització, va ser necessari avaluar el grau de precisió comparant la intensitat espectral (mitjana de tots els píxels brillants) de l'objecte real i el reconstruït (3b).

A les imatges 3c mostra un objecte real (fila superior) i una imatge reconstruïda (fila inferior) per a una cèl·lula mare de cotó, i en 3d es mostra una anàlisi de la precisió de la visualització.

Per avaluar la precisió de la imatge, va ser necessari calcular els valors de l'índex de similitud estructural (SSIM) i la relació màxima senyal-soroll (pSNR) de l'objecte real per a cada canal espectral.

Veure allò gairebé invisible, també en color: una tècnica per visualitzar objectes a través d'un difusor

La taula anterior mostra que cadascun dels cinc canals té un coeficient SSIM de 0,8–0,9 i un PSNR de més de 20. Es dedueix que, malgrat el baix contrast del senyal de speckle, la superposició de cinc bandes espectrals amb una amplada de 10 nm al detector permet una reconstrucció bastant precisa de les propietats espacial-espectrals de l'objecte que s'està estudiant. En altres paraules, la tècnica funciona, però només són resultats de simulació. Per obtenir una confiança total en el seu treball, els científics van realitzar una sèrie d'experiments pràctics.

Resultats experimentals

Una de les diferències més significatives entre la simulació i els experiments reals és l'entorn, és a dir. condicions en què es duen a terme ambdues. En el primer cas hi ha condicions controlades, en el segon hi ha condicions imprevisibles, és a dir. ja veurem com va.

Es van considerar tres canals espectrals amb una amplada de 8-12 nm centrats a 450, 550 i 650 nm que, combinats amb diferents magnituds relatives, generen una àmplia gamma de colors.

Veure allò gairebé invisible, també en color: una tècnica per visualitzar objectes a través d'un difusor
Imatge #4

La imatge de dalt mostra una comparació entre l'objecte real (la "H" multicolor) i l'objecte reconstruït. El temps d'exposició a la llum (velocitat d'obturació, és a dir, exposició) es va establir en 1800 s, la qual cosa va permetre obtenir una SNR en el rang de 60-70 dB. Aquest indicador SNR, segons els científics, no és extremadament important per a l'experiment, però serveix com a confirmació addicional del rendiment de la seva tècnica, especialment en el cas d'objectes complexos. En realitat, i no en condicions de laboratori, aquest mètode pot ser un ordre de magnitud més ràpid.

La fila superior de la imatge #4 mostra l'objecte a cada longitud d'ona (d'esquerra a dreta) i l'objecte real a tot color.

Per obtenir una imatge de l'objecte real com a resultat de la imatge, es va utilitzar una càmera de visió per ordinador amb filtres de pas de banda adequats per obtenir imatges directament dels components espectrals i obtenir una imatge a tot color sumant els canals espectrals resultants.

La segona fila de la imatge de dalt mostra els patrons d'autocorrelació de cada canal espectral reconstruït que formen les mesures multiplexades que són l'entrada a l'etapa de processament de dades.

La tercera fila és l'objecte reconstruït a cada canal espectral, així com l'objecte a tot color reconstruït, és a dir. resultat final de la visualització.

La imatge a tot color mostra que les magnituds relatives entre els canals espectrals també són correctes, ja que el color de la imatge reconstruïda combinada coincideix amb el valor real i el coeficient SSIM arriba a més de 0,92 per a cada canal.

La fila inferior confirma aquesta afirmació, mostrant una comparació de la intensitat de l'objecte real i l'objecte reconstruït. Les dades d'ambdós coincideixen en tots els rangs espectrals.

D'això se'n dedueix que fins i tot la presència de soroll i possibles errors de modelatge no ens van impedir obtenir una imatge d'alta qualitat, i els resultats experimentals es correlacionaven bé amb els resultats del modelatge.

L'experiment descrit anteriorment es va dur a terme tenint en compte canals espectrals separats. Els científics van realitzar un altre experiment, però aquesta vegada amb canals adjacents, o més aviat amb un rang espectral continu de 60 nm.

Veure allò gairebé invisible, també en color: una tècnica per visualitzar objectes a través d'un difusor
Imatge #5

L'objecte real era la lletra "X" i el signe "+" (5a). L'espectre de la lletra "X" és relativament uniforme i continu: entre 515 i 575 nm, però el "+" té un espectre estructurat, situat principalment entre 535 i 575 nm (5b). Per a aquest experiment, l'exposició va ser de 120 s per aconseguir la SNR desitjada (com abans) de 70 dB.

També es va utilitzar un filtre de pas de banda de 60 nm d'ample sobre tot l'objecte i un filtre de pas baix sobre el signe "+". Durant la reconstrucció, l'espectre de 60 nm es divideix en 6 canals adjacents amb una amplada de 10 nm (5b).

Com podem veure a les imatges 5 s, les imatges resultants estan en excel·lent acord amb l'objecte real. Aquest experiment va demostrar que la presència o absència de correlacions espectrals en el speckle mesurat no afecta l'efectivitat de la tècnica d'imatge en estudi. Els mateixos científics creuen que un paper molt més important en el procés de visualització, o més aviat en el seu èxit, el juguen no tant les característiques espectrals de l'objecte com el calibratge del sistema i els detalls del seu detector de codificació.

Per obtenir informació més detallada sobre els matisos de l'estudi, recomano que consulteu informen els científics и Materials addicionals A ell.

Epíleg

En aquest treball, els científics van descriure un nou mètode d'imatge multiespectral mitjançant un difusor. La modulació de taques depenent de la longitud d'ona mitjançant una obertura de codificació va permetre una sola mesura multiplexada i un càlcul de taques mitjançant un algorisme OMP basat en l'aprenentatge automàtic.

Utilitzant la lletra multicolor "H" com a exemple, els científics van demostrar que centrar-se en cinc canals espectrals corresponents a violeta, verd i tres tons de vermell permet obtenir una reconstrucció de la imatge que conté tots els colors de l'original (blau, groc, etc.).

Segons els investigadors, la seva tècnica pot ser útil tant en medicina com en astronomia. El color porta informació important en ambdues direccions: en astronomia - la composició química dels objectes que s'estudien, en medicina - la composició molecular de cèl·lules i teixits.

En aquesta etapa, els científics observen només un problema que pot provocar inexactituds de visualització: errors de modelització. A causa del temps força llarg necessari per completar el procés, es poden produir canvis en l'entorn que introduiran ajustos que no s'han tingut en compte en l'etapa de preparació. Tanmateix, en el futur tenim previst trobar una manera de mitigar aquest problema, que farà que la tècnica d'imatge descrita no només sigui precisa, sinó també estable en qualsevol condició.

Divendres fora de dalt:


Llums, color, música i un trio dels estranys blaus més famosos del món (Blue Man Group).

Gràcies per llegir, sigueu curiosos i passeu un bon cap de setmana nois! 🙂

Gràcies per quedar-te amb nosaltres. T'agraden els nostres articles? Vols veure més contingut interessant? Doneu-nos suport fent una comanda o recomanant als amics, 30% de descompte per als usuaris d'Habr en un únic anàleg de servidors d'entrada, que hem inventat per a tu: Tota la veritat sobre VPS (KVM) E5-2650 v4 (6 nuclis) 10 GB DDR4 240 GB SSD 1 Gbps des de 20 dòlars o com compartir un servidor? (disponible amb RAID1 i RAID10, fins a 24 nuclis i fins a 40 GB DDR4).

Dell R730xd 2 vegades més barat? Només aquí 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6 GHz 14C 64 GB DDR4 4 x 960 GB SSD 1 Gbps 100 TV des de 199 $ als Països Baixos! Dell R420 - 2x E5-2430 2.2 Ghz 6C 128 GB DDR3 2 x 960 GB SSD 1 Gbps 100 TB - a partir de 99 $! Llegeix sobre Com construir infrastructure corp. classe amb l'ús de servidors Dell R730xd E5-2650 v4 per valor de 9000 euros per un cèntim?

Font: www.habr.com

Afegeix comentari