En af Supermans mest berømte evner er supersyn, som gjorde det muligt for ham at betragte atomer, se i mørket og på enorme afstande samt se gennem genstande. Denne evne vises sjældent på skærmen, men den er der. I vores egen virkelighed kan man også se gennem næsten helt uigennemsigtige objekter ved at anvende nogle videnskabelige tricks. Dog har de billeder, der er taget, altid været i sort-hvid, indtil for nylig. I dag skal vi se nærmere på et forskningsprojekt, hvor forskere fra Duke Universitetet (USA) har formået at tage farvebilleder af objekter, der er gemt bag en uigennemsigtig væg, ved at anvende en enkelt lysimpuls. Hvilken superteknologi er dette, hvordan fungerer det, og i hvilke områder kan det anvendes? Det vil forskergruppen fortælle os om. Lad os komme i gang.
Basis for undersøgelsen
På trods af alle de mulige "fordele" ved teknologien til visualisering af objekter i spredende medier, er der en række problemer med implementeringen af denne teknologi. Det primære problem er, at fotonernes vej gennem spredningsmidlet ændrer sig drastisk, hvilket fører til tilfældige mønstre. speckle* på den anden side.
Speckle* er et tilfældigt interferensmønster, der dannes ved gensidig interferens af kohærente bølger, som har tilfældige faseforskydninger og/eller et tilfældigt intensitetsniveau. Det fremtræder oftest som en samling af lyse pletter (punkter) på en mørk baggrund.
I de seneste år er der blevet udviklet flere metoder til visualisering, der tillader omgåelse af effekterne fra spredningsmidler og udvinding af information om objektet fra specklemønsteret. Problemet med disse metoder er deres begrænsning — man skal have en bestemt viden om objektet, have adgang til det spredende medium eller objektet osv.
Samtidig findes der en langt mere avanceret metode, ifølge forskerne — visualisering med hukommelseseffekt (ME). Denne metode gør det muligt at visualisere et objekt uden forudgående viden om objektet eller det spredende medium. Der er mangler ved alle metoder, som vi ved, og ME-metoden er ingen undtagelse. For at opnå højkonstrast specklemønstre og dermed mere præcise billeder skal belysningen være smalbåndet, dvs. mindre end 1 nm.
Det er også muligt at omgå begrænsningerne ved ME-metoden, men disse tricks kræver adgang til den optiske kilde eller objektet før spredningen eller direkte måling. PSF*.
PSF* — punktspredningsfunktionen, der beskriver det billede, som dannes af systemet, når det observerer en punktkilde eller et punktobjekt.
Forskere kalder disse metoder funktionelle, men ikke perfekte, da målingen af PSF ikke altid er mulig, for eksempel på grund af dynamikken i spredningen eller dens utilgængelighed før visualiseringsproceduren. Med andre ord er der stadig arbejde at gøre.
I deres arbejde foreslår forskerne en anden tilgang. De viser os en metode til realisering af multispektral visualisering af objekter gennem et spredende medium ved hjælp af en enkelt speck-måling med et monokromatisk kamera. I modsætning til andre metoder kræver denne ikke forudgående kendskab til PSF-systemet eller spektrumkilden.
Den nye metode muliggør skabelsen af højkwalitetsbilleder af det målrettede objekt i fem veladskilte spektre mellem 450 nm og 750 nm, hvilket er blevet bekræftet ved beregninger. I praksis er det dog kun lykkedes at opnå visualisering af tre veladskilte spektre mellem 450 nm og 650 nm og seks tilstødende spektre mellem 515 og 575 nm.
Principperne for den nye metode
Billede 1: lampe — rumligt lysmodulator — spredningselement (med irisblænde) — kodende apertur — prisme — optisk relæ (visualisering 1:1) — monokromatisk kamera.
Forskerne påpeger tre grundlæggende elementer i enhver visualisering gennem et spredningselement: interesseobjektet (belyst udefra eller selvlysende), spredningselementet og detektor.
Som i standard ME-systemer beskæftiger denne undersøgelse sig med et objekt, hvis vinkelstørrelse er inden for synsfeltet for ME og på en afstand u bag spredningselementet. Efter interaktion med spredningselementet spreder lyset sig over en afstand v, før det når detektor.
Den almindelige ME-visualisering bruger standardkameraer, mens denne metode anvender en modul af en kodende detektor bestående af en kodende aperture og et optisk element, der afhænger af bølgelængden. Målet med dette element er at modulere hvert spektre kanal unikt, før de kombineres og konverteres til en monokrom detektor.
Således blev der i stedet for blot at måle et lavkontrast speck, hvis spektre kanaler er uadskilleligt blandet, optaget et spektralt multiplexeret signal, som er velegnet til adskillelse.
Forskerne understreger endnu en gang, at deres metode ikke kræver nogen på forhånd kendte egenskaber eller antagelser om spredningsmiddel eller lyskilde.
Efter at have foretaget indledende målinger af det multiplexede speck blev en kendt værdi for Tλ (kodende mønster, der afhænger af bølgelængden) anvendt til individuel rekonstruktion af speck i hver spektrokanal.
I deres arbejde anvendte forskerne på beregnings- og modelleringsstadiet bestemte metoder inden for maskinlæring, som kan hjælpe med implementeringen af en tidligere uovervejet metode. Først og fremmest blev der anvendt funktionstræning af sparse matrix til at repræsentere speck.
Funktionstræning* — gør det muligt for systemet automatisk at finde de repræsentationer, der er nødvendige for at identificere træk fra de oprindelige data.
Som resultat blev der opnået en database trænet på speck-billeder fra forskellige målekonfigurationer. Denne database er temmelig generel og er ikke afhængig af specifikke objekter og spredere, der er involveret i genereringen af masken Iλx, y. Med andre ord trænes systemet baseret på et spredningsmiddel, der ikke anvendes i den eksperimentelle konfiguration, dvs. systemet har ikke adgang til det, som forskerne ønskede.
For at opnå speck-billeder ved hver bølgelængde blev OMP-algoritmen anvendt (orthogonal matching pursuit).
Til sidst blev billederne af objektet opnået ved at beregne autokorrelationen for hver spektrokanal uafhængigt og invertere autokorrelationen ved hver bølgelængde. De opnåede billeder ved hver bølgelængde samles derefter for at skabe et farvebillede af objektet.
Billede nr. 2: trin-for-trin proces til sammensætning af et objekts billede.
Ifølge skaberne af denne metode gør den ikke nogen antagelser om korrelationer mellem spektale kanaler og kræver kun antagelsen om, at bølgelængdeværdien er tilstrækkeligt tilfældig. Derudover kræver metoden kun information om den kodende detektor, idet den stoler på den forudgående kalibrering af den kodende blænde og det forudindstillede datagrundlag. Disse egenskaber gør metoden til en yderst universel og ikke-invasiv visualisering.
Simuleringsresultater
Lad os først se på simuleringsresultaterne.
Billede nr. 3
På billedet ovenfor ses eksempler på multispektrale billeder af to objekter taget gennem en diffusor. Den øverste række på 3a indeholder det interessante objekt, der består af flere tal, vist både i falske farver og opdelt efter spektal kanal. Ved opbygning af objektet i falske farver vises intensitetsprofilen for hver bølgelængde i CIE 1931 RGB-rummet.
Det rekonstruerede objekt (den nederste række på 3a) både i falske farver og med hensyn til individuelle spektale kanaler demonstrerer, at metoden giver fremragende visualisering og kun en ubetydelig krydsinteraktion mellem de spektale kanaler, hvilket ikke spiller en væsentlig rolle i processen.
Efter opnåelsen af det rekonstruerede objekt, dvs. efter visualiseringen, var det nødvendigt at vurdere nøjagtigheden ved at sammenligne den spektre mæssige intensitet (gennemsnit over alle lyse pixler) af det faktiske objekt med det rekonstruerede (3b).
På billederne 3c vises det faktiske objekt (den øverste række) og det rekonstruerede billede (den nederste række) af en celle fra en bomuldsstil, og på 3d vises analyser af visualiseringens nøjagtighed.
For at vurdere visualiseringens nøjagtighed var det nødvendigt at beregne værdierne for strukturel lighedskoefficient (SSIM) og top signal-til-støj-forhold (pSNR) for det faktiske objekt for hver spektal kanal.
Tabellen ovenfor viser, at hver af de fem kanaler har en SSIM-koefficient på 0,8–0,9 og PSNR over 20. Dette indikerer, at på trods af den lave kontrast i specklsignalet tillader overlappet på detektorens fem spektrale bånd af 10 nm bredde en tilstrækkelig præcis rekonstruktion af de rumligt-spektrele egenskaber af det undersøgte objekt. Med andre ord fungerer metoden, men dette er kun resultaterne af simuleringen. For at være helt sikre på deres resultater gennemførte forskerne en række praktiske eksperimenter.
Resultaterne af eksperimenterne
En af de mest betydningsfulde forskelle mellem simulering og virkelige eksperimenter er miljøet, dvs. de forhold, hvorunder begge dele udføres. I det første tilfælde findes der kontrollerede forhold, mens der i det andet er uforudsigelige, dvs. hvordan det nu engang bliver.
Der blev undersøgt tre spektrale kanaler med en bredde på 8-12 nm centreret ved 450, 550 og 650 nm, som i kombination med forskellige relative størrelser genererer et bredt farvespektrum.
Image No. 4
Billedet ovenfor viser en sammenligning mellem det virkelige objekt (den flerfarvede bogstav „H”) og det rekonstruerede. Lysvirkningstiden (belægningen, dvs. eksponeringen) blev fastsat til 1800 s, hvilket gjorde det muligt at opnå en SNR i intervallet 60-70 dB. En sådan SNR er ifølge forskerne ikke ekstremt vigtig for eksperimentet, men tjener som en yderligere bekræftelse af deres metodens funktionalitet, især i tilfælde af komplekse objekter. I virkeligheden, og ikke under laboratorieforhold, kan denne metode være markant hurtigere.
På den øverste række af billede nr. 4 vises objektet ved hver bølgelængde (fra venstre mod højre) og det virkelige fuldfarveobjekt.
For at opnå et billede af det virkelige objekt ved visualisering blev der brugt et maskinsynkamera med tilsvarende båndfiltre til direkte at vise de spektrale komponenter og generere et fuldfarvebillede ved at summere de resulterende spektrale kanaler.
Den anden række af billedet ovenfor viser autokorrelationsmønstrene for hver rekonstrueret spektral kanal, som danner multiplexerede målinger, der er input-data til databehandlingsfasen.
Den tredje række er det rekonstruerede objekt i hvert spektrekanal samt det rekonstruerede fuldfarveobjekt, dvs. det endelige resultat af visualiseringen.
Fuldfarvebilledet viser, at de relative størrelser mellem spektrekanalerne også er korrekte, da farven på det sammensatte rekonstruerede billede svarer til den faktiske værdi, og SSIM-koefficienten når mere end 0,92 for hver kanal.
Den nederste række bekræfter dette udsagn ved at vise en sammenligning af intensiteten mellem det virkelige objekt og det rekonstruerede. Dataene for begge stemmer overens i alle spektretbånd.
Deraf følger, at selv med støj og potentielle fejl i modelleringen kunne man opnå et billede af høj kvalitet, og resultaterne fra eksperimenterne stemmer godt overens med resultaterne fra modelleringen.
Den ovenfor beskrevne erfaring blev udført under hensyntagen til adskilte spektrekanaler. Forskerne udførte et andet eksperiment, men med tilstødende kanaler, mere præcist med et kontinuert spektretbånd på 60 nm.
Billede nr. 5
Som det virkelige objekt blev bogstavet "X" og tegnet "+" (5a). Spektret af bogstavet "X" er relativt jævnt og sammenhængende — mellem 515 og 575 nm, mens "+" har et struktureret spektrum, der hovedsageligt ligger mellem 535 og 575 nm (5b). For dette eksperiment var eksponeringen 120 sekunder for at opnå den ønskede (ligesom før) SNR på 70 dB.
Der blev også anvendt et båndpasfilter med en bredde på 60 nm over hele objektet og et lavpasfilter over tegnet "+". Under rekonstruktionen deles spektret på 60 nm op i 6 tilstødende kanaler med en bredde på 10 nm (5b).
Som vi kan se på billederne 5c, stemmer de resulterende billeder perfekt overens med det virkelige objekt. Dette eksperiment viste, at tilstedeværelsen eller fraværet af spektrekorrelationer i den målte speck ikke påvirker effektiviteten af den undersøgte visualiseringsteknik. Forskerne mener, at det i langt højere grad er kalibreringen af systemet og detaljerne i dets kodende detektor, der spiller en større rolle i visualiseringsprocessen, især for dens succes.
For en mere detaljeret indføring i undersøgelsens nuancer anbefaler jeg at kigge i og til det.
Epilog
I dette arbejde beskriver forskerne en ny metode til multispektral visualisering gennem en diffusor. Modulation af spektret afhængig af bølgelængden ved hjælp af en kodningsåbning gjorde det muligt at udføre en multiplexmåling og beregne spektret ved hjælp af en OMP-algoritme baseret på maskinlæring.
Ved hjælp af det flerfarvede bogstav 'H' viste forskerne, at fokus på fem spektrale kanaler, der svarer til violet, grøn og tre nuancer af rød, muliggør en rekonstruktion af billedet, der indeholder alle farverne fra originalen (blå, gul osv.).
Ifølge forskerne kan deres metode være nyttig både inden for medicin og astronomi. Farve bærer vigtig information på begge områder: i astronomi – den kemiske sammensætning af de undersøgte objekter, og i medicin – den molekylære sammensætning af celler og væv.
I denne fase bemærker forskerne kun ét problem, der kan forårsage unøjagtigheder i visualiseringen, nemlig modelleringsfejl. På grund af den relativt lange tid, der kræves for at udføre processen, kan der opstå ændringer i miljøet, som ikke er taget højde for i den forberedende fase. Fremadrettet planlægges det dog at finde en måde at afbøde dette problem på, hvilket vil gøre den beskrevne visualiseringsmetode både præcis og stabil under alle forhold.
Fredags off-topic:
Lys, farve, musik og trioen af de tre mest berømte blå 'tosser' i verden (Blue Man Group).
Tak for opmærksomheden, bliv nysgerig, og hav en fantastisk weekend, allesammen! 🙂
Tak fordi du er med os. Kan du lide vores artikler? Vil du se flere interessante materialer? Støt os ved at lave en bestilling eller anbefale os til dine bekendte. 30% rabat til brugere af Habr på en unik entry-level server, som vi har opfundet til dig: (tilgængelige muligheder med RAID1 og RAID10, op til 24 kerner og op til 40 GB DDR4).
Dell R730xd er 2 gange billigere? Kun hos os i Holland! Dell R420 - 2x E5-2430 2.2GHz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - fra 99 $! Læs om hvordan
Kilde: habr.com
