En av Supermans mest kjente evner er supersyn, som tillot ham å se på atomer, se i mørket og over store avstander, og til og med se gjennom gjenstander. Denne evnen vises ekstremt sjelden på skjermen, men den eksisterer. I vår virkelighet er det også mulig å se gjennom nesten helt ugjennomsiktige gjenstander ved å bruke noen vitenskapelige triks. Imidlertid var de resulterende bildene alltid i svart-hvitt, inntil nylig. I dag skal vi se på en studie der forskere fra Duke University (USA) var i stand til å ta et fargefotografi av objekter gjemt bak en ugjennomsiktig vegg ved å bruke en enkelt lyseksponering. Hva er denne superteknologien, hvordan fungerer den og på hvilke områder kan den brukes? Rapporten til forskergruppen vil fortelle oss om dette. Gå.
Grunnlaget for studien
Til tross for alle mulige fordeler med teknologien for å visualisere objekter i spredningsmedier, er det en rekke problemer med å implementere denne teknologien. Den viktigste er det faktum at banene til fotoner som passerer gjennom sprederen endres sterkt, noe som fører til tilfeldige mønstre flekker* på den andre siden.
Flekk* er et tilfeldig interferensmønster dannet av gjensidig interferens av koherente bølger som har tilfeldige faseskift og/eller et tilfeldig sett med intensitet. Oftest ser det ut som et sett med lyse flekker (prikker) på en mørk bakgrunn.
De siste årene har flere bildeteknikker blitt utviklet for å omgå spredningseffekter og trekke ut objektinformasjon fra flekkmønsteret. Problemet med disse teknikkene er deres begrensninger - du må ha viss kunnskap om objektet, ha tilgang til spredningsmediet eller objektet, etc.
Samtidig er det en mye mer avansert metode, ifølge forskerne - visualisering med minneeffekt (ME). Denne metoden lar deg visualisere et objekt uten forkunnskap om seg selv eller spredningsmediet. Alle har mangler, som vi vet, og ME-metoden er intet unntak. For å oppnå flekkemønstre med høy kontrast og følgelig mer nøyaktige bilder, må belysningen være smalbåndet, dvs. mindre enn 1 nm.
Det er også mulig å overliste begrensningene til ME-metoden, men igjen involverer disse triksene tilgang til den optiske kilden eller objektet før diffusoren, eller direkte måling PSF*.
PSF* - en punktspredningsfunksjon som beskriver bildet som bildesystemet mottar når man observerer en punktlyskilde eller et punktobjekt.
Forskere kaller disse metodene brukbare, men ikke perfekte, siden PSF-måling ikke alltid er mulig på grunn av for eksempel dynamikken til sprederen eller dens utilgjengelighet før bildebehandlingsprosedyren. Det er med andre ord noe å jobbe med.
I sitt arbeid foreslår forskerne en annen tilnærming. De viser oss en metode for å realisere multispektral avbildning av objekter gjennom et spredningsmedium ved å bruke en enkelt flekkmåling med et monokromt kamera. I motsetning til andre teknikker krever ikke dette forkunnskaper om PSF-systemet eller kildespekteret.
Den nye metoden produserer høykvalitetsbilder av målobjektet i fem godt adskilte spektralkanaler mellom 450 nm og 750 nm, noe som ble bekreftet av beregninger. I praksis har det så langt vært mulig å visualisere tre godt adskilte spektralkanaler mellom 450 nm og 650 nm og seks tilstøtende spektralkanaler mellom 515 og 575 nm.
Hvordan den nye metoden fungerer
Bilde nr. 1: lampe - romlig lysmodulator - diffusor (med iris-membran) - kodeåpning - prisme - optisk relé (1:1 visualisering) - monokromt kamera.
Forskere noterer seg tre grunnleggende elementer i enhver diffuseravbildning: objektet av interesse (eksternt opplyst eller selvlysende), diffusoren og detektoren.
Som i standard ME-systemer vurderer denne studien et objekt hvis vinkelstørrelse er plassert innenfor ME-synsfeltet og i en avstand u bak diffusoren. Etter å ha interagert med diffusoren, reiser lyset en avstand v før det når detektoren.
Konvensjonell ME-avbildning bruker standardkameraer, men denne metoden bruker en kodedetektormodul som består av en kodeåpning og et bølgelengdeavhengig optisk element. Hensikten med dette elementet er å unikt modulere hver spektralkanal før de kombineres og konverteres til en monokrom detektor.
I stedet for ganske enkelt å måle flekker med lav kontrast hvis spektralkanaler er uløselig blandet, ble et spektralt multiplekset signal tatt opp, som er godt egnet for separasjon.
Forskerne understreker nok en gang at deres metode ikke krever noen forhåndskjente egenskaper eller antakelser om diffusor eller lyskilde.
Etter å ha gjort foreløpige målinger av den multipleksede flekken, ble den kjente verdien av Tλ (bølgelengdeavhengig kodemønster) brukt til å rekonstruere flekken individuelt i hvert spektralbånd.
I sitt arbeid, på stadiet med beregninger og modellering, brukte forskere visse maskinlæringsmetoder som kan hjelpe til med implementeringen av en tidligere uoverveid metode. Først ble sparsom matrisefunksjonslæring brukt for å representere flekk.
Funksjonslæring* — lar systemet automatisk finne representasjonene som er nødvendige for å identifisere funksjoner i kildedataene.
Resultatet var en database trent på flekkbilder fra ulike målekonfigurasjoner. Denne basen er ganske generalisert og er ikke avhengig av spesifikke objekter og spredere som deltar i genereringen av masken Iλx, y. Systemet trenes med andre ord basert på en diffusor som ikke brukes i den eksperimentelle konfigurasjonen, dvs. systemet har ikke tilgang til det, slik forskerne ønsket.
OMP-algoritmen ble brukt til å få flekkbilder ved hver bølgelengde (ortogonal matching jakten).
Til slutt, ved å beregne autokorrelasjonen til hver spektralkanal uavhengig og invertere autokorrelasjonen ved hver bølgelengde, ble bilder av objektet oppnådd. De resulterende bildene ved hver bølgelengde kombineres deretter for å lage et fargebilde av objektet.
Bilde nr. 2: trinn-for-trinn-prosessen for å komponere et bilde av et objekt.
Denne teknikken, ifølge skaperne, gjør ingen antagelser om korrelasjoner mellom spektralkanaler og krever bare antagelsen om at bølgelengdeverdien er ganske tilfeldig. I tillegg krever denne metoden kun informasjon om kodingsdetektoren, avhengig av forhåndskalibrering av kodeåpningen og et forhåndsopplært databibliotek. Disse egenskapene gjør denne bildebehandlingsmetoden svært allsidig og ikke-invasiv.
Simuleringsresultater
La oss først se på simuleringsresultatene.
Bilde #3
Bildet ovenfor viser eksempler på et multispektralt bilde av to objekter tatt gjennom en diffusor. Øverste rad på 3a inneholder et objekt av interesse som består av flere tall, vist både i falske farger og brutt ned etter spektralkanal. Når du plotter et objekt i falske farger, vises intensitetsprofilen til hver bølgelengde i CIE 1931 RGB-rom.
Rekonstruert objekt (nederste rad på 3a) både i falske farger og når det gjelder individuelle spektralkanaler, viser at teknikken gir utmerket visualisering og kun mindre krysstale mellom spektralkanaler, som ikke spiller en spesiell rolle i prosessen.
Etter å ha mottatt det rekonstruerte objektet, dvs. Etter gjengivelsen var det nødvendig å evaluere graden av nøyaktighet ved å sammenligne den spektrale intensiteten (gjennomsnittet over alle lyse piksler) til det virkelige objektet og det rekonstruerte (3b).
I bildene 3c viser et ekte objekt (øverste rad) og et rekonstruert bilde (nederste rad) for en bomullsstamcelle, og i 3d en analyse av visualiseringsnøyaktighet vises.
For å evaluere avbildningsnøyaktigheten var det nødvendig å beregne de strukturelle likhetsindeksverdiene (SSIM) og toppsignal-til-støyforholdet (pSNR) til det virkelige objektet for hver spektralkanal.
Tabellen ovenfor viser at hver av de fem kanalene har en SSIM-koeffisient på 0,8–0,9 og en PSNR på mer enn 20. Det følger at til tross for den lave kontrasten til flekksignalet, superposisjonen av fem spektralbånd med en bredde på 10 nm på detektoren muliggjør ganske nøyaktig rekonstruksjon rom-spektrale egenskaper for objektet som studeres. Teknikken fungerer med andre ord, men dette er kun simuleringsresultater. For å få full tillit til arbeidet sitt, gjennomførte forskere en rekke praktiske eksperimenter.
Eksperimentelle resultater
En av de viktigste forskjellene mellom simulering og ekte eksperimenter er miljøet, dvs. forhold der begge utføres. I det første tilfellet er det kontrollerte forhold, i det andre er det uforutsigbare forhold, dvs. vi får se hvordan det går.
Tre spektralkanaler med en bredde på 8–12 nm sentrert ved 450, 550 og 650 nm ble vurdert, som, når de kombineres med forskjellige relative størrelser, genererer et bredt spekter av farger.
Bilde #4
Bildet ovenfor viser en sammenligning mellom det virkelige objektet (den flerfargede "H") og den rekonstruerte. Lyseksponeringstiden (lukkerhastighet, dvs. eksponering) ble satt til 1800 s, noe som gjorde det mulig å oppnå en SNR i området 60-70 dB. Denne SNR-indikatoren, ifølge forskere, er ikke ekstremt viktig for eksperimentet, men tjener som ytterligere bekreftelse på ytelsen til teknikken deres, spesielt når det gjelder komplekse objekter. I virkeligheten, og ikke under laboratorieforhold, kan denne metoden være en størrelsesorden raskere.
Den øverste raden i bilde #4 viser objektet ved hver bølgelengde (fra venstre til høyre) og det faktiske fullfargeobjektet.
For å få et bilde av det virkelige objektet som et resultat av bildebehandling, ble et datasynskamera brukt med passende båndpassfiltre for å avbilde spektralkomponentene direkte og oppnå et fullfargebilde ved å summere de resulterende spektralkanalene.
Den andre raden i bildet ovenfor viser autokorrelasjonsmønstrene til hver rekonstruert spektralkanal som danner de multipleksede målingene som er input til databehandlingsstadiet.
Den tredje raden er det rekonstruerte objektet i hver spektralkanal, samt det rekonstruerte fullfargeobjektet, dvs. endelig visualiseringsresultat.
Fullfargebildet viser at de relative størrelsene mellom spektralkanaler også er korrekte, siden fargen på det kombinerte rekonstruerte bildet samsvarer med den virkelige verdien, og SSIM-koeffisienten når mer enn 0,92 for hver kanal.
Den nederste raden bekrefter denne uttalelsen, og viser en sammenligning av intensiteten til det virkelige objektet og det rekonstruerte. Dataene fra begge faller sammen i alle spektralområder.
Det følger av dette at selv tilstedeværelsen av støy og potensielle modelleringsfeil ikke hindret oss i å oppnå et bilde av høy kvalitet, og de eksperimentelle resultatene korrelerte godt med modelleringsresultatene.
Eksperimentet beskrevet ovenfor ble utført under hensyntagen til separerte spektralkanaler. Forskerne utførte et nytt eksperiment, men denne gangen med tilstøtende kanaler, eller rettere sagt med et kontinuerlig spektralområde på 60 nm.
Bilde #5
Det virkelige objektet var bokstaven "X" og tegnet "+" (5a). Spekteret til bokstaven "X" er relativt jevnt og kontinuerlig - mellom 515 og 575 nm, men "+" har et strukturert spektrum, hovedsakelig lokalisert mellom 535 og 575 nm (5b). For dette eksperimentet var eksponeringen 120 s for å oppnå ønsket (som før) SNR på 70 dB.
Et 60 nm bredt båndpassfilter ble også brukt over hele objektet og et lavpassfilter over "+"-tegnet. Under rekonstruksjon er 60 nm-spekteret delt inn i 6 tilstøtende kanaler med en bredde på 10 nm (5b).
Som vi kan se av bildene 5s, er de resulterende bildene i utmerket samsvar med det virkelige objektet. Dette eksperimentet viste at tilstedeværelsen eller fraværet av spektrale korrelasjoner i den målte flekken ikke påvirker effektiviteten til avbildningsteknikken som studeres. Forskere selv mener at en mye større rolle i visualiseringsprosessen, eller snarere i dens suksess, ikke spilles så mye av objektets spektrale egenskaper som av kalibreringen av systemet og detaljene til kodingsdetektoren.
For en mer detaljert titt på nyansene i studien anbefaler jeg å ta en titt på и til ham.
Epilog
I dette arbeidet beskrev forskere en ny metode for multispektral avbildning gjennom en diffusor. Bølgelengdeavhengig flekkmodulasjon ved bruk av en kodeåpning muliggjorde en enkelt multiplekset måling og flekkberegning ved bruk av en maskinlæringsbasert OMP-algoritme.
Ved å bruke den flerfargede bokstaven "H" som et eksempel, viste forskerne at fokus på fem spektralkanaler som tilsvarer fiolett, grønt og tre nyanser av rødt lar en få en rekonstruksjon av bildet som inneholder alle fargene til originalen (blå, gul osv.).
Teknikken deres kan ifølge forskerne være nyttig både innen medisin og astronomi. Farge bærer viktig informasjon i begge retninger: i astronomi - den kjemiske sammensetningen av objektene som studeres, i medisin - den molekylære sammensetningen av celler og vev.
På dette stadiet bemerker forskere bare ett problem som kan forårsake unøyaktigheter i visualiseringen: modelleringsfeil. På grunn av den ganske lange tiden som kreves for å fullføre prosessen, kan det oppstå endringer i miljøet som vil introdusere justeringer som ikke ble tatt hensyn til på forberedelsesstadiet. Imidlertid planlegger vi i fremtiden å finne en måte å dempe dette problemet på, som vil gjøre den beskrevne bildeteknikken ikke bare nøyaktig, men også stabil under alle forhold.
Fredag off-top:
Lys, farger, musikk og en trio av verdens mest kjente blå raringer (Blue Man Group).
Takk for at du leser, vær nysgjerrig og ha en flott helg folkens! 🙂
Takk for at du bor hos oss. Liker du artiklene våre? Vil du se mer interessant innhold? Støtt oss ved å legge inn en bestilling eller anbefale til venner, 30 % rabatt for Habr-brukere på en unik analog av inngangsnivåservere, som ble oppfunnet av oss for deg: (tilgjengelig med RAID1 og RAID10, opptil 24 kjerner og opptil 40 GB DDR4).
Dell R730xd 2 ganger billigere? Bare her i Nederland! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - fra $99! Lese om
Kilde: www.habr.com