Superman egyik legismertebb képessége a szuperlátás, amely lehetővé tette számára, hogy atomokat vizsgáljon, sötétben és hatalmas távolságokból lásson, valamint átlátson tárgyakon. Ezt a képességet rendkívül ritkán mutatják be a képernyőkön, de létezik. A mi valóságunkban is lehetséges, hogy szinte teljesen átlátszatlan tárgyakon átnézzünk, bizonyos tudományos trükkök alkalmazásával. Azonban a készített felvételek eddig mindig fekete-fehérek voltak, egészen nemrégig. Ma megismerkedünk egy kutatással, amelyben a Duke Egyetem (USA) tudósai képesek voltak színes képet készíteni az átlátszatlan fal mögött rejlő tárgyakról, egyetlen fényimpulzus alkalmazásával. Mi ez a szuper-technológia, hogyan működik, és mely területeken lehet alkalmazni? Erről fog mesélni a kutatócsoport előadása. Induljunk!
A kutatás alapja
Annak ellenére, hogy a ködös közegben lévő tárgyak vizualizálásának technológiájához sok „jövedelmező” előny tartozik, számos problémát jelent a technológia megvalósítása. A fő probléma, hogy a fotonok útja, miközben áthalad a ködös anyagon, jelentősen megváltozik, ami véletlenszerű mintázatokat eredményez. speckle* a túloldalon.
Speckle* — véletlenszerű interferenciamintázat, amely a koherens hullámok kölcsönös interferenciája során keletkezik, amelyek véletlenszerű fáziseltolódásokat és/vagy véletlenszerű intenzitásmintázatokat mutatnak. Leggyakrabban olyan világos foltok (pontok) sorozataként jelenik meg, sötét háttérrel.
Az utóbbi években számos vizualizálási módszert fejlesztettek ki, amelyek lehetővé teszik a ködösítő hatások megkerülését, és az információk kinyerését a speckle mintázatból. E módszerek problémája a korlátozottságuk – bizonyos tudásra van szükség a tárgyról, hozzáférés szükséges a ködösítő közeghez vagy a tárgyhoz stb.
Ugyanakkor létezik egy sokkal fejlettebb módszer, amely véleménye szerint felülmúlja a tudósokat – a memóriaeffektussal történő vizualizálás (ME). Ez a módszer lehetővé teszi a tárgy vizualizálását anélkül, hogy előzetes tudásunk lenne magáról a tárgyról vagy a ködösítő közegről. Minden módszernek vannak hátrányai, ahogy tudjuk, és a ME-módszer sem kivétel. A nagy kontrasztú speckle-mintázatok és így a pontosabb képek megkérése érdekében a világításnak keskenysávosnak kell lennie, azaz 1 nm-nél kevesebb.
A ME-method limitation can also be circumvented, but again, these tricks are related to accessing the optical source or object before the diffuser or direct measurement. PSF*.
PSF* — a point spread function describing the image that the formation system receives when observing a point light source or point object.
Researchers consider these methods effective, but not perfect, as measuring the PSF is not always feasible due to factors such as the dynamic nature of the diffuser or its inaccessibility before the visualization procedure. In other words, there is still room for improvement.
In their work, researchers propose an alternative approach. They demonstrate a method for implementing multispectral visualization of objects through a scattering medium using a single speckle measurement from a monochrome camera. Unlike other methods, this one does not require prior knowledge of the PSF of the system or the spectrum of the source.
The new method allows for the creation of high-quality images of the target object in five well-separated spectral channels between 450 nm and 750 nm, which has been confirmed by calculations. However, in practice, visualization has only been achieved for three well-separated spectral channels between 450 nm and 650 nm and six adjacent spectral channels between 515 nm and 575 nm.
Principle of the new method
Image No. 1: lamp — spatial light modulator — diffuser (with an iris diaphragm) — encoding aperture — prism — optical relay (1:1 visualization) — monochrome camera.
Researchers note three main elements of any visualization through a diffuser: the object of interest (either externally illuminated or self-luminous), the diffuser, and the detector.
As in standard ME systems, this study considers an object whose angular size lies within the ME field of view and is located at a distance u behind the diffuser. After interacting with the diffuser, light propagates a distance v before reaching the detector.
A szokásos ME-vizuálás standard kamerákat használ, míg ebben a módszerben egy kódoló detektor modul kerül alkalmazásra, amely kódoló rekeszből és a hullámhossztól függő optikai elemből áll. Ennek az elemnek a célja, hogy egyedi modulációt biztosítson minden spektrális csatorna számára, mielőtt azokat egyesítenék és egy monokromatikus detektorban átalakítanák.
Így ahelyett, hogy egyszerűen alacsony kontrasztú speklát mérnénk, amelynek spektrális csatornái szervesen összekeverednek, spektrálisan multiplexelt jel rögzítésére került sor, amely jól alkalmas a szétválasztásra.
A kutatók újra hangsúlyozzák, hogy módszerük nem igényel előre ismert jellemzőket vagy feltevéseket a szóróról vagy a fényforrásról.
A multiplexelt speklek előzetes méréseit követően egy ismert Tλ értéket (a hullámhossztól függő kódoló mintázat) használtak az egyes spektrumok rekonstrukciójára.
Tanulmányuk során a kutatók számítások és modellezés fázisában alkalmaztak bizonyos gépi tanulási módszereket, amelyek segíthetnek egy korábban nem vizsgált módszer megvalósításában. Elsősorban ritka mátrix jellemzők tanulását alkalmazták a spektrum ábrázolására.
A jellemzők tanulása* — lehetővé teszi a rendszer számára, hogy automatikusan megtalálja azokat az ábrázolásokat, amelyek szükségesek az eredeti adatok jellemzőinek kiemeléséhez.
Ennek eredményeként egy speklaképeken alapuló adatbázis jött létre, amely különböző mérési konfigurációkból származik. Ez az adatbázis eléggé általános, és nem függ a konkrét objekttól vagy szórótól, amelyek részt vesznek az Iλx, y maszk generálásában. Más szóval, a rendszer olyan szóróra tanul, amely nem szerepel a kísérleti konfigurációban, azaz a rendszer nem férhet hozzá, ahogyan azt a kutatók szerették volna.
A speklaképek nyerésére minden egyes hullámhosszon az OMP algoritmus lett alkalmazva (orthogonális illeszkedés keresése).
Végül, az egyes spektrális csatornák autokorrelációjának független számításával és az autokorreláció minden egyes hullámhosszon történő megfordításával az objektum képei kerültek előállításra. A nyert képek minden egyes hullámhosszon ezután összevonásra kerülnek, hogy létrejöjjön az objektum színes képe.
2. kép: az objektum képének elkészítési folyamata.
Ez a módszer, a létrehozóinak állítása szerint, nem tesz fel semmilyen feltételezést a spektrális csatornák közötti korrelációkról, és csupán azt feltételezi, hogy a hullámhossz értéke eléggé véletlenszerű. Ezen kívül ez a módszer csupán a kódoló detektorról igényel információt, támaszkodva a kódoló apertúra előzetes kalibrálására és egy előképzett adatbibliotékára. Ezek a jellemzők teszik ezt a vizualizálási módszert meglehetősen univerzálissá és nem invazívvá.
A modellezés eredményei
Kezdjük a modellezés eredményeinek áttekintésével.
3. ábra
A fenti képen két objektum multispektrális felvételének példái láthatók, amelyeket egy szétszórón keresztül készítettek. A felső sorban 3a szerepel a vizsgálati objektum, amely több számból áll, mind hamis színekben, mind spektrális csatornákra bontva. A hamis színben való megjelenítéskor az egyes hullámhosszak intenzitásprofilja jelenik meg a CIE 1931 RGB térben.
A rekonstruált objektum (alsó sorban 3a) hamis színben és az egyes spektrális csatornák szempontjából is azt mutatja, hogy a módszer kiváló vizualizálást biztosít, és csak kis mértékű keresztkapcsolódás történik a spektrális csatornák között, amelynek nincs különösebb szerepe a folyamatban.
A rekonstruált objektum megszerzése után, azaz a vizualizálás után, értékelni kellett a pontosság fokát, összehasonlítva a valódi objektum spektrális intenzitását (az összes fényes pixelre átlagoltan) a rekonstruált objektuméval (3b).
A képeken 3c látható a valódi objektum (felső sor) és a rekonstruált kép (alsó sor) a gyapotstégsejtből, míg a 3d ábrázolja a vizualizáció pontosságának elemzését.
A vizualizáció pontosságának értékeléséhez meg kellett határozni a strukturális hasonlósági index (SSIM) és a jel-zaj arány (pSNR) értékeit a valódi objektum számára minden spektrális csatornára.
A fenti táblázat azt mutatja, hogy az öt csatorna közül mindegyik SSIM értéke 0,8-0,9, és a PSNR meghaladja a 20-at. Ez alapján elmondható, hogy a speckle jel alacsony kontrasztja ellenére az öt 10 nm széles spektrális sávdetektorra való rátétel lehetővé teszi a vizsgált objektum térbeli-spektroszkópos tulajdonságainak viszonylag pontos rekonstrukcióját. Más szavakkal, a módszer működik, de ez csupán a modellezés eredménye. A teljes megbizonyosodás érdekében a kutatók számos gyakorlati kísérletet is végeztek.
Kísérleti eredmények
A modellezés és a valós kísérletek közötti legjelentősebb különbség a környezet, azaz a feltételek, amelyek között az egyiket és a másikat végzik. Az első esetben kontrollált feltételek állnak rendelkezésre, míg a második esetben megjósolhatatlanok, azaz ahogy alakul.
Három, 8-12 nm széles spektrális csatorna került megvizsgálásra, középpontjuk 450, 550 és 650 nm, amelyek különböző relatív mennyiségekkel széles színskálát generálnak.
4. számú kép
A fenti képen a valódi objektum (színes "H" betű) és a rekonstruált változata közötti összehasonlítás látható. A fényhatás időtartama (expozíciós idő) 1800 másodpercre volt beállítva, ami 60-70 dB közötti SNR-t eredményezett. A tudósok szerint egy ilyen SNR-érték nem rendkívül fontos a kísérlet szempontjából, de további megerősítést nyújt a módszer hatékonyságáról, különösen összetett objektumok esetén. Valós körülmények között, nem laboratóriumi környezetben, ez a módszer sokkal gyorsabb lehet.
A 4. számú kép felső sorában minden hullámhosszon látható egy objektum (balról jobbra), és a valódi színes objektum.
A valós objektum vizualizálásában egy gépi látás kamerát használtak a megfelelő sávszűrőkkel a spektrális komponensek közvetlen megjelenítéséhez, és az eredményei spektrális csatornák összeadásával egy teljes színes kép előállításához.
A fenti kép második sora minden rekonstruált spektrális csatorna autokorrelációs mintáit mutatja, amelyek multiplexelt méréseket alkotnak, amelyek bemeneti adatai az adatok feldolgozásának szakaszához.
A harmadik sor a rekonstruált objektumot jelenti minden spektrális csatornában, valamint a rekonstruált színes objektumot, azaz a vizualizáció végső eredményét.
A színes kép azt mutatja, hogy a spektrális csatornák közötti relatív mennyiségek is helyesek, mivel a rekonstrukált kép színe megfelel a valós értéknek, és az SSIM együttható meghaladja a 0,92-t minden csatornára vonatkozóan.
A legalsó sor megerősíti ezt az állítást, bemutatva a valós objektum és a rekonstruált kép intenzitásának összehasonlítását. Mindkét adat minden spektrális tartományban megegyezik.
Ezért arra lehet következtetni, hogy még a zaj és a lehetséges modellezési hibák sem akadályozták meg a magas színvonalú kép elkészítését, és a kísérletek eredményei jól összhangban vannak a modellezés eredményeivel.
A fent leírt kísérletet a különböző spektrális csatornák figyelembevételével végezték. A kutatók egy másik kísérletet is végeztek, de már szomszédos csatornákkal, pontosabban egy folyamatos spektrális tartománnyal, amely 60 nm-es.
5. számú kép
A valós objektum az 'X' betű és a '+' jel volt (5a). Az 'X' betű spektruma viszonylag egyenletes és folytonos — 515 és 575 nm között, míg a '+' jel strukturált spektrummal rendelkezik, javarészt 535 és 575 nm között (5b). Ehhez a kísérlethez az expozíció 120 másodperc volt, az előzőleg elért kívánt (mint korábban) 70 dB SNR elérése érdekében.
A kísérlet során 60 nm széles sávszűrőt használtak az egész objektum felett, valamint alacsony áteresztésű szűrőt a '+' jel felett. A rekonstrukció során a 60 nm-es spektrumot hat szomszédos 10 nm széles csatornára osztják (5b).
Ahogyan az a képeken is látható, 5c, az eredményül kapott képek kiválóan összhangban vannak a valós objektummal. Ez a kísérlet megmutatta, hogy a spektrális korrelációk jelenléte vagy hiánya a mért speklában nem befolyásolja a vizsgálat során alkalmazott vizualizációs módszer hatékonyságát. A kutatók maguk azt vallják, hogy sokkal nagyobb szerepet játszanak a vizualizáció folyamatában, pontosabban annak sikerében, nem a spektrális jellemzők, hanem a rendszer kalibrálása és a kódoló detektor részletei.
A kutatás részleteinek alaposabb megismeréséhez ajánlom, hogy nézzen utána és hozzá.
Epilógus
A tanulmányban a kutatók leírják az új multispektrális vizualizációs módszert szóróelemen keresztül. A hullámhossztól függő spekl modulálása egy kódoló apertúra segítségével lehetővé tette egy multiplexelt mérés elvégzését és a spekl kiszámítását gépi tanuláson alapuló OMP algoritmus segítségével.
A sokszínű 'H' betű példáján a kutatók arra mutattak rá, hogy az öt spektrális csatornára, amelyek a lila, zöld és három árnyalatú pirosnak felelnek meg, való fókuszálás lehetővé teszi egy olyan képrekonstrukció létrehozását, amely tartalmazza az összes eredeti színt (kék, sárga stb.).
A kutatók szerint módszerük hasznos lehet mind az orvostudományban, mind a csillagászatban. A szín fontos információt hordoz mindkét területen: a csillagászatban a vizsgált objektumok kémiai összetételét, az orvostudományban pedig a sejtek és szövetek molekuláris összetételét.
E szakaszban a kutatók csak egy problémát emelnek ki, amely pontatlanságokat okozhat a vizualizációban, ez a modellezési hibák. Mivel a folyamat végrehajtásához szükséges idő elég hosszú, a környezetben bekövetkező változások pontatlan tényezőket hozhatnak létre, amelyeket a felkészülési szakaszban nem vettek figyelembe. A tervek szerint azonban a jövőben megtalálják a módját ennek a problémának a kiküszöbölésére, ami lehetővé teszi a leírt vizualizációs módszer nemcsak pontos, hanem bármilyen körülmények között stabil alkalmazását is.
Pénteki off-topic:
Fény, szín, zene és a világ három leghíresebb kék 'bolondja' (Blue Man Group).
Köszönöm a figyelmet, maradjanak kíváncsiak, és kellemes hétvégét kívánok mindenkinek! 🙂
Köszönjük, hogy velünk maradnak. Tetszenek Önöknek a cikkeink? Szeretnének több érdekes anyagot látni? Támogassanak minket rendelés leadásával vagy ismerősöknek való ajánlással. 30% kedvezmény a Habr felhasználóinak az egyedülálló entry-level szervereinkre, amelyet Önöknek találtunk ki: (elérhetők RAID1 és RAID10 opciók, akár 24 magig és 40GB DDR4-ig).
Dell R730xd két alkalommal olcsóbban? Csak nálunk Hollandiában! Dell R420 — 2x E5-2430 2.2GHz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — 99 dollártól! Olvasd el ezt
Forrás: habr.com
