Jedną z najsłynniejszych zdolności Supermana jest superwzrok, który pozwala mu dostrzegać atomy, widzieć w ciemności oraz na ogromne odległości, a także dostrzegać przedmioty przez inne obiekty. Tej zdolności niezwykle rzadko pokazuje się na ekranach, ale ona istnieje. W naszej rzeczywistości również można dostrzegać przez prawie całkowicie nieprzezroczyste przedmioty, stosując pewne naukowe sztuczki. Niemniej jednak, uzyskane obrazy zawsze były czarno-białe, aż do niedawna. Dziś zapoznamy się z badaniem, w którym naukowcy z Uniwersytetu Duke'a (USA) potrafili wykonać kolorowe zdjęcie obiektów ukrytych za nieprzezroczystą ścianą, stosując jednorazowy impuls świetlny. Czym jest ta supertechnologia, jak działa i w jakich dziedzinach może być stosowana? O tym opowie nam raport grupy badawczej. Zaczynajmy.
Podstawa badania
Pomimo wszystkich możliwych "plusów" technologii wizualizacji obiektów w rozpraszających środowiskach, istnieje szereg problemów z realizacją tej technologii. Główny to fakt, że ścieżki fotonów przechodzących przez rozpraszacz znacznie się zmieniają, co prowadzi do przypadkowych wzorów. spikseli* po drugiej stronie.
Spiksel* to przypadkowy wzór interferencyjny, tworzony na skutek wzajemnej interferencji koherentnych fal, które mają losowe przesunięcia faz i/lub losowy zestaw intensywności. Najczęściej wygląda jak zbiór jasnych punktów na ciemnym tle.
W ostatnich latach opracowano kilka metod wizualizacji, które pozwalają ominąć efekty rozpraszacza i wydobyć informacje o obiekcie z wzoru spikseli. Problem tych metod polega na ich ograniczeniach — należy posiadać określoną wiedzę o obiekcie, mieć dostęp do rozpraszającego środowiska lub obiektu itd.
Jednocześnie istnieje znacznie doskonalsza, zdaniem naukowców, metoda — wizualizacja z efektem pamięci (ME). Metoda ta pozwala wizualizować obiekt bez wstępnej wiedzy na temat samego obiektu lub rozpraszającego środowiska. Wszyscy wiemy, że każde z nich ma swoje wady, a metoda ME nie jest wyjątkiem. Aby uzyskać wysoce kontrastowe wzory spikseli, a co za tym idzie, dokładniejsze obrazy, oświetlenie musi być wąsko pasmowe, tzn. mniej niż 1 nm.
Można również obejść ograniczenia metody ME, ale znowu te sztuczki są związane z dostępem do źródła optycznego lub obiektu przed rozpraszaczem lub z bezpośrednim pomiarem. PSF*.
PSF* — funkcja rozpraszania punktu, opisująca obraz, który uzyskuje system formowania przy obserwacji punktowego źródła światła lub punktowego obiektu.
Badacze nazywają te metody roboczymi, ale nie doskonałymi, ponieważ pomiar PSF nie zawsze jest możliwy z powodu, na przykład, dynamiki rozpraszacza lub jego niedostępności przed procedurą wizualizacji. Innymi słowy, jest nad czym pracować.
W swojej pracy badacze proponują inne podejście. Demonstrują nam metodę realizacji wizualizacji wielospektralnych obiektów przez środowisko rozpraszające z wykorzystaniem pojedynczego pomiaru spekle monokromatyczną kamerą. W przeciwieństwie do innych metod, ta nie wymaga wcześniejszej wiedzy o PSF systemu ani spektrum źródła.
Nowa metoda pozwala na stworzenie obrazów obiektu docelowego w pięciu dobrze oddzielonych kanałach spektralnych między 450 nm a 750 nm, co zostało potwierdzone obliczeniami. W praktyce udało się jak na razie osiągnąć wizualizację trzech dobrze oddzielonych kanałów spektralnych między 450 nm a 650 nm oraz sześciu sąsiadujących kanałów spektralnych między 515 a 575 nm.
Zasada działania nowej metody
Obraz nr 1: lampa — przestrzenny modulator światła — rozpraszacz (z przysłoną) — aperturowy kodująca — pryzma — optyczny przekaźnik (wizualizacja 1:1) — monokromatyczna kamera.
Badacze wskazują trzy podstawowe elementy każdej wizualizacji przez rozpraszacz: obiekt zainteresowania (oświetlony z zewnątrz lub świecący samodzielnie), rozpraszacz i detektor.
Jak w standardowych systemach ME, w tym badaniu rozważany jest obiekt, którego kątowy rozmiar znajduje się w polu widzenia ME i w odległości u za rozpraszaczem. Po interakcji z rozpraszaczem światło rozprzestrzenia się na odległość v, zanim dotrze do detektora.
Typowa wizualizacja ME korzysta ze standardowych kamer, podczas gdy w tej metodzie zastosowano moduł kodującego detektora, składającego się z kodującej apertury oraz elementu optycznego zależnego od długości fali. Celem tego elementu jest unikalna modulacja każdego kanału spektralnego przed ich połączeniem i przekształceniem w monochromatycznym detektorze.
W ten sposób, zamiast prostego pomiaru niskokontrastowego spektra, którego kanały spektralne są trwale wymieszane, wykonano rejestrację spektralnie wielokrotnie mnożonego sygnału, który dobrze nadaje się do separacji.
Badacze ponownie podkreślają, że ich metoda nie wymaga żadnych wcześniej znanych charakterystyk ani założeń dotyczących rozpraszacza lub źródła światła.
Po przeprowadzeniu wstępnych pomiarów multiplexowanego spektra, użyto znanej wartości Tλ (wzór kodujący zależny od długości fali) do indywidualnej rekonstrukcji spektrum w każdym paśmie spektralnym.
W swojej pracy na etapie obliczeń i modelowania naukowcy zastosowali określone metody uczenia maszynowego, które są w stanie pomóc w realizacji wcześniej nie rozważanej metody. Przede wszystkim zastosowano uczenie cechami rzadkiej macierzy do reprezentacji spektrum.
Ulearning cech* – pozwala systemowi automatycznie znajdować reprezentacje potrzebne do identyfikacji cech danych źródłowych.
W rezultacie powstała baza danych, która została nauczona na obrazach spekli z różnych konfiguracji pomiarowych. Ta baza jest na tyle ogólna, że nie zależy od konkretnych obiektów ani rozpraszaczy biorących udział w generowaniu maski Iλx, y. Innymi słowy, system uczy się na podstawie rozpraszacza, który nie jest używany w konfiguracji eksperymentalnej, tzn. system nie ma do niego dostępu, tak jak tego chcieli badacze.
Aby uzyskać obrazy spekli na każdej długości fali, zastosowano algorytm OMP (orthogonal matching pursuit).
Ostatecznie, poprzez obliczenie autokorelacji każdego kanału spektralnego niezależnie i inwersji autokorelacji na każdej długości fali uzyskano obrazy obiektu. Uzyskane obrazy na każdej długości fali są następnie łączone, aby stworzyć kolorowy obraz obiektu.
Obraz nr 2: etapowy proces tworzenia obrazu obiektu.
Ta metoda, według jej twórców, nie zakłada żadnych zależności między kanałami spektralnymi i wymaga jedynie założenia, że wartość długości fali jest wystarczająco losowa. Ponadto, metoda ta wymaga wyłącznie informacji o detektorze kodującym, opierając się na wstępnym skalibrowaniu otworu kodującego oraz wstępnie wyuczonym zbiorze danych. Takie cechy sprawiają, że metoda ta jest bardzo uniwersalna i nieinwazyjna.
Wyniki symulacji
Na początek przyjrzyjmy się wynikom symulacji.
Obraz nr 3
Na powyższym obrazie przedstawiono przykłady wielospektralnego zdjęcia dwóch obiektów wykonanych przez rozpraszacz. Górny rząd na 3a zawiera obiekt zainteresowania, składający się z kilku numerów, przedstawionych zarówno w fałszywych kolorach, jak i w podziale według kanału spektralnego. Przy budowie obiektu w fałszywych kolorach wyświetlany jest profil intensywności każdej długości fali w przestrzeni CIE 1931 RGB.
Zrekonstruowany obiekt (dolny rząd na 3a) zarówno w fałszywych kolorach, jak i z perspektywy poszczególnych kanałów spektralnych, pokazuje, że metoda ta zapewnia doskonałą wizualizację i jedynie niewielką interakcję krzyżową między kanałami spektralnymi, która nie odgrywa istotnej roli w procesie.
Po uzyskaniu zrekonstruowanego obiektu, to znaczy po wizualizacji, konieczne było oszacowanie stopnia dokładności, porównując intensywność spektralną (średnią ze wszystkich jasnych pikseli) rzeczywistego obiektu i zrekonstruowanego (3b).
Na obrazach 3c przedstawiono rzeczywisty obiekt (górny rząd) oraz zrekonstruowany obraz (dolny rząd) dla komórki z łodygi bawełny, a na 3d przedstawiono analizę dokładności wizualizacji.
Aby ocenić dokładność wizualizacji, konieczne było obliczenie wartości współczynnika strukturalnej podobieństwa (SSIM) oraz szczytowego stosunku sygnału do szumu (pSNR) rzeczywistego obiektu dla każdego kanału spektralnego.
Tabela powyżej pokazuje, że każdy z pięciu kanałów ma współczynnik SSIM 0,8–0,9 i PSNR powyżej 20. Z tego wynika, że mimo niskiego kontrastu sygnału spikowego, nałożenie na detektor pięciu pasm spektralnych o szerokości 10 nm pozwala dość dokładnie rekonstrukować przestrzenno-spektralne właściwości badanego obiektu. Innymi słowy, metoda działa, jednak są to jedynie wyniki modelowania. Aby mieć pełne zaufanie do swoich wyników, naukowcy przeprowadzili szereg praktycznych eksperymentów.
Wyniki eksperymentów
Jedną z najbardziej znaczących różnic między modelowaniem a rzeczywistymi eksperymentami jest środowisko, tzn. warunki, w jakich prowadzone są oba. W pierwszym przypadku mamy do czynienia z kontrolowanymi warunkami, w drugim - z nieprzewidywalnymi, tzn. jak wyjdzie.
Rozważono trzy kanały spektralne o szerokości 8-12 nm, z centrami w 450, 550 i 650 nm, które w połączeniu z różnymi względnymi wartościami generują szeroki zakres kolorów.
Obrazek nr 4
Na powyższym obrazie przedstawiono porównanie między rzeczywistym obiektem (wielokolorowa litera „H”) a rekonstrukcją. Czas naświetlania (ekspozycji) ustawiono na 1800 s, co pozwoliło uzyskać SNR w przedziale 60–70 dB. Taki poziom SNR, według naukowców, nie jest kluczowy dla eksperymentu, ale stanowi dodatkowe potwierdzenie skuteczności ich metody, zwłaszcza w przypadku złożonych obiektów. W rzeczywistości, a nie w warunkach laboratoryjnych, ta metoda może być znacznie szybsza.
Na górnym wierszu obrazu nr 4 pokazano obiekt na każdej długości fali (od lewej do prawej) oraz rzeczywisty obiekt w pełnym kolorze.
Aby uzyskać obraz rzeczywistego obiektu w wyniku wizualizacji, zastosowano kamerę wizyjną z odpowiednimi filtrami pasmowymi, aby bezpośrednio wyświetlać komponenty spektralne i uzyskać obraz pełnokolorowy poprzez sumowanie wynikowych kanałów spektralnych.
Drugi rząd powyższego obrazu pokazuje wzory autokorelacji każdego rekonstruowanego kanału spektralnego, tworzących pomiar multiplexowany, który stanowi dane wejściowe do etapu przetwarzania danych.
Trzeci rząd to zrekonstruowany obiekt w każdym kanale spektralnym, a także zrekonstruowany obiekt w pełnym kolorze, tzn. końcowy wynik wizualizacji.
Pełnokolorowy obraz pokazuje, że względne wielkości między kanałami spektralnymi są również poprawne, ponieważ kolor połączonego zrekonstruowanego obrazu odpowiada rzeczywistej wartości, a współczynnik SSIM osiąga powyżej 0,92 dla każdego kanału.
Najniższy rząd potwierdza to stwierdzenie, ukazując porównanie intensywności rzeczywistego obiektu i zrekonstruowanego. Dane obu są zgodne we wszystkich zakresach spektralnych.
Z tego wynika, że nawet obecność szumów i potencjalnych błędów modelowania nie przeszkodziła w uzyskaniu obrazu wysokiej jakości, a wyniki eksperymentów dobrze pokrywają się z wynikami modelowania.
Powyższe doświadczenie zostało przeprowadzone z myślą o podzielonych kanałach spektralnych. Naukowcy przeprowadzili jeszcze jeden eksperyment, lecz z sąsiednimi kanałami, a dokładniej z ciągłym zakresem spektralnym wynoszącym 60 nm.
Obraz nr 5
Jako rzeczywisty obiekt wystąpiła litera „X” oraz znak „+” (5a). Spektrum litery „X” jest stosunkowo równomierne i ciągłe — między 515 a 575 nm, natomiast „+” ma zorganizowane spektrum, głównie znajdujące się w zakresie od 535 do 575 nm (5b). Dla tego eksperymentu czas naświetlania wynosił 120 s, aby osiągnąć pożądane (jak wcześniej) SNR wynoszące 70 dB.
Zastosowano również filtr pasmowy o szerokości 60 nm nad całym obiektem oraz filtr dolnoprzepustowy nad znakami „+”. Podczas rekonstrukcji spektrum 60 nm dzieli się na 6 sąsiednich kanałów o szerokości 10 nm (5b).
Jak możemy zobaczyć na obrazach 5c, uzyskane obrazy doskonale zgadzają się z rzeczywistym obiektem. Ten eksperyment pokazał, że obecność lub brak korelacji spektralnych w zmierzonym speklu nie wpływa na skuteczność badanej metodologii wizualizacji. Naukowcy uważają, że w procesie wizualizacji, a dokładniej w jego skuteczności, znacznie większą rolę odgrywają nie tyle cechy spektralne obiektu, ile kalibracja systemu i detali jego detektora kodującego.
Aby lepiej zapoznać się z niuansami badania, polecam zajrzeć do i do niego.
Epilog
W tym opracowaniu naukowcy opisali nową metodę wizualizacji multispektralnej przez rozpraszacz. Modułacja spekla, zależna od długości fali, z wykorzystaniem apertury kodującej, umożliwiła przeprowadzenie jednego pomiaru wielokrotnego i obliczenie spekla za pomocą algorytmu OMP opartego na uczeniu maszynowym.
Na przykładzie kolorowej litery „N” naukowcy pokazali, że skupienie na pięciu kanałach spektralnych, odpowiadających fioletowemu, zielonemu i trzem odcieniom czerwonego, pozwala na uzyskanie rekonstrukcji obrazu, zawierającej wszystkie kolory oryginału (niebieski, żółty itd.).
Zdaniem badaczy ich metodologia może być przydatna zarówno w medycynie, jak i astronomii. Kolor niesie ze sobą istotne informacje w obu kierunkach: w astronomii — skład chemiczny badanych obiektów, w medycynie — skład molekularny komórek i tkanek.
Na tym etapie naukowcy zauważają tylko jeden problem, który może powodować nieścisłości w wizualizacji, są to błędy modelowania. Z uwagi na dość długi czas potrzebny do wykonania procesu, mogą występować zmiany w otoczeniu, które wprowadzą swoje korekty, nie uwzględnione na etapie przygotowania. Planuje się jednak znalezienie sposobu na zneutralizowanie tego problemu, co pozwoli uczynić opisaną metodę wizualizacji nie tylko dokładną, ale także stabilną w każdych warunkach.
Piątkowy offtop:
Światło, kolor, muzyka i trio najsłynniejszych niebieskich „dziwaków” na świecie (Blue Man Group).
Dziękuję za uwagę, pozostańcie ciekawi, i życzę wszystkim wspaniałego weekendu, chłopaki! 🙂
Dziękujemy, że z nami jesteś. Czy podobają Ci się nasze artykuły? Chcesz widzieć więcej interesujących materiałów? Wspieraj nas składając zamówienie lub polecając znajomym, 30% zniżki dla użytkowników Habr na unikalny odpowiednik serwerów entry-level, który został stworzony przez nas dla Ciebie: (dostępne opcje z RAID1 i RAID10, do 24 rdzeni i do 40GB DDR4).
Dell R730xd dwa razy tańszy? Tylko u nas w Holandii! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — od 99 dolarów! Czytaj o tym
Źródło: habr.com
