Да видим почти невидимото, още и в цвят: методика за визуализация на обекти чрез разсейвател

Едно от най-известните способности на Супермена е суперзрението, което му позволява да разглежда атоми, да вижда в тъмното и на огромно разстояние, както и да вижда през предмети. Тази способност рядко се демонстрира на екрана, но тя е налице. В нашата реалност също е възможно да се вижда през практически напълно непрозрачни обекти, като се приложат определени научни трикове. Въпреки това, получените снимки винаги са били черно-бели до неотдавна. Днес ще се запознаем с изследване, в което учени от университета Дюк (САЩ) успяха да направят цветна снимка на обекти, скрити зад непрозрачна стена, прилагаща еднократно светлинно въздействие. Каква е тази супер-технология, как работи и в какви области може да се прилага? За това ще ни разкаже докладът на изследователската група. Да започнем.

Основата на изследването

Въпреки всички възможни „предимства“ на технологията за визуализация на обекти в разсейващи среди, съществува редица проблеми с реализацията на тази технология. Основният е фактът, че пътищата на фотоните, преминаващи през разсейвателя, се променят значително, което води до случайни модели. спекли* от другата страна.

Спекъл* е случайна интерференционна картина, формирана при взаимната интерференция на когерентни вълни, които имат случайни фазови измествания и/или случаен набор от интензивности. Най-често изглежда като набор от светли петна (точки) на тъмен фон.

През последните години бяха разработени няколко методики за визуализация, които позволяват да се заобиколят ефектите на разсейвателя и да се извлече информация за обекта от картината на спекъла. Проблемът на тези методики е тяхната ограниченост — необходимо е да се имат определени знания за обекта, да се има достъп до разсейващата среда или обекта и т.н.

В същото време съществува много по-съвършен метод, според учените — визуализация с ефект на памет (ME). Тази методика позволява визуализация на обекта без предварителни знания за него или за разсейващата среда. Недостатъците са общи за всички, както знаем, и методът ME не прави изключение. За получаване на висококонтрастни спекъл-патерни и, съответно, по-точни изображения, осветлението трябва да бъде теснополосно, т.е. по-малко от 1 нм.

Можете да заобиколите ограниченията на ME метода, но отново, тези трикове са свързани с достъпа до оптичен източник или обект преди разсейвателя или с директно измерване PSF*.

PSF* — функция на разсейване на точка, описваща изображението, което системата за формиране получава при наблюдение на точков източник на светлина или точков обект.

Изследователите наричат тези методи работещи, но не съвършени, тъй като измерването на PSF не винаги е възможно поради динамичността на разсейвателя или недостъпността му преди процедурата на визуализация. С други думи, има какво да се подобрява.

В своето изследване изследователите предлагат различен подход. Те ни демонстрират метод за реализиране на многоспектрална визуализация на обекти през разсейваща среда, използвайки единствено спекл измерване с монохромна камера. За разлика от другите методи, този не изисква предварителни познания за PSF на системата или спектъра на източника.

Новият метод позволява създаването на висококачествени изображения на целевия обект в пет добре разделени спектрални канала между 450 nm и 750 nm, което беше потвърдено с изчисления. На практика обаче до момента е постигната визуализация само на три добре разделени спектрални канала между 450 nm и 650 nm и шест съседни спектрални канала между 515 и 575 nm.

Принцип на работа на новия метод

Изображение №1: лампа — пространствен модулатор на светлината — разсейвател (с ирисова диафрагма) — кодирана апертура — призма — оптично реле (визуализация 1:1) — монохромна камера.

Изследователите отбелязват три основни елемента на всяка визуализация през разсейвател: обект на интерес (осветен отвън или самосветещ), разсейвател и детектор.

Както в стандартните ME системи, в това изследване се разглежда обект, чийто ъглов размер попада в полето на видимост на ME и на разстояние u зад разсейвателя. След взаимодействието с разсейвателя, светлината се разпространява на разстояние v, преди да достигне до детектора.

Обикновената ME-визуализация използва стандартни камери, а в този метод се използва модул на кодиращ детектор, състоящ се от кодираща апертура и оптичен елемент, зависещ от дължината на вълната. Целта на този елемент е уникалната модулация на всеки спектрален канал преди тяхното комбиниране и преобразуване в монохромен детектор.

Така вместо просто измерване на нискоконтрастен спекъл, спектралните канали, които са неразривно смесени, е записан спектрално мултиплексиран сигнал, който е подходящ за разделяне.

Изследователите отново подчертават, че техният метод не изисква предварително известни характеристики или предположения относно разсейвателя или източника на светлина.

След извършване на предварителни измервания на мултиплексирания спекъл, беше използвана известна стойност Tλ (кодиращ шаблон, зависещ от дължината на вълната) за индивидуална реконструкция на спекъла в всеки спектрален диапазон.

В работата си в етапа на изчисления и моделиране учени са приложили определени методи на машинно обучение, които могат да помогнат в реализацията на вече неразгледан метод. Първо беше използвано обучение на признаци от рядка матрица, за да се представи спекълът.

Обучение на признаци* — позволява на системата автоматично да намира представянията, необходими за идентифициране на признаците на първичните данни.

В резултат на това беше получена база, обучена на спекл-изображения от различни конфигурации на измервания. Тази база е достатъчно обобщена и не зависи от конкретни обекти и разсейватели, участващи в генерирането на маска Iλx, y. С други думи, системата се обучава на база разсейвател, който не се използва в експерименталната конфигурация, т.е. системата няма достъп до него, както изследователите желаят.

За получаване на спекл-изображения на всяка дължина на вълната беше използван алгоритъм OMP (orthogonal matching pursuit).

В крайна сметка, чрез изчисляване на автокорелацията на всеки спектрален канал независимо и инверсия на автокорелацията за всяка дължина на вълната, бяха получени изображения на обекта. Получените изображения на всяка дължина на вълната след това се комбинират, за да се създаде цветно изображение на обекта.

Изображение №2: етапен процес за съставяне на изображение на обект.
Според създателите на този метод, той не прави никакви предположения за корелации между спектралните канали и изисква само предположение, че стойността на дължината на вълната е достатъчно случайна. Освен това, методът изисква информация само за кодирането на детектора, разчитайки на предварителната калибровка на кодираната апертура и предварително обучена библиотека от данни. Тези характеристики правят метода за визуализация много универсален и неинвазивен.

Резултати от моделирането

Нека първо разгледаме резултатите от моделирането.

Изображение №3

На изображението по-горе са показани примери на многоспектрално снимка на два обекта, направени чрез разсейвател. Горният ред на 3а съдържа обекта на интерес, състоящ се от няколко числа, показани както в лъжлив цвят, така и в разбивка по спектралния канал. При конструирането на обекта в лъжлив цвят се показва профилът на интензивността на всяка дължина на вълната в CIE 1931 RGB пространството.

Реконструираният обект (долния ред на 3а) както в лъжлив цвят, така и по отношение на отделните спектрални канали демонстрира, че методът осигурява отлична визуализация и само незначително взаимодействие между спектралните канали, което не играе съществена роля в процеса.

След получаването на реконструирания обект, т.е. след визуализацията, бе необходимо да се оцени степента на точност, като се сравнят спектралната интензивност (средна за всички ярки пиксели) на истинския обект и на реконструирания (3b).

На изображенията 3c са показани действителният обект (горен ред) и реконструираното изображение (долен ред) за клетка от стебло на памук, а на 3d е показан анализ на точността на визуализацията.

За оценка на точността на визуализацията бе необходимо да се изчислят стойностите на коефициента на структурно сходство (SSIM) и пиковото отношение сигнал-шум (pSNR) на действителния обект за всеки спектрален канал.

Таблицата по-горе показва, че всеки от петте канала има SSIM коефициент 0,8–0,9 и PSNR над 20. От това следва, че въпреки ниския контраст на спекл-сигнала, наложението на детектора с пет спектрални ленти с ширина 10 нм позволява доста точно реконструиране на пространствено-спектралните свойства на изследвания обект. С други думи, методиката работи, но това са само резултатите от моделирането. За да се уверят в своите резултати, учените провели редица практически експерименти.

Резултати от експериментите

Едно от най-значимите различия между моделирането и реалните експерименти е средата, т.е. условията, при които се провеждат и двете. В първия случай има контролирани условия, а във втория — непредсказуеми, т.е. каквото стане.

Разгледани са три спектрални канала с ширина 8-12 нм, със центрове в 450, 550 и 650 нм, които в комбинация с различни относителни стойности генерират широк диапазон от цветове.

Изображение №4

На изображението по-горе е показано сравнение между реалния обект (разноцветната буква „H”) и реконструирания. Времето на светлинното въздействие (излагане, т.е. експозиция) е установено на 1800 с, което е позволило получаването на SNR в диапазона 60-70 дБ. Учените твърдят, че този показател за SNR не е изключително важен за експеримента, но служи като допълнително потвърждение на работоспособността на методиката им, особено при сложни обекти. В действителност, а не в лабораторни условия, този метод може да бъде порядък по-бърз.

На горния ред на изображение №4 е показан обектът при всяка дължина на вълната (отляво надясно) и реалният цветен обект.

За да се получи изображение на реалния обект при визуализацията, е използвана камера за машинно зрение с подходящи лентови филтри за директно показване на спектралните компоненти и получаване на цветно изображение чрез сумата на резултатните спектрални канали.

Вторият ред на изображението по-горе показва патерни на автокорелация на всеки реконструиран спектрален канал, които формират мултиплексирани измервания, служещи като входни данни за етапа на обработка на данните.

Третият ред е реконструиран обект във всеки спектрален канал, а също така и реконструиран цветен обект, т.e. крайният резултат от визуализацията.

Цветното изображение показва, че относителните величини между спектралните канали също са правилни, тъй като цветът на комбинираното реконструирано изображение отговаря на реалната стойност, а коефициентът SSIM е над 0,92 за всеки канал.

Най-долният ред потвърдява това твърдение, демонстрирайки сравнение на интензивността на реалния обект и реконструирания. Данните за двата съвпадат във всички спектрални диапазони.

От това следва, че дори наличието на шум и потенциални грешки в моделирането не пречат за получаването на изображение с високо качество, а резултатите от експериментите отлично се съотнасят с резултатите от моделирането.

По-гореописаният опит беше проведен с оглед на разделените спектрални канали. Учените проведоха още един експеримент, но с прилежащи канали, а именно с непрекъснат спектрален диапазон от 60 нм.

Изображение №5

Като реален обект беше използвана буквата „X“ и знакът „+“ (5а). Спектърът на буквата „Х“ е сравнително равномерно разпределен и непрекъснат — между 515 и 575 нм, докато „+“ има структуриран спектър, предимно разположен между 535 и 575 нм (5b). За този експеримент експозицията е 120 с, за да се постигне желаното (както и преди) SNR от 70 дБ.

Също така беше използван лентов филтър с ширина 60 нм над целия обект и нискочестотен филтър над знака „+“. По време на реконструкцията спектърът от 60 нм се разделя на 6 прилежащи канала с ширина 10 нм (5b).

Както можем да видим от изображенията 5с, получените изображения отлично съответстват на реалния обект. Този експеримент показа, че наличието или отсъствието на спектрални корелации в измереното спекло не влияе на ефективността на изследваната методика за визуализация. Самите учени считат, че много по-голямо значение в процеса на визуализация, а именно в неговия успех, играят не толкова спектралните характеристики на обекта, а калибрирането на системата и детайлите на нейния кодиращ детектор.

За по-подробно запознаване с нюансите на изследването препоръчвам да се запознаете с доклада на учените и допълнителните материали към него.

Епилог

В това изследване учените описаха нов метод за мултиспектрална визуализация чрез разсейвател. Модулацията на спека, зависеща от дължината на вълната, с помощта на кодираща апертура, позволи да се извърши едно мултиплексирано измерване и да се изчисли спекл чрез алгоритъм OMP, базиран на машинно обучение.

На примера на разноцветната буква "Н" учените показаха, че фокусиране на пет спектрални канала, съответстващи на виолетово, зелено и три нюанса на червено, позволява получаване на реконструкция на изображението, съдържаща всички цветове на оригинала (синьо, жълто и т.н.).

Според изследователите, техният метод може да бъде полезен както в медицината, така и в астрономията. Цветът носи важна информация в двете направления: в астрономията — химическия състав на изследваните обекти, а в медицината — молекулния състав на клетките и тъканите.

На този етап учените отбелязват само един проблем, който може да причинява неточности в визуализацията, а именно грешки в моделирането. Поради относително дългото време, необходимо за изпълнение на процеса, могат да настъпят промени в околната среда, които да внесат свои корекции, непредвидени на етапа на подготовка. Въпреки това, в бъдеще се планира да се намери начин за преодоляване на този проблем, което ще направи описания метод на визуализация не само точен, но и стабилен при всякакви условия.

Петъчен офф-топ:

Благодаря ви за вниманието, оставайте любопитни и отлични уикенди на всички, момчета! 🙂

Благодарим ви, че останахте с нас. Харесват ли ви нашите статии? Искате ли да видите повече интересни материали? Подкрепете ни, като направите поръчка или ни препоръчате на познати. 30% отстъпка за потребителите на Хабра на уникален аналог на entry-level сървъри, който създадохме специално за вас: Цялата истина за VPS (KVM) E5-2650 v4 (6 ядра) 10GB DDR4 240GB SSD 1Gbps от 20 $ или как правилно да разделите сървър. (с налични опции за RAID1 и RAID10, до 24 ядра и до 40GB DDR4).

Dell R730xd на половин цена? Всичко това само при нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100TB от 199 $ в Нидерландия! Dell R420 — 2x E5-2430 2.2GHz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от 99 $! Чете се за това Как да построим инфраструктура от корпоративен клас с помощта на сървъри Dell R730xd E5-2650 v4 на стойност 9000 евро за малко пари?

Източник: habr.com