🥇Да видиш почти невидимото, дори и в цвят: методология за визуализиране на обекти през разпръсквач

Една от най-известните способности на Супермена е суперзрението, което му позволява да разглежда атоми, да вижда в тъма и на огромни разстояния, а също така и да вижда през предмети. Тази способност рядко се демонстрира на екраните, но съществува. В нашата реалност също е възможно да се виждат практически напълно непрозрачни обекти, като се приложат някои научни трикове. Въпреки това, получените изображения до скоро бяха черно-бели. Днес ще се запознаем с изследване, в което учени от Университета Дюк (САЩ) успяха да направят цветно изображение на обекти, скрити зад непрозрачна стена, като приложиха еднократно светлинно въздействие. Каква е тази супер-технология, как работи и в какви области може да се използва? За това ще ни разкаже докладът на изследователската група. Да започваме.

Основи на изследването

Въпреки всички възможни "плюшки" на технологията за визуализация на обекти в разсейващи среди, съществуват редица проблеми при реализирането на тази технология. Основният е фактът, че пътищата на фотоните, преминаващи през разсеивателя, се променят значително, което води до случайни модели. спекъл* от другата страна.

Спекъл* е случайна интерференционна картина, създадена при взаимна интерференция на когерентни вълни, които имат случайни размествания на фазите и/или случайна интензивност. Често изглежда като набор от светли точки на тъмен фон.

През последните години бяха разработени няколко метода за визуализация, които позволяват да се заобиколят ефектите на разсеивателя и да се извлече информация за обекта от спекъл патерна. Проблемът на тези методи е в тяхната ограниченост — необходимо е да се има определено знание за обекта, да има достъп до разсейващата среда или обекта и т.н.

В същото време съществува много по-усъвършенстван, според учените, метод — визуализация с ефект на памет (ME). Тази технология позволява визуализация на обекта без предварителни знания за него или разсейващата среда. Както знаем, недостатъци имат всички, и ME метода не е изключение. За получаване на висококонтрастни спекъл патерни и, следователно, по-точни изображения, осветлението трябва да бъде теснополосно, т.е. по-малко от 1 нм.

Възможно е да се преодолеят ограниченията на ME-метода, но отново, тези трикове са свързани с достъпа до оптичния източник или обект преди разсейвателя или с директно измерване. PSF*.

PSF* — функция на разсейването на точката, описваща изображението, получавано от системата за формиране при наблюдение на точков източник на светлина или точков обект.

Изследователите наричат тези методи работещи, но не съвършени, тъй като измерването на PSF не винаги е възможно заради, например, динамиката на разсейвателя или неговата недостъпност преди визуализационната процедура. С други думи, има какво да се подобри.

В своята работа изследователите предлагат друг подход. Те ни представят метод за реализиране на многоспектрална визуализация на обекти през разсейваща среда с използване на единично спекл-измерване с монохромна камера. За разлика от другите техники, този метод не изисква предварителни знания за PSF на системата или спектъра на източника.

Новият метод позволява да се създадат висококачествени изображения на целевия обект в пет добре разделени спектрални канала между 450 нм и 750 нм, което е потвърдено с изчисления. На практика обаче до момента е успяло да се постигне визуализация на три добре разделени спектрални канала между 450 нм и 650 нм и шест съседни спектрални канала между 515 и 575 нм.

Принцип на работа на новия метод

Изображение №1: лампа — пространствен модулатор на светлина — разсейвател (с ирисова диафрагма) — кодираща апертура — призма — оптично реле (визуализация 1:1) — монохромна камера.

Изследователите отбелязват три основни елемента на всяка визуализация през разсейвател: обект на интерес (осветен отвън или светещ самостоятелно), разсейвател и детектор.

Както в стандартните ME системи, в настоящото изследване се разглежда обект с ъглов размер, разположен в полето на виждане на ME и на разстояние u зад разсейвателя. След взаимодействието с разсейвателя светлината се разпространява на разстояние v, преди да достигне до детектора.

Обичайната ME визуализация използва стандартни камери, а в този метод се използва модул на кодиращ детектор, състоящ се от кодираща апертура и оптичен елемент, зависещ от дължината на вълната. Целта на този елемент е уникалната модулация на всеки спектрален канал преди тяхното обединение и трансформация в монохромен детектор.

Така вместо просто измерване на нискоконтрастен спекъл, спектралните канали на който са неразривно смесени, е извършено записване на спектрално мултиплексирания сигнал, който е отлично пригоден за разделяне.

Изследователите отново подчертават, че техният метод не изисква никакви предварително известни характеристики или предположения относно разсейвателя или източника на светлина.

След провеждане на предварителни измервания на мултиплексирания спекъл, е използвана известна стойност Tλ (кодиращ патерн, зависещ от дължината на вълната) за индивидуална реконструкция на спекъла в всеки спектрален пояс.

В своята работа на етапа на изчисления и моделиране учените прилагат определени методи на машинно обучение, които могат да помогнат в реализирането на неразгледан преди метод. Първо, е използвано обучението на признаците на разредена матрица за представяне на спекъла.

Обучение на признаците — позволява на системата автоматично да намира представяния, необходими за идентификация на признаците на изходните данни.

В резултат на това е получена база, обучена на спекл изображения от различни конфигурации на измервания. Тази база е достатъчно обобщена и не зависи от конкретните обекти и разсейватели, участващи в генерирането на маска Iλx, y. С други думи, системата се обучава на база разсейвател, който не се използва в експерименталната конфигурация, т.е. системата няма достъп до него, както искаха изследователите.

За получаване на спекл изображения при всяка дължина на вълната е използван алгоритъм OMP (orthogonal matching pursuit).

В крайна сметка, чрез изчисляване на автокорелацията на всеки спектрален канал независимо и инвертиране на автокорелацията при всяка дължина на вълната са получени изображения на обекта. Получените изображения на всяка дължина на вълната след това се обединяват, за да създадат цветно изображение на обекта.

Изображение №2: стъпаловиден процес на създаване на изображение на обект.
Според създателите на тази методика, тя не прави никакви предположения относно корелациите между спектралните канали и изисква само предположение, че стойността на дължината на вълната е достатъчно случайна. Освен това, този метод изисква само информация за кодирането детектор, разчитайки на предварителната калибрация на кодираната апертура и предварително обучена библиотека от данни. Такива характеристики правят този метод на визуализация доста универсален и неинвазивен.

Резултати от моделирането

В началото да разгледаме резултатите от моделирането.

Изображение №3

На изображението по-горе са показани примери на многоспектрално изображение на два обекта, направени през разсейвател. Горният ред в 3а съдържа обекта на интерес, състоящ се от няколко числа, показани както в фалшив цвят, така и по разбивка на спектралния канал. При изграждането на обекта във фалшив цвят се показва профилът на интензивността на всяка дължина на вълната в CIE 1931 RGB пространството.

Реконструираният обект (долният ред на 3а) как в фалшив цвят, така и от гледна точка на отделни спектрални канали, демонстрира, че методиката осигурява отлична визуализация и само незначителна междинна взаимодействие между спектралните канали, което не играе съществена роля в процеса.

След получаване на реконструирания обект, т.е. след визуализацията, бе необходимо да се оцени степента на точност, сравнявайки спектралната интензивност (средна по всички ярки пиксели) на реалния обект и реконструирания (3b).

На изображенията 3c са показани реалният обект (горният ред) и реконструираното изображение (долният ред) за клетка от стебло на памук, а на 3d е показан анализ на точността на визуализацията.

За оценка на точността на визуализацията бе необходимо да се изчислят стойностите на коефициента за структурно сходство (SSIM) и пикът на отношението сигнал-шум (pSNR) на реалния обект за всеки спектрален канал.

Таблицата по-горе показва, че всеки от петте канала има SSIM коефициент от 0,8–0,9 и PSNR над 20. От това следва, че въпреки ниския контраст на спекл-сигнала, наклона на детектора на пет спектрални ленти с ширина 10 нм позволява достатъчно точно реконструиране на пространствено-спектралните свойства на изследвания обект. С други думи, методиката работи, но това са само резултатите от моделирането. За пълна увереност в своите заключения учените проведоха редица практически експерименти.

Резултати от експериментите

Едно от най-значимите отличия на моделирането от реалните експерименти е средата, т.е. условията, при които и двете се провеждат. В първия случай имаме контролирани условия, във втория — непредсказуеми, т.е. каквото стане.

Разгледани са три спектрални канала с ширина 8-12 нм, центрирани на 450, 550 и 650 нм, които в комбинация с различни относителни величини генерират широк спектър от цветове.

Изображение №4

На изображението по-горе е показано сравнение между реалния обект (цветната буква „H”) и реконструирания. Времето на светлинно влияние (експозиция) е установено на 1800 с, което позволи получаването на SNR в пределите на 60-70 дБ. Тази стойност на SNR, според учените, не е крайно важна за експеримента, но служи като допълнително потвърждение на работоспособността на тяхната методика, особено в случай на сложни обекти. В реалността, а не в лабораторни условия, този метод може да бъде значително по-бърз.

На горния ред на изображение №4 е показан обект на всяка дължина на вълната (отляво надясно) и реален многосветен обект.

За визуализацията на реалния обект е използвана камера за машинно зрение с подходящи лентови филтри за непосредствено показване на спектралните компоненти и за получаване на многосветно изображение чрез сумиране на резултатните спектрални канали.

Вторият ред на изображението по-горе показва шаблоните на автокорелация на всеки реконструиран спектрални канал, образуващи мултиплексирани измервания, които представляват входните данни за етапа на обработка на данните.

Третият ред е реконструиран обект във всеки спектрален канал, както и реконструиран цветен обект, т.е. крайният резултат от визуализацията.

Цветното изображение показва, че относителните величини между спектралните канали също са правилни, тъй като цветът на обединеното реконструирано изображение отговаря на реалната стойност, а коефициентът SSIM достига над 0,92 за всеки канал.

Най-долният ред е потвърждение на това твърдение, демонстрирвайки сравнението на интензивността на реалния обект и реконструирания. Данните от двата обекта съвпадат във всички спектрални диапазони.

От това следва, че дори наличието на шум и потенциални грешки в моделирането не пречи да се получи изображение с високо качество, а резултатите от експериментите отлично съответстват на резултатите от моделирането.

По-гореописаният опит е проведен с оглед на разделените спектрални канали. Учените извършиха още един експеримент, но вече с прилежащи канали, а именно с непрекъснат спектрален диапазон от 60 нм.

Изображение №5

Като реален обект бяха използвани буквата „X“ и знакът „+“ (5а). Спектърът на буквата „Х“ е относително равномерен и непрекъснат — между 515 и 575 нм, а „+“ има структуриран спектър, предимно разположен между 535 и 575 нм (5b). За този експеримент експозицията бе 120 с за достигане на желаното (както и преди) SNR от 70 дБ.

Също така беше използван лентов филтър с ширина 60 нм над целия обект и филтър с ниски честоти над знака „+“. По време на реконструкцията 60 нм спектрът се разделя на 6 прилежащи канала с ширина 10 нм (5b).

Както можем да видим от изображенията 5с, получените изображения отлично съвпадат с реалния обект. Този експеримент показа, че наличието или отсъствието на спектрални корелации в измереното спекъл не влияе на ефективността на изследваната методология за визуализация. Самите учени смятат, че много по-голяма роля в процеса на визуализация, а по-точно в успеха му, играят не толкова спектралните характеристики на обекта, колкото калибрирането на системата и компонентите на нейния кодиращ детектор.

За по-подробно запознаване с нюансите на изследването ви препоръчвам да се запознаете с доклад на учените и допълнителни материали към него.

Епилог

В този труд учените описват нов метод за мултиспектрална визуализация чрез разпръсквач. Модулацията на спекъла, зависеща от дължината на вълната, чрез кодираща апертура, позволява извършването на едно мултиплексирано измерване и изчисляването на спекъла с помощта на алгоритъм OMP, основан на машинно обучение.

На примера на разноцветната буква „Н“ учените показват, че фокусът върху пет спектрални канала, съответстващи на виолетов, зелен и три нюанса на червеното, позволява получаването на реконструкция на изображение, съдържаща всички цветове на оригинала (синьо, жълто и т.н.).

Според изследователите, техният метод може да бъде полезен както в медицината, така и в астрономията. Цветът носи важна информация в двете направления: в астрономията — химическия състав на изучаваните обекти, в медицината — молекулярния състав на клетките и тъканите.

На този етап учените отбелязват само един проблем, който може да предизвика неточности в визуализацията, а именно моделировъчните грешки. Поради достатъчно дългото време, необходимо за изпълнението на процеса, могат да възникнат промени в околната среда, които ще внасят свои корекции, неотчетени на етапа на подготовка. Въпреки това, в бъдеще се планира намирането на начин за неутрализиране на този проблем, което ще позволи описаната методика за визуализация да бъде не само точна, но и стабилна при всякакви условия.

Петъчен офф-топ:

Светлина, цвят, музика и триото на най-известните сини „идиоти“ в света (Blue Man Group).

Благодаря за вниманието, оставете се на любопитството и желая на всички страхотни уикенди, приятели! 🙂

Благодарим, че останахте с нас. Харесвате ли нашите статии? Искате ли да виждате повече интересни материали? Подкрепете ни, като направите поръчка или ни препоръчате на познати, 30% отстъпка за потребителите на Хабра за уникален аналог на entry-level сървъри, създаден от нас за вас: Всичко за VPS (KVM) E5-2650 v4 (6 ядра) 10GB DDR4 240GB SSD 1Gbps от $20 или как да делим сървъра правилно? (налични опции с RAID1 и RAID10, до 24 ядра и до 40GB DDR4).

Dell R730xd два пъти по-евтин? Само при нас 2 х Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100TB от $199 в Нидерландия! Dell R420 — 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB — от $99! Четете за това Как да изградим инфраструктура от корпоративен клас с прилагане на сървъри Dell R730xd Е5-2650 v4 на стойност 9000 евро за копейки?

Източник: habr.com