Однією з найзнаменитіших здібностей Супермена є суперзір, що дозволяло йому розглядати атоми, бачити у темряві і величезну відстань, і навіть бачити крізь предмети. Цю здатність дуже рідко демонструють на екранах, але вона є. У нашій реальності бачити крізь практично повністю непрозорі об'єкти також можна, застосувавши деякі наукові трюки. Однак отримані знімки завжди були чорно-білі, донедавна. Сьогодні ми познайомимося з дослідженням, в якому вчені з університету Дьюка (США) змогли зробити кольоровий знімок об'єктів, захованих за непрозорою стіною, застосувавши одноразову світлову дію. Що це за супертехнологія, як вона працює і в яких областях може застосовуватися? Про це розповість доповідь дослідницької групи. Поїхали.
Основа дослідження
Незважаючи на всі можливі «плюшки» технології візуалізації об'єктів у середовищах, що розсіюють, існує ряд проблем реалізації даної технології. Основний факт того, що шляхи фотонів, що проходять через розсіювач, сильно змінюються, що призводить до випадкових патернів. спеків* по той бік.
Спекл* — це випадкова інтерференційна картина, що формується при взаємній інтерференції когерентних хвиль, які мають випадкові зсуви фаз та/або випадковий набір інтенсивності. Найчастіше виглядає як набір світлих плям (крапок) на темному тлі.
За останні роки було розроблено декілька методик візуалізації, що дозволяють обійти ефекти розсіювача та отримати інформацію про об'єкт із малюнка спекла. Проблема цих методик у їхній обмеженості — потрібно мати певні знання про об'єкт, мати доступ до середовища, що розсіює, або об'єкту тощо.
У той самий час існує значно досконаліший, на думку вчених, метод — візуалізація з ефектом пам'яті (ME). Такий метод дозволяє візуалізувати об'єкт без попередніх знань щодо його самого або середовища, що розсіює. Недоліки є у всіх, як ми знаємо, і ME-метод не є винятком. Для отримання висококонтрастних спекл-паттернів і, більш точних зображень освітлення має бути вузькосмуговим, тобто. менше 1 нм.
Перехитрити обмеження ME-методу також можливо, але, знову ж таки, ці трюки пов'язані з доступом до оптичного джерела або об'єкта до розсіювача або з прямим вимірюванням PSF*.
PSF* - функція розсіювання точки, що описує зображення, яке отримує система формування при спостереженні точкового джерела світла або точкового об'єкта.
Дослідники називають ці методи робітниками, але не досконалими, оскільки вимірювання PSF не завжди можливе через, наприклад, динамічність розсіювача або його недоступність перед процедурою візуалізації. Іншими словами, є над чим працювати.
У своїй праці дослідники пропонують інший підхід. Вони демонструють нам метод реалізації багатоспектральної візуалізації об'єктів через середовище, що розсіює, з використанням єдиного спекл-вимірювання монохромною камерою. На відміну від інших методик, дана не вимагає попередніх знань про систему PSF або спектр джерела.
Новий метод дозволяє створити високоякісні зображення цільового об'єкта у п'яти добре розділених спектральних каналах між 450 нм та 750 нм, що було підтверджено розрахунками. На практиці поки вдалося досягти візуалізації трьох добре розділених спектральних каналів між 450 нм і 650 нм і шести суміжних спектральних каналів між 515 і 575 нм.
Принцип роботи нового методу
Зображення №1: лампа — просторовий модулятор світла — розсіювач (з ірисовою діафрагмою) — апертура, що кодує, — призма — оптичне реле (візуалізація 1:1) — монохромна камера.
Дослідники відзначають три основні елементи будь-якої візуалізації через розсіювач: об'єкт інтересу (освітлений зовні або світиться самостійно), розсіювач і детектор.
Як і в стандартних ME системах, в даному дослідженні розглядається об'єкт, кутовий розмір якого розташований всередині поля зору МО і на відстані за розсіювачем. Після взаємодії з розсіювачем світло розповсюджується на відстань v, перш ніж потрапити на детектор.
Звичайна ME-візуалізація використовує стандартні камери, а в даному методі використовується модуль кодуючого детектора, що складається з апертури, що кодує, і оптичного елемента, що залежить від довжини хвилі. Метою цього елемента є унікальна модуляція кожного спектрального каналу перед об'єднанням і перетворенням в монохромному детекторі.
Таким чином, замість простого вимірювання низькоконтрастного спекла, спектральні канали якого нерозривно змішані, проводився запис спектрально мультиплексованого сигналу, який добре підходить для поділу.
Дослідники ще раз підкреслюють, що їх метод не вимагає будь-яких заздалегідь відомих характеристик або припущень щодо розсіювача чи джерела світла.
Після проведення попередніх вимірювань мультиплексованого спекла було використано відоме значення Tλ (кодуючий патерн, що залежить від довжини хвилі) для індивідуальної реконструкції спекла в кожній спектральній смузі.
У своїй праці на етапі розрахунків та моделювання вчені застосували певні методи машинного навчання, які здатні допомогти у реалізації раніше не розглянутого методу. Насамперед було використано навчання ознакам розрідженої матриці для представлення спекла.
Навчання ознак* — дозволяє системі автоматично знаходити уявлення, необхідних виявлення ознак вихідних даних.
В результаті було отримано базу, навчену на спекл-зображеннях з різних конфігурацій вимірювань. Ця база досить узагальнена і залежить від конкретних об'єктів і розсіювачів, що у генерації маски Iλx, y. Інакше кажучи, система навчається з урахуванням розсіювача, який використовують у експериментальної зміни, тобто. система не має до нього доступу, як того й хотіли дослідники.
Для отримання спекл-зображень на кожній довжині хвилі використано алгоритм OMP (ортогональне відповідне переслідування).
Врешті-решт шляхом обчислення автокореляції кожного спектрального каналу незалежно та інверсії автокореляції на кожній довжині хвилі були отримані зображення об'єкта. Отримані зображення на кожній довжині хвилі об'єднуються, щоб створити кольорове зображення об'єкта.
Зображення №2: поетапний процес складання зображення об'єкта.
Ця методика, за словами її творців, не робить жодних припущень про кореляції між спектральними каналами і вимагає лише припущення про те, що значення довжини хвилі є досить випадковим. Крім цього, даний метод вимагає тільки інформації про детектор, що кодує, покладаючись на попереднє калібрування кодує апертури і попередньо навчену бібліотеку даних. Такі характеристики роблять даний метод візуалізації дуже універсальним та неінвазивним.
Результати моделювання
Спочатку розглянемо результати моделювання.
Зображення №3
На зображенні вище показано приклади багатоспектрального знімку двох об'єктів, зроблених через розсіювач. Верхній ряд на 3а містить об'єкт інтересу, що складається з декількох чисел, показаних як у хибному кольорі, так і в розбивці спектрального каналу. При побудові об'єкта в хибному кольорі відображається профіль інтенсивності кожної довжини хвилі в CIE 1931 RGB просторі.
Реконструйований об'єкт (нижній ряд на 3а) як у хибному кольорі, так і з точки зору окремих спектральних каналів, демонструє, що методика забезпечує відмінну візуалізацію і лише незначну перехресну взаємодію між спектральними каналами, яка не відіграє особливої ролі у процесі.
Після одержання реконструйованого об'єкта, тобто. після візуалізації, необхідно було оцінити ступінь точності, порівнюючи спектральну інтенсивність (усереднену за всіма яскравими пікселями) справжнього об'єкта та реконструйованого (3b).
На зображеннях 3c показані реальний об'єкт (верхній ряд) та реконструйоване зображення (нижній ряд) для клітини зі стебла бавовнику, а на 3d показаний аналіз точності візуалізації.
Для оцінки точності візуалізації необхідно було розрахувати значення коефіцієнта структурної подібності (SSIM) та пікове відношення сигналу до шуму (pSNR) об'єкта для кожного спектрального каналу.
Таблиця вище показує, що кожен із п'яти каналів має коефіцієнт SSIM 0,8–0,9 та PSNR більше 20. З цього випливає, що незважаючи на низький контраст спекл-сигналу, накладання на детектор п'яти спектральних смуг шириною 10 нм дозволяє досить точно реконструювати просторово-спектральні властивості об'єкта, що вивчається. Іншими словами, методика працює, проте це лише результати моделювання. Для повноти впевненості у своїй справі вчені провели низку практичних дослідів.
Результати експериментів
Однією з значних відмінностей моделювання реальних експериментів є середовище, тобто. умови, у яких проводиться і те, й інше. У першому випадку є контрольовані умови, у другому непередбачувані, тобто. як вийде.
Було розглянуто три спектральні канали шириною 8-12 нм з центром 450, 550 і 650 нм, які в поєднанні з різними відносними величинами генерують широкий діапазон кольорів.
Зображення №4
На зображенні вище показано порівняння між справжнім об'єктом (різнокольорова літера «H») та реконструйованим. Час світлової дії (витримки, тобто експозиції) було встановлено на 1800 с, що дозволило отримати SNR в межах 60-70 дБ. Такий показник SNR, за словами вчених, не є вкрай важливим для досвіду, але є додатковим підтвердженням працездатності їхньої методики, особливо у разі складних об'єктів. Насправді ж, а чи не в лабораторних умовах, цей спосіб може бути набагато швидше.
На верхньому ряду зображення №4 показаний об'єкт на кожній довжині хвилі (зліва направо) та реальний повнокольоровий об'єкт.
Щоб у результаті візуалізації отримати зображення реального об'єкта, була використана камера машинного зору з відповідними смуговими фільтрами для безпосереднього відображення спектральних компонентів та отримання повнокольорового зображення шляхом підсумовування спектральних спектральних каналів.
Другий ряд зображення вище показує патерни автокореляції кожного реконструйованого спектрального каналу, що формують мультиплексовані вимірювання, які є вступними даними для етапу обробки даних.
Третій ряд це реконструйований об'єкт у кожному спектральному каналі, і навіть реконструйований повнокольоровий об'єкт, тобто. Кінцевий результат візуалізації.
Повнокольорове зображення показує, що відносні величини між спектральними каналами є правильними, так як колір об'єднаного реконструйованого зображення відповідає реальному значенню, а коефіцієнт SSIM досягає більше 0,92 для кожного каналу.
Найнижчий ряд є підтвердженням цього твердження, демонструючи порівняння інтенсивності реального об'єкта та реконструйованого. Дані обох збігаються у всіх спектральних діапазонах.
З цього випливає, що навіть наявність шуму та потенційних помилок моделювання не завадили отримати зображення високої якості, а результатам експериментів добре співвідноситися з результатами моделювання.
Вищеописаний досвід поставлено з урахуванням розділених спектральних каналів. Вчені провели ще один експеримент, але вже з суміжними каналами, а точніше з безперервним спектральним діапазоном 60 нм.
Зображення №5
Як реальний об'єкт виступила буква «X» і знак «+» (5а). Спектр літери «Х» відносно рівномірний і безперервний між 515 і 575 нм, а ось «+» має структурований спектр, переважно розташований між 535 і 575 нм (5b). Для даного експерименту експозиція склала 120 с для досягнення бажаного (як і раніше) SNR 70 дБ.
Також був використаний смуговий фільтр шириною 60 нм над усім об'єктом та фільтр нижніх частот над знаком «+». Під час реконструкції 60 нм спектр поділяється на 6 суміжних каналів шириною 10 нм (5b).
Як ми можемо бачити за зображеннями 5срезультуючі зображення відмінно узгоджуються з реальним об'єктом. Цей експеримент показав, що наявність або відсутність спектральних кореляцій у виміряному спеклі не впливає на ефективність досліджуваної методики візуалізації. Самі вчені вважають, що значно більшу роль у процесі візуалізації, а точніше в його успішності, відіграють не стільки спектральні характеристики об'єкта, скільки калібрування системи та деталей її детектора, що кодує.
Для більш детального ознайомлення з нюансами дослідження рекомендую заглянути в и до нього.
Епілог
У цій праці вчені описали новий метод мультиспектральної візуалізації через розсіювач. Модуляція спекла, що залежить від довжини хвилі, за допомогою апертури, що кодує, дозволила виконати один мультиплексований вимір і обчислити спекл за допомогою алгоритму OMP на основі машинного навчання.
На прикладі різнокольорової літери «Н» вчені показали, що фокусування на п'яти спектральних каналах, що відповідають фіолетовому, зеленому та трьом відтінкам червоного, дозволяє отримати реконструкцію зображення, що містить усі кольори оригіналу (синій, жовтий тощо).
За словами дослідників, їхня методика може бути корисною як у медицині, так і в астрономії. Колір несе в собі важливу інформацію в обох напрямках: в астрономії - хімічний склад об'єктів, що вивчаються, в медицині - молекулярний склад клітин і тканин.
На даному етапі вчені відзначають лише одну проблему, яка може спричинити неточність візуалізації, це помилки моделювання. Зважаючи на досить довгий час, необхідний для виконання процесу, можуть виникати зміни в навколишньому середовищі, які будуть вносити свої корективи, не враховані на етапі підготовки. Однак надалі планується знайти спосіб нівелювати цю проблему, що дозволить зробити описану методику візуалізації не лише точною, а й стабільною у будь-яких умовах.
П'ятничний офф-топ:
Світло, колір, музика та тріо найзнаменитіших синіх «диваків» у світі (Blue Man Group).
Дякую за увагу, залишайтесь цікавими, і відмінних усім вихідних, хлопці! 🙂
Дякую, що залишаєтеся з нами. Вам подобаються наші статті? Бажаєте бачити більше цікавих матеріалів? Підтримайте нас, оформивши замовлення або порекомендувавши знайомим, 30% знижка для користувачів Хабра на унікальний аналог entry-level серверів, який був винайдений нами для Вас: (Доступні варіанти з RAID1 і RAID10, до 24 ядер і до 40GB DDR4).
Dell R730xd у 2 рази дешевше? Тільки в нас у Нідерландах! Dell R420 – 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB – від $99! Читайте про те
Джерело: habr.com