ほとんど目に見えないものをカラーで見る: ディフューザーを通して物体を視覚化するテクニック

スーパーマンの最も有名な能力の XNUMX つは超視力であり、これにより彼は原子を観察したり、暗闇や遠く離れた場所を見たり、さらには物体を透視したりすることができました。 この能力が画面に表示されることは非常にまれですが、存在します。 私たちの現実では、いくつかの科学的トリックを適用することで、ほぼ完全に不透明な物体を透視することも可能です。 ただし、結果として得られる画像は、最近まで常に白黒でした。 今日は、デューク大学 (米国) の科学者が XNUMX 回の露光で、不透明な壁の後ろに隠された物体のカラー写真を撮影することができた研究を紹介します。 このスーパーテクノロジーとは何なのか、どのように機能し、どのような分野で活用できるのでしょうか？ 研究会の報告書がそれについて教えてくれるだろう。 行く。

研究根拠

散乱媒体内の物体を視覚化する技術にはさまざまな利点があるにもかかわらず、この技術の実装には多くの問題があります。 主なものは、散乱体を通過する光子の経路が大きく変化し、ランダムなパターンが生じるという事実です。 斑点* 反対側にあります。

スペックル* ランダムな位相シフトおよび/またはランダムな強度セットを持つコヒーレント波の相互干渉によって形成されるランダムな干渉パターンです。 ほとんどの場合、暗い背景上の一連の明るい点 (ドット) のように見えます。

近年、散乱体効果を回避し、スペックルパターンから物体情報を抽出するためのいくつかのイメージング技術が開発されています。 これらの技術の問題は、その限界にあります。物体に関する特定の知識が必要であり、散乱媒体や物体にアクセスできる必要があります。

同時に、科学者によると、メモリ効果（ME）による視覚化という、より高度な方法もあります。 この方法を使用すると、物体自体や散乱媒体に関する事前の知識がなくても、物体を視覚化できます。 ご存知のとおり、誰でも欠点はありますが、ME メソッドも例外ではありません。 高コントラストのスペックル パターンを取得し、それに応じてより正確な画像を取得するには、照明を狭帯域にする必要があります。 1nm未満。

ME 法の制限を裏付けることも可能ですが、やはりこれらのトリックには、ディフューザーの前に光源や物体にアクセスするか、直接測定することが含まれます。 PSF*.

PSF* - 点光源または点オブジェクトを観察するときにイメージング システムが受け取る画像を記述する点広がり関数。

研究者らはこれらの方法を実行可能だが完璧ではないと呼んでいます。これは、散乱体のダイナミクスやイメージング手順前の散乱体のアクセス不可能性などにより、PSF 測定が常に可能であるとは限らないためです。 言い換えれば、取り組むべき何かがあるということです。

研究者らは研究の中で、別のアプローチを提案しています。 彼らは、モノクロカメラによる単一スペックル測定を使用して、散乱媒体を介した物体のマルチスペクトルイメージングを実現する方法を示しています。 他の技術とは異なり、これには PSF システムまたはソーススペクトルに関する事前の知識は必要ありません。

この新しい方法では、450 nm ～ 750 nm の 450 つの十分に分離されたスペクトル チャネルで対象物の高品質画像が生成され、これは計算によって確認されました。 実際には、これまでのところ、650 nm ～ 515 nm の 575 つの十分に分離されたスペクトル チャネルと、XNUMX ～ XNUMX nm の XNUMX つの隣接するスペクトル チャネルを視覚化することが可能です。

新しい方法の仕組み

画像 No. 1: ランプ - 空間光変調器 - ディフューザー (虹彩絞り付き) - コーディング アパーチャ - プリズム - 光学リレー (1:1 視覚化) - モノクロ カメラ。

研究者は、ディフューザ イメージングの XNUMX つの基本要素に注目します。それは、対象物体 (外部照明または自己発光)、ディフューザ、および検出器です。

標準的な ME システムと同様に、この研究では、角度サイズが ME の視野内にあり、ディフューザーの後ろの距離 u に位置する物体を考慮します。 ディフューザと相互作用した後、光は距離 v を移動してから検出器に到達します。

従来のMEイメージングでは標準的なカメラが使用されますが、この方法ではエンコードアパーチャと波長依存性の光学素子で構成されるエンコード検出器モジュールが使用されます。 この要素の目的は、各スペクトル チャネルを結合してモノクロ検出器に変換する前に、各スペクトル チャネルを一意に変調することです。

したがって、スペクトルチャネルが密接に混合されている低コントラストのスペックルを単に測定する代わりに、分離に適したスペクトル多重信号が記録されました。

研究者らは、自分たちの方法ではディフューザーや光源に関する既知の特性や仮定を必要としないことを改めて強調しています。

多重化されたスペックルの予備測定を行った後、既知の Tλ (波長依存コーディング パターン) の値を使用して、各スペクトル帯域のスペックルを個別に再構築しました。

研究では、計算とモデリングの段階で、科学者たちは、これまで考慮されていなかった方法の実装に役立つ特定の機械学習方法を使用しました。 まず、スパース行列特徴学習を使用してスペックルを表現しました。

特徴学習* — システムがソース データの特徴を識別するために必要な表現を自動的に見つけられるようにします。

その結果、さまざまな測定構成からのスペックル画像でトレーニングされたデータベースが完成しました。 このベースは非常に一般化されており、マスク Iλx、y の生成に関与する特定のオブジェクトや散乱体には依存しません。 言い換えれば、システムは実験構成では使用されないディフューザーに基づいてトレーニングされます。 研究者らが望んでいたように、システムはそれにアクセスできません。

OMP アルゴリズムを使用して、各波長でスペックル画像を取得しました (直交マッチングの追求).

最後に、各スペクトル チャネルの自己相関を独立して計算し、各波長での自己相関を反転することにより、物体の画像が取得されました。 次に、各波長で得られた画像を組み合わせて、物体のカラー画像を作成します。

画像 No. 2: オブジェクトの画像を構成する段階的なプロセス。
作成者によると、この技術ではスペクトル チャネル間の相関関係について何の仮定も行わず、波長値が完全にランダムであるという仮定のみが必要です。 さらに、この方法では、エンコード アパーチャの事前キャリブレーションと事前トレーニングされたデータ ライブラリに依存して、エンコード検出器に関する情報のみが必要です。 これらの特性により、このイメージング法は汎用性が高く、非侵襲性が高くなります。

シミュレーション結果

まずはシミュレーション結果を見てみましょう。

画像 #3

上の画像は、ディフューザーを通して撮影された XNUMX つの物体のマルチスペクトル画像の例を示しています。 一番上の行 3а には、疑似カラーで表示され、スペクトル チャネルごとに分類された、いくつかの数値で構成される対象オブジェクトが含まれています。 オブジェクトを疑似カラーでプロットすると、各波長の強度プロファイルが CIE 1931 RGB 空間で表示されます。

再構築されたオブジェクト (下段) 3а) 擬似カラーと個々のスペクトル チャネルの両方の観点から、この技術が優れた視覚化を提供し、プロセスにおいて特別な役割を果たさないスペクトル チャネル間のクロストークがわずかであることを示しています。

再構築されたオブジェクトを受信した後、つまりレンダリング後、実際のオブジェクトと再構成されたオブジェクトのスペクトル強度 (すべての明るいピクセルの平均) を比較することによって精度の程度を評価する必要がありました (3b).

画像では 3c 綿幹細胞の実際のオブジェクト (上の行) と再構成された画像 (下の行) を示しています。 3d 視覚化の精度の分析が示されています。

イメージングの精度を評価するには、スペクトル チャネルごとに実際の物体の構造類似性指数 (SSIM) 値とピーク信号対雑音比 (pSNR) を計算する必要がありました。

上の表は、0,8 つのチャネルのそれぞれが 0,9 ～ 20 の SSIM 係数と 10 以上の PSNR を持っていることを示しています。つまり、スペックル信号のコントラストが低いにもかかわらず、幅 XNUMX nm の XNUMX つのスペクトル バンドを重ね合わせると、検出器では、研究対象の物体の空間スペクトル特性をかなり正確に再構成できます。 言い換えれば、この手法は機能しますが、これらは単なるシミュレーション結果にすぎません。 自分たちの研究に完全な自信を得るために、科学者たちは一連の実践的な実験を実施しました。

実験結果

シミュレーションと実際の実験の最も大きな違いの XNUMX つは環境です。 両方が実行される条件。 前者の場合には制御された状況があり、後者の場合には予​​測不可能な状況があります。 どうなるか見てみましょう。

8、12、450 nm を中心とした幅 550 ～ 650 nm の XNUMX つのスペクトル チャネルが考慮され、異なる相対強度と組み合わせると、広範囲の色が生成されます。

画像 #4

上の画像は、実際のオブジェクト (複数色の「H」) と再構成されたオブジェクトの比較を示しています。 露光時間 (シャッタースピード、つまり露光) は 1800 秒に設定され、これにより 60 ～ 70 dB の範囲の SNR を得ることができました。 科学者によれば、この SNR 指標は実験にとってそれほど重要ではありませんが、特に複雑なオブジェクトの場合、技術のパフォーマンスをさらに確認するのに役立ちます。 実験室条件ではなく実際には、この方法は桁違いに高速になる可能性があります。

画像 #4 の一番上の行は、各波長でのオブジェクト (左から右へ) と実際のフルカラーのオブジェクトを示しています。

イメージングの結果として実際の物体の画像を取得するには、適切なバンドパス フィルターを備えたコンピューター ビジョン カメラを使用してスペクトル成分を直接イメージ化し、得られたスペクトル チャネルを合計することでフルカラー画像を取得しました。

上の画像の XNUMX 行目は、データ処理ステージへの入力である多重化測定値を形成する、再構成された各スペクトル チャネルの自己相関パターンを示しています。

XNUMX 行目は、各スペクトル チャネルで再構成されたオブジェクトと、再構成されたフルカラー オブジェクトです。 最終的な視覚化結果。

フルカラー画像は、結合された再構成画像の色が実際の値と一致し、各チャネルの SSIM 係数が 0,92 以上に達するため、スペクトル チャネル間の相対的な大きさも正しいことを示しています。

下の行はこの記述を裏付けており、実際のオブジェクトと再構成されたオブジェクトの強度の比較を示しています。 両方のデータはすべてのスペクトル範囲で一致します。

このことから、ノイズや潜在的なモデリング エラーが存在しても、高品質の画像を取得することは妨げられず、実験結果はモデリング結果とよく相関していることがわかります。

上で説明した実験は、分離されたスペクトル チャネルを考慮して実行されました。 科学者らは別の実験を行ったが、今回は隣接するチャネル、つまり60nmの連続スペクトル範囲を使用した。

画像 #5

本当の物体は文字「X」と記号「+」でした（5а）。 文字「X」のスペクトルは 515 ～ 575 nm の間で比較的均一かつ連続的ですが、「+」は構造化されたスペクトルを持ち、主に 535 ～ 575 nm の間に位置します (5b）。 この実験では、120 dB の望ましい (以前と同様) SNR を達成するために、露出は 70 秒でした。

60 nm 幅のバンドパス フィルターもオブジェクト全体に使用され、ローパス フィルターは「+」記号に使用されました。 再構成中、60 nm のスペクトルは幅 6 nm の 10 つの隣接するチャネルに分割されます (5b).

画像からわかるように、 5c、結果として得られる画像は実際のオブジェクトとよく一致しています。 この実験は、測定されたスペックルにおけるスペクトル相関の有無が、研究中のイメージング技術の有効性に影響を及ぼさないことを示しました。 科学者自身も、可視化プロセス、あるいはその成功において、はるかに大きな役割を果たしているのは、物体のスペクトル特性ではなく、システムのキャリブレーションとそのエンコード検出器の詳細であると信じています。

研究のニュアンスをさらに詳しく知りたい場合は、以下を参照することをお勧めします。 科学者の報告 и 追加資料 彼に。

フィナーレ

この研究では、科学者はディフューザーを介したマルチスペクトル イメージングの新しい方法について説明しました。 コーディングアパーチャを使用した波長依存のスペックル変調により、機械学習ベースのOMPアルゴリズムを使用した単一の多重測定とスペックル計算が可能になりました。

科学者らは、多色の文字「H」を例として、紫、緑、赤の XNUMX つの色合いに対応する XNUMX つのスペクトル チャネルに焦点を当てると、元のすべての色 (青、青、緑) を含む画像の再構成が得られることを示しました。黄色など）。

研究者らによると、その技術は医学と天文学の両方で役立つ可能性があるという。 色は両方向に重要な情報を伝えます。天文学では研究対象の化学組成、医学では細胞や組織の分子組成です。

現段階で科学者たちは、視覚化の不正確さを引き起こす可能性がある問題が XNUMX つだけある、それがモデリングエラーであることに気づいています。 プロセスが完了するまでにかなりの時間がかかるため、環境の変化が発生し、準備段階では考慮されていなかった調整が発生する可能性があります。 ただし、将来的には、この問題を軽減する方法を見つける予定です。これにより、説明したイメージング技術が正確になるだけでなく、あらゆる条件下でも安定するようになります。

金曜日のオフトップ:

光、色、音楽、そして世界で最も有名な青い変人たち (ブルーマン グループ) のトリオ。

読んでいただきありがとうございます。好奇心を持ち続けて、楽しい週末をお過ごしください。 🙂

いつもご宿泊いただきありがとうございます。 私たちの記事が気に入っていますか? もっと興味深いコンテンツを見たいですか? 注文したり、友人に勧めたりして私たちをサポートしてください。 Habr ユーザーは、当社があなたのために発明した、エントリーレベルのサーバーに似たユニークな製品を 30% 割引でご利用いただけます。 VPS (KVM) E5-2650 v4 (6 コア) 10GB DDR4 240GB SSD 1Gbps 20 ドルからの真実、またはサーバーを共有する方法? (RAID1 および RAID10、最大 24 コア、最大 40GB DDR4 で利用可能)。

Dell R730xdは2倍安い？ ここだけ 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV 199 ドルから オランダで！ Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - 99 ドルから! について読む インフラストラクチャー企業を構築する方法730 ペニーで 5 ユーロの価値がある Dell R2650xd E4-9000 vXNUMX サーバーを使用したクラスですか?

出所： habr.com