거의 보이지 않는 것을 컬러로도 보기: 디퓨저를 통해 사물을 시각화하는 기술

슈퍼맨의 가장 유명한 능력 중 하나는 슈퍼 비전으로, 이를 통해 원자를 보고, 어둠 속에서 먼 거리를 볼 수 있으며, 심지어 물체를 투시할 수도 있습니다. 이 능력은 화면에 거의 표시되지 않지만 존재합니다. 현실에서는 몇 가지 과학적 트릭을 사용하여 거의 완전히 불투명한 물체를 투시하는 것도 가능합니다. 그러나 결과 이미지는 최근까지 항상 흑백이었습니다. 오늘 우리는 듀크 대학(미국)의 과학자들이 단일 빛 노출을 사용하여 불투명 벽 뒤에 숨겨진 물체의 컬러 사진을 찍을 수 있었던 연구를 살펴보겠습니다. 이 슈퍼기술은 무엇이고, 어떻게 작동하며, 어떤 분야에 활용될 수 있나요? 연구 그룹의 보고서가 이에 대해 알려줄 것입니다. 가다.

연구기반

산란 매체의 객체를 시각화하는 기술의 가능한 모든 이점에도 불구하고 이 기술을 구현하는 데에는 많은 문제가 있습니다. 주요한 점은 산란기를 통과하는 광자의 경로가 크게 변경되어 무작위 패턴으로 이어진다는 사실입니다. 얼룩* 반대편에.

작은 반점* 무작위 간섭 패턴은 무작위 위상 변이 및/또는 무작위 강도 집합을 갖는 간섭성 파의 상호 간섭에 의해 형성됩니다. 대부분의 경우 어두운 배경에 일련의 밝은 점(점)처럼 보입니다.

최근에는 산란 효과를 피하고 얼룩 패턴에서 물체 정보를 추출하기 위해 여러 가지 이미징 기술이 개발되었습니다. 이러한 기술의 문제점은 한계입니다. 물체에 대한 특정 지식이 필요하고 산란 매체나 물체에 접근할 수 있어야 합니다.

동시에 과학자들에 따르면 ME(기억 효과를 이용한 시각화)라는 훨씬 더 진보된 방법이 있습니다. 이 방법을 사용하면 물체 자체나 산란 매체에 대한 사전 지식 없이 물체를 시각화할 수 있습니다. 우리가 알고 있듯이 모든 사람에게는 단점이 있으며 ME 방법도 예외는 아닙니다. 고대비 반점 패턴을 얻고 이에 따라 보다 정확한 이미지를 얻으려면 조명이 협대역이어야 합니다. 1nm 미만.

ME 방법의 한계를 극복하는 것도 가능하지만 이러한 트릭에는 확산기 이전에 광원이나 물체에 접근하거나 직접 측정하는 방법이 포함됩니다. PSF*.

PSF* - 점 광원이나 점 물체를 관찰할 때 이미징 시스템이 수신하는 이미지를 설명하는 점 확산 기능.

연구자들은 이러한 방법을 실행 가능하지만 완벽하지는 않다고 부릅니다. 예를 들어 산란체의 역학이나 이미징 절차 전의 접근 불가능성으로 인해 PSF 측정이 항상 가능한 것은 아니기 때문입니다. 즉, 작업해야 할 것이 있습니다.

그들의 연구에서 연구자들은 다른 접근 방식을 제안합니다. 그들은 흑백 카메라로 단일 반점 측정을 사용하여 산란 매체를 통해 물체의 다중 스펙트럼 이미징을 실현하는 방법을 보여줍니다. 다른 기술과 달리 PSF 시스템이나 소스 스펙트럼에 대한 사전 지식이 필요하지 않습니다.

새로운 방법은 450nm에서 750nm 사이의 잘 분리된 450개의 스펙트럼 채널에서 대상 물체의 고품질 이미지를 생성하며 이는 계산을 통해 확인되었습니다. 실제로 지금까지는 650nm와 515nm 사이에서 잘 분리된 575개의 스펙트럼 채널과 XNUMXnm와 XNUMXnm 사이에서 XNUMX개의 인접한 스펙트럼 채널을 시각화하는 것이 가능했습니다.

새로운 방법의 작동 방식

이미지 번호 1: 램프 - 공간 광 변조기 - 확산기(홍채 조리개 포함) - 코딩 조리개 - 프리즘 - 광학 릴레이(1:1 시각화) - 흑백 카메라.

연구자들은 디퓨저 이미징의 세 가지 기본 요소, 즉 관심 대상(외부 조명 또는 자체 발광), 디퓨저 및 검출기에 주목합니다.

표준 ME 시스템에서와 마찬가지로, 이 연구에서는 각도 크기가 ME 시야 내부에 있고 디퓨저 뒤의 거리 u에 있는 물체를 고려합니다. 디퓨저와 상호작용한 후 빛은 검출기에 도달하기 전에 거리 v만큼 이동합니다.

기존 ME 이미징은 표준 카메라를 사용하지만 이 방법은 인코딩 조리개와 파장 의존형 광학 요소로 구성된 인코딩 검출기 모듈을 사용합니다. 이 요소의 목적은 각 스펙트럼 채널을 결합하고 흑백 검출기로 변환하기 전에 각 스펙트럼 채널을 고유하게 변조하는 것입니다.

따라서 단순히 스펙트럼 채널이 혼합되어 있는 저대비 스펙클을 측정하는 대신 스펙트럼 다중화 신호를 기록하므로 분리에 매우 적합합니다.

연구진은 그들의 방법이 확산기나 광원에 대해 미리 알려진 특성이나 가정을 요구하지 않는다는 점을 다시 한 번 강조합니다.

다중화된 스펙클을 예비 측정한 후, 알려진 Tλ(파장 의존 코딩 패턴) 값을 사용하여 각 스펙트럼 대역에서 스펙클을 개별적으로 재구성했습니다.

작업의 계산 및 모델링 단계에서 과학자들은 이전에 고려되지 않았던 방법을 구현하는 데 도움이 될 수 있는 특정 기계 학습 방법을 사용했습니다. 먼저, 스펙클을 표현하기 위해 희소 행렬 특징 학습이 사용되었습니다.

기능 학습* — 시스템이 소스 데이터의 특징을 식별하는 데 필요한 표현을 자동으로 찾을 수 있습니다.

그 결과 다양한 측정 구성의 반점 이미지에 대해 훈련된 데이터베이스가 탄생했습니다. 이 기반은 매우 일반화되어 있으며 마스크 Iλx, y 생성에 참여하는 특정 물체 및 산란체에 의존하지 않습니다. 즉, 시스템은 실험 구성에 사용되지 않은 디퓨저를 기반으로 훈련됩니다. 연구원들이 원하는 대로 시스템은 이에 접근할 수 없습니다.

OMP 알고리즘을 사용하여 각 파장에서 얼룩 이미지를 얻었습니다.직교 매칭 추구).

마지막으로, 각 스펙트럼 채널의 자기상관을 독립적으로 계산하고, 각 파장별 자기상관을 역전시켜 물체의 영상을 획득하였다. 그런 다음 각 파장의 결과 이미지를 결합하여 물체의 컬러 이미지를 생성합니다.

이미지 번호 2: 물체의 이미지를 구성하는 단계별 프로세스입니다.
제작자에 따르면 이 기술은 스펙트럼 채널 간의 상관 관계에 대한 가정을 하지 않으며 파장 값이 상당히 무작위적이라는 가정만 필요합니다. 또한 이 방법은 인코딩 조리개의 사전 보정과 사전 훈련된 데이터 라이브러리에 의존하여 인코딩 검출기에 대한 정보만 필요합니다. 이러한 특성으로 인해 이 이미징 방법은 매우 다양하고 비침습적입니다.

시뮬레이션 결과

먼저 시뮬레이션 결과를 살펴보자.

이미지 #3

위 이미지는 디퓨저를 통해 촬영한 두 물체의 다중 스펙트럼 이미지의 예를 보여줍니다. 맨 윗줄 켜짐 3а 여러 숫자로 구성된 관심 객체가 포함되어 있으며, 거짓 색상으로 표시되고 스펙트럼 채널로 분류됩니다. 물체를 가색상으로 플롯하면 각 파장의 강도 프로파일이 CIE 1931 RGB 공간에 표시됩니다.

재구성된 개체(맨 아래 행 3а) 가색상 및 개별 스펙트럼 채널 측면에서 이 기술은 탁월한 시각화를 제공하고 프로세스에서 특별한 역할을 하지 않는 스펙트럼 채널 간의 약간의 혼선만을 제공한다는 것을 보여줍니다.

재구성된 객체를 받은 후, 즉 렌더링 후에는 실제 물체와 재구성된 물체의 스펙트럼 강도(모든 밝은 픽셀에 대한 평균)를 비교하여 정확도를 평가해야 했습니다(3b).

이미지에서 3c 은 면 줄기 세포에 대한 실제 물체(윗줄)와 재구성된 이미지(아래줄)를 보여줍니다. 3d 시각화 정확도 분석이 표시됩니다.

영상 정확도를 평가하기 위해서는 각 스펙트럼 채널별로 실제 물체의 구조적 유사성 지수(SSIM) 값과 피크 신호 ​​대 잡음비(pSNR)를 계산해야 했습니다.

위 표는 0,8개 채널 각각의 SSIM 계수가 0,9~20이고 PSNR이 10을 넘는다는 것을 보여줍니다. 스펙클 신호의 낮은 대비에도 불구하고 폭이 XNUMXnm인 XNUMX개 스펙트럼 대역의 중첩은 다음과 같습니다. 검출기에서는 연구 중인 물체의 공간 스펙트럼 특성을 상당히 정확하게 재구성할 수 있습니다. 즉, 기술은 작동하지만 이는 시뮬레이션 결과일 뿐입니다. 자신의 작업에 대한 완전한 자신감을 얻기 위해 과학자들은 일련의 실제 실험을 수행했습니다.

실험 결과

시뮬레이션과 실제 실험의 가장 중요한 차이점 중 하나는 환경입니다. 둘 다 수행되는 조건. 첫 번째 경우에는 통제된 조건이 있고, 두 번째 경우에는 예측할 수 없는 조건이 있습니다. 우리는 그것이 어떻게 진행되는지 볼 것입니다.

8, 12 및 450 nm를 중심으로 폭이 550-650 nm인 XNUMX개의 스펙트럼 채널이 고려되었으며, 이는 서로 다른 상대 크기와 결합될 때 광범위한 색상을 생성합니다.

이미지 #4

위 이미지는 실제 물체(다색 "H")와 재구성된 물체의 비교를 보여줍니다. 빛 노출 시간(셔터 속도, 즉 노출)은 1800초로 설정되어 60~70dB 범위의 SNR을 얻을 수 있었습니다. 과학자들에 따르면 이 SNR 지표는 실험에 그다지 중요하지 않지만 특히 복잡한 물체의 경우 기술 성능을 추가로 확인하는 역할을 합니다. 실험실 조건이 아닌 실제로 이 방법은 훨씬 더 빠를 수 있습니다.

이미지 #4의 맨 윗줄은 각 파장(왼쪽에서 오른쪽으로)의 물체와 실제 풀 컬러 물체를 보여줍니다.

이미징 결과 실제 물체의 이미지를 얻기 위해 적절한 대역 통과 필터와 함께 컴퓨터 비전 카메라를 사용하여 스펙트럼 구성 요소를 직접 이미지화하고 결과 스펙트럼 채널을 합산하여 풀 컬러 이미지를 얻었습니다.

위 이미지의 두 번째 행은 데이터 처리 단계에 입력되는 다중 측정값을 형성하는 재구성된 각 스펙트럼 채널의 자기상관 패턴을 보여줍니다.

세 번째 행은 재구성된 풀 컬러 객체뿐만 아니라 각 스펙트럼 채널의 재구성된 객체입니다. 최종 시각화 결과.

풀 컬러 이미지는 결합된 재구성 이미지의 색상이 실제 값과 일치하고 각 채널에 대해 SSIM 계수가 0,92 이상에 도달하므로 스펙트럼 채널 간의 상대적 크기도 정확하다는 것을 보여줍니다.

맨 아래 줄은 실제 물체와 재구성된 물체의 강도를 비교하여 이 진술을 확인합니다. 두 데이터의 데이터는 모든 스펙트럼 범위에서 일치합니다.

따라서 노이즈와 잠재적인 모델링 오류가 존재하더라도 고품질 이미지를 얻는 데 방해가 되지 않았으며 실험 결과는 모델링 결과와 잘 연관되어 있었습니다.

위에서 설명한 실험은 분리된 스펙트럼 채널을 고려하여 수행되었습니다. 과학자들은 또 다른 실험을 수행했지만 이번에는 인접한 채널을 사용하거나 오히려 60nm의 연속 스펙트럼 범위를 사용했습니다.

이미지 #5

실제 물체는 문자 "X"와 기호 "+"(5а). 문자 "X"의 스펙트럼은 515~575nm 사이에서 상대적으로 균일하고 연속적이지만, "+"는 주로 535~575nm 사이에 위치한 구조화된 스펙트럼을 갖습니다.5b). 이 실험에서는 원하는(이전과 마찬가지로) SNR 120dB를 달성하기 위해 노출을 70초로 설정했습니다.

60nm 폭의 대역통과 필터도 전체 물체에 사용되었고, "+" 기호에는 저역통과 필터가 사용되었습니다. 재구성하는 동안 60nm 스펙트럼은 폭이 6nm인 10개의 인접 채널로 나뉩니다(5b).

우리는 이미지에서 볼 수 있듯이 5c, 결과 이미지는 실제 물체와 매우 일치합니다. 이 실험은 측정된 스펙클에서 스펙트럼 상관관계의 유무가 연구 중인 이미징 기술의 효율성에 영향을 미치지 않는다는 것을 보여주었습니다. 과학자들은 시각화 과정 또는 그 성공에서 훨씬 더 큰 역할이 물체의 스펙트럼 특성이 아니라 시스템 보정 및 인코딩 감지기의 세부 사항에 의해 결정된다고 믿습니다.

연구의 뉘앙스를 더 자세히 살펴보려면 다음을 살펴보는 것이 좋습니다. 과학자 보고서 и 추가 자료 그에게.

커튼콜

이 연구에서 과학자들은 디퓨저를 통한 다중 스펙트럼 이미징의 새로운 방법을 설명했습니다. 코딩 조리개를 사용한 파장 종속 스펙클 변조를 통해 기계 학습 기반 OMP 알고리즘을 사용하여 단일 다중 측정 및 스펙클 계산이 가능해졌습니다.

예를 들어 과학자들은 다양한 색상의 문자 "H"를 사용하여 보라색, 녹색 및 빨간색의 세 가지 음영에 해당하는 XNUMX개의 스펙트럼 채널에 초점을 맞추면 원본의 모든 색상(파란색, 파란색, 빨간색)을 포함하는 이미지를 재구성할 수 있음을 보여주었습니다. 노란색 등).

연구원들에 따르면, 그들의 기술은 의학과 천문학 모두에서 유용할 수 있습니다. 색상은 천문학에서 연구 대상의 화학적 구성, 의학에서 세포와 조직의 분자 구성 등 양방향으로 중요한 정보를 전달합니다.

이 단계에서 과학자들은 시각화 부정확성을 유발할 수 있는 단 하나의 문제, 즉 모델링 오류에 주목합니다. 프로세스를 완료하는 데 상당히 오랜 시간이 걸리기 때문에 준비 단계에서 고려되지 않은 조정이 발생하는 환경 변화가 발생할 수 있습니다. 그러나 앞으로 우리는 설명된 이미징 기술을 정확할 뿐만 아니라 어떤 조건에서도 안정적으로 만들 수 있는 이 문제를 완화할 수 있는 방법을 찾을 계획입니다.

금요일 오프탑:

조명, 색상, 음악 그리고 세계에서 가장 유명한 블루 괴짜 XNUMX인방(블루 맨 그룹).

읽어주셔서 감사하고, 호기심을 갖고 즐거운 주말 보내세요! 🙂

우리와 함께있어 주셔서 감사합니다. 우리 기사가 마음에 드십니까? 더 재미있는 콘텐츠를 보고 싶다면? 주문하거나 친구에게 추천하여 우리를 지원하십시오. 귀사를 위해 당사가 개발한 고유한 보급형 서버 아날로그에서 Habr 사용자를 위한 30% 할인: VPS(KVM) E5-2650 v4(6코어) 10GB DDR4 240GB SSD 1Gbps에 대한 전체 진실 또는 서버 공유 방법은? (RAID1 및 RAID10에서 사용 가능, 최대 24개 코어 및 최대 40GB DDR4).

Dell R730xd가 2배 더 저렴합니까? 여기서 만 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV $199부터 네덜란드에서! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - 최저 $99! 에 대해 읽다 인프라 공사를 구축하는 방법. 730페니에 5유로 상당의 Dell R2650xd E4-9000 vXNUMX 서버를 사용하는 클래스?

출처 : habr.com