새 기사: 컴퓨터 사진학

원문은 홈페이지에 게시되어 있습니다 Vastrik.ru 저자의 허락을 받아 3DNews에 게시되었습니다. 우리는 엄청난 수의 링크를 제외하고 기사의 전체 텍스트를 제공합니다. 해당 주제에 진지하게 관심이 있고 계산 사진의 이론적 측면을 더 깊이 연구하고 싶은 사람들에게 유용할 것입니다. 일반 청중은 이 자료가 중복된다고 생각했습니다.  

오늘날 카메라를 핥지 않고는 스마트폰 프레젠테이션이 하나도 완성되지 않습니다. 매달 우리는 모바일 카메라의 다음 성공 소식을 듣습니다. Google은 Pixel에게 어둠 속에서 촬영하는 방법을 가르치고, Huawei에는 쌍안경처럼 확대/축소하는 방법을 가르치고, Samsung은 LiDAR를 소개하고, Apple은 세계에서 가장 둥근 모서리를 만듭니다. 요즘 이렇게 혁신이 빠르게 흐르는 곳은 거의 없습니다.

동시에 거울은 시간을 표시하는 것 같습니다. Sony는 매년 모든 사람에게 새로운 매트릭스를 제공하고 제조업체는 최신 버전 숫자를 게으르게 업데이트하고 계속해서 긴장을 풀고 담배를 피우고 있습니다. 책상 위에는 3000달러짜리 DSLR이 있지만, 여행할 때는 아이폰을 가지고 다닙니다. 왜?

고전에서 말했듯이 저는 이 질문을 가지고 온라인에 접속했습니다. 거기에서 그들은 사진에 정확히 어떤 영향을 미치는지 전혀 알지 못한 채 몇 가지 "알고리즘"과 "신경망"에 대해 논의합니다. 언론인들은 메가픽셀 수를 큰 소리로 읽고 있고, 블로거들은 유료 언박싱을 일제히 보고 있으며, 미학자들은 "매트릭스의 색상 팔레트에 대한 감각적 인식"으로 스스로를 더럽히고 있습니다. 모든 것이 평소와 같습니다.

나는 앉아서 내 인생의 절반을 보내고 모든 것을 스스로 해결해야했습니다. 이 기사에서는 내가 배운 내용을 알려 드리겠습니다.

⇡#컴퓨터 사진이란 무엇입니까?

Wikipedia를 포함한 모든 곳에서 다음과 같은 정의를 제공합니다. 계산 사진은 광학 변환 대신 디지털 컴퓨팅을 사용하는 이미지 캡처 및 처리 기술입니다. 설명이 없는 것 빼고는 다 괜찮습니다. 자동 초점도 적합하지만 이미 많은 유용한 기능을 제공하는 플렌옵틱스는 적합하지 않습니다. 공식적인 정의가 모호하다는 것은 우리가 무슨 말을 하는지 전혀 모른다는 것을 암시하는 것 같습니다.

컴퓨터 사진의 선구자인 스탠포드 교수 Marc Levoy(현재 Google Pixel의 카메라 책임자)는 또 다른 정의를 제시합니다. 즉, 디지털 사진의 기능을 향상하거나 확장하는 일련의 컴퓨터 시각화 방법을 사용하여 일반 사진을 얻습니다. 이 카메라로는 기술적으로 전통적인 방식으로는 촬영할 수 없습니다. 기사에서 나는 이것을 고수합니다.

그래서 모든 것은 스마트폰에 책임이 있었습니다.

스마트폰은 새로운 종류의 사진, 즉 컴퓨터 사진을 탄생시킬 수밖에 없었습니다.

모든 물리학 법칙에 따르면 그들의 작고 시끄러운 매트릭스와 작은 저속 조리개 렌즈는 고통과 괴로움만을 가져왔어야 했습니다. 그들은 개발자들이 약점(빠른 전자 셔터, 강력한 프로세서 및 소프트웨어)을 극복하기 위해 강점을 영리하게 사용하는 방법을 알아낼 때까지 그렇게 했습니다.

컴퓨터 사진 분야에서 세간의 이목을 끄는 연구의 대부분은 2005년에서 2015년 사이에 이루어졌으며, 과학에서는 문자 그대로 어제로 간주됩니다. 지금, 우리 눈앞에서, 주머니 속에서 이전에는 존재하지 않았던 새로운 지식과 기술이 발전하고 있습니다.

컴퓨터 사진은 뉴로보케를 이용한 셀카에만 국한되지 않습니다. 최근의 블랙홀 사진은 컴퓨터 사진 촬영 기술이 없었다면 불가능했을 것입니다. 일반 망원경으로 이런 사진을 찍으려면 지구만한 크기로 만들어야 합니다. 그러나 공의 서로 다른 지점에 있는 8개의 전파 망원경의 데이터를 결합하고 Python으로 몇 가지 스크립트를 작성하여 세계 최초의 사건 지평선 사진을 얻었습니다. 셀카에도 좋습니다.

⇡#시작: 디지털 처리

2007년을 반환했다고 가정해 봅시다. 우리 어머니는 무정부 상태이고, 우리 사진은 스케이트보드를 타고 찍은 시끄러운 0,6 메가픽셀 지프입니다. 그 무렵 우리는 모바일 매트릭스의 비참함을 숨기기 위해 프리셋을 뿌리고 싶은 거부할 수 없는 욕구를 처음으로 갖게 됩니다. 우리 자신을 부정하지 맙시다.

⇡#마탄과 인스타그램

인스타그램이 출시되면서 모두가 필터에 집착하게 되었습니다. 물론 연구 목적으로 X-Pro II, Lo-Fi 및 Valencia를 리버스 엔지니어링한 사람으로서 나는 그것이 세 가지 구성 요소로 구성되어 있다는 것을 아직도 기억합니다.

• 색상 설정(색조, 채도, 밝기, 대비, 레벨 등) - 고대부터 사진작가가 사용해 온 사전 설정과 마찬가지로 간단한 디지털 계수입니다.
• 톤 매핑은 값의 벡터이며, 각 값은 "128 색조의 빨간색은 240 색조로 바뀌어야 합니다."라고 알려줍니다.
• 오버레이는 오래된 필름의 전혀 진부하지 않은 효과를 얻기 위해 먼지, 결, 비네팅 및 기타 모든 것을 위에 배치할 수 있는 반투명 그림입니다. 항상 존재하지는 않았습니다.   

최신 필터는 이 트리오와 멀지 않으며 수학적으로 조금 더 복잡해졌습니다. 스마트폰에 하드웨어 셰이더와 OpenCL이 등장하면서 GPU용으로 빠르게 다시 작성되었으며 이는 매우 멋진 것으로 간주되었습니다. 물론 2012년에도요. 오늘날 모든 학생은 CSS로 동일한 작업을 수행할 수 있지만 여전히 졸업할 기회는 없습니다.

그러나 오늘날에도 필터의 발전은 멈추지 않았습니다. 예를 들어 Dehanser의 사람들은 비선형 필터를 사용하는 데 능숙합니다. 프롤레타리아 톤 매핑 대신 더 복잡한 비선형 변환을 사용하므로 훨씬 더 많은 가능성이 열립니다.

비선형 변환을 사용하면 많은 일을 할 수 있지만 이는 엄청나게 복잡하고 우리 인간은 엄청나게 멍청합니다. 과학의 비선형 변환에 관해서 우리는 수치적 방법을 사용하고 모든 곳에서 신경망을 주입하여 우리를 위한 걸작을 작성하는 것을 선호합니다. 여기도 마찬가지였습니다.

⇡#자동화와 '걸작' 버튼의 꿈

모두가 필터에 익숙해지자 우리는 필터를 카메라에 직접 구축하기 시작했습니다. 역사는 어떤 제조업체가 첫 번째인지 숨겼지만 그것이 얼마나 오래 전인지 이해하기 위해 5.0년에 출시된 iOS 2011에는 이미지 자동 향상을 위한 공개 API가 이미 있었습니다. 오직 잡스만이 대중에게 공개되기 전에 얼마나 오랫동안 사용되었는지 알고 있습니다.

자동화는 편집기에서 사진을 열 때 우리 각자가 수행하는 것과 동일한 작업을 수행했습니다. 즉, 빛과 그림자의 틈을 없애고 채도를 추가하고 적목 현상을 제거하고 안색을 수정했습니다. 사용자들은 새 스마트폰의 "획기적으로 향상된 카메라"가 단지 몇 가지 새로운 셰이더의 장점일 뿐이라는 사실조차 깨닫지 못했습니다. Google Pixel이 출시되고 컴퓨팅 사진 과대 광고가 시작되기까지는 아직 5년이 남았습니다.

오늘날 '명작' 버튼을 위한 전쟁은 머신러닝 분야로 옮겨졌습니다. 톤 매핑을 충분히 활용한 후 모든 사람들은 사용자 대신 슬라이더를 움직이도록 CNN과 GAN을 훈련시키기 위해 달려갔습니다. 즉, 입력 이미지에서 이 이미지를 "좋은 사진"에 대한 주관적인 이해에 더 가깝게 만드는 최적의 매개변수 세트를 결정합니다. 동일한 Pixelmator Pro 및 기타 편집기에서 구현되었습니다. 짐작할 수 있듯이 잘 작동하지도 않고 항상 그런 것도 아닙니다. 

⇡#스태킹은 모바일 카메라 성공의 90%

진정한 컴퓨터 사진 촬영은 여러 장의 사진을 서로 겹겹이 쌓는 것에서 시작되었습니다. 스마트폰이 0.5초에 12프레임을 클릭하는 것은 문제가 되지 않습니다. 카메라에는 느린 기계 부품이 없습니다. 조리개가 고정되어 있고 움직이는 커튼 대신 전자 셔터가 있습니다. 프로세서는 야생 광자를 포착해야 하는 마이크로초 수를 매트릭스에 명령하고 결과를 읽습니다.

기술적으로 휴대폰은 비디오 속도로 사진을 촬영하고 비디오는 사진 해상도로 촬영할 수 있지만 모두 버스 속도와 프로세서에 따라 다릅니다. 그렇기 때문에 항상 프로그램 제한을 설정합니다.

스테이킹 자체는 오랫동안 우리와 함께 해왔습니다. 심지어 할아버지들도 Photoshop 7.0에 플러그인을 설치하여 여러 장의 사진을 모아 눈길을 끄는 HDR로 만들거나 18000 × 600픽셀의 파노라마를 엮었지만... 사실 다음에 이 사진으로 무엇을 해야 할지 아는 사람은 아무도 없었습니다. 시대가 풍요롭고 거칠었던 것이 유감이었습니다.

이제 우리는 성인이 되었으며 이를 "엡실론 사진"이라고 부릅니다. 카메라 매개 변수(노출, 초점, 위치) 중 하나를 변경하고 결과 프레임을 연결하면 한 프레임에 담을 수 없는 것을 얻을 수 있습니다. 그러나 이것은 이론가를 위한 용어이며 실제로는 스테이킹이라는 또 다른 이름이 뿌리를 내렸습니다. 실제로 오늘날 모바일 카메라의 모든 혁신 중 90%는 이를 기반으로 합니다.

많은 사람들이 생각하지 못하는 부분이지만 모든 모바일 및 컴퓨팅 사진을 이해하는 데 중요합니다. 최신 스마트폰의 카메라는 앱을 열자마자 사진을 찍기 시작합니다. 그녀는 어떻게든 이미지를 화면으로 전송해야 하기 때문에 논리적입니다. 그러나 화면 외에도 고해상도 프레임을 자체 루프 버퍼에 저장하여 몇 초 동안 더 저장합니다.

"사진 찍기" 버튼을 누르면 실제로는 이미 촬영된 것이므로 카메라는 버퍼에서 마지막 사진만 찍습니다.

이것이 오늘날 모든 모바일 카메라가 작동하는 방식입니다. 적어도 쓰레기 더미가 아닌 모든 주력 제품에서는. 버퍼링을 사용하면 사진가들이 오랫동안 꿈꿔 왔던 셔터 지연 제로뿐만 아니라 부정적인 점까지 실현할 수 있습니다. 버튼을 누르면 스마트폰이 과거를 살펴보고 버퍼에서 마지막 5-10장의 사진을 언로드하고 미친 듯이 분석하기 시작합니다. 붙여넣으세요. 더 이상 전화기가 HDR 또는 야간 모드를 위해 프레임을 클릭할 때까지 기다릴 필요가 없습니다. 버퍼에서 프레임을 가져오기만 하면 사용자는 알 수 없습니다.

그건 그렇고, Live Photo가 iPhone에 구현되는 것은 네거티브 셔터 지연의 도움으로 이루어졌으며 HTC는 2013 년에 이상한 이름 Zoe로 비슷한 것을 가지고있었습니다.

⇡#노출 스태킹 - HDR 및 밝기 변화 방지

카메라 센서가 우리 눈이 접근할 수 있는 전체 밝기 범위를 캡처할 수 있는지 여부는 오래된 뜨거운 논쟁 주제입니다. 어떤 사람들은 눈이 최대 25개의 f-스톱을 볼 수 있기 때문에 아니라고 말합니다. 반면에 최고 풀프레임 매트릭스에서도 최대 14개를 얻을 수 있습니다. 다른 사람들은 비교가 틀렸다고 말합니다. 왜냐하면 뇌가 자동으로 조정하여 눈을 돕기 때문입니다. 눈의 동적 범위는 실제로 10-14 f-스톱에 불과합니다. 이 논쟁은 인터넷상의 최고의 안락의자 사상가들에게 맡기겠습니다.

사실은 여전히 ​​남아 있습니다. 모바일 카메라에서 HDR 없이 밝은 하늘을 배경으로 친구를 촬영하면 평범한 하늘과 친구의 검은 얼굴 또는 잘 그려진 친구를 얻을 수 있지만 하늘은 그을려 죽어있습니다.

HDR(High Dynamic Range)을 사용하여 밝기 범위를 확장하는 솔루션이 오랫동안 개발되었습니다. 서로 다른 셔터 속도로 여러 프레임을 촬영하고 함께 연결해야 합니다. 하나는 "정상"이고 두 번째는 더 밝고 세 번째는 더 어둡습니다. 우리는 밝은 프레임에서 어두운 곳을 취하고, 어두운 곳에서 과다 노출을 채워 이익을 얻습니다. 남은 것은 자동 브라케팅 문제를 해결하는 것입니다. 즉, 과용하지 않도록 각 프레임의 노출을 얼마나 이동해야 하는지, 이제 기술 대학의 2학년 학생이 사진의 평균 밝기를 결정할 수 있습니다.

최신 iPhone, Pixel 및 Galaxy에서는 일반적으로 카메라 내부의 간단한 알고리즘이 화창한 날 대비가 있는 무언가를 촬영하고 있다고 판단하면 HDR 모드가 자동으로 켜집니다. 노출이 변경된 프레임을 저장하기 위해 전화기가 녹음 모드를 버퍼로 전환하는 방법도 확인할 수 있습니다. 카메라의 fps가 떨어지고 사진 자체가 더 맛있어집니다. 야외에서 촬영할 때 iPhone X에서는 전환 순간이 선명하게 보입니다. 다음번에도 스마트폰을 자세히 살펴보세요.

노출 브라케팅을 사용하는 HDR의 단점은 조명이 좋지 않을 때 뚫을 수 없는 무력함입니다. 방 램프의 빛이 있어도 프레임이 너무 어두워서 컴퓨터가 프레임을 정렬하고 연결할 수 없습니다. 빛의 문제를 해결하기 위해 Google은 2013년 당시 출시된 Nexus 스마트폰에서 HDR에 대한 다른 접근 방식을 선보였습니다. 그는 시간 쌓기를 사용했습니다.

⇡#타임 스태킹 - 장시간 노출 시뮬레이션 및 타임랩스

타임 스태킹을 사용하면 일련의 짧은 노출을 사용하여 긴 노출을 만들 수 있습니다. 선구자들은 밤하늘의 별궤적을 찍는 팬이었는데, 한 번에 2시간 동안 셔터를 열어야 하는 게 불편했던 이들이었다. 모든 설정을 미리 계산하는 것이 너무 어려웠고 조금만 흔들려도 전체 프레임이 망가질 수 있었습니다. 그들은 몇 분 동안만 셔터를 열기로 결정했지만 여러 번 집에 가서 결과 프레임을 Photoshop에 붙여넣었습니다.

실제로 카메라가 긴 셔터 속도로 촬영한 적은 없지만, 연속으로 촬영한 여러 프레임을 합산하여 시뮬레이션하는 효과를 얻었습니다. 오랫동안 이 트릭을 사용하는 스마트폰용 앱이 많이 작성되었지만 이 기능이 거의 모든 표준 카메라에 추가되었기 때문에 모두 필요하지 않습니다. 오늘날에는 iPhone에서도 Live Photo의 장노출 사진을 쉽게 결합할 수 있습니다.

야간 HDR에 대해 Google로 돌아가 보겠습니다. 시간 브라케팅을 사용하면 어둠 속에서도 좋은 HDR을 구현할 수 있다는 것이 밝혀졌습니다. 이 기술은 Nexus 5에 처음 등장했으며 HDR+라고 불렸습니다. 나머지 안드로이드폰들은 마치 선물처럼 받았습니다. 이 기술은 최신 Pixels 발표에서도 칭찬을 받을 정도로 여전히 인기가 높습니다.

HDR+는 매우 간단하게 작동합니다. 어둠 속에서 촬영하고 있다고 판단되면 카메라는 버퍼에서 마지막 8-15장의 RAW 사진을 언로드하여 서로 오버레이합니다. 따라서 알고리즘은 프레임의 어두운 영역에 대한 더 많은 정보를 수집하여 노이즈를 최소화합니다. 어떤 이유로 카메라가 모든 정보를 수집할 수 없어 잘못된 픽셀이 발생합니다.

마치 카피바라가 어떻게 생겼는지 모르는 상태에서 5명에게 설명을 요청하면 그들의 이야기는 대략 비슷하지만 각자 독특한 세부 사항을 언급하는 것과 같습니다. 이렇게 하면 단순히 질문하는 것보다 더 많은 정보를 수집할 수 있습니다. 픽셀도 마찬가지입니다.

한 지점에서 촬영한 프레임을 추가하면 위의 별과 동일한 가짜 장노출 효과가 나타납니다. 수십 프레임의 노출이 합산되고, 한 프레임의 오류가 다른 프레임에서 최소화됩니다. 이를 달성하기 위해 매번 DSLR 셔터를 몇 번이나 클릭해야 하는지 상상해 보십시오.

남은 것은 자동 색상 보정 문제를 해결하는 것뿐이었습니다. 어둠 속에서 촬영한 프레임은 일반적으로 노란색이나 녹색으로 나타나며 우리는 일광의 풍부함을 원합니다. HDR+의 초기 버전에서는 Instagram 필터처럼 설정을 간단히 조정하여 이 문제를 해결했습니다. 그런 다음 그들은 신경망에 도움을 요청했습니다.

이것이 바로 Pixel 2와 3의 "야간 사진" 기술인 Night Sight가 나타난 방식입니다. 설명에서 그들은 "HDR+ 위에 구축된 기계 학습 기술로 Night Sight가 작동하도록 합니다."라고 말합니다. 본질적으로 이는 색상 보정 단계의 자동화입니다. 기계는 어둡고 비뚤어진 사진 세트에서 하나의 아름다운 사진을 만들기 위해 "이전" 및 "이후" 사진 데이터 세트로 훈련되었습니다.

그런데 데이터 세트가 공개적으로 제공되었습니다. 아마도 Apple 직원들이 이를 받아들여 마침내 유리삽으로 어둠 속에서 사진을 제대로 찍는 방법을 가르칠 수도 있습니다.

또한 Night Sight는 프레임 내 객체의 모션 벡터 계산을 사용하여 긴 셔터 속도에서 발생하는 흐림 현상을 표준화합니다. 따라서 스마트폰은 다른 프레임에서 투명 부품을 가져와서 붙일 수 있습니다.

⇡#모션 스태킹 - 파노라마, 슈퍼줌 및 소음 감소

파노라마는 농촌 지역 주민들에게 인기 있는 엔터테인먼트입니다. 역사는 소시지 사진이 작성자 이외의 다른 사람의 관심을 끌 수 있는 사례에 대해 아직 알지 못하지만 무시할 수는 없습니다. 많은 경우 소시지 사진이 처음부터 쌓이기 시작한 곳입니다.

파노라마를 사용하는 첫 번째 유용한 방법은 여러 프레임을 연결하여 카메라 매트릭스가 허용하는 것보다 더 높은 해상도의 사진을 얻는 것입니다. 사진 작가들은 소위 초고해상도 사진(약간 이동된 사진이 픽셀 사이에서 서로를 보완하는 것처럼 보이는 경우)을 위해 오랫동안 다른 소프트웨어를 사용해 왔습니다. 이렇게 하면 최소 수백 기가픽셀의 이미지를 얻을 수 있으며, 이는 집 크기의 광고 포스터에 인쇄해야 하는 경우 매우 유용합니다.

또 다른 더 흥미로운 접근 방식은 Pixel Shifting입니다. Sony 및 Olympus와 같은 일부 미러리스 카메라는 2014년부터 이를 지원하기 시작했지만 여전히 결과를 손으로 접착해야 했습니다. 전형적인 대형 카메라 혁신.

스마트폰이 여기서 성공하는 데에는 재미있는 이유가 있습니다. 사진을 찍을 때 손이 흔들리는 것입니다. 이 겉보기 문제는 스마트폰에서 기본 초해상도 구현의 기초를 형성했습니다.

이것이 어떻게 작동하는지 이해하려면 카메라의 매트릭스가 어떻게 구성되어 있는지 기억해야 합니다. 각 픽셀(포토다이오드)은 빛의 강도, 즉 들어오는 광자의 수만 기록할 수 있습니다. 그러나 픽셀은 색상(파장)을 측정할 수 없습니다. RGB 사진을 얻으려면 여기에도 목발을 추가해야 했습니다. 전체 매트릭스를 여러 색상의 유리 조각 그리드로 덮어야 했습니다. 가장 널리 사용되는 구현은 Bayer 필터라고 하며 오늘날 대부분의 행렬에서 사용됩니다. 아래 그림과 같습니다.

나머지 광자는 바이어 필터에 의해 무자비하게 반사되기 때문에 매트릭스의 각 픽셀은 R, G 또는 B 구성 요소만 포착하는 것으로 나타났습니다. 인접한 픽셀의 값을 퉁명스럽게 평균화하여 누락된 구성 요소를 인식합니다.

바이엘 필터에는 더 많은 녹색 셀이 있습니다. 이는 인간의 눈과 유사하게 수행되었습니다. 매트릭스의 50천만 픽셀 중 녹색은 25만 개, 빨간색과 파란색은 각각 12,5만 개를 캡처하고 나머지는 평균화됩니다. 이 프로세스를 디베이어화 또는 디모자이크라고 하며 이는 정말 우스꽝스러운 버팀목입니다. 모든 것이 쉬는 곳.

실제로 각 매트릭스에는 특허를 받은 자체 디모자이킹 알고리즘이 있지만 이 이야기의 목적상 이를 무시하겠습니다.

Foveon과 같은 다른 유형의 매트릭스는 아직 인기를 끌지 못했습니다. 일부 제조업체에서는 선명도와 동적 범위를 향상시키기 위해 베이어 필터 없이 센서를 사용하려고 시도하고 있습니다.

빛이 거의 없거나 물체의 세부 사항이 매우 작은 경우 바이어 필터가 원하지 않는 파장의 광자를 노골적으로 차단하기 때문에 많은 정보를 잃게 됩니다. 이것이 바로 그들이 픽셀 이동(Pixel Shifting)을 생각해낸 이유입니다. 매트릭스를 상하 좌우로 1픽셀씩 이동하여 모든 것을 포착하는 것입니다. 이 경우 사진은 4배 더 커지지 않습니다. 프로세서는 단순히 이 데이터를 사용하여 각 픽셀의 값을 더 정확하게 기록합니다. 말하자면 이웃에 대한 평균이 아니라 그 자체의 네 가지 가치에 대한 평균입니다.

휴대폰으로 사진을 찍을 때 손을 흔드는 것은 이 과정을 자연스러운 결과로 만듭니다. Google Pixel의 최신 버전에서는 이 기능이 구현되어 휴대폰에서 확대/축소를 사용할 때마다 켜집니다. 이를 Super Res Zoom이라고 합니다(예, 무자비한 이름도 마음에 듭니다). 중국인도 그것을 라오폰에 복사했지만 결과는 조금 더 나빴습니다.

약간 이동된 사진을 서로 겹쳐 놓으면 각 픽셀의 색상에 대한 더 많은 정보를 수집할 수 있습니다. 이는 매트릭스의 물리적 메가픽셀 수를 늘리지 않고도 노이즈를 줄이고 선명도를 높이며 해상도를 높이는 것을 의미합니다. 최신 Android 플래그십은 사용자가 생각지도 못한 채 자동으로 이 작업을 수행합니다.

⇡#포커스 스태킹 - 피사계 심도에 상관없이 후반 작업 시 초점 재조정 가능

이 방법은 얕은 피사계 심도가 항상 문제였던 매크로 사진에서 비롯되었습니다. 전체 물체에 초점을 맞추려면 초점을 앞뒤로 이동하면서 여러 프레임을 촬영한 다음 이를 하나의 선명한 프레임으로 연결해야 했습니다. 풍경 사진가들도 같은 방법을 자주 사용하여 전경과 배경을 설사처럼 선명하게 만들었습니다.

별다른 과대 광고는 없었지만 이 모든 것이 스마트폰으로 옮겨졌습니다. 2013년에는 "Refocus App"이 포함된 Nokia Lumia 1020이 출시되었고, 2014년에는 "Selective Focus" 모드가 포함된 Samsung Galaxy S5가 출시되었습니다. 그들은 동일한 구성에 따라 작업했습니다. 버튼을 눌러 신속하게 3장의 사진을 찍었습니다. 하나는 "일반" 초점으로, 두 번째는 초점을 앞으로 이동하고, 세 번째는 초점을 뒤로 이동했습니다. 이 프로그램은 프레임을 정렬하고 그 중 하나를 선택할 수 있게 해 주었는데, 이는 후반 작업에서 "실제" 초점 제어라고 선전되었습니다.

이 간단한 해킹만으로도 정직한 재초점을 통해 Lytro와 그 동료들의 뚜껑에 또 다른 못을 박기에 충분했기 때문에 더 이상 처리가 필요하지 않았습니다. 그건 그렇고, 그들에 대해 이야기합시다 (전환 마스터 80 레벨).

⇡#계산 행렬 - 라이트 필드 및 플렌옵틱스

위에서 이해했듯이 우리 매트릭스는 목발에 대한 공포입니다. 우리는 그것에 익숙해졌고 그것과 함께 살려고 노력하고 있습니다. 그들의 구조는 태초부터 거의 변하지 않았습니다. 우리는 기술적 프로세스만을 개선했습니다. 픽셀 사이의 거리를 줄이고, 간섭 노이즈에 맞서 싸우고, 위상 감지 자동 초점을 위한 특수 픽셀을 추가했습니다. 그러나 가장 비싼 DSLR을 가지고 실내 조명 아래에서 달리는 고양이를 촬영하려고 하면 가볍게 말하면 고양이가 승리할 것입니다.

우리는 오랫동안 더 나은 것을 발명하려고 노력해 왔습니다. 이 분야에 대한 많은 시도와 연구는 "계산 센서" 또는 "비바이어 센서"로 검색되며 위의 픽셀 이동 예제조차도 계산을 사용하여 행렬을 개선하려는 시도에 기인할 수 있습니다. 그러나 지난 20년 동안 가장 유망한 이야기는 바로 소위 플렌옵틱 카메라의 세계에서 우리에게 전해졌습니다.

다가오는 복잡한 단어에 대한 기대로 잠들지 않도록 최신 Google Pixel의 카메라는 "약간"플렌옵틱이라는 내부 정보를 알려드리겠습니다. 단 2개의 픽셀이지만 다른 사람들처럼 두 번째 카메라 없이도 프레임의 정확한 광학 깊이를 계산할 수 있습니다.

Plenoptics는 아직 발사되지 않은 강력한 무기입니다. 다음은 제가 가장 좋아하는 최근 항목 중 하나에 대한 링크입니다. 플렌옵틱 카메라의 성능과 이를 통한 우리의 미래에 대한 기사, 여기서 예제를 빌렸습니다.

⇡#

Plenoptic 카메라 - 출시 예정

1994년에 발명되었고 2004년에 스탠포드에서 수집되었습니다. 최초의 소비자용 카메라인 Lytro는 2012년에 출시되었습니다. 현재 VR 업계에서는 유사한 기술을 적극적으로 실험하고 있습니다.

플렌옵틱 카메라는 기존 카메라와 단 한 가지 수정 사항만 다릅니다. 매트릭스는 렌즈 그리드로 덮여 있으며 각 렌즈는 여러 개의 실제 픽셀을 포함합니다. 이 같은:

그리드에서 매트릭스까지의 거리와 조리개 크기를 올바르게 계산하면 최종 이미지에는 원본 이미지의 일종의 미니 버전인 선명한 픽셀 클러스터가 표시됩니다.

예를 들어 각 클러스터에서 하나의 중앙 픽셀을 가져와 이를 사용하여 이미지를 서로 붙이면 일반 카메라로 촬영한 것과 다르지 않습니다. 예, 해상도가 약간 떨어졌지만 소니에 새 매트릭스에 메가픽셀을 더 추가하도록 요청할 것입니다.

재미는 이제 막 시작되었습니다. 각 클러스터에서 다른 픽셀을 가져와 사진을 다시 연결하면 마치 한 픽셀만 이동하여 찍은 것처럼 일반 사진을 다시 얻을 수 있습니다. 따라서 10 × 10 픽셀 클러스터를 사용하면 "약간" 다른 지점에서 개체의 100개 이미지를 얻을 수 있습니다.

클러스터 크기가 클수록 이미지는 많아지지만 해상도는 낮아집니다. 41 메가픽셀 매트릭스를 갖춘 스마트폰의 세계에서는 해상도를 약간 무시할 수 있지만 모든 것에 한계가 있습니다. 균형을 유지해야 합니다.

좋습니다. 우리는 플렌옵틱 카메라를 조립했습니다. 그러면 이것이 우리에게 무엇을 제공합니까?

정직한 재집중

Lytro에 대한 기사에서 모든 언론인들이 화제를 모은 기능은 후반 작업에서 초점을 정직하게 조정하는 능력이었습니다. 공평하게 말하면 디블러링 알고리즘을 사용하지 않고 현재 픽셀만 사용하여 필요한 순서대로 클러스터에서 픽셀을 선택하거나 평균화한다는 의미입니다.

플렌옵틱 카메라의 RAW 사진은 이상하게 보입니다. 평소의 날카로운 지프를 꺼내려면 먼저 조립해야 합니다. 이렇게 하려면 RAW 클러스터 중 하나에서 지프의 각 픽셀을 선택해야 합니다. 어떻게 선택하느냐에 따라 결과는 달라집니다.

예를 들어, 클러스터가 원래 빔의 입사점에서 멀어질수록 이 빔의 초점이 더 맞지 않게 됩니다. 왜냐하면 광학 때문입니다. 초점이 이동된 이미지를 얻으려면 원본 이미지로부터 원하는 거리(더 가깝거나 더 먼)에 있는 픽셀을 선택하면 됩니다.

 

초점을 자신쪽으로 옮기는 것이 더 어려웠습니다. 순전히 물리적으로 클러스터에 이러한 픽셀이 더 적었습니다. 처음에 개발자들은 사용자에게 손으로 초점을 맞출 수 있는 기능을 제공하고 싶지 않았습니다. 카메라 자체가 소프트웨어에서 이를 결정했습니다. 사용자는 이러한 미래를 좋아하지 않았기 때문에 최신 펌웨어에 "크리에이티브 모드"라는 기능을 추가했지만 바로 이러한 이유로 초점을 다시 맞추는 것이 매우 제한되었습니다.

하나의 카메라로 심도 맵과 3D 구현   

플렌옵틱스의 가장 간단한 작업 중 하나는 깊이 맵을 얻는 것입니다. 이렇게 하려면 서로 다른 두 개의 프레임을 수집하고 그 안에 있는 개체가 얼마나 이동했는지 계산하면 됩니다. 더 많이 이동한다는 것은 카메라에서 더 멀어진다는 것을 의미합니다.

Google은 최근 Lytro를 인수하고 종료했지만 VR 및 Pixel 카메라에 해당 기술을 사용했습니다. Pixel 2부터 카메라는 단 XNUMX개의 픽셀 클러스터에도 불구하고 처음으로 "약간" 플렌옵틱이 되었습니다. 이로 인해 Google은 다른 모든 카메라와 마찬가지로 두 번째 카메라를 설치하지 않고 하나의 사진에서만 깊이 맵을 계산할 수 있는 기회를 얻었습니다.

깊이 맵은 하나의 서브픽셀만큼 이동된 두 프레임을 사용하여 구축됩니다. 이는 이진 깊이 맵을 계산하고 전경을 배경에서 분리하고 현재 유행하는 보케에서 후자를 흐리게 하는 데 충분합니다. 이러한 계층화의 결과는 깊이 맵을 개선하도록(많은 사람들이 생각하는 것처럼 흐려지지 않도록) 훈련된 신경망에 의해 부드럽게 처리되고 "개선"됩니다.

비결은 우리가 스마트폰에 플렌옵틱스를 거의 무료로 제공한다는 것입니다. 우리는 광속을 증가시키기 위해 이미 이 작은 매트릭스에 렌즈를 장착했습니다. 다음 Pixel에서 Google은 더 나아가 4개의 포토다이오드를 렌즈로 덮을 계획입니다.

출처 : 3dnews.ru