컴퓨터 비전의 동향. ICCV 2019 하이라이트

컴퓨터 비전의 신경망은 활발히 발전하고 있지만 아직 해결되지 않은 문제가 많습니다. 해당 분야의 트렌드를 따라가려면 Twitter에서 영향력 있는 사람들을 팔로우하고 arXiv.org에서 관련 기사를 읽으세요. 그런데 우리는 2019년 컴퓨터 비전 국제 컨퍼런스(ICCV)에 갈 기회가 있었습니다. 올해는 한국에서 개최되고 있습니다. 이제 우리가 보고 배운 것을 Habr 독자들과 공유하고 싶습니다.

Yandex에서 저희도 많이 왔어요. 자율주행차 개발자, 연구원, 서비스 부문 CV 업무를 담당하는 분들이 왔어요. 하지만 이제 우리 팀인 Machine Intelligence Laboratory(Yandex MILAB)의 약간 주관적인 관점을 제시하고 싶습니다. 다른 사람들은 아마도 자신의 각도에서 회의를 보았을 것입니다.

연구실은 무엇을 하나요?우리는 엔터테인먼트 목적의 이미지 및 음악 생성과 관련된 실험적인 프로젝트를 수행합니다. 우리는 특히 사용자의 콘텐츠를 변경할 수 있는 신경망에 관심이 있습니다. 사진의 경우 이 작업을 이미지 조작이라고 합니다. 예 YaC 2019 컨퍼런스 작업의 결과입니다.
많은 과학 컨퍼런스가 있지만 가장 흥미롭고 중요한 기술에 대한 기사가 일반적으로 게시되는 소위 A* 컨퍼런스라는 최고의 컨퍼런스가 눈에 띕니다. A* 컨퍼런스의 정확한 목록은 없습니다. 다음은 대략적이고 불완전한 목록입니다: NeurIPS(이전 NIPS), ICML, SIGIR, WWW, WSDM, KDD, ACL, CVPR, ICCV, ECCV. 마지막 세 개는 CV 주제를 전문으로 합니다.

ICCV 한눈에 보기: 포스터, 튜토리얼, 워크숍, 스탠드

이번 컨퍼런스에는 1075편의 논문이 접수됐고 7500명이 참석했으며 러시아에서 103명이 왔고 얀덱스(Yandex), 스콜텍(Skoltech), 모스크바 삼성 AI센터, 사마라대학교 직원들의 글이 있었다. 올해는 ICCV를 방문한 최고의 연구자들이 많지 않았지만, 예를 들어 항상 많은 사람들을 끌어들이는 Alexey (Alyosha) Efros는 다음과 같습니다.

통계









이러한 모든 컨퍼런스에서는 기사가 포스터 형식으로 발표됩니다(더 형식에 대해), 가장 좋은 내용도 짧은 보고서 형식으로 제공됩니다.

다음은 러시아의 작품들입니다





튜토리얼을 통해 특정 주제 영역을 자세히 알아볼 수 있으며 이는 대학 강의를 연상시킵니다. 일반적으로 특정 작품에 대해 이야기하지 않고 한 사람이 읽습니다. 멋진 튜토리얼의 예(Michael Brown, 컴퓨터 비전을 위한 색상 및 카메라 내 이미지 처리 파이프라인 이해):

반대로 워크샵에서는 기사에 대해 이야기합니다. 일반적으로 이들은 좁은 주제에 대한 작업, 학생들의 모든 최신 작업에 대한 실험실 책임자의 이야기 또는 주요 회의에 승인되지 않은 기사입니다.

후원사들은 스탠드를 들고 ICCV를 찾아옵니다. 올해는 구글, 페이스북, 아마존 등 많은 해외 ​​기업과 한국, 중국 등 수많은 스타트업이 참석했다. 특히 데이터 태깅을 전문으로 하는 스타트업이 많았다. 스탠드에서 공연이 열리고, 상품을 받고 질문을 할 수도 있습니다. 사냥을 목적으로 후원업체에서는 파티를 개최합니다. 당신이 관심이 있고 잠재적으로 인터뷰에 합격할 수 있다는 것을 채용 담당자에게 설득한다면 당신은 그 자리에 들어갈 수 있습니다. 기사를 게시했거나 발표했거나 박사 과정을 시작했거나 마치는 경우 이는 장점이지만 때로는 회사 엔지니어에게 흥미로운 질문을 하여 스탠드에서 협상할 수도 있습니다.

트렌드

컨퍼런스를 통해 CV 분야 전체를 살펴볼 수 있습니다. 특정 주제에 대한 포스터 수를 통해 해당 주제가 얼마나 뜨거운지 평가할 수 있습니다. 일부 결론은 키워드를 기반으로 스스로 제안됩니다.

제로샷, 원샷, 퓨샷, 자체 감독 및 반 감독: 오랫동안 연구한 작업에 대한 새로운 접근 방식

사람들은 데이터를 보다 효과적으로 사용하는 방법을 배우고 있습니다. 예를 들어, 재미있는 훈련 세트에 없는 동물의 표정을 생성하는 것이 가능합니다(애플리케이션에서는 여러 개의 참조 사진을 제공하여). Deep Image Prior의 아이디어가 개발되었으며 이제 GAN 네트워크를 단일 이미지로 훈련할 수 있습니다. 이에 대해서는 아래에서 설명하겠습니다. 하이라이트에서. 사전 학습(그림의 회전 각도 예측 등 정렬된 데이터를 합성할 수 있는 문제 해결)을 위해 자체 감독을 사용하거나 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터에서 동시에 학습할 수 있습니다. 이런 의미에서 이 기사는 창조의 왕관이라 할 수 있다 S4L: 자기 지도 반 지도 학습. ImageNet에 대한 사전 교육은 다음과 같습니다. 항상 그렇지는 않다. 도움이됩니다.

3D 및 360°

사진에서 대부분 해결되었던 문제(분할, 감지)는 3D 모델과 파노라마 영상에 대한 추가 연구가 필요합니다. 우리는 RGB와 RGB-D를 3D로 변환하는 방법에 대한 많은 기사를 보았습니다. 인간의 자세 추정과 같은 일부 문제는 3D 모델로 전환하면 보다 자연스럽게 해결될 수 있습니다. 그러나 메쉬, 포인트 클라우드, 복셀 또는 SDF 형태로 XNUMXD 모델을 정확하게 표현하는 방법에 대해서는 아직 합의가 이루어지지 않았습니다. 또 다른 옵션은 다음과 같습니다.

파노라마에서는 구면의 컨볼루션이 활발하게 발전하고 있습니다(참조: 정이십면체 구의 방향 인식 의미론적 분할) 프레임에서 주요 개체를 검색합니다.

자세 감지 및 사람의 움직임 예측

2D에서는 이미 포즈 감지 기능이 발전했습니다. 이제 초점은 여러 카메라 및 3D 작업으로 옮겨졌습니다. 예를 들어, Wi-Fi 신호가 인체를 통과할 때의 변화를 추적하여 벽을 통과하는 해골을 감지할 수도 있습니다.

손 키포인트 감지 분야에서 많은 작업이 이루어졌습니다. 두 사람 간의 대화 비디오를 기반으로 한 데이터 세트를 포함하여 새로운 데이터 세트가 나타났습니다. 이제 대화의 오디오나 텍스트에서 손짓을 예측할 수 있습니다! 시선 추적 작업(시선 추정)에서도 동일한 진전이 이루어졌습니다.

인간의 움직임 예측과 관련된 대규모 연구 클러스터를 식별할 수도 있습니다(예: 시공간 인페인팅을 통한 인간 동작 예측 또는 구조화된 예측은 3D 인간 동작 모델링을 지원합니다.). 이 작업은 중요하며, 저자와의 대화를 바탕으로 자율주행에서 보행자의 행동을 분석하는 데 가장 많이 사용됩니다.

사진, 영상 속 인물 조작, 가상 피팅룸

주요 추세는 해석 가능한 매개변수에 따라 얼굴 이미지를 변경하는 것입니다. 아이디어: 한 장의 사진을 기반으로 한 딥페이크, 얼굴 렌더링을 기반으로 표정 변화(퍼핏GAN), 피드포워드 - 매개변수 변경(예: 나이). 스타일 전환은 주제 제목에서 작품 적용으로 옮겨졌습니다. 가상 피팅룸은 이야기가 다르지만 거의 항상 제대로 작동하지 않습니다. 여기에 예가 있습니다 시민.

스케치/그래프에서 생성

"그리드가 이전 경험을 바탕으로 무언가를 생성하게 하라"는 아이디어의 발전은 "어떤 옵션이 우리에게 관심이 있는지 그리드를 보여주자"라는 또 다른 아이디어가 되었습니다.

SC-페간 안내된 인페인팅을 수행할 수 있습니다. 사용자는 그림의 지워진 영역에 얼굴 일부를 칠하고 완성도에 따라 복원된 그림을 얻을 수 있습니다.

ICCV에 대한 25개의 Adobe 기사 중 하나는 두 개의 GAN을 결합합니다. 하나는 사용자를 위한 스케치를 완성하고 다른 하나는 스케치에서 사실적인 이미지를 생성합니다(프로젝트 페이지).

이전에는 이미지 생성에 그래프가 필요하지 않았지만 이제는 장면에 대한 지식을 담는 그릇이 되었습니다. ICCV 결과를 바탕으로 최우수 논문 Honorable Mentions 상도 해당 기사에서 수상했습니다. 대화형 장면 생성에서 객체 속성 및 관계 지정. 일반적으로 그림에서 그래프를 생성하거나 그래프에서 그림과 텍스트를 생성하는 등 다양한 방법으로 사용할 수 있습니다.

군중의 규모를 계산하여 사람과 자동차를 재식별(!)

많은 기사가 사람을 추적하고 사람과 기계를 재식별하는 데 전념하고 있습니다. 그런데 우리를 놀라게 한 것은 군중 집계에 관한 기사가 잔뜩 중국에서 온 것이었습니다.

포스터








하지만 페이스북은 반대로 사진을 익명으로 처리합니다. 그리고 이 작업을 흥미로운 방식으로 수행합니다. 신경망을 훈련하여 독특한 세부 사항 없이 얼굴을 생성합니다. 유사하지만 얼굴 인식 시스템으로 정확하게 식별할 수 있을 만큼 유사하지는 않습니다.

적의 공격으로부터 보호

현실 세계(자율주행차, 안면인식 등)에서 컴퓨터 비전 애플리케이션이 개발되면서 그러한 시스템의 신뢰성에 대한 의문이 점점 더 커지고 있습니다. CV를 완전히 사용하려면 시스템이 적의 공격에 저항하는지 확인해야 합니다. 이것이 바로 공격 자체에 대한 보호에 대한 기사가 적지 않은 이유입니다. 네트워크 예측(돌출성 맵)을 설명하고 결과에 대한 신뢰도를 측정하는 데 많은 작업이 있었습니다.

결합된 작업

하나의 목표를 가진 대부분의 작업에서 품질을 향상할 수 있는 가능성은 사실상 소진됩니다. 품질을 더욱 향상시키기 위한 새로운 방향 중 하나는 여러 유사한 문제를 동시에 해결하도록 신경망을 가르치는 것입니다. 예:
— 동작 예측 + 광학 흐름 예측,
— 비디오 프리젠테이션 + 언어 프리젠테이션 (비디오버트),
- 초해상도 + HDR.

분할, 자세 결정, 동물 재식별에 관한 기사도 있습니다!

하이라이트

거의 모든 기사는 사전에 알려졌으며 텍스트는 arXiv.org에서 볼 수 있습니다. 따라서 Everybody Dance Now, FUNIT, Image2StyleGAN과 같은 작품의 발표는 다소 이상해 보입니다. 이는 매우 유용한 작품이지만 새로운 것은 아닙니다. 과학 출판의 고전적 과정이 여기에서 무너지고 있는 것 같습니다. 과학이 너무 빠르게 움직이고 있기 때문입니다.

최고의 작품을 결정하는 것은 매우 어렵습니다. 작품이 많고 주제가 다릅니다. 여러 기사를 받았습니다 수상 및 언급.

이것이 우리의 주제이기 때문에 이미지 조작의 관점에서 흥미로운 작품을 강조하고 싶습니다. 그들은 우리에게 매우 신선하고 흥미로운 것으로 판명되었습니다 (우리는 객관적인 척하지 않습니다).

SinGAN(우수논문상) 및 InGAN

신간: 프로젝트 페이지, arXiv, 암호.
인간: 프로젝트 페이지, arXiv, 암호.

Dmitry Ulyanov, Andrea Vedaldi 및 Victor Lempitsky의 Deep Image 사전 아이디어 개발. 데이터 세트에서 GAN을 훈련하는 대신 네트워크는 내부 통계를 기억하기 위해 동일한 그림의 조각에서 학습합니다. 훈련된 네트워크를 사용하면 사진을 편집하고 애니메이션을 적용하거나(SinGAN) 로컬 구조를 보존하면서 원본 이미지의 텍스처에서 모든 크기의 새 이미지를 생성할 수 있습니다(InGAN).

신간:

인간:

GAN이 생성할 수 없는 것 보기

프로젝트 페이지.

이미지를 생성하는 신경망은 종종 무작위 노이즈 벡터를 입력으로 사용합니다. 훈련된 네트워크에서는 많은 입력 벡터가 공간을 형성하고 작은 움직임이 그림에 작은 변화를 가져옵니다. 최적화를 사용하면 역 문제를 해결할 수 있습니다. 즉, 실제 세계의 그림에 적합한 입력 벡터를 찾습니다. 저자는 신경망에서 완전히 일치하는 그림을 찾는 것이 거의 불가능하다는 것을 보여줍니다. 그림의 일부 개체는 생성되지 않습니다(분명히 이러한 개체의 큰 변동성으로 인해).

저자는 GAN이 이미지의 전체 공간을 포괄하는 것이 아니라 치즈처럼 구멍으로 채워진 일부 하위 집합만 포괄한다고 가정합니다. 현실 세계의 사진을 찾으려고 할 때 GAN은 여전히 ​​완전히 실제 사진이 아닌 결과를 생성하기 때문에 항상 실패할 것입니다. 실제 사진과 생성된 사진의 차이는 네트워크의 가중치를 변경하는 것, 즉 특정 사진에 대해 재교육을 통해서만 극복할 수 있습니다.

네트워크가 특정 사진에 대해 추가로 학습되면 이 이미지를 사용하여 다양한 조작을 시도할 수 있습니다. 아래 예에서는 사진에 창문이 추가되었으며, 네트워크는 추가로 주방 유닛에 반사를 생성했습니다. 이는 사진에 대한 추가 교육 후에도 네트워크가 장면에 있는 개체 간의 연결을 보는 기능을 잃지 않았다는 것을 의미합니다.

GANalyze: 인지 이미지 속성의 시각적 정의를 향하여

프로젝트 페이지, arXiv.

이 작업의 접근 방식을 사용하면 신경망이 학습한 내용을 시각화하고 분석할 수 있습니다. 저자는 네트워크가 특정 예측을 생성할 그림을 생성하도록 GAN을 훈련할 것을 제안합니다. 이 기사에서는 사진 기억력을 예측하는 MemNet을 포함하여 여러 네트워크를 예로 사용했습니다. 더 나은 기억력을 위해 사진 속 물체는 다음과 같아야 합니다.

• 중앙에 더 가까워지세요
• 좀 더 둥글거나 정사각형 모양이고 구조가 단순하며,
• 균일한 배경에 있어야 하며,
• 표정이 풍부한 눈을 가지고 있어야 합니다(적어도 개 사진의 경우).
• 더 밝고, 더 포화되고, 어떤 경우에는 더 붉어집니다.

Liquid Warping GAN: 인간 동작 모방, 외관 전송 및 새로운 뷰 합성을 위한 통합 프레임워크

프로젝트 페이지, arXiv, 암호.

한 번에 한 장씩 사람들의 사진을 생성하는 파이프라인입니다. 저자는 한 사람의 움직임을 다른 사람에게 전달하고, 사람 간에 옷을 옮기고, 사람의 새로운 각도를 생성하는 성공적인 사례를 보여줍니다. 이 모든 것이 하나의 사진에서 이루어집니다. 여기서는 전작과 달리 2D의 키포인트(포즈)가 아닌, 신체의 3D 메쉬(포즈+형태)를 활용하여 조건을 만들어냈습니다. 저자는 또한 원본 이미지에서 생성된 이미지로 정보를 전송하는 방법(액체 워핑 블록)도 알아냈습니다. 결과는 괜찮아 보이지만 결과 이미지의 해상도는 256x256에 불과합니다. 비교를 위해 2년 전에 등장한 vid2048vid는 1024x10의 해상도로 생성이 가능하지만, 데이터 세트만큼 무려 XNUMX분 분량의 영상 녹화가 필요하다.

FSGAN: 주체에 구애받지 않는 얼굴 교환 및 재연

프로젝트 페이지, arXiv.

처음에는 특별한 것이 없는 것 같습니다. 즉, 다소 정상적인 품질을 지닌 딥페이크입니다. 그러나 작업의 주요 성과는 한 사진에서 얼굴을 대체하는 것입니다. 전작과 달리 특정 인물의 사진에 대한 트레이닝이 많이 필요했다. 파이프라인은 번거롭고(재현 및 분할, 뷰 보간, 인페인팅, 블렌딩) 많은 기술적인 해킹이 있는 것으로 판명되었지만 결과는 그만한 가치가 있습니다.

이미지 재합성을 통해 예상치 못한 것을 감지

arXiv.

의미론적 분할 클래스에 속하지 않는 물체가 갑자기 눈앞에 나타났다는 것을 드론이 어떻게 이해할 수 있습니까? 여러 가지 방법이 있지만 저자는 이전 알고리즘보다 더 잘 작동하는 새롭고 직관적인 알고리즘을 제안합니다. 입력된 도로 영상으로부터 의미론적 분할을 예측합니다. 이는 의미 체계 맵에서만 원본 이미지를 복원하려고 시도하는 GAN(pix2pixHD)에 입력으로 공급됩니다. 어떤 세그먼트에도 속하지 않는 이상 현상은 출력과 생성된 이미지에서 크게 다릅니다. 그런 다음 세 개의 이미지(원본, 분할 및 재구성)가 이상 현상을 예측하는 다른 네트워크에 공급됩니다. 이에 대한 데이터세트는 잘 알려진 Cityscapes 데이터세트에서 생성되었으며 의미론적 분할에서 클래스를 무작위로 변경했습니다. 흥미롭게도, 이 설정에서 개가 도로 중앙에 서 있지만 올바르게 분할되어 있는 경우(이는 해당 클래스가 있음을 의미함) 시스템이 이를 인식할 수 있었기 때문에 이상이 아닙니다.

결론

컨퍼런스에 앞서 귀하의 과학적 관심 분야가 무엇인지, 어떤 프레젠테이션에 참석하고 싶은지, 누구와 대화할 것인지를 아는 것이 중요합니다. 그러면 모든 것이 훨씬 더 생산적이 될 것입니다.

ICCV는 무엇보다도 네트워킹입니다. 당신은 최고의 연구소와 최고의 과학 부서가 있다는 것을 이해하고 이것을 이해하기 시작하고 사람들을 알아가게 됩니다. 그리고 arXiv에서 기사를 읽을 수도 있습니다. 그런데 지식을 얻기 위해 어디든 갈 필요가 없다는 점이 매우 좋습니다.

또한, 컨퍼런스에서는 평소에 가깝지 않은 주제에 대해 깊이 있게 알아보고 동향을 확인할 수 있습니다. 글쎄, 읽을 기사 목록을 작성하십시오. 학생이라면 잠재적인 교사를 만날 수 있는 기회이고, 업계 출신이라면 새로운 고용주를 만날 수 있는 기회이며, 회사라면 자신을 보여줄 수 있는 기회입니다.

구독하기 @loss_function_porn! 이것은 개인 프로젝트입니다. 우리는 함께 이 프로젝트를 이끌고 있습니다. 카르플라이. 우리는 컨퍼런스 동안 우리가 좋아했던 모든 작품을 여기에 게시했습니다: @loss_function_live.

출처 : habr.com