컴퓨터 비전 여름 캠프 – 컴퓨터 비전에 관한 인텔 여름 학교

3월 16일부터 100월 XNUMX일까지 Nizhny Novgorod State University에서 진행됩니다. N.I. Lobachevsky는 컴퓨터 비전에 관한 인텔 대학 간 여름 학교 - 컴퓨터 비전 여름 캠프를 주최했으며 XNUMX명 이상의 학생이 참여했습니다. 이 학교는 컴퓨터 비전, 딥 러닝, 신경망, Intel OpenVINO, OpenCV에 관심이 있는 니즈니 노브고로드 대학의 기술 학생들을 대상으로 했습니다.

이 기사에서는 학교 선택이 어떻게 이루어졌는지, 무엇을 공부했는지, 학생들이 실제 부분에서 무엇을 했는지 공유하고, 방어에서 발표된 일부 프로젝트에 대해서도 이야기합니다.

선발과정 및 참여 형태

우리는 아이들에게 풀타임과 파트타임이라는 두 가지 형태의 교육을 신청할 수 있는 선택권을 주기로 결정했습니다. 시간제 및 시간제 과정의 경우 학생들은 선발을 거치지 않고 즉시 등록되었습니다. 그들은 평일 오전에만 강의에 참석했다. 아이들은 또한 실용적인 과제를 완수하고 이를 학교로 보낼 수 있는 기회를 가졌습니다. GitHub의 선생님의 테스트를 위해.

정규 시험에 응시하려면 위원회와의 인터뷰를 위해 인텔 사무실로 와야 했습니다. 파트타임 및 파트타임 형태와의 차이점은 강의 외에도 캠프 참가자들이 큐레이터(UNN 교사 및 인텔 엔지니어)와 함께 실무 작업을 수행했다는 점입니다. 두 번째 주에는 실습 과제가 끝나고 프로젝트가 시작되었으며, 참가자들은 3명이 한 조로 작업했습니다.

인터뷰 동안 학생들은 수학과 프로그래밍에 대한 질문을 받았고, 그 자리에서 풀어야 할 문제도 제시받았다. 위원회가 소프트웨어 엔지니어, 알고리즘 엔지니어, 대학 교사로 구성되었다는 점은 주목할 가치가 있습니다. N.I. Lobachevsky, 그래서 인터뷰는 다각적이고 특별한 것으로 판명되었습니다. 면접관 입장에서는 컴퓨터 비전과 관련된 학생들의 기초적인 기술 지식을 알아내는 것이 흥미로웠기 때문에 C++/STL, OOP, 기본 알고리즘 및 데이터 구조, 선형 대수학, 수학적 분석, 이산 수학 및 훨씬 더 많은 질문을 받았습니다. 과제 중 학생들의 추론을 찾는 것이 우선이었다. 위원회는 또한 그들이 어디서 공부했는지, 이 학교 이전에 어떤 경험(예: 과학 활동)을 가졌는지, 그리고 그것이 컴퓨터 비전 분야에 어떻게 직접 적용될 수 있는지에도 관심이 있었습니다.

풀타임 선발에는 총 78명의 학생이 참가했으며, 풀타임 자리는 24명이었고, 대회는 자리당 3명씩 진행됐다. 참가자에 대한 통계와 풀타임과 파트타임 참여 형태의 시각적 차이는 아래 표에서 확인할 수 있습니다.

친구들은 2주 동안 무엇을 했나요?

학생들은 컴퓨터 비전의 주요 작업인 이미지 분류, 객체 감지 및 추적에 대한 이론과 실습을 접했습니다. 각 주제에 대한 강의 구성 요소에는 일반적으로 컴퓨터 비전 문제를 해결하기 위한 고전적 방법과 기계 학습 및 신경망을 사용하여 해결하는 현대적인 방법의 개발에 대한 역사적 소풍이 포함되었습니다. 이론에 이어 실습이 이어졌습니다. 학생들은 인기 있는 신경망 모델을 다운로드하고 OpenCV 라이브러리의 DNN 모듈을 사용하여 실행하여 맞춤형 애플리케이션을 만들었습니다.

모든 강의의 프리젠테이션은 공개 저장소에 게시되었습니다. 깃허브, 방과후를 포함하여 학생들이 항상 필요한 정보를 열고 볼 수 있도록 합니다. 강사, 실무 교사, 인텔 엔지니어와 라이브 및 Gitter 채팅을 통해 소통할 수 있었습니다. 프로젝트 주간의 시기도 성공적인 것으로 나타났습니다. 수요일에 시작되어 강의 없이 주말을 유용하게 보낼 수 있었고 팀 결정이 향상되었습니다. 가장 책임감 있는 참가자들은 토요일의 절반을 인텔 사무실에서 보냈고, 그 보상으로 같은 날 예정되지 않은 견학을 받았습니다.

프로젝트 방어는 어땠나요?

각 팀에는 10분간 프로젝트 동안 무엇을 했는지, 어떤 결과를 얻었는지 이야기하는 시간이 주어졌습니다. 이 시간이 지난 후 5분이 시작되었고, 그 동안 회사의 엔지니어들은 직원들에게 질문을 하고 프로젝트를 개선하거나 향후 기존 실수를 방지하는 데 도움이 되는 작은 팁을 제공했습니다. 각 사람들은 컴퓨터 비전 분야에 대한 지식을 입증하고 프로젝트 생성에 대한 기여를 확인하면서 연사로 활동했으며 이는 학교의 각 참가자에 대해 고려하고 결론을 내리는 데 도움이 되었습니다. 방어는 3시간 넘게 진행됐지만 우리는 선수들을 돌보고 짧은 커피 브레이크로 긴장을 완화했고, 선수들은 숨을 쉬며 인텔의 주요 전문가들과 문제를 논의할 수 있었습니다.

결국 우리는 XNUMX등 XNUMX명, XNUMX등 XNUMX명, XNUMX등 XNUMX명을 수상했습니다. 각 팀, 각 프로젝트마다 고유한 풍미가 있고 프레젠테이션의 독창성이 구별되었기 때문에 선택하기가 상당히 어려웠습니다.

풀타임 CV 캠프 참가자, 프로젝트 방어, 니즈니노브고로드 인텔 사무소

발표된 프로젝트

스마트장갑

우주에서의 시각적 탐색을 위해 OpenCV를 사용하는 탐지기와 추적기를 사용합니다. 팀은 두 대의 카메라를 사용하여 깊이 감지 기능을 추가했습니다. Microsoft Speech API는 관리 인터페이스로 사용됩니다.

수용체

발견된 재료를 포함하여 음식을 감지하고 기성품 요리법을 선택합니다. 사람들은 작업을 두려워하지 않았고 일주일 이내에 스스로 충분한 수의 이미지를 표시하고 TensorFlow 객체 감지 API를 사용하여 감지기를 훈련하고 레시피를 찾는 로직을 추가했습니다. 간단하고 세련된!

에디터 2.0

프로젝트 참가자들은 특정 인물이 등장하는 긴 영상에서 단편을 검색하는 작업의 일환으로 얼굴 인식을 위한 일련의 신경망(얼굴 검색, 핵심 포인트에 따른 얼굴 이미지 정규화, 얼굴 이미지 설명자 계산)을 사용했습니다. 현재의. 개발된 시스템은 영상 편집을 위한 보조 시스템으로 사용될 수 있어 필요한 부분을 찾기 위해 영상을 직접 시청할 필요가 없습니다. 신경망 사용 OpenVINO 모델 라이브러리, 팀은 애플리케이션의 빠른 속도를 달성했습니다. Intel Core i5 프로세서가 탑재된 노트북에서 비디오 처리 속도는 초당 58프레임이었습니다.

익명화

사람의 얼굴에 안경과 마스크를 그립니다. MTCNN 네트워크는 얼굴과 핵심 포인트를 탐지하는 데 사용되었습니다.

익명

신원을 은폐하는 주제에 관한 또 다른 흥미로운 작업입니다. 이 팀은 얼굴을 왜곡하기 위한 몇 가지 옵션인 흐림 및 픽셀화를 도입했습니다. 일주일 만에 사람들은 작업을 알아냈을 뿐만 아니라 특정 사람을 익명화하는 모드(얼굴 인식 포함)도 제공했습니다.

예열

워밍업 프로젝트 팀은 머리 기울이기 운동을 위한 스포츠 보조자를 만드는 문제를 해결했습니다. 그리고 이 애플리케이션의 최종 적용이 여전히 논란의 여지가 있더라도 Haar 캐스케이드, TensorFlow의 네트워크, OpenCV 및 OpenVINO 등 다양한 얼굴 감지 알고리즘을 비교하는 포괄적인 연구가 수행되었습니다. 육체적으로뿐만 아니라 정신적으로도 워밍업했습니다!

낮은 800

학교가 설립된 도시인 니즈니노브고로드는 2년 안에 800주년을 맞이하게 되는데, 이는 흥미로운 프로젝트를 실행할 시간이 충분하다는 것을 의미합니다. 우리는 아이들에게 건물 외관의 이미지를 기반으로 이미지에 어떤 종류의 물체가 표시되고 그에 대해 어떤 사실이 알려져 있는지에 대한 정보를 제공할 수 있는 가이드를 만드는 작업에 대해 생각해 보라고 요청했습니다. 우리 의견으로는 이 작업이 고전적인 컴퓨터 비전과 관련되어 있기 때문에 가장 어려운 작업 중 하나였지만 팀은 괜찮은 결과를 보여주었습니다.

가위 바위 보

디자인 작업을 완료하기 위한 엄격한 시간 제약에도 불구하고 이 팀은 잘 알려진 게임에서 손 위치를 분류하기 위해 자체 신경망을 훈련하는 실험을 수행하는 것을 두려워하지 않았습니다.

참가자 피드백

우리는 다양한 코스의 학생들에게 여름 학교에 대한 인상을 공유하도록 요청했습니다.

저는 최근 운 좋게도 인텔 컴퓨터 비전 여름 캠프에 참가할 수 있었고 정말 멋진 경험이었습니다. 우리는 CV, 소프트웨어 설치, 디버깅 분야에서 많은 새로운 지식과 기술을 얻었으며 작업 환경에 몰입하여 실제 문제에 직면했으며 동료 및 학교 교사와 가능한 해결책에 대해 논의했습니다. 컴퓨터와의 통신만으로 구성됩니다. 그러나 이것은 전혀 사실이 아니다. 우리의 창의적인 작업은 사람들과의 소통과 불가분의 관계에 있습니다. 독특한 지식을 얻을 수 있었던 것은 의사소통을 통해서였습니다. 그리고 저는 학교에서 이 부분을 가장 좋아했습니다. 하지만 한 가지 단점이 있었는데... 훈련을 마친 후에도 계속하고 싶었어요! DL의 이론적 지식과 CV의 실무 기술 외에도 수학의 어떤 영역에 특별한 관심을 기울여야 하며 어떤 기술을 연구해야 하는지에 대한 아이디어를 얻었습니다. 인텔 엔지니어와 연구원들의 헌신, 전문성, 작업에 대한 사랑은 제가 IT 분야에서 선택한 방향에 영향을 미쳤습니다. 이를 위해 학교의 모든 주최자에게 감사를 표하고 싶습니다.

크리스티나, HSE 1학년

짧은 시간 동안 학교는 컴퓨터 비전 주제에 대해 최대한의 정보와 실습을 제공할 수 있었습니다. 그리고 기초지식을 중심으로 강의가 진행되었음에도 불구하고 이해하고 싶고 공부에 더 많은 시간을 할애하고 싶은 기술적인 내용이 많이 포함되어 있었습니다. 학교의 멘토와 강사들은 모든 질문에 열정적으로 답변하고 학생들과 소통했습니다. 글쎄, 최종 프로젝트를 완료하는 동안 나는 완성된 애플리케이션을 개발하는 정글에 뛰어들어야 했고, 공부할 때 항상 발생하지 않는 어려움에 직면해야 했습니다. 우리 팀은 결국 컴퓨터로 가위바위보 게임을 할 수 있는 애플리케이션을 만들었습니다. 우리는 웹캠에서 인물을 인식하도록 모델을 훈련하고, 논리를 작성하고, opencv 프레임워크를 기반으로 인터페이스를 만들었습니다. 학교는 생각의 양식과 후속 학습 및 발전을 위한 벡터를 제공했습니다. 참여하게 되어 매우 기쁩니다.

UNN 세르게이 3학년

학교는 내 기대에 부응하지 못했습니다. 강의는 인텔 개발자 중 꽤 경험이 많은 사람들이 진행했습니다. 강사와의 의사소통은 항상 흥미롭고 유용했으며 멘토는 반응이 좋고 항상 도움을 줄 준비가 되어 있습니다. 강의는 듣기에 즐겁고 주제는 매우 관련성이 있고 유익합니다. 하지만 나는 이미 몇 가지를 알고 있었고, 내가 모르는 것들은 어떤 식으로든 실천으로 뒷받침되지 않았기 때문에 정말 좋은 자료를 완전히 이해하고 연구하지 못했습니다. 예, 대부분의 정보는 정보 제공의 목적으로 제공되므로 집에서 시험해 보거나 내용을 알 수 있습니다. 하지만 저는 여전히 기존 알고리즘 중 일부를 자체적으로 구현하고 싶었습니다. 어떤 일이 발생하면 좋은 조언이나 도움을 줄 수 있는 경험 많은 교사의 감독이 효과가 없습니다. 결과적으로 실제로는 기성 솔루션이 사용되었으며 코드는 우리를 위해 미리 작성되었으므로 약간만 수정하면 되었습니다. 프로젝트는 가장 간단했으며 어떤 식으로든 작업을 복잡하게 만들려고 하면 우리처럼 어느 정도 안정적인 상태로 구현할 시간이 충분하지 않습니다.
일반적으로 학교 전체는 그다지 진지하지 않은 개발자 게임처럼 보이며 이것이 바로 실제적인 부분의 잘못입니다. 나는 학교에 보내는 시간을 늘리고 연습 자료를 복잡하게 만들어 실제로 복잡하고 필요한 것을 직접 쓸 수 있고 기성품을 사용하지 않고 연습을 더 원활하게 만들 수 있도록해야한다고 생각합니다. 복잡하지 않기 때문에 대회 프로젝트 주제는 첫날에 제공되어야 강의 및 실습 자료를 프로젝트에 즉시 사용할 수 있고 구현에 더 많은 시간을 할애할 수 있습니다. 그러면 학교에서 보낸 시간은 야심찬 전문가들에게 좋은 경험이 될 것입니다.

Dmitry, NSTU 석사 1년차

인텔의 여름 학교는 이번 여름을 여러분이 좋아하는 일을 하면서 보낼 수 있는 좋은 기회였습니다. 인텔 직원들이 컴퓨터 비전 분야의 프로그래밍 관련 강의를 한다는 것 자체가 마음을 놓을 수 없었고, 때로는 힘들 때도 있지만 전체 과정을 최대한 활용하고 싶었습니다. 매일이 매우 빠르고 눈에 띄지 않게 유익하게 지나갔습니다. 내 자신의 프로젝트를 실행할 수 있는 기회를 통해 나는 훌륭한 큐레이터 및 다른 학교 참가자들과 함께 팀으로 일할 수 있었습니다. 이 XNUMX주는 흥미롭고 덧없다는 말로 간략하게 설명할 수 있습니다.

UNN 2학년 엘리자베타

가을(XNUMX월~XNUMX월)에는 Delta 교육 프로그램이 여러분을 기다립니다. 이에 대한 정보는 당사에서 확인할 수 있습니다. VKontakte 그룹. 계속 지켜봐 주시기 바랍니다!

출처 : habr.com