Computer Vision Summer Сamp – Лятно училище на Intel по компютърно зрение

От 3 юли до 16 юли в Държавния университет в Нижни Новгород. Н.И. Лобачевски беше домакин на Intel Interuniversity Summer School on Computer Vision - Computer Vision Summer Camp, в който взеха участие повече от 100 студенти. Училището беше насочено към технически студенти от университетите в Нижни Новгород, които се интересуват от компютърно зрение, дълбоко обучение, невронни мрежи, Intel OpenVINO, OpenCV.

В тази статия ще споделим как е протекъл подборът за Училището, какво са учили, какво са направили студентите в практическата част, както и ще говорим за някои от проектите, представени на защитата.

Процес на подбор и форми на участие

Решихме да дадем избор на децата да кандидатстват в две форми на обучение: редовна и задочна. За задочното и задочно обучение студентите не са преминавали подбор и са били записвани веднага. Ходеха само на лекции, през делничните дни, сутрин. Децата имаха възможност и да изпълняват практически задачи и да ги изпращат на GitHub за тестване от учители.

За да се класират за изпита на пълен работен ден, момчетата трябваше да дойдат в офиса на Intel за интервю с комисията. Разликата от задочната и задочната форма беше, че освен лекции, участниците в лагера преминаха през практически задачи с куратори - учители на UNN и инженери от Intel. През втората седмица практическите задачи приключиха и започнаха проекти, по които участниците работеха в групи от по 3 човека.

По време на интервюто на учениците бяха зададени въпроси по математика и програмиране, а също така им беше поставена задача, която трябваше да се реши на място. Струва си да се отбележи, че комисията се състоеше от софтуерни инженери, инженери по алгоритми и университетски преподаватели. Н.И. Лобачевски, така че интервюто се оказа многостранно и необикновено. От гледна точка на интервюиращия беше интересно да се разберат основните технически познания на студентите във връзка с компютърното зрение, така че теми като C++/STL, ООП, основни алгоритми и структури от данни, линейна алгебра, математически анализ, дискретна математика и бяха поискани много повече. Сред задачите приоритет беше да се разберат разсъжденията на учениците. Комисията също се интересуваше къде са учили, какъв опит имат преди това училище (например научна дейност) и как може да се приложи директно в областта на компютърното зрение.

В редовния подбор участваха общо 78 студенти, а редовните места бяха 24. Конкурсът беше по 3 студента на място. Статистика за участниците и визуални разлики между редовна и задочна форма на участие можете да видите в таблицата по-долу:

Какво направиха момчетата за 2 седмици?

Студентите се запознаха на теория и практика с основните задачи на компютърното зрение: класифициране на изображения, откриване на обекти и тяхното проследяване. Лекционният компонент за всяка тема обикновено включваше историческа екскурзия в развитието на класическите методи за решаване на проблеми с компютърното зрение и съвременните методи за решаване с помощта на машинно обучение и невронни мрежи. Теорията беше последвана от практика, където учениците изтеглиха популярни модели на невронни мрежи и ги стартираха с помощта на DNN модула на библиотеката OpenCV, създавайки персонализирано приложение.

Презентациите на всички лекции бяха публикувани в публично хранилище Github, така че учениците винаги да отварят и разглеждат необходимата информация, включително и след училище. Беше възможно да се общува с лектори, учители по практика и инженери на Intel както на живо, така и чрез чат в Gitter. Времето на седмицата на проекта също се оказа успешно: започна в сряда, което даде възможност да прекарате полезно уикенда без лекции, подобрявайки екипните решения. Най-отговорните участници прекараха половината събота в офиса на Intel, за което бяха възнаградени с непланирана екскурзия в същия ден.

Как мина защитата на проектите?

На всеки екип бяха дадени 10 минути, за да разкажат какво са направили по време на проекта и до какво са стигнали. След това време започнаха 5 минути, през които инженерите на компанията задаваха въпроси на момчетата и дадоха малки съвети, които биха им помогнали да подобрят проекта си или да предотвратят съществуващи грешки в бъдеще. Всяко от момчетата се опита като говорител, демонстрирайки знанията си в областта на компютърното зрение и потвърждавайки приноса си за създаването на проекта, което ни помогна да разгледаме и направим заключение за всеки участник в училището. Защитата продължи повече от 3 часа, но ние се погрижихме за момчетата и намалихме напрежението с кратка кафе пауза, където момчетата можеха да си поемат въздух и да обсъдят проблеми с водещи специалисти на Intel.

В края на деня присъдихме едно първо, две втори и три трети места. Изборът беше доста труден, тъй като всеки екип, всеки проект имаше свой вкус и се отличаваше с оригиналност на представяне.

Постоянни участници в CV Camp, защита на проекти, офис на Intel в Нижни Новгород

Представени проекти

Умна ръкавица

Използване на детектор и тракер с помощта на OpenCV за визуална навигация в пространството. Екипът е добавил допълнително възможност за отчитане на дълбочина с помощта на две камери. Microsoft Speech API се използва като интерфейс за управление.

Рецептор

Откриване на храна и избор на рецепта за готово ястие, включително намерените съставки. Момчетата не се уплашиха от задачата и в рамките на една седмица сами маркираха достатъчен брой изображения, обучиха детектора с помощта на TensorFlow Object Detection API и добавиха логика за намиране на рецептата. Просто и с вкус!

Редактор 2.0

Участниците в проекта използваха набор от невронни мрежи (търсене на лица, нормализиране на изображението на лицето по ключови точки, изчисляване на дескриптора на изображението на лицето) за разпознаване на лица като част от задачата за търсене на фрагменти в дълги видеоклипове, в които е определено лице настояще. Разработената система може да се използва като помощна система за редактиране на видео, освобождавайки човек от необходимостта да гледа видеото сам в търсене на необходимите фрагменти. Използване на невронни мрежи от OpenVINO моделни библиотеки, екипът успя да постигне висока скорост на приложението: на лаптоп с процесор Intel Core i5 скоростта на обработка на видео беше 58 кадъра в секунда.

Анонимизатор

Рисуване на очила и маски върху лицето на човек. Мрежата MTCNN беше използвана за откриване на лица и ключови точки.

Анонимен

Друга интересна работа по темата за прикриването на самоличността. Този екип представи няколко опции за изкривяване на лица: замъгляване и пикселизация. За една седмица момчетата не само разбраха задачата, но и предоставиха режим за анонимизиране на конкретен човек (с лицево разпознаване).

Загрейте

Екипът на проекта „Warm-up“ реши проблема със създаването на спортен асистент за упражнението за накланяне на главата. И дори ако окончателното приложение на това приложение все още е спорно, беше проведено цялостно проучване, сравняващо различни алгоритми за разпознаване на лица: каскади на Haar, мрежи от TensorFlow, OpenCV и OpenVINO. Загряхме не само физически, но и психически!

По-ниски 800

Нижни Новгород, градът, в който се проведе училището, ще навърши 2 години след 800 години, което означава, че има достатъчно време за реализиране на интересен проект. Помолихме децата да помислят върху задачата да създадат ръководство, което въз основа на изображението на фасадата на сградите да може да предостави информация за това какъв обект е показан на изображението и какви факти са известни за него. Според нас тази задача беше една от най-трудните, тъй като се отнася до класическото компютърно зрение, но екипът показа приличен резултат.

Камък ножица хартия

Въпреки строгите времеви ограничения за завършване на работата по дизайна, този екип също не се страхува да проведе експеримент, за да обучи собствената си невронна мрежа да класифицира позициите на ръцете в добре позната игра.

Обратна връзка от участниците

Помолихме ученици от различни курсове да споделят впечатленията си от Лятното училище:

Наскоро имах късмета да присъствам на летния лагер на Intel Computer Vision и това беше прекрасно изживяване. Придобихме много нови знания и умения в областта на автобиографията, инсталирането на софтуер, отстраняването на грешки, също така се потопихме в работна среда, изправихме се пред реални проблеми, обсъдихме възможните решения с колеги и учители.Съществува мит, че работата на програмист се състои единствено от комуникация с компютър. Това обаче съвсем не е така. Нашето творчество е неделимо от общуването с хората. Чрез общуването човек можеше да получи уникални знания. И този компонент от училището ми хареса най-много. Има обаче един недостатък... след като завърших обучението, исках да продължа! В допълнение към теоретичните знания в DL и практическите умения в CV, придобих представа на кои области от математиката трябва да се обърне специално внимание и кои технологии трябва да се изучават. Отдадеността, професионализмът и любовта към работата на инженерите и изследователите на Intel повлияха на избора ми на посока в ИТ. Именно за това искам да благодаря на всички организатори на училището.

Кристина, 1-ва година, HSE

За толкова кратко време училището успя да предостави максимално информация и практика по темата за компютърното зрение. И въпреки че бяха предназначени за основни познания, лекциите съдържаха много технически материали, които искате да разберете и да отделите повече време за изучаване. Менторите и преподавателите на училището с готовност отговориха на всички въпроси и общуваха с учениците. Е, докато завършвах окончателния проект, трябваше да се потопя в джунглата на разработването на готово приложение и да срещна трудности, които не винаги възникват при изучаване. Нашият екип в крайна сметка направи приложение за игра на играта „камък-ножица-хартия“ с компютър. Обучихме модел да разпознава фигура на уеб камера, написахме логика и направихме интерфейс, базиран на рамката opencv. Училището даде храна за размисъл и вектор за последващо обучение и развитие. Много се радвам, че участвах.

Сергей, 3-та година, UNN

Училището не оправда очакванията ми. Лекциите бяха изнесени от доста опитни хора от разработчиците на Intel. Комуникацията с лекторите винаги е била интересна и полезна, менторите са отзивчиви и винаги готови да помогнат.Лекциите са приятни за слушане, темите са доста актуални и информативни. Но вече знаех някои неща, а тези, които не знаех, не бяха подкрепени от практиката по никакъв начин и затова наистина добрият материал никога не беше напълно разбран и изучен от мен. Да, по-голямата част от информацията е предоставена с информационна цел, така че след това да можете да я изпробвате у дома или просто да имате представа за какво става въпрос, но все пак исках да внедря някои съществуващи алгоритми сам под наблюдението на опитни учители, които могат да дадат добър съвет или помощ, ако нещо се случи, не работи. В резултат на това на практика бяха използвани готови решения, а кодът, може да се каже, беше предварително написан за нас, трябваше само да бъде леко модифициран. Проектите бяха най-простите и ако се опитате да усложните задачата по някакъв начин, тогава нямате достатъчно време да я приложите до повече или по-малко стабилно състояние, както се случи с нас.
Като цяло цялото училище изглежда като някаква не много сериозна игра на разработчици и това е грешката именно на практическата част. Мисля, че е необходимо да се увеличи времето, прекарано в училище, да се усложни практическият материал, така че да можете и трябва да напишете нещо сами, нещо наистина сложно и необходимо, а не да използвате готови, за да направите практиката по-плавна при увеличаване сложност, темите за конкурсни проекти трябва да се дават в първите дни, за да може материалът от лекциите и практиките да се използва веднага във вашите проекти и да има повече време за реализация. Тогава времето, прекарано в училище, ще послужи като добър опит за амбициозни специалисти.

Дмитрий, 1-ва година магистърска степен, NSTU

Лятното училище от Intel беше чудесен шанс да прекараш това лято, правейки това, което обичаш. Самият факт, че лекциите бяха изнесени от служители на Intel, свързани с програмирането в областта на компютърното зрение, не ми позволи да се отпусна, исках да извлека максимума от целия процес, въпреки че понякога беше трудно. Всеки ден мина много бързо, неусетно и ползотворно. Възможността да реализирам собствен проект ми позволи да работя в екип с прекрасни куратори и други участници в училището. Тези две седмици могат да бъдат описани накратко по следния начин: интересни и мимолетни.

Елизавета, 2-ра година, UNN

През есента (октомври-ноември) ви очаква образователната програма Delta, информация за която можете да научите от нашия Групи VKontakte. Останете на линия!

Източник: www.habr.com