Computer Vision Summer Сamp – Интел летна школа за компјутерска визија

Од 3 до 16 јули на Државниот универзитет во Нижни Новгород. Н.И. Лобачевски беше домаќин на Интеруниверзитетската летна школа на Интел за компјутерска визија - летен камп за компјутерска визија, на која учествуваа повеќе од 100 студенти. Училиштето беше наменето за технички студенти од универзитетите во Нижни Новгород кои се заинтересирани за компјутерска визија, длабоко учење, невронски мрежи, Intel OpenVINO, OpenCV.

Во оваа статија ќе споделиме како се одвиваше изборот за Школата, што учеа, што правеа учениците во практичниот дел, а исто така ќе зборуваме за некои од проектите презентирани на одбраната.

Процес на селекција и форми на учество

Решивме да им дадеме на децата избор да аплицираат за две форми на образование: полно работно време и вонредно. За вонредните и вонредните курсеви, студентите не подлегнаа на селекција и веднаш беа запишани. Тие присуствуваа само на предавања, во работните денови, наутро. Децата имаа можност да завршат и практични задачи и да ги испратат на GitHub за тестирање од страна на наставниците.

За да се квалификуваат за испитот со полно работно време, момците мораа да дојдат во канцеларијата на Интел на интервју со комисијата. Разликата од вонредната и вонредната форма беше во тоа што, покрај предавањата, учесниците на кампот минуваа и практични задачи со куратори - УНН наставници и инженери од Интел. Во втората недела завршија практичните задачи и започнаа проектите на кои учесниците работеа во групи од по 3 лица.

За време на интервјуто, на учениците им беа поставени прашања за математика и програмирање, а исто така им беше даден проблем кој требаше да се реши на лице место. Вреди да се напомене дека комисијата ја сочинуваа софтверски инженери, инженери за алгоритами и универзитетски наставници. Н.И. Лобачевски, така што интервјуто се покажа како повеќеслојно и извонредно. Од гледна точка на интервјуерот, интересно беше да се дознаат основните технички знаења на студентите во однос на компјутерската визија, па така теми како C++/STL, OOP, основни алгоритми и структури на податоци, линеарна алгебра, математичка анализа, дискретна математика и беа прашани многу повеќе. Меѓу задачите, приоритет беше да се дознае расудувањето на учениците. Комисијата се интересираше и каде студирале, какво искуство имале пред ова училиште (на пример, научна дејност) и како тоа може директно да се примени во областа на компјутерската визија.

Во редовниот избор учествуваа вкупно 78 студенти, додека редовни места имаше 24. Натпреварот беше по 3 студенти по место. Статистиката за учесниците и визуелните разлики помеѓу формите на учество со полно работно време и со скратено работно време може да се видат во табелата подолу:

Што правеа момците 2 недели?

Учениците во теорија и пракса се запознаа со главните задачи на компјутерската визија: класификација на слики, детекција на предмети и нивно следење. Компонентата на предавањето за секоја тема обично вклучуваше историска екскурзија во развојот на класичните методи за решавање на проблеми со компјутерската визија и современи методи за решавање со помош на машинско учење и невронски мрежи. Теоријата беше проследена со пракса, каде што студентите преземаа популарни модели на невронски мрежи и ги лансираа користејќи го модулот DNN на библиотеката OpenCV, создавајќи прилагодена апликација.

Презентациите на сите предавања беа објавени во јавно складиште Github, за да можат учениците секогаш да ги отвораат и да ги видат потребните информации, вклучително и после училиште. Беше можно да се комуницира со предавачи, практични наставници и инженери на Интел и во живо и преку разговор на Gitter. Времето на проектната недела, исто така, се покажа успешно: започна во средата, што овозможи корисно да се помине викендот без предавања, подобрувајќи ги тимските одлуки. Најодговорните учесници половина од саботата ја поминаа во канцеларијата на Интел, за што беа наградени со непланирана екскурзија истиот ден.

Како беше одбраната на проектите?

Секој тим доби 10 минути да зборува за тоа што направил за време на проектот и до што дошле. По ова време, започнаа 5 минути, за време на кои инженерите на компанијата им поставуваа прашања на момците и даваа мали совети кои ќе им помогнат да го подобрат нивниот проект или да спречат постоечки грешки во иднина. Секој од момците се обиде како говорник, демонстрирајќи го своето знаење од областа на компјутерската визија и потврдувајќи го својот придонес во создавањето на проектот, што ни помогна да размислиме и да донесеме заклучок за секој учесник во училиштето. Одбраната траеше повеќе од 3 часа, но ние се погриживме за момците и ја намаливме тензијата со кратка пауза за кафе, каде момците можеа да земат здив и да разговараат за прашањата со водечките специјалисти на Интел.

На крајот на денот доделивме едно прво, две втори и три трети места. Беше доста тешко да се избере, бидејќи секој тим, секој проект имаше свој вкус и се одликуваше со својата оригиналност на презентација.

Учесници во кампот за CV со полно работно време, одбрана на проектот, канцеларија на Интел во Нижни Новгород

Презентирани проекти

Паметна ракавица

Користење на детектор и тракер користејќи OpenCV за визуелна навигација во вселената. Тимот дополнително додаде способност за сензори за длабочина користејќи две камери. Microsoft Speech API се користи како интерфејс за управување.

Рецептор

Откривање на храна и избор на рецепт за готово јадење, вклучувајќи ги и пронајдените состојки. Момците не се плашеа од задачата и за една недела сами обележаа доволен број слики, го тренираа детекторот користејќи го TensorFlow Object Detection API и додадоа логика за пронаоѓање на рецептот. Едноставно и вкусно!

Уредник 2.0

Учесниците во проектот користеа збир на невронски мрежи (пребарување лице, нормализација на сликата на лицето по клучни точки, пресметување на дескрипторот на сликата на лицето) за препознавање лица како дел од задачата за пребарување на фрагменти во долги видеа во кои одредена личност е присутни. Развиениот систем може да се користи како систем за помош за уредување видео, ослободувајќи го лицето од тоа да мора самиот да го гледа видеото во потрага по потребните фрагменти. Користење на невронски мрежи од Библиотеки со модели на OpenVINO, тимот успеа да постигне голема брзина на апликацијата: на лаптоп со процесор Intel Core i5, брзината на обработка на видео беше 58 фрејмови во секунда.

Анонимизатор

Цртање очила и маски на лицето на една личност. Мрежата MTCNN се користеше за откривање лица и клучни точки.

Анонимни

Уште една интересна работа на тема прикривање идентитет. Овој тим воведе неколку опции за искривување на лицата: заматување и пикселирање. За една недела, момците не само што ја сфатија задачата, туку обезбедија и режим за анонимизирање на одредена личност (со препознавање лице).

Загревајте

Тимот на проектот „Загревање“ го реши проблемот со создавање спортски асистент за вежбата за навалување на главата. И дури и ако конечната апликација на оваа апликација е сè уште контроверзна, беше спроведена сеопфатна студија во која се споредуваат различни алгоритми за откривање лица: Haar каскади, мрежи од TensorFlow, OpenCV и OpenVINO. Се загревавме не само физички, туку и психички!

Пониски 800

Нижни Новгород, градот во кој се одвиваше училиштето, за 2 години ќе наполни 800 години, што значи дека има доволно време да се спроведе интересен проект. Ги замоливме децата да размислат за задачата да создадат водич кој врз основа на сликата на фасадата на зградите ќе може да даде информации за тоа каков предмет е прикажан на сликата и кои факти се познати за него. Според наше мислење, оваа задача беше една од најтешките, бидејќи се однесува на класичната компјутерска визија, но тимот покажа пристоен резултат.

Карпести ножици за хартија

И покрај строгите временски ограничувања за завршување на дизајнерската работа, овој тим исто така не се плашеше да спроведе експеримент за да ја обучи сопствената нервна мрежа за да ги класифицира позициите на рацете во добро позната игра.

Повратни информации од учесниците

Ги замоливме студентите од различни курсеви да ги споделат своите впечатоци за Летната школа:

Неодамна имав доволно среќа да присуствувам на летниот камп на Intel Computer Vision и тоа беше прекрасно искуство. Стекнавме многу нови знаења и вештини од областа на CV, инсталација на софтвер, дебагирање, исто така бевме нурнати во работна средина, се соочивме со вистински проблеми, разговаравме за можни решенија со колегите и наставниците од училиштата.Постои мит дека работата на програмер се состои исклучиво од комуникација со компјутер. Сепак, тоа воопшто не е така. Нашата креативна работа е неразделна од комуникацијата со луѓето. Преку комуникација може да се стекне единствено знаење. И најмногу ми се допадна оваа компонента на училиштето. Сепак, има еден недостаток... по завршувањето на тренингот сакав да продолжам! Покрај теоретските знаења во DL и практичните вештини во CV, добив идеја за тоа на кои области од математиката треба да им се посвети посебно внимание и кои технологии треба да се изучуваат. Посветеноста, професионалноста и љубовта кон нивната работа на инженерите и истражувачите на Интел влијаеа на мојот избор на насока во ИТ. Токму поради тоа би сакал да им се заблагодарам на сите организатори на училиштето.

Кристина, 1 година, HSE

За толку кратко време, училиштето можеше да обезбеди максимални информации и вежбање на тема компјутерска визија. И иако беше дизајниран за основно знаење, предавањата содржеа многу технички материјал што сакате да го разберете и да поминете повеќе време на проучување. Менторите и предавачите на училиштето со нетрпение одговараа на сите прашања и комуницираа со студентите. Па, додека го завршував финалниот проект, морав да се фрлам во џунглата на развој на готова апликација и да наидам на тешкотии што не секогаш се појавуваат при студирање. Нашиот тим на крајот направи апликација за играње на играта „рок-хартија-ножици“ со компјутер. Обучивме модел да препознава фигура на веб камера, напишавме логика и направивме интерфејс врз основа на рамката opencv. Училиштето обезбеди храна за размислување и вектор за последователно учење и развој. Многу сум задоволен што учествував.

Сергеј, 3-та година, УНН

Училиштето не ги исполни сосема моите очекувања. Предавањата ги одржаа прилично искусни луѓе од програмерите на Интел. Комуникацијата со предавачите отсекогаш била интересна и корисна, менторите се одговорни и секогаш подготвени да помогнат.Предавањата се пријатни за слушање, темите се доста релевантни и информативни. Но, веќе знаев некои работи, а оние што не ги знаев не беа поддржани од практиката на кој било начин, и затоа навистина добриот материјал никогаш не беше целосно разбран и проучен од мене. Да, поголемиот дел од информациите се дадени за информативни цели, за да можете потоа да ги испробате дома или само да имате идеја за што се работи, но сепак сакав сам да имплементирам некои постоечки алгоритми под надзорот на искусни наставници кои можат да дадат добар совет или да помогнат ако нешто се случи не функционира. Како резултат на тоа, во пракса, се користеа готови решенија, а кодот, може да се каже, беше претходно напишан за нас; требаше само малку да се измени. Проектите беа наједноставни и ако се обидете на некој начин да ја искомплицирате задачата, тогаш немате доволно време да ја спроведете во повеќе или помалку стабилна состојба, како што се случи со нас.
Општо земено, целото училиште изгледа како некаква не многу сериозна игра на програмери, и токму тука е грешката на практичниот дел. Мислам дека е потребно да се зголеми времето поминато на училиште, да се комплицира материјалот за вежбање за да можете и треба да напишете нешто сами, нешто навистина сложено и неопходно, а не да користите готови, за да ја направите практиката помазна во зголемувањето комплексноста, темите за конкурсните проекти треба да бидат дадени во првите денови, така што материјалот од предавањата и практиките може веднаш да се користи во вашите проекти и да има повеќе време за реализација. Тогаш времето поминато на училиште ќе послужи како добро искуство за идните специјалисти.

Дмитриј, 1-ва година магистерски студии, НСТУ

Летната школа од Интел беше одлична шанса да го поминете ова лето правејќи го она што го сакате. Самиот факт што предавањата ги одржуваа вработени во Интел поврзани со програмирање во областа на компјутерската визија не ми дозволи да се опуштам, сакав да извлечам максимум од целиот процес, иако понекогаш беше тежок. Секој ден минуваше многу брзо, незабележливо и плодно. Можноста да имплементирам сопствен проект ми овозможи да работам во тим со прекрасни куратори и други учесници во училиштето. Овие две недели може накратко да се опишат на следниов начин: интересни и минливи.

Елизавета, 2-та година, УНН

Наесен (октомври-ноември) ве очекува едукативната програма Делта, информации за кои можете да дознаете од нашата Групи VKontakte. Останете со нас!

Извор: www.habr.com