З 3 па 16 ліпеня на базе ННДУ ім. Н.І. Лабачэўскага праходзіла міжвузаўскі Летняя школа Intel па кампутарным зроку – Computer Vision Summer Camp, у якой прыняло ўдзел больш за 100 студэнтаў. Школа была накіравана на студэнтаў тэхнічных спецыяльнасцяў ніжагародскіх ВНУ, якім цікава кампутарнае зрок, глыбокае навучанне, нейронавыя сеткі, Intel OpenVINO, OpenCV.
У дадзеным артыкуле мы падзелімся тым, як праходзіў адбор у Школу, што вывучалі, чым у практычнай частцы займаліся хлопцы, а таксама раскажам пра некаторыя праекты, прадстаўленыя на абароне.
Працэс адбору і формы ўдзелу
Мы вырашылі даць хлопцам выбар падачы заяўкі на дзве формы навучання: вочную і вочна-завочную. На вочна-завочную форму студэнты не праходзілі адбор і залічваліся адразу. Яны наведвалі толькі лекцыі, па буднях, у першай палове дня. Таксама ў хлопцаў была магчымасць выконваць практычныя заданні і адпраўляць іх на для праверкі выкладчыкамі.
Каб прайсці ў вочную форму, рабятам трэба было прыехаць у офіс Intel на сумоўе з камісіяй. Адрозненне ад вочна-завочнай формы заключалася ў тым, што акрамя лекцый удзельнікі лагера разбіралі практычныя заданні з куратарамі – выкладчыкамі ННГУ і інжынерамі з Intel. На другім тыдні практычныя заданні скончыліся і пачаліся праекты, над якімі ўдзельнікі працавалі ў групах па 3 чалавекі.
На сумоўі студэнтам задавалі пытанні па матэматыцы і праграмаванні, а таксама давалі задачу, якую трэба было вырашыць на месцы. Варта адзначыць, што камісія складалася з інжынераў-праграмістаў, інжынераў-алгарытмістаў, і выкладчыкаў універсітэта ім. Н.І. Лабачэўскага, таму сумоўе атрымалася шматбаковым і выдатным. З пункту гледжання суразмоўцы, было цікава высветліць базавыя тэхнічныя веды студэнтаў прымяняльныя да кампутарнага зроку, таму пыталіся такія тэмы, як С++/STL, ААП, базавыя алгарытмы і структуры дадзеных, лінейная алгебра, матэматычны аналіз, дыскрэтная матэматыка і многае іншае. З задач прыярытэтна было даведацца развагі студэнтаў. Таксама камісія цікавілася, дзе яны вучыліся, які вопыт у іх быў да гэтай школы (напрыклад навуковая дзейнасць) і як яго можна было б прымяніць непасрэдна да сферы камп'ютарнага зроку.
Усяго ў адборы на вочную форму прынялі ўдзел 78 студэнтаў, у той час як месцаў у вочнай форме было 24. Конкурс склаў 3 студэнты на месца. Статыстыку па ўдзельніках і наглядныя адрозненні вочнай і вочна-завочнай формы ўдзелу вы можаце ўбачыць у ніжэйпрыведзенай табліцы:
Чым займаліся хлопцы на працягу 2 тыдняў?
Студэнты ў тэорыі і на практыцы пазнаёміліся з асноўнымі задачамі камп'ютарнага зроку: класіфікацыяй выяў, дэтэктаваннем аб'ектаў і іх суправаджэннем. Лекцыйны складнік па кожнай тэме як правіла складаўся з гістарычны экскурс у развіццё класічных метадаў рашэння задач кампутарнага зроку і сучасныя метады рашэння пры дапамозе машыннага навучання і нейронавых сетак. За тэорыяй ішла практыка, дзе студэнты, запампаваўшы папулярныя нейрасеткавыя мадэлі, запускалі іх пры дапамозе модуля DNN бібліятэкі OpenCV, ствараючы карыстацкі дадатак.
Прэзентацыі ўсіх лекцый выкладаліся ў публічным рэпазітары , каб студэнты заўсёды маглі адкрыць і паглядзець неабходную інфармацыю, у тым ліку і пасля школы. Пагутарыць з лектарамі, выкладчыкамі практыкі і інжынерамі Intel можна было як ужывую, так і праз чат у Gitter. Удалым аказаўся і час правядзення праектнага тыдня: ён пачынаўся ў сераду, што дазваляла з карысцю выдаткаваць выхадныя дні, вольныя ад лекцый, паляпшаючы камандныя рашэнні. Самыя адказныя ўдзельнікі правялі палову суботы ў офісе Intel, завошта былі заахвочаны пазапланавай экскурсіяй у той жа дзень.
Як праходзіла абарона праектаў?
Кожнай камандзе было адведзена 10 хвілін на аповяд аб тым, што яны рабілі па ходзе праекту і да чаго дашлі. Па заканчэнні гэтага часу пачыналіся 5 хвілін, у якія інжынеры кампаніі задавалі рабятам пытанні і давалі невялікія парады, якія дапамаглі б ім палепшыць свой праект ці не дапусціць наяўных памылак у будучыні. Кожны з хлопцаў паспрабаваў сябе ў ролі спікера, праявіўшы свае веды ў галіне камп'ютарнага зроку і пацвердзіўшы свой уклад у стварэнне праекта, што дапамагло нам разгледзець і зрабіць выснову аб кожным удзельніку школы. Абарона праходзіла на працягу 3 гадзін, але мы паклапаціліся аб рабятах і разрадзілі абстаноўку невялікім кава-брэйкам, дзе хлопцы маглі перавесці дух і абмеркаваць пытанні аб набалелым з вядучымі спецыялістамі Intel.
Па завяршэнні дня мы прысвоілі адно першае, два другія і тры трэція месцы. Выбіраць было даволі складана, таму што кожная каманда, кожны праект меў сваю разыначку і вызначаўся арыгінальнасцю падачы.
Удзельнікі вочнай формы CV Camp, абарона праектаў, офіс Intel у Ніжнім Ноўгарадзе
Прадстаўленыя праекты
Разумная пальчатка
Выкарыстанне дэтэктара і трэкера з дапамогай OpenCV для візуальнай навігацыі ў прасторы. Каманда дадаткова дадала магчымасць вызначэння глыбіні, выкарыстоўваючы дзве камеры. У якасці інтэрфейсу кіравання выкарыстоўваецца Microsoft Speech API.
Рэцэптар
Дэтэктаванне ежы і падбор рэцэпту гатовай стравы, які ўключае знойдзеныя інгрэдыенты. Рабяты не пабаяліся пастаўленай задачы і за тыдзень уласнымі сіламі размецілі дастатковую колькасць малюнкаў, натрэніравалі дэтэктар з дапамогай TensorFlow Object Detection API і дадалі логіку па знаходжанні рэцэпту. Проста і густоўна!
Мантажор 2.0
Удзельнікі праекта прымянілі сукупнасць нейронавых сетак (пошук асобы, нармалізацыя выявы асобы па ключавых кропках, вылічэнне дэскрыптара выявы асобы) для распазнання асоб у рамках задачы пошуку фрагментаў у доўгіх відэа, на якіх прысутнічае пэўны чалавек. Распрацаваная сістэма можа быць скарыстана ў якасці сістэмы дапамогі пры відэамантажы, вызваляючы чалавека ад неабходнасці самому праглядаць відэа ў пошуках патрэбных фрагментаў. Выкарыстоўваючы нейронавыя сеткі з , камандзе атрымалася дасягнуць высокай хуткасці працы прыкладання: на наўтбуку з працэсарам Intel Core i5 хуткасць апрацоўкі відэа складала 58 кадраў у секунду.
ананімайзэры
Адмалёўка акуляраў і масак на твары чалавека. Для дэтэктавання асоб і ключавых кропак была выкарыстана сетка MTCNN.
Анонімус
Яшчэ адна цікавая праца на тэму ўтойвання асобы. Гэтая каманда прадставіла некалькі варыянтаў скажэння асоб: размыццё і пікселізацыю. За адзін тыдзень хлопцы не толькі разабраліся з пастаўленай задачай, але і далі рэжым ананімізацыі канкрэтнага чалавека (з распазнаннем па твары).
размінка
Каманда праекта "Размінка" вырашала задачу стварэння спартыўнага памочніка для практыкавання нахілаў галавы. І калі нават фінальнае ўжыванне дадзенага прыкладання ўсё яшчэ застаецца спрэчным, было праведзена ёмістае даследаванне ў параўнанні розных алгарытмаў дэтэктавання асобы: каскады Хаара, сеткі з TensorFlow, OpenCV і OpenVINO. Размяліся не толькі фізічна, але і разумова!
Ніжні 800
Ніжняму Ноўгараду, гораду дзе і праходзіла школа, праз 2 гады споўніцца 800 гадоў, а гэта значыць, што ёсць дастаткова часу, каб рэалізаваць цікавы праект. Мы прапанавалі рабятам падумаць над задачай стварэння гіда, які па выяве фасада будынкаў можа выдаць інфармацыю аб тым, што за аб'ект прадстаўлены на малюнку і якія факты аб ім вядомыя. На наш погляд, гэтая задача з'яўлялася адной з самых складаных, паколькі адносіцца да класічнага камп'ютэрнага зроку, але каманда паказала дастойны вынік.
Камень, нажніцы, папера
Нягледзячы на цвёрдыя абмежаванні па часе на выкананне праектных прац, гэтая каманда таксама не пабаялася правесці эксперымент па трэніроўцы ўласнай нейронавай сеткі для класіфікацыі пазіцый рукі ў вядомай гульні.
Водгукі ўдзельнікаў
Мы папрасілі студэнтаў розных курсаў падзяліцца сваімі ўражаннямі пра Летнюю школу:
Нядаўна мне пашчасціла прайсці навучанне ў Intel Computer Vision Summer Camp, і гэта быў выдатны досвед. Мы атрымалі шмат новых ведаў і навыкаў у галіне CV, ўстаноўкі ПЗ, адладкі, таксама былі пагружаныя ў працоўную абстаноўку, сутыкаліся з рэальнымі праблемамі, абмяркоўвалі магчымыя рашэнні з калегамі і выкладчыкамі школы. Існуе міф, што праца праграміста заключаецца выключна ў зносінах з кампутарам. Аднак гэта не так ад слова зусім. Наша творчая праца неаддзельная ад зносін з людзьмі. Менавіта камуніцуючы, можна было атрымаць унікальныя веды. І гэты складнік школы спадабаўся мне больш за ўсё. Аднак ёсць адзін мінус… пасля заканчэння навучання хацелася працяг! Апроч тэарэтычных ведаў у DL і практычных навыкаў у CV, я атрымала ўяўленне пра тое, якім абласцям матэматыкі варта надаць адмысловую ўвагу, якія тэхналогіі варта вывучыць. Мэтанакіраванасць, прафесіяналізм і каханне да сваёй справы інжынераў і даследнікаў Intel паўплывалі на мой выбар кірунку ў IT. Менавіта за гэта хацелася б падзякаваць усім арганізатарам школы.
Крысціна, 1 курс, ВШЭ
За такі кароткі час школа змагла даць максімум інфармацыі і практыкі па тэме камп'ютарнага зроку. І хоць яна і была разлічана на пачатковыя веды, лекцыі змяшчалі шмат тэхнічнага матэрыялу, з якім хочацца разабрацца і патраціць яшчэ час на вывучэнне. Ментары і лектары школы ахвотна адказвалі на ўсе пытанні і размаўлялі са слухачамі. Ну а падчас выканання фінальнага праекта прыйшлося акунуцца ў нетры распрацоўкі гатовага дадатку і сутыкнуцца з цяжкасцямі, якія не заўсёды ўзнікаюць пры вучобе. Наша каманда ў выніку зрабіў прыкладанне для гульні з кампутарам у гульню "камень-нажніцы-папера". Натрэніравалі мадэль, якія распазнаюць постаць на вэб-камера, напісалі логіку і зрабілі інтэрфейс на аснове фрэймворка opencv. Школа дала ежу для разважанняў і вектар для наступнага навучання і развіцця. Вельмі задаволены, што паўдзельнічаў.
Сяргей, 3 курс, ННГУ
Школа не зусім апраўдала маіх чаканняў. Лекцыі праводзіліся даволі дасведчанымі людзьмі з распрацоўшчыкаў кампаніі Intel. Зносіны з лектарамі заўсёды былі цікавымі і карыснымі, настаўнікі спагадныя, заўсёды гатовыя дапамагчы. Лекцыі прыемна слухаць, тэмы даволі актуальныя і інфарматыўныя. Але некаторыя рэчы я і так ужо ведаў, а тыя, што не ведаў, ніяк не падмацоўваліся практыкай, у сувязі з чым сапраўды добры матэрыял так і не быў да канца мною зразуметы і вывучаны. Так, большасць інфармацыі пададзена ў азнаямленчых мэтах, каб затым апрабаваць яе ўжо дома, альбо проста ўяўляць пра што ідзе гаворка, але ўсё ж хацелася рэалізаваць некаторыя існуючыя алгарытмы самастойна пад наглядам вопытных педагогаў, якія могуць даць слушную параду або дапамагчы, калі нешта не атрымліваецца. У выніку на практыцы выкарыстоўваліся ўжо гатовыя рашэнні, а код, можна сказаць, папярэдне быў напісаны за нас, патрабавалася толькі злёгку яго змяніць. Праекты былі найпростымі, а калі спрабуеш ускладніць якім-небудзь чынам задачу, то табе не хапае часу на яе рэалізацыю да больш-менш стабільнага стану, як гэта адбылося ў нас.
У цэлым уся школа падобная на нейкую не занадта сур'ёзную гульню ў распрацоўшчыкаў і ў гэтым віна якраз-такі практычнай часткі. Я думаю, што трэба павялічыць час на правядзенне школы, ускладніць матэрыял практык, каб можна і трэба было пісаць нешта самому, нешта сапраўды складанае і патрэбнае, а не выкарыстоўваць гатовае, зрабіць практыку больш плыўнай у павелічэнні складанасці, тэмы на конкурсныя праекты выдаваць у першыя дні, каб матэрыял з лекцый і практык можна было выкарыстоўваць адразу ў сваіх праектах і было больш часу на рэалізацыю. Тады час, выдаткаваны на школу, паслужыць добрым досведам для пачаткоўцаў адмыслоўцаў.
Зміцер, 1 курс магістратуры, НДТУ
Летняя школа ад кампаніі Intel паўстала велізарным шанцам правесці гэтае лета, займаючыся каханай справай. Сам факт таго, што лекцыі загадай працаўнікі Intel, злучаныя з праграмаваннем у сферы кампутарнага зроку, не даваў паслабіцца, жадалася ўзяць максімум ад усяго працэсу, хоць гэта і было часам цяжка. Кожны дзень праходзіў вельмі хутка, незаўважна і плённа. Магчымасць рэалізацыі свайго ўласнага праекта дазволіла папрацаваць у камандзе з цудоўнымі куратарамі і іншымі ўдзельнікамі школы. Коратка апісаць гэтыя два тыдні можна так - цікава і мімалётна.
Лізавета, 2 курс, ННГУ
Увосень (кастрычнік-лістапад) вас чакае адукацыйная праграма Delta, інфармацыю пра якую вы зможаце даведацца з нашай . Сачыце за абнаўленнямі!
Крыніца: habr.com