З 3 по 16 липня на базі ННГУ ім. Н.І. Лобачевського проходила Міжвузівська Літня школа Intel з комп'ютерного зору - Computer Vision Summer Camp, у якій взяло участь понад 100 студентів. Школа була спрямована на студентів технічних спеціальностей нижегородських вишів, яким цікавий комп'ютерний зір, глибоке навчання, нейронні мережі, Intel OpenVINO, OpenCV.
У цій статті ми поділимося тим, як проходив відбір до Школи, що вивчали, чим у практичній частині займалися хлопці, а також розповімо про деякі проекти, представлені на захисті.
Процес відбору та форми участі
Ми вирішили надати хлопцям вибір подання заявки на дві форми навчання: очну та очно-заочну. На очно-заочну форму студенти не проходили відбір та зараховувалися одразу. Вони відвідували лише лекції, по буднях, у першій половині дня. Також у хлопців була можливість виконувати практичні завдання та відправляти їх на для перевірки викладачами.
Щоб пройти в очну форму, хлопці мали приїхати в офіс Intel на співбесіду з комісією. Відмінність від очно-заочної форми полягала в тому, що, крім лекцій, учасники табору розбирали практичні завдання з кураторами — викладачами ННГУ та інженерами з Intel. На другому тижні практичні завдання закінчилися та розпочалися проекти, над якими учасники працювали у групах по 3 особи.
На співбесіді студентам ставили питання з математики та програмування, а також давали завдання, яке потрібно було вирішити на місці. Варто зазначити, що комісія складалася з інженерів-програмістів, інженерів-алгоритмістів та викладачів університету ім. Н.І. Лобачевського, тому співбесіда вийшла багатосторонньою та непересічною. З погляду співбесідуючого, було цікаво з'ясувати базові технічні знання студентів стосовно комп'ютерного зору, тому запитувалися такі теми, як С++/STL, ООП, базові алгоритми та структури даних, лінійна алгебра, математичний аналіз, дискретна математика та багато іншого. Із завдань пріоритетно було дізнатися міркування студентів. Також комісія цікавилася, де вони вчилися, який досвід вони мали до цієї школи (наприклад наукова діяльність) і як його можна було б застосувати безпосередньо до сфери комп'ютерного зору.
Загалом у відборі на очну форму взяло участь 78 студентів, тоді як місць у очній формі було 24. Конкурс становив 3 студенти на місце. Статистику щодо учасників та наочні відмінності очної та очно-заочної форми участі ви можете побачити в наведеній нижче таблиці:
Чим займалися діти протягом 2 тижнів?
Студенти теоретично і практично познайомилися з основними завданнями комп'ютерного зору: класифікацією зображень, детектуванням об'єктів та його супроводом. Лекційна складова по кожній темі зазвичай включала історичний екскурс у розвиток класичних методів вирішення завдань комп'ютерного зору і сучасні методи рішення за допомогою машинного навчання та нейронних мереж. За теорією йшла практика, де студенти, завантаживши популярні нейромережеві моделі, запускали їх за допомогою модуля DNN бібліотеки OpenCV, створюючи додаток користувача.
Презентації всіх лекцій викладалися у громадському репозиторії , щоб студенти завжди могли відкрити та переглянути необхідну інформацію, у тому числі і після школи. Поспілкуватися з лекторами, викладачами практики та інженерами Intel можна було як наживо, так і через чат у Gitter. Вдалим виявився час проведення проектного тижня: він починався в середу, що дозволяло з користю витратити вихідні дні, вільні від лекцій, покращуючи командні рішення. Найвідповідальніші учасники провели половину суботи в офісі Intel, за що були заохочені позаплановою екскурсією того ж дня.
Як проходив захист проектів?
Кожній команді було відведено 10 хвилин на розповідь про те, що вони робили в ході проекту і чого дійшли. Після цього часу починалися 5 хвилин, в які інженери компанії ставили хлопцям питання і давали невеликі поради, які б допомогли їм поліпшити свій проект або не допустити наявних помилок у майбутньому. Кожен із хлопців спробував себе у ролі спікера, проявивши свої знання у сфері комп'ютерного зору та підтвердивши свій внесок у створення проекту, що допомогло нам розглянути та зробити висновок про кожного учасника школи. Захист проходив протягом 3 годин, але ми подбали про хлопців і розрядили обстановку невеликим кава-брейком, де хлопці могли перевести дух і обговорити питання про наболіле з провідними фахівцями Intel.
По завершенню дня ми присвоїли одне перше, два другі та три треті місця. Вибирати було досить складно, тому що кожна команда, кожен проект мав свою родзинку та вирізнявся оригінальністю подачі.
Учасники очної форми CV Camp, захист проектів, офіс Intel у Нижньому Новгороді
Представлені проекти
Розумна рукавичка
Використання детектора та трекера за допомогою OpenCV для візуальної навігації у просторі. Команда додатково додала можливість визначення глибини, використовуючи дві камери. Як інтерфейс керування використовується Microsoft Speech API.
Рецептор
Детектування їжі та підбір рецепту готової страви, що включає знайдені інгредієнти. Хлопці не побоялися поставленого завдання та за тиждень власними силами розмітили достатню кількість зображень, натренували детектор за допомогою TensorFlow Object Detection API та додали логіку щодо знаходження рецепту. Просто і зі смаком!
Монтажер 2.0
Учасники проекту застосували сукупність нейронних мереж (пошук обличчя, нормалізація зображення обличчя за ключовими точками, обчислення дескриптора зображення обличчя) для розпізнавання облич у рамках завдання пошуку фрагментів у довгих відео, на яких є певна людина. Розроблена система може бути використана як система допомоги при відеомонтажі, звільняючи людину від необхідності самому переглядати відео в пошуках потрібних фрагментів. Використовуючи нейронні мережі з , Команді вдалося досягти високої швидкості роботи програми: на ноутбуці з процесором Intel Core i5 швидкість обробки відео становила 58 кадрів на секунду.
Анонимайзер
Малювання окулярів і масок на обличчі людини. Для детектування осіб та ключових точок було використано мережу MTCNN.
Анонимус
Ще одна цікава робота на тему приховування особистості. Ця команда представила кілька варіантів спотворення осіб: розмиття та пікселізацію. За один тиждень хлопці не лише розібралися з поставленим завданням, а й надали режим анонімізації конкретної людини (з розпізнаванням по обличчю).
розминка
Команда проекту "Розминка" вирішувала завдання створення спортивного помічника для вправи нахилів голови. І якщо навіть фінальне застосування цієї програми все ще залишається спірним, було проведено ємне дослідження в порівнянні з різними алгоритмами детектування особи: каскади Хаара, мережі з TensorFlow, OpenCV і OpenVINO. Розім'ялися не лише фізично, а й розумово!
Нижній 800
Нижньому Новгороду, місту, де і проходила школа, через 2 роки виповниться 800 років, а це означає, що є достатньо часу, щоб реалізувати цікавий проект. Ми запропонували хлопцям подумати над завданням створення гіда, який з зображення фасаду будівель може видати інформацію про те, що за об'єкт представлений на зображенні і які факти про нього відомі. На наш погляд, це завдання було одним із найскладніших, оскільки належить до класичного комп'ютерного зору, але команда показала гідний результат.
Камінь ножиці папір
Незважаючи на жорсткі обмеження часу на виконання проектних робіт, ця команда також не побоялася провести експеримент із тренування власної нейронної мережі для класифікації позицій руки у відомій грі.
Відгуки учасників
Ми попросили студентів різних курсів поділитися своїми враженнями про Літню школу:
Нещодавно мені пощастило пройти навчання у Intel Computer Vision Summer Camp, і це був чудовий досвід. Ми отримали багато нових знань та навичок у галузі CV, установки ПЗ, налагодження, також були занурені в робочу обстановку, стикалися з реальними проблемами, обговорювали можливі рішення з колегами та викладачами школи. Існує міф, що робота програміста полягає виключно у спілкуванні з комп'ютером. Однак це не так від слова зовсім. Наша творча робота невіддільна від спілкування з людьми. Саме комунікуючи, можна було здобути унікальні знання. І ця складова школи сподобалася мені найбільше. Однак є один мінус… після закінчення навчання хотілося продовження! Крім теоретичних знань у DL та практичних навичок у CV, я отримала уявлення про те, яким галузям математики варто приділити особливу увагу, які технології слід вивчити. Цілеспрямованість, професіоналізм та любов до своєї справи інженерів та дослідників Intel вплинули на мій вибір напряму в IT. Саме за це хотілося б подякувати всім організаторам школи.
Христина, 1 курс, ВШЕ
За такий короткий час школа змогла дати максимум інформації та практики на тему комп'ютерного зору. І хоч вона і була розрахована на початкові знання, лекції містили багато технічного матеріалу, з яким хочеться розібратися та витратити ще час на вивчення. Ментори та лектори школи охоче відповідали на всі запитання та спілкувалися зі слухачами. Ну а під час виконання фінального проекту довелося поринути у нетрі розробки готового додатку та зіткнутися з труднощами, які не завжди виникають під час навчання. Наша команда зрештою зробив додаток для гри з комп'ютером у гру «камінь-ножиці-папір». Натренували модель, що розпізнають фігуру на веб-камера, написали логіку та зробили інтерфейс на основі фреймворку opencv. Школа дала їжу для роздумів та вектор для подальшого навчання та розвитку. Дуже задоволений, що взяв участь.
Сергій, 3 курс, ПНГУ
Школа не зовсім виправдала моїх очікувань. Лекції проводилися досить досвідченими людьми із розробників компанії Intel. Спілкування з лекторами завжди було цікавим та корисним, наставники чуйні, завжди готові допомогти. Лекції приємно слухати, теми досить актуальні та інформативні. Але деякі речі я й так уже знав, а ті, що не знав, ніяк не підкріплювалися практикою, у зв'язку з чим справді добрий матеріал так і не був до кінця зрозумілий і вивчений. Так, більшість інформації подано в ознайомлювальних цілях, щоб потім випробувати її вже вдома, або просто уявляти про що йдеться, але все ж таки хотілося реалізувати деякі існуючі алгоритми самостійно під наглядом досвідчених педагогів, які можуть дати слушну пораду або допомогти, якщо щось не виходить. У результаті практично використовувалися вже готові рішення, а код, можна сказати, попередньо було написано нас, потрібно лише трохи його змінити. Проекти були найпростішими, а якщо намагаєшся ускладнити якимось чином завдання, то тобі не вистачає часу на її реалізацію до більш-менш стабільного стану, як це сталося у нас.
В цілому вся школа схожа на якусь не надто серйозну гру в розробників і в цьому вина практично практичної частини. Я думаю, що потрібно збільшити час на проведення школи, ускладнити матеріал практик, щоб можна і потрібно було писати щось самому, щось справді складне та потрібне, а не використовувати готове, зробити практику більш плавною у збільшенні складності, теми на конкурсні проекти видавати в перші дні, щоб матеріал з лекцій та практик можна було використовувати одразу у своїх проектах та було більше часу на реалізацію. Тоді час, витрачений на школу, стане хорошим досвідом для початківців.
Дмитро, 1 курс магістратури, НДТУ
Літня школа від компанії Intel стала величезним шансом провести це літо, займаючись улюбленою справою. Сам факт того, що лекції вели працівники Intel, пов'язані з програмуванням у сфері комп'ютерного зору, не давав розслабитися, хотілося взяти максимум від усього процесу, хоч це й інколи було важко. Щодня проходив дуже швидко, непомітно та плідно. Можливість реалізації свого власного проекту дозволила попрацювати у команді із чудовими кураторами та іншими учасниками школи. Коротко описати ці два тижні можна так – цікаво та швидкоплинно.
Єлизавета, 2 курс, ННГУ
Восени (жовтень-листопад) на вас чекає освітня програма Delta, інформацію про яку ви зможете дізнатися з нашої . Слідкуйте за оновленнями!
Джерело: habr.com