Od 3. júla do 16. júla na Štátnej univerzite v Nižnom Novgorode. N.I. Lobačevskij hostil Intel Interuniversity Summer School on Computer Vision - Computer Vision Summer Camp, na ktorom sa zúčastnilo viac ako 100 študentov. Škola bola zameraná na technických študentov z univerzít v Nižnom Novgorode, ktorí sa zaujímajú o počítačové videnie, hlboké učenie, neurónové siete, Intel OpenVINO, OpenCV.
V tomto článku sa podelíme o to, ako prebiehal výber na Školu, čo študovali, čo robili študenti v praktickej časti a povieme si aj o niektorých projektoch prezentovaných na obhajobe.
Výberový proces a formy účasti
Rozhodli sme sa dať deťom na výber dve formy vzdelávania: dennú a externú. Na externé a externé kurzy študenti neprešli výberom a boli zapísaní okamžite. Chodili len na prednášky, cez pracovné dni, dopoludnia. Deti mali možnosť splniť aj praktické úlohy a poslať ich do na testovanie učiteľmi.
Aby sa chlapci kvalifikovali na dennú skúšku, museli prísť do kancelárie Intel na pohovor s komisiou. Rozdiel oproti externej a externej forme bol v tom, že okrem prednášok absolvovali účastníci tábora praktické úlohy s kurátormi – učiteľmi UNN a inžiniermi z Intelu. V druhom týždni sa skončili praktické úlohy a začali projekty, na ktorých účastníci pracovali v skupinách po 3 ľuďoch.
Počas rozhovoru dostali študenti otázky z matematiky a programovania a dostali aj problém, ktorý bolo potrebné vyriešiť na mieste. Stojí za zmienku, že komisia pozostávala zo softvérových inžinierov, algoritmických inžinierov a vysokoškolských učiteľov. N.I. Lobačevského, takže rozhovor sa ukázal ako mnohostranný a mimoriadny. Z pohľadu anketára bolo zaujímavé zistiť základné technické znalosti študentov vo vzťahu k počítačovému videniu, takže témy ako C++/STL, OOP, základné algoritmy a dátové štruktúry, lineárna algebra, matematická analýza, diskrétna matematika a žiadalo sa oveľa viac. Medzi úlohami bolo prioritou zistiť zdôvodnenie študentov. Komisiu zaujímalo aj to, kde študovali, aké skúsenosti mali pred touto školou (napríklad vedecká činnosť) a ako by sa to dalo aplikovať priamo do oblasti počítačového videnia.
Denného výberu sa zúčastnilo celkom 78 študentov, pričom denných miest bolo 24 Súťažilo sa 3 študenti na jedno miesto. Štatistiky o účastníkoch a vizuálnych rozdieloch medzi dennou a externou formou účasti je možné vidieť v tabuľke nižšie:
Čo robili chalani 2 týždne?
Žiaci sa v teórii a praxi oboznámili s hlavnými úlohami počítačového videnia: klasifikácia obrazu, detekcia objektov a ich sledovanie. Prednášková zložka ku každej téme zvyčajne obsahovala historický exkurz do vývoja klasických metód riešenia problémov počítačového videnia a moderných metód riešenia pomocou strojového učenia a neurónových sietí. Po teórii nasledovala prax, kde si študenti stiahli obľúbené modely neurónových sietí a spustili ich pomocou DNN modulu knižnice OpenCV, čím si vytvorili aplikáciu na mieru.
Prezentácie všetkých prednášok boli umiestnené na verejnom úložisku , aby si študenti mohli kedykoľvek otvoriť a zobraziť potrebné informácie, a to aj po vyučovaní. S lektormi, učiteľmi praxe a inžiniermi Intelu bolo možné komunikovať naživo aj cez chat na Gitter. Úspešne sa ukázalo aj načasovanie projektového týždňa: začal sa v stredu, čo umožnilo užitočne stráviť víkend bez prednášok a zlepšiť tímové rozhodnutia. Najzodpovednejší účastníci strávili polovicu soboty v kancelárii Intelu, za čo boli v ten istý deň odmenení neplánovanou exkurziou.
Ako prebiehala obhajoba projektov?
Každý tím dostal 10 minút na to, aby sa porozprával o tom, čo robil počas projektu a k čomu dospel. Po uplynutí tejto doby začalo 5 minút, počas ktorých inžinieri spoločnosti kládli chlapom otázky a dávali malé tipy, ktoré by im pomohli vylepšiť ich projekt alebo zabrániť existujúcim chybám v budúcnosti. Každý z chlapcov sa vyskúšal ako rečník, preukázal svoje znalosti v oblasti počítačového videnia a potvrdil svoj prínos k vytvoreniu projektu, čo nám pomohlo zvážiť a vyvodiť záver o každom účastníkovi školy. Obhajoba prebiehala viac ako 3 hodiny, ale o chalanov sme sa postarali a napätie uvoľnili krátkou prestávkou na kávu, kde si chalani mohli vydýchnuť a prediskutovať problémy s poprednými špecialistami Intelu.
Na konci dňa sme udelili jedno prvé, dve druhé a tri tretie miesta. Bolo dosť ťažké vybrať si, pretože každý tím, každý projekt mal svoju príchuť a vyznačoval sa originalitou prezentácie.
Účastníci CV Camp Camp na plný úväzok, obhajoba projektu, kancelária Intel v Nižnom Novgorode
Prezentované projekty
Inteligentná rukavica
Použitie detektora a sledovača pomocou OpenCV na vizuálnu navigáciu v priestore. Tím navyše pridal možnosť snímania hĺbky pomocou dvoch kamier. Microsoft Speech API sa používa ako rozhranie na správu.
Receptor
Detekcia jedla a výber receptu na hotové jedlo vrátane nájdených surovín. Chalani sa úlohy nezľakli a do týždňa svojpomocne označili dostatočný počet obrázkov, natrénovali detektor pomocou TensorFlow Object Detection API a pridali logiku na hľadanie receptu. Jednoduché a vkusné!
Editor 2.0
Účastníci projektu v rámci úlohy hľadania fragmentov v dlhých videách, v ktorých sa nachádza určitá osoba, použili na rozpoznávanie tváre sadu neurónových sietí (vyhľadávanie tváre, normalizácia obrazu tváre kľúčovými bodmi, výpočet deskriptora obrazu tváre). prítomný. Vyvinutý systém je možné použiť ako asistenčný systém na úpravu videa, čím sa človek oslobodí od toho, aby si video musel sám pozerať pri hľadaní potrebných fragmentov. Pomocou neurónových sietí z , tímu sa podarilo dosiahnuť vysokú rýchlosť aplikácie: na notebooku s procesorom Intel Core i5 bola rýchlosť spracovania videa 58 snímok za sekundu.
Anonymizátor
Kreslenie okuliarov a masiek na tvár človeka. Na detekciu tvárí a kľúčových bodov bola použitá sieť MTCNN.
anonymný
Ďalšia zaujímavá práca na tému skrývania identity. Tento tím predstavil niekoľko možností skreslenia tvárí: rozmazanie a pixelizáciu. Za jeden týždeň chlapci nielenže prišli na úlohu, ale poskytli aj režim na anonymizáciu konkrétnej osoby (s rozpoznávaním tváre).
Zahrejte sa
Projektový tím „Warm-up“ vyriešil problém vytvorenia športového asistenta pre cvičenie záklonu hlavy. A aj keď je konečná aplikácia tejto aplikácie stále kontroverzná, bola vykonaná komplexná štúdia porovnávajúca rôzne algoritmy detekcie tváre: Haarove kaskády, siete od TensorFlow, OpenCV a OpenVINO. Zahriali sme sa nielen fyzicky, ale aj psychicky!
Nižšie 800
Nižný Novgorod, mesto, kde sa škola konala, bude mať o 2 roky 800 rokov, čo znamená, že času na realizáciu zaujímavého projektu je dosť. Požiadali sme deti, aby sa zamysleli nad úlohou vytvoriť sprievodcu, ktorý na základe vyobrazenia fasády budov môže poskytnúť informácie o tom, aký predmet je na obrázku zobrazený a aké skutočnosti sú o ňom známe. Táto úloha bola podľa nás jedna z najťažších, keďže sa týka klasického počítačového videnia, ale tím ukázal slušný výsledok.
Kameň Papier Nožnice
Napriek prísnym časovým obmedzeniam na dokončenie dizajnérskych prác sa tento tím tiež nebál uskutočniť experiment na trénovanie vlastnej neurónovej siete na klasifikáciu pozícií rúk v známej hre.
Spätná väzba od účastníkov
Požiadali sme študentov z rôznych kurzov, aby sa podelili o svoje dojmy z letnej školy:
Nedávno som mal to šťastie zúčastniť sa letného tábora Intel Computer Vision a bol to úžasný zážitok. Získali sme veľa nových vedomostí a zručností v oblasti životopisu, inštalácie softvéru, ladenia, ponorili sme sa aj do pracovného prostredia, stretli sme sa s reálnymi problémami, prediskutovali možné riešenia s kolegami a učiteľmi školy Existuje mýtus, že práca programátora spočíva výlučne v komunikácii s počítačom. Vôbec to tak však nie je. Naša kreatívna práca je neoddeliteľná od komunikácie s ľuďmi. Práve prostredníctvom komunikácie mohol človek získať jedinečné vedomosti. A práve táto zložka školy sa mi páčila najviac. Má to však jednu nevýhodu... po skončení štúdia som chcel pokračovať! Okrem teoretických vedomostí v DL a praktických zručností v CV som získal predstavu o tom, ktorým oblastiam matematiky by sa mala venovať osobitná pozornosť a ktoré technológie by sa mali študovať. Oddanosť, profesionalita a láska inžinierov a výskumníkov spoločnosti Intel k ich práci ovplyvnili môj výber smerovania v oblasti IT. Za to by som sa chcel poďakovať všetkým organizátorom školy.
Kristína, 1. ročník, HSE
Za taký krátky čas škola dokázala poskytnúť maximum informácií a praxe na tému počítačového videnia. A hoci bol navrhnutý pre základné vedomosti, prednášky obsahovali množstvo technického materiálu, ktorému chcete porozumieť a venovať viac času štúdiu. Mentori a lektori školy s nadšením odpovedali na všetky otázky a komunikovali so študentmi. No a pri dokončovaní finálneho projektu som sa musel vrhnúť do džungle vývoja hotovej aplikácie a stretnúť sa s ťažkosťami, ktoré nie vždy pri štúdiu nastanú. Náš tím nakoniec vytvoril aplikáciu na hranie hry „kameň-papier-nožnice“ s počítačom. Trénovali sme model na rozpoznanie postavy na webkamere, napísali sme logiku a vytvorili rozhranie založené na opencv frameworku. Škola poskytla podnet na zamyslenie a vektor pre následné učenie a rozvoj. Som veľmi rád, že som sa zúčastnil.
Sergey, 3. ročník, UNN
Škola úplne nesplnila moje očakávania. Prednášky viedli pomerne skúsení ľudia z Intel vývojárov. Komunikácia s lektormi bola vždy zaujímavá a užitočná, mentori sú pohotoví a vždy pripravení pomôcť Prednášky sa počúvajú príjemne, témy sú celkom relevantné a poučné. Ale niektoré veci som už vedel a tie, ktoré som nevedel, neboli nijako podporené praxou, a preto som ten skutočne dobrý materiál nikdy úplne nepochopil a nepreštudoval. Áno, väčšina informácií je poskytovaná na informačné účely, aby ste si to potom mohli vyskúšať doma, alebo len mali predstavu, o čom to celé je, ale aj tak som chcel implementovať niektoré existujúce algoritmy sám pod nefunguje dozor skúsených učiteľov, ktorí vedia dobre poradiť alebo pomôcť, ak sa niečo stane. Výsledkom bolo, že v praxi sa používali hotové riešenia a dalo by sa povedať, že kód bol pre nás vopred napísaný, len ho bolo treba mierne upraviť. Projekty boli najjednoduchšie a ak sa pokúsite úlohu nejakým spôsobom skomplikovať, nemáte dostatok času na jej implementáciu do viac-menej stabilného stavu, ako sa to stalo u nás.
Celkovo celá škola pôsobí ako nejaká nie veľmi vážna hra vývojárov a práve to je chyba praktickej časti. Myslím si, že je potrebné zvýšiť čas strávený v škole, skomplikovať cvičebný materiál, aby ste si mohli a mali niečo napísať sami, niečo naozaj zložité a potrebné a nepoužívať hotové, aby bolo precvičovanie plynulejšie vo zvyšovaní zložitosť, témy súťažných projektov by mali byť rozdané v prvých dňoch, aby materiál z prednášok a cvičení mohol byť okamžite použitý vo vašich projektoch a bolo viac času na realizáciu. Potom čas strávený v škole poslúži ako dobrá skúsenosť pre začínajúcich špecialistov.
Dmitry, 1. ročník magisterského štúdia, NSTU
Letná škola od spoločnosti Intel bola skvelou príležitosťou stráviť toto leto tým, čo máte radi. Samotný fakt, že prednášky zo strany zamestnancov Intelu súvisiace s programovaním v oblasti počítačového videnia mi nedovolil uvoľniť sa, chcel som z celého procesu vyťažiť maximum, hoci to bolo niekedy náročné. Každý deň ubehol veľmi rýchlo, nepostrehnuteľne a plodne. Možnosť realizovať vlastný projekt mi umožnila pracovať v tíme s úžasnými kurátormi a ďalšími účastníkmi školy. Tieto dva týždne možno stručne opísať takto: zaujímavé a prchavé.
Elizaveta, 2. ročník, UNN
Na jeseň (október-november) vás čaká vzdelávací program Delta, o ktorom sa dozviete z našej . Zostaňte naladení!
Zdroj: hab.com