Od 3. července do 16. července na Státní univerzitě v Nižním Novgorodu. N.I. Lobačevskij hostil Intel Interuniversity Summer School on Computer Vision - Computer Vision Summer Camp, kterého se zúčastnilo více než 100 studentů. Škola byla zaměřena na technické studenty z univerzit v Nižním Novgorodu, kteří se zajímají o počítačové vidění, hluboké učení, neuronové sítě, Intel OpenVINO, OpenCV.
V tomto článku se podělíme o to, jak probíhal výběr na Školu, co studovali, co dělali studenti v praktické části a také si povíme o některých projektech prezentovaných na obhajobě.
Výběrové řízení a formy účasti
Rozhodli jsme se dát dětem na výběr ze dvou forem vzdělávání: prezenční a kombinované. U kombinovaného a kombinovaného studia studenti neprocházeli selekcí a byli zapsáni okamžitě. Navštěvovali pouze přednášky, ve všední dny, dopoledne. Děti měly také možnost splnit praktické úkoly a poslat je do pro testování učiteli.
Aby se kluci kvalifikovali na prezenční zkoušku, museli přijít do kanceláře Intelu na pohovor s komisí. Rozdíl oproti kombinované a kombinované formě byl v tom, že kromě přednášek procházeli účastníci tábora praktickými úkoly s kurátory – učiteli UNN a inženýry z Intelu. Druhý týden skončily praktické úkoly a začaly projekty, na kterých účastníci pracovali ve skupinách po 3 lidech.
Během pohovoru byly studentům kladeny otázky týkající se matematiky a programování a také jim byl zadán problém, který bylo nutné vyřešit na místě. Stojí za zmínku, že komise se skládala ze softwarových inženýrů, algoritmů a vysokoškolských učitelů. N.I. Lobačevského, takže rozhovor se ukázal jako mnohostranný a mimořádný. Z pohledu tazatele bylo zajímavé zjistit základní technické znalosti studentů ve vztahu k počítačovému vidění, takže témata jako C++/STL, OOP, základní algoritmy a datové struktury, lineární algebra, matematická analýza, diskrétní matematika a další bylo žádáno mnohem více. Mezi úkoly bylo prioritou zjistit úvahy studentů. Komisi také zajímalo, kde studovali, jaké měli zkušenosti před touto školou (například vědecká činnost) a jak by se dala aplikovat přímo na oblast počítačového vidění.
Prezenčního výběru se zúčastnilo celkem 78 studentů, přičemž prezenčních míst bylo 24. Soutěžilo se 3 studenti na místo. Statistiky účastníků a vizuální rozdíly mezi prezenční a částečnou formou účasti jsou uvedeny v tabulce níže:
Co kluci dělali 2 týdny?
Studenti se v teorii i praxi seznámili s hlavními úkoly počítačového vidění: klasifikace obrazu, detekce objektů a jejich sledování. Přednášková složka ke každému tématu obvykle zahrnovala historický exkurz do vývoje klasických metod řešení problémů počítačového vidění a moderních metod řešení pomocí strojového učení a neuronových sítí. Po teorii následovala praxe, kdy si studenti stáhli oblíbené modely neuronových sítí a spustili je pomocí DNN modulu knihovny OpenCV, čímž vytvořili vlastní aplikaci.
Prezentace všech přednášek byly umístěny na veřejném úložišti , aby studenti mohli kdykoli otevřít a zobrazit potřebné informace, a to i po vyučování. S lektory, učiteli praxe a inženýry Intelu bylo možné komunikovat jak živě, tak prostřednictvím chatu na Gitteru. Úspěšně se ukázalo i načasování projektového týdne: začal ve středu, což umožnilo užitečně strávit víkend bez přednášek a zlepšit týmová rozhodnutí. Nejzodpovědnější účastníci strávili polovinu soboty v kanceláři Intelu, za což byli odměněni neplánovanou exkurzí téhož dne.
Jak probíhala obhajoba projektů?
Každý tým dostal 10 minut na to, aby pohovořil o tom, co během projektu dělal a k čemu dospěl. Po uplynutí této doby začalo 5 minut, během kterých inženýři společnosti kladli klukům otázky a dávali malé tipy, které by jim pomohly zlepšit jejich projekt nebo předejít existujícím chybám v budoucnu. Každý z kluků se vyzkoušel jako řečník, prokázal své znalosti v oblasti počítačového vidění a potvrdil svůj přínos k vytvoření projektu, což nám pomohlo zvážit a vyvodit závěr o každém účastníkovi školy. Obhajoba probíhala přes 3 hodiny, ale o kluky jsme se postarali a napětí uvolnili krátkou přestávkou na kávu, kde se kluci mohli nadechnout a probrat problémy s předními specialisty Intelu.
Na konci dne jsme udělili jedno první, dvě druhá a tři třetí místa. Bylo docela těžké vybrat, protože každý tým, každý projekt měl svou příchuť a vyznačoval se originalitou prezentace.
Účastníci CV Campu na plný úvazek, obhajoba projektu, kancelář Intel v Nižním Novgorodu
Prezentované projekty
Chytrá rukavice
Použití detektoru a trackeru pomocí OpenCV pro vizuální navigaci v prostoru. Tým navíc přidal schopnost hloubkového snímání pomocí dvou kamer. Jako rozhraní pro správu se používá rozhraní Microsoft Speech API.
Receptor
Detekce jídla a výběr receptu na hotový pokrm včetně nalezených surovin. Kluci se úkolu nebáli a během týdne sami označili dostatečný počet snímků, natrénovali detektor pomocí TensorFlow Object Detection API a přidali logiku pro hledání receptu. Jednoduché a vkusné!
Editor 2.0
Účastníci projektu použili k rozpoznání obličeje sadu neuronových sítí (vyhledávání obličejů, normalizace obrazu obličeje podle klíčových bodů, výpočet deskriptoru obrazu obličeje) v rámci úkolu hledání fragmentů v dlouhých videích, ve kterých je určitá osoba současnost, dárek. Vyvinutý systém lze použít jako asistenční systém pro střih videa, osvobodí člověka od nutnosti sledovat video sám při hledání potřebných fragmentů. Pomocí neuronových sítí z , týmu se podařilo dosáhnout vysoké rychlosti aplikace: na notebooku s procesorem Intel Core i5 byla rychlost zpracování videa 58 snímků za sekundu.
Anonymizátor
Kreslení brýlí a masek na obličej člověka. K detekci tváří a klíčových bodů byla použita síť MTCNN.
Anonymus
Další zajímavá práce na téma skrývání identity. Tento tým představil několik možností zkreslení tváří: rozmazání a pixelace. Během jednoho týdne kluci nejen přišli na úkol, ale také poskytli režim pro anonymizaci konkrétní osoby (s rozpoznáním obličeje).
Zahřejte se
Projektový tým „Warm-up“ vyřešil problém vytvoření sportovního asistenta pro cvičení záklonu hlavy. A i když je konečná aplikace této aplikace stále kontroverzní, byla provedena komplexní studie srovnávající různé algoritmy detekce obličeje: Haarovy kaskády, sítě od TensorFlow, OpenCV a OpenVINO. Zahřáli jsme se nejen fyzicky, ale i psychicky!
Nižší 800
Nižnij Novgorod, město, kde se škola konala, se za 2 roky dožije 800 let, což znamená, že je dostatek času na realizaci zajímavého projektu. Požádali jsme děti, aby se zamyslely nad úkolem vytvořit průvodce, který na základě obrázku fasády budov může poskytnout informace o tom, jaký předmět je na obrázku zobrazen a jaká fakta jsou o něm známá. Podle našeho názoru byl tento úkol jedním z nejtěžších, protože se týká klasického počítačového vidění, ale tým předvedl slušný výsledek.
Kámen, nůžky, papír
Navzdory přísným časovým omezením pro dokončení designérských prací se tento tým také nebál provést experiment s trénováním vlastní neuronové sítě pro klasifikaci pozic rukou ve známé hře.
Zpětná vazba od účastníků
Požádali jsme studenty z různých kurzů, aby se podělili o své dojmy z letní školy:
Nedávno jsem měl to štěstí zúčastnit se letního tábora Intel Computer Vision a byl to úžasný zážitek. Získali jsme spoustu nových znalostí a dovedností v oblasti životopisu, instalace softwaru, ladění, ponořili jsme se také do pracovního prostředí, čelili reálným problémům, diskutovali s kolegy a učiteli školy o možných řešeních Existuje mýtus, že práce programátora spočívá pouze v komunikaci s počítačem. Tak tomu však vůbec není. Naše kreativní práce je neoddělitelná od komunikace s lidmi. Právě prostřednictvím komunikace mohl člověk získat jedinečné znalosti. A tato součást školy se mi líbila nejvíc. Má to však jednu nevýhodu... po ukončení školení jsem chtěl pokračovat! Kromě teoretických znalostí v DL a praktických dovedností v CV jsem získal představu o tom, kterým oblastem matematiky je třeba věnovat zvláštní pozornost a které technologie studovat. Oddanost, profesionalita a láska inženýrů a výzkumníků Intelu k jejich práci ovlivnily můj výběr směru v IT. Za to bych chtěl poděkovat všem organizátorům školy.
Kristina, 1. ročník, HSE
Za tak krátkou dobu byla škola schopna poskytnout maximum informací a praxe na téma počítačového vidění. A přestože byla navržena pro základní znalosti, přednášky obsahovaly spoustu technického materiálu, kterému chcete porozumět a věnovat více času studiu. Mentoři a lektoři školy horlivě odpovídali na všechny dotazy a komunikovali se studenty. No a při dokončování finálního projektu jsem se musel ponořit do džungle vývoje hotové aplikace a narazit na potíže, které ne vždy při studiu nastanou. Náš tým nakonec vytvořil aplikaci pro hraní hry „kámen-papír-nůžky“ na počítači. Trénovali jsme model pro rozpoznání postavy na webové kameře, napsali logiku a vytvořili rozhraní založené na frameworku opencv. Škola poskytla podnět k zamyšlení a vektor pro následné učení a rozvoj. Jsem moc rád, že jsem se zúčastnil.
Sergey, 3. ročník, UNN
Škola úplně nesplnila má očekávání. Přednášky vedli poměrně zkušení lidé z vývojářů Intel. Komunikace s lektory byla vždy zajímavá a užitečná, mentoři jsou vstřícní a vždy připraveni pomoci.Přednášky se příjemně poslouchají, témata jsou poměrně aktuální a informativní. Některé věci jsem už ale věděl a ty, které jsem neznal, nebyly praxí nijak podpořeny, a proto jsem ten opravdu dobrý materiál nikdy plně nepochopil a nenastudoval. Ano, většina informací je poskytována pro informační účely, abyste si to pak mohli vyzkoušet doma, nebo jen mít představu, o čem to celé je, ale přesto jsem chtěl implementovat některé existující algoritmy sám pod nefunguje dohled zkušených učitelů, kteří dokážou dobře poradit nebo pomoci, když se něco stane. Výsledkem bylo, že se v praxi používala hotová řešení a kód, dalo by se říci, byl pro nás předem napsaný, bylo potřeba ho jen mírně upravit. Projekty byly nejjednodušší, a pokud se pokusíte úkol nějakým způsobem zkomplikovat, nemáte dostatek času na jeho realizaci do víceméně stabilního stavu, jako se to stalo u nás.
Celkově celá škola působí jako nějaká nepříliš vážná hra vývojářů a právě to je chyba praktické části. Myslím, že je potřeba zvýšit čas strávený ve škole, zkomplikovat procvičovací látku tak, abyste si mohli a měli něco napsat sami, něco opravdu složitého a potřebného a nepoužívat hotové, aby bylo procvičování plynulejší ve zvyšování složitost, témata soutěžních projektů by měla být rozdána v prvních dnech, aby materiál z přednášek a cvičení mohl být okamžitě použit ve vašich projektech a bylo více času na realizaci. Čas strávený ve škole pak poslouží jako dobrá zkušenost pro začínající specialisty.
Dmitry, 1. ročník magisterského studia, NSTU
Letní škola od Intelu byla skvělá šance strávit letošní léto tím, co máte rádi. Samotný fakt, že přednášky zaměstnanců Intelu týkající se programování v oblasti počítačového vidění mi nedovolil uvolnit, chtěl jsem z celého procesu vytěžit maximum, i když to bylo někdy těžké. Každý den ubíhal velmi rychle, neznatelně a plodně. Možnost realizovat vlastní projekt mi umožnila pracovat v týmu s úžasnými kurátory a dalšími účastníky školy. Tyto dva týdny lze stručně popsat takto: zajímavé a pomíjivé.
Elizaveta, 2. ročník, UNN
Na podzim (říjen-listopad) vás čeká vzdělávací program Delta, o kterém se dozvíte z našeho . Zůstaňte naladěni!
Zdroj: www.habr.com