Od 3. srpnja do 16. srpnja na Državnom sveučilištu Nizhny Novgorod. N.I. Lobachevsky bila je domaćin Intel Interuniversity Summer School on Computer Vision - Computer Vision Summer Camp u kojoj je sudjelovalo više od 100 studenata. Škola je bila namijenjena studentima tehnike sa sveučilišta u Nižnjem Novgorodu koji su zainteresirani za računalni vid, duboko učenje, neuronske mreže, Intel OpenVINO, OpenCV.
U ovom ćemo članku podijeliti kako je tekla selekcija za Školu, što su učili, što su studenti radili na praktičnom dijelu, a govorit ćemo i o nekim projektima prezentiranim na obrani.
Proces selekcije i oblici sudjelovanja
Odlučili smo djeci dati izbor prijave za dva oblika obrazovanja: redovni i izvanredni. Za izvanredne i izvanredne studije studenti nisu prolazili selekciju i odmah su upisivani. Pohađali su samo predavanja, radnim danom, prijepodne. Djeca su također imala priliku rješavati praktične zadatke i slati ih na za testiranje od strane nastavnika.
Kako bi se kvalificirali za redovni ispit, dečki su morali doći u Intelov ured na razgovor s komisijom. Razlika u odnosu na izvanredni i izvanredni oblik bila je u tome što su polaznici kampa osim predavanja prolazili i praktične zadatke s kustosima – nastavnicima UNN-a i inženjerima iz Intela. U drugom tjednu završili su praktični zadaci i započeli projekti na kojima su sudionici radili u grupama od 3 osobe.
Tijekom intervjua učenicima su postavljana pitanja o matematici i programiranju, a zadat im je i problem koji je trebalo riješiti na licu mjesta. Vrijedno je napomenuti da su komisiju činili programski inženjeri, algoritamski inženjeri i sveučilišni nastavnici. N.I. Lobačevskog, pa je intervju ispao višestruk i izvanredan. Sa stajališta anketara, bilo je zanimljivo doznati osnovno tehničko znanje učenika u vezi s računalnim vidom, pa su teme poput C++/STL, OOP, osnovni algoritmi i strukture podataka, linearna algebra, matematička analiza, diskretna matematika i tražilo se mnogo više. Među zadacima prioritet je bio saznati obrazloženje učenika. Komisiju je zanimalo i gdje su studirali, kakva su iskustva imali prije ove škole (primjerice znanstvena djelatnost) i kako bi se to moglo primijeniti izravno na područje računalnog vida.
U redovnom izboru sudjelovalo je ukupno 78 učenika, dok je na redovita mjesta bilo 24 učenika. Statistike o polaznicima i vizualne razlike između redovnog i izvanrednog oblika sudjelovanja možete vidjeti u tablici ispod:
Što su dečki radili 2 tjedna?
Studenti su se u teoriji i praksi upoznali s glavnim zadaćama računalnog vida: klasifikacija slika, detekcija objekata i njihovo praćenje. Dio predavanja za svaku temu obično je uključivao povijesni izlet u razvoj klasičnih metoda rješavanja problema računalnog vida i suvremenih metoda rješavanja pomoću strojnog učenja i neuronskih mreža. Nakon teorije slijedila je praksa gdje su studenti preuzimali popularne modele neuronskih mreža i pokretali ih pomoću DNN modula OpenCV biblioteke, stvarajući prilagođenu aplikaciju.
Prezentacije svih predavanja objavljene su u javnom repozitoriju , tako da učenici uvijek mogu otvoriti i pregledati potrebne informacije, uključujući i nakon nastave. S predavačima, vježbačima i Intelovim inženjerima bilo je moguće komunicirati uživo i putem chata na Gitteru. Tajming projektnog tjedna također se pokazao uspješnim: započeo je u srijedu, što je omogućilo korisno provesti vikend bez predavanja, poboljšavajući timske odluke. Najodgovorniji sudionici pola subote proveli su u Intelovom uredu, za što su isti dan nagrađeni neplaniranom ekskurzijom.
Kako je protekla obrana projekata?
Svaki tim je dobio 10 minuta za razgovor o tome što su radili tijekom projekta i do čega su došli. Nakon tog vremena počelo je 5 minuta tijekom kojih su inženjeri tvrtke postavljali pitanja dečkima i davali male savjete koji bi im pomogli da poboljšaju svoj projekt ili spriječe postojeće pogreške u budućnosti. Svaki od momaka okušao se kao govornik, demonstrirajući svoje znanje iz područja računalne vizije i potvrdivši svoj doprinos stvaranju projekta, što nam je pomoglo da razmotrimo i donesemo zaključak o svakom sudioniku škole. Obrana je trajala 3 sata, no mi smo se pobrinuli za dečke i smanjili napetost kratkom pauzom za kavu, gdje su dečki mogli odahnuti i raspraviti probleme s vodećim Intelovim stručnjacima.
Na kraju dana dodijelili smo jedno prvo, dva druga i tri treća mjesta. Bilo je prilično teško odabrati, jer je svaki tim, svaki projekt imao svoj okus i odlikovao se originalnošću prezentacije.
Stalni sudionici CV kampa, obrana projekta, Intelov ured u Nižnjem Novgorodu
Predstavljeni projekti
Pametna rukavica
Korištenje detektora i tragača pomoću OpenCV-a za vizualnu navigaciju u prostoru. Tim je dodatno dodao mogućnost detekcije dubine pomoću dvije kamere. Microsoft Speech API koristi se kao sučelje za upravljanje.
Receptor
Detekcija namirnica i odabir recepta za gotovo jelo, uključujući i pronađene sastojke. Dečki se nisu bojali zadatka i u roku od tjedan dana sami su označili dovoljan broj slika, istrenirali detektor koristeći TensorFlow Object Detection API i dodali logiku za pronalaženje recepta. Jednostavno i ukusno!
Urednik 2.0
Sudionici projekta koristili su skup neuronskih mreža (pretraga lica, normalizacija slike lica po ključnim točkama, izračun deskriptora slike lica) za prepoznavanje lica u sklopu zadatka traženja fragmenata u dugim video zapisima u kojima je određena osoba predstaviti. Razvijeni sustav može se koristiti kao pomoćni sustav za uređivanje videa, oslobađajući osobu od potrebe da sam gleda video u potrazi za potrebnim fragmentima. Korištenje neuronskih mreža iz , tim je uspio postići veliku brzinu aplikacije: na prijenosnom računalu s procesorom Intel Core i5, brzina obrade videa bila je 58 sličica u sekundi.
Anonimizator
Crtanje naočala i maski na licu osobe. Za otkrivanje lica i ključnih točaka korištena je mreža MTCNN.
Anonimno
Još jedan zanimljiv rad na temu prikrivanja identiteta. Ovaj tim predstavio je nekoliko opcija za iskrivljenje lica: zamućivanje i pikselizaciju. U tjedan dana dečki ne samo da su shvatili zadatak, već su i osigurali način anonimizacije određene osobe (s prepoznavanjem lica).
Zagrijati
Projektni tim “Warm-up” riješio je problem izrade sportskog asistenta za vježbu nagiba glave. Čak i ako je konačna primjena ove aplikacije još uvijek kontroverzna, provedena je opsežna studija uspoređujući različite algoritme za detekciju lica: Haarove kaskade, mreže TensorFlow, OpenCV i OpenVINO. Zagrijali smo se ne samo fizički, već i psihički!
Niže 800
Nižnji Novgorod, grad u kojem se održava škola, za 2 godine će napuniti 800 godina, što znači da ima dovoljno vremena za realizaciju zanimljivog projekta. Zamolili smo djecu da razmisle o zadatku izrade vodiča koji na temelju slike pročelja zgrada može dati informaciju o tome kakav je objekt prikazan na slici i koje su činjenice o njemu poznate. Po našem mišljenju, ovaj zadatak je bio jedan od najtežih, budući da se odnosi na klasični računalni vid, ali tim je pokazao pristojan rezultat.
Kamen papir škare
Unatoč strogim vremenskim ograničenjima za dovršetak rada na dizajnu, ovaj se tim također nije bojao provesti eksperiment kako bi uvježbao vlastitu neuronsku mrežu za klasificiranje položaja ruku u dobro poznatoj igri.
Povratne informacije od sudionika
Zamolili smo studente različitih kolegija da podijele svoje dojmove o Ljetnoj školi:
Nedavno sam imao sreću prisustvovati ljetnom kampu Intel Computer Vision i bilo je to prekrasno iskustvo. Stekli smo mnogo novih znanja i vještina u području CV-a, instaliranja softvera, debugginga, također smo bili uronjeni u radno okruženje, suočili smo se sa stvarnim problemima, razgovarali o mogućim rješenjima s kolegama i profesorima u školi. Postoji mit da je programerski posao sastoji se isključivo od komunikacije s računalom. Međutim, to uopće nije tako. Naš kreativni rad neodvojiv je od komunikacije s ljudima. Kroz komunikaciju se moglo doći do jedinstvenog znanja. I najviše mi se svidjela ova komponenta škole. Ipak, postoji jedan nedostatak... nakon završetka studija htio sam nastaviti! Osim teorijskih znanja u DL-u i praktičnih vještina u CV-u, stekao sam ideju kojim područjima matematike treba posvetiti posebnu pozornost i koje tehnologije proučavati. Predanost, profesionalizam i ljubav prema svom poslu Intelovih inženjera i istraživača utjecali su na moj odabir smjera u IT-u. Upravo na tome želim zahvaliti svim organizatorima škole.
Kristina, 1. godina, HSE
U tako kratkom vremenu škola je uspjela pružiti maksimum informacija i prakse na temu računalnog vida. I iako je zamišljeno za osnovno znanje, predavanja su sadržavala puno tehničkog materijala koji želite razumjeti i posvetiti više vremena proučavanju. Mentori i predavači škole spremno su odgovarali na sva pitanja i komunicirali s učenicima. Pa, dok sam dovršavao završni projekt, morao sam uroniti u džunglu razvoja gotove aplikacije i naići na poteškoće koje se ne pojavljuju uvijek tijekom učenja. Naš tim je na kraju napravio aplikaciju za igranje igrice “kamen-škare-papir” s računalom. Istrenirali smo model da prepozna lik na web kameri, napisali logiku i napravili sučelje temeljeno na opencv frameworku. Škola je dala hranu za razmišljanje i vektor za kasnije učenje i razvoj. Jako mi je drago što sam sudjelovao.
Sergej, 3. godina, UNN
Škola nije baš ispunila moja očekivanja. Predavanja su držali prilično iskusni ljudi iz Intelovih programera. Komunikacija s predavačima je uvijek bila zanimljiva i korisna, mentori su susretljivi i uvijek spremni pomoći, predavanja su vrlo relevantna i informativna. Ali neke stvari sam već znao, a one koje nisam znao nisu bile potkrijepljene praksom ni na koji način, pa stoga stvarno dobro gradivo nikada nisam u potpunosti razumio i proučio. Da, većina informacija je informativnog karaktera, tako da možete isprobati kod kuće ili jednostavno imati ideju o čemu se radi, ali ipak sam htio implementirati neke postojeće algoritme sam pod nadzor iskusnih učitelja koji mogu dati dobar savjet ili pomoći ako se nešto dogodi ne funkcionira. Kao rezultat toga, u praksi su korištena gotova rješenja, a kod je, moglo bi se reći, unaprijed napisan za nas; samo ga je trebalo malo modificirati. Projekti su bili najjednostavniji, a ako pokušate na neki način zakomplicirati zadatak, onda nemate dovoljno vremena da ga provedete u koliko-toliko stabilno stanje, kao što se dogodilo kod nas.
Općenito, cijela škola izgleda kao nekakva ne baš ozbiljna igrica programera, a za to je kriv upravo praktični dio. Mislim da je potrebno povećati vrijeme provedeno u školi, zakomplicirati gradivo za vježbanje kako biste mogli i trebali sami nešto napisati, nešto stvarno složeno i potrebno, a ne koristiti gotove stvari, kako bi vježba bila lakša u povećanju složenosti, teme za natječajne projekte treba dati u prvim danima, kako bi gradivo s predavanja i vježbi mogli odmah iskoristiti u svojim projektima i tako imati više vremena za realizaciju. Tada će vrijeme provedeno u školi poslužiti kao dobro iskustvo za ambiciozne stručnjake.
Dmitry, 1. godina magisterija, NSTU
Ljetna škola iz Intela bila je odlična prilika da ovo ljeto provedete radeći ono što volite. Sama činjenica da su predavanja držali zaposlenici Intela vezana uz programiranje u području računalnog vida nije mi dopuštala opuštanje, želio sam izvući maksimum iz cijelog procesa, iako je to ponekad bilo teško. Svaki dan je prošao vrlo brzo, neprimjetno i plodonosno. Mogućnost provedbe vlastitog projekta omogućila mi je rad u timu s divnim kustosima i ostalim polaznicima škole. Ova dva tjedna mogu se ukratko opisati na sljedeći način: zanimljiva i prolazna.
Elizaveta, 2. godina, UNN
U jesen (listopad-studeni) očekuje vas Delta obrazovni program o kojem možete saznati u našem . Ostanite s nama!
Izvor: www.habr.com