Fra 3. juli til 16. juli på Nizhny Novgorod State University. N.I. Lobachevsky var vært for Intel Interuniversity Summer School on Computer Vision - Computer Vision Summer Camp, hvor mere end 100 studerende deltog. Skolen var rettet mod tekniske studerende fra Nizhny Novgorod-universiteter, der er interesserede i computervision, deep learning, neurale netværk, Intel OpenVINO, OpenCV.
I denne artikel vil vi fortælle, hvordan udvælgelsen til Skolen foregik, hvad de studerede, hvad eleverne lavede i den praktiske del, og også fortælle om nogle af de projekter, der blev præsenteret på forsvaret.
Udvælgelsesproces og deltagelsesformer
Vi besluttede at give børnene valget mellem at søge ind på to uddannelsesformer: fuld tid og deltid. For deltids- og deltidskurser gennemgik de studerende ikke udvælgelse og blev tilmeldt med det samme. De deltog kun i forelæsninger, på hverdage, om morgenen. Børnene havde også mulighed for at udføre praktiske opgaver og sende dem til til test af lærere.
For at kvalificere sig til fuldtidseksamenen måtte fyrene komme til Intel-kontoret til et interview med kommissionen. Forskellen fra deltids- og deltidsformen var, at lejrdeltagerne udover foredrag gennemgik praktiske opgaver med kuratorer - UNN-lærere og ingeniører fra Intel. I anden uge sluttede praktiske opgaver og projekter begyndte, hvor deltagerne arbejdede i grupper på 3 personer.
Under interviewet blev eleverne stillet spørgsmål om matematik og programmering, og de fik også et problem, som skulle løses på stedet. Det er værd at bemærke, at kommissionen bestod af softwareingeniører, algoritmeingeniører og universitetslærere. N.I. Lobachevsky, så interviewet viste sig at være mangefacetteret og ekstraordinært. Fra interviewerens side var det interessant at finde frem til elevernes grundlæggende tekniske viden i forhold til computersyn, så emner som C++/STL, OOP, grundlæggende algoritmer og datastrukturer, lineær algebra, matematisk analyse, diskret matematik og meget mere blev spurgt. Blandt opgaverne var det prioriteret at finde frem til elevernes ræsonnement. Kommissionen var også interesseret i, hvor de studerede, hvilke erfaringer de havde før denne skole (f.eks. videnskabelig aktivitet), og hvordan det kunne anvendes direkte på computersynsområdet.
I alt deltog 78 elever i fuldtidsudtagelsen, mens der var 24 fuldtidspladser Konkurrencen var 3 elever pr. Statistik over deltagere og visuelle forskelle mellem fuldtids- og deltidsformerne for deltagelse kan ses i nedenstående tabel:
Hvad lavede fyrene i 2 uger?
Eleverne blev i teori og praksis bekendt med computersynets hovedopgaver: billedklassificering, genstandsdetektion og deres sporing. Forelæsningsdelen for hvert emne omfattede normalt en historisk ekskursion i udviklingen af klassiske metoder til løsning af computersynsproblemer og moderne metoder til løsning ved hjælp af maskinlæring og neurale netværk. Teorien blev efterfulgt af praksis, hvor eleverne downloadede populære neurale netværksmodeller og lancerede dem ved hjælp af DNN-modulet i OpenCV-biblioteket, hvilket skabte en brugerdefineret applikation.
Præsentationer af alle forelæsninger blev lagt ud i et offentligt depot , så eleverne altid kan åbne og se den nødvendige information, også efter skoletid. Det var muligt at kommunikere med undervisere, praksislærere og Intel-ingeniører både live og via chat på Gitter. Timingen af projektugen viste sig også at være vellykket: den begyndte i onsdags, hvilket gjorde det muligt med fordel at tilbringe weekenden fri fra forelæsninger og forbedre teamets beslutninger. De mest ansvarlige deltagere tilbragte halvdelen af lørdagen på Intel-kontoret, hvilket de blev belønnet for med en ikke-planlagt udflugt samme dag.
Hvordan var forsvaret af projekterne?
Hvert hold fik 10 minutter til at tale om, hvad de lavede under projektet, og hvad de kom til. Efter dette tidspunkt begyndte 5 minutter, hvor firmaets ingeniører stillede fyrene spørgsmål og gav små tips, der kunne hjælpe dem med at forbedre deres projekt eller forhindre eksisterende fejl i fremtiden. Hver af fyrene prøvede sig selv som taler, demonstrerede deres viden inden for computersyn og bekræftede deres bidrag til oprettelsen af projektet, hvilket hjalp os med at overveje og drage en konklusion om hver deltager på skolen. Forsvaret foregik over 3 timer, men vi tog os af gutterne og lettede spændingen med en kort kaffepause, hvor gutterne kunne trække vejret og diskutere problemer med førende Intel-specialister.
Sidst på dagen tildelte vi én første-, to anden- og tre tredjepladser. Det var ret svært at vælge, fordi hvert team, hvert projekt havde sin egen smag og var kendetegnet ved sin originalitet i præsentationen.
Fuldtids CV Camp deltagere, projektforsvar, Intel kontor i Nizhny Novgorod
Fremlagte projekter
Smart handske
Brug af en detektor og tracker ved hjælp af OpenCV til visuel navigation i rummet. Holdet har desuden tilføjet dybderegistreringsevne ved hjælp af to kameraer. Microsoft Speech API bruges som administrationsgrænseflade.
Receptor
Påvisning af mad og valg af opskrift på en færdigret, herunder de fundne ingredienser. Fyrene var ikke bange for opgaven, og inden for en uge markerede de et tilstrækkeligt antal billeder på egen hånd, trænede detektoren ved hjælp af TensorFlow Object Detection API og tilføjede logik til at finde opskriften. Simpelt og smagfuldt!
Editor 2.0
Projektdeltagerne brugte et sæt neurale netværk (ansigtssøgning, normalisering af ansigtsbilledet efter nøglepunkter, beregning af ansigtsbilledets deskriptor) til ansigtsgenkendelse som en del af opgaven med at søge efter fragmenter i lange videoer, hvor en bestemt person er til stede. Det udviklede system kan bruges som et hjælpesystem til videoredigering, der frigør en person fra selv at skulle se videoen i jagten på de nødvendige fragmenter. Brug af neurale netværk fra , lykkedes det teamet at opnå høj hastighed af applikationen: på en bærbar computer med en Intel Core i5-processor var videobehandlingshastigheden 58 billeder i sekundet.
Anonymizer
Tegning af briller og masker på en persons ansigt. MTCNN-netværket blev brugt til at opdage ansigter og nøglepunkter.
Anonym
Endnu et interessant arbejde om emnet at skjule identitet. Dette team introducerede flere muligheder for at forvrænge ansigter: sløring og pixelering. På en uge fandt fyrene ikke kun ud af opgaven, men gav også en tilstand til at anonymisere en bestemt person (med ansigtsgenkendelse).
Varm op
"Opvarmning"-projektteamet løste problemet med at skabe en sportsassistent til hovedtiltøvelsen. Og selvom den endelige anvendelse af denne applikation stadig er kontroversiel, blev der udført en omfattende undersøgelse, der sammenlignede forskellige ansigtsdetektionsalgoritmer: Haar-kaskader, netværk fra TensorFlow, OpenCV og OpenVINO. Vi varmede ikke kun op fysisk, men også mentalt!
Lavere 800
Nizhny Novgorod, byen hvor skolen fandt sted, fylder 2 år om 800 år, hvilket betyder, at der er tid nok til at gennemføre et interessant projekt. Vi bad børnene tænke over opgaven med at lave en guide, der ud fra billedet af bygningers facade kan give information om, hvilken slags objekt der er vist på billedet, og hvilke fakta der er kendt om det. Efter vores mening var denne opgave en af de sværeste, da den vedrører klassisk computervision, men holdet viste et anstændigt resultat.
Sten saks papir
På trods af de strenge tidsbegrænsninger for at fuldføre designarbejdet, var dette hold heller ikke bange for at udføre et eksperiment for at træne deres eget neurale netværk til at klassificere håndpositioner i et velkendt spil.
Feedback fra deltagere
Vi bad elever fra forskellige kurser om at dele deres indtryk af sommerskolen:
Jeg var for nylig så heldig at deltage i Intel Computer Vision Summer Camp, og det var en vidunderlig oplevelse. Vi fik en masse ny viden og færdigheder inden for CV, softwareinstallation, debugging, vi var også fordybet i et arbejdsmiljø, stod over for reelle problemer, diskuterede mulige løsninger med kolleger og skolelærere Der er en myte om, at en programmørs job består udelukkende af at kommunikere med en computer. Dette er dog slet ikke tilfældet. Vores kreative arbejde er uadskilleligt fra kommunikation med mennesker. Det var gennem kommunikation, man kunne opnå unik viden. Og jeg kunne bedst lide denne del af skolen. Der er dog en ulempe... efter at have afsluttet uddannelsen ville jeg fortsætte! Ud over teoretisk viden i DL og praktiske færdigheder i CV, fik jeg en idé om, hvilke områder af matematikken der bør lægges særlig vægt på, og hvilke teknologier der bør studeres. Dedikation, professionalisme og kærlighed til deres arbejde fra Intels ingeniører og forskere påvirkede mit valg af retning inden for IT. Det er for dette, at jeg vil gerne takke alle skolens arrangører.
Kristina, 1. år, HSE
På så kort tid var skolen i stand til at give maksimal information og praksis om emnet computersyn. Og selvom det var designet til grundlæggende viden, indeholdt forelæsningerne en masse teknisk materiale, som du gerne vil forstå og bruge mere tid på at studere. Skolens mentorer og undervisere besvarede ivrigt alle spørgsmål og kommunikerede med eleverne. Nå, mens jeg afsluttede det afsluttende projekt, måtte jeg kaste mig ud i junglen med at udvikle en færdig applikation og støde på vanskeligheder, der ikke altid opstår, når jeg studerer. Vores team lavede til sidst en ansøgning om at spille spillet "sten-papir-saks" med en computer. Vi trænede en model til at genkende en figur på et webcam, skrev logik og lavede en grænseflade baseret på opencv frameworket. Skolen gav stof til eftertanke og en vektor for efterfølgende læring og udvikling. Jeg er meget glad for, at jeg deltog.
Sergey, 3. år, UNN
Skolen levede ikke helt op til mine forventninger. Foredragene blev holdt af ret erfarne folk fra Intel-udviklere. Kommunikation med undervisere har altid været interessant og brugbar, mentorerne er lydhøre og altid klar til at hjælpe.Forelæsningerne er behagelige at lytte til, emnerne er ret relevante og informative. Men jeg vidste allerede nogle ting, og dem, jeg ikke vidste, blev ikke understøttet af praksis på nogen måde, og derfor blev det rigtig gode materiale aldrig helt forstået og studeret af mig. Ja, det meste af informationen er givet til informationsformål, så du kan prøve det derhjemme, eller bare have en idé om, hvad det handler om, men jeg ville stadig implementere nogle eksisterende algoritmer på egen hånd under supervision af erfarne lærere, der kan give gode råd eller hjælpe, hvis der sker noget, virker ikke. Som følge heraf blev der i praksis brugt færdige løsninger, og koden, kan man sige, var forskrevet til os, den skulle kun ændres en smule. Projekterne var de enkleste, og hvis du forsøger at komplicere opgaven på en eller anden måde, så har du ikke tid nok til at implementere den til en mere eller mindre stabil tilstand, som det skete hos os.
Generelt ligner hele skolen en form for ikke særlig seriøst spil udviklere, og det er netop den praktiske dels skyld. Jeg tror, at det er nødvendigt at øge tiden brugt på skolen, at komplicere øvelsesmaterialet, så man kan og bør skrive noget selv, noget virkelig komplekst og nødvendigt, og ikke bruge færdige, for at gøre øvelsen mere smidig i at øge kompleksitet, bør emner til konkurrenceprojekter udleveres i de første dage, så materialet fra forelæsninger og praksis kan bruges med det samme i jeres projekter, og der bliver mere tid til implementering. Så vil tiden på skolen tjene som en god oplevelse for aspirerende specialister.
Dmitry, 1. års kandidatgrad, NSTU
Sommerskole fra Intel var en fantastisk chance for at bruge denne sommer på at gøre det, du elsker. Netop det faktum, at forelæsningerne blev holdt af Intel-medarbejdere relateret til programmering inden for computersyn, tillod mig ikke at slappe af; jeg ønskede at få mest muligt ud af hele processen, selvom det nogle gange var svært. Hver dag gik meget hurtigt, umærkeligt og frugtbart. Muligheden for at implementere mit eget projekt gav mig mulighed for at arbejde i et team med vidunderlige kuratorer og andre skoledeltagere. Disse to uger kan kort beskrives som følger: interessante og flygtige.
Elizaveta, 2. år, UNN
I efteråret (oktober-november) venter Delta-uddannelsen på dig, som du kan finde information om fra vores . Bliv hængende!
Kilde: www.habr.com