Fra 3. juli til 16. juli ved Nizhny Novgorod State University. N.I. Lobachevsky var vertskap for Intel Interuniversity Summer School on Computer Vision - Computer Vision Summer Camp, der mer enn 100 studenter deltok. Skolen var rettet mot tekniske studenter fra Nizhny Novgorod-universiteter som er interessert i datasyn, dyp læring, nevrale nettverk, Intel OpenVINO, OpenCV.
I denne artikkelen vil vi dele hvordan utvelgelsen til skolen foregikk, hva de studerte, hva studentene gjorde i den praktiske delen, og også snakke om noen av prosjektene som ble presentert på forsvaret.
Utvelgelsesprosess og former for medvirkning
Vi bestemte oss for å gi barna valget mellom å søke på to utdanningsformer: heltid og deltid. For deltids- og deltidskurs gjennomgikk ikke studentene seleksjon og ble påmeldt umiddelbart. De deltok kun på forelesninger, på hverdager, om morgenen. Barna fikk også mulighet til å gjennomføre praktiske oppgaver og sende dem til for testing av lærere.
For å kvalifisere seg til fulltidseksamen, måtte gutta komme til Intel-kontoret for et intervju med kommisjonen. Forskjellen fra deltids- og deltidsformen var at leirdeltakerne i tillegg til forelesninger gjennomgikk praktiske oppgaver med kuratorer – UNN-lærere og ingeniører fra Intel. I den andre uken ble praktiske oppgaver avsluttet og prosjekter startet der deltakerne jobbet i grupper på 3 personer.
I løpet av intervjuet fikk elevene spørsmål om matematikk og programmering, og fikk også en oppgave som måtte løses på stedet. Det er verdt å merke seg at kommisjonen besto av programvareingeniører, algoritmeingeniører og universitetslærere. N.I. Lobachevsky, så intervjuet viste seg å være mangefasettert og ekstraordinært. Fra intervjuerens ståsted var det interessant å finne ut elevenes grunnleggende tekniske kunnskaper i forhold til datasyn, så temaer som C++/STL, OOP, grunnleggende algoritmer og datastrukturer, lineær algebra, matematisk analyse, diskret matematikk og mye mer ble spurt. Blant oppgavene var prioritet å finne ut elevenes resonnement. Kommisjonen var også interessert i hvor de studerte, hvilken erfaring de hadde før denne skolen (for eksempel vitenskapelig aktivitet) og hvordan den kunne brukes direkte på datasynsfeltet.
Totalt deltok 78 elever i kåringen på heltid, mens det var 24 fulltidsplasser Konkurransen var 3 elever per plass. Statistikk over deltakere og visuelle forskjeller mellom fulltids- og deltidsformene for deltakelse kan ses i tabellen nedenfor:
Hva gjorde gutta i 2 uker?
Studentene ble i teori og praksis kjent med hovedoppgavene til datasyn: bildeklassifisering, gjenstandsdeteksjon og sporing av dem. Forelesningskomponenten for hvert emne inkluderte vanligvis en historisk ekskursjon i utviklingen av klassiske metoder for å løse datasynsproblemer og moderne metoder for å løse ved hjelp av maskinlæring og nevrale nettverk. Teorien ble fulgt av praksis, der studentene lastet ned populære nevrale nettverksmodeller og lanserte dem ved å bruke DNN-modulen til OpenCV-biblioteket, og skapte en tilpasset applikasjon.
Presentasjoner av alle forelesninger ble lagt ut i et offentlig depot , slik at elevene alltid kan åpne og se nødvendig informasjon, også etter skoletid. Det var mulig å kommunisere med forelesere, praksislærere og Intel-ingeniører både live og via chat på Gitter. Tidspunktet for prosjektuken viste seg også å være vellykket: den begynte på onsdag, noe som gjorde det mulig å bruke helgen uten forelesninger, og forbedre teambeslutninger. De mest ansvarlige deltakerne tilbrakte halve lørdagen på Intel-kontoret, som de ble belønnet for med en ikke-planlagt utflukt samme dag.
Hvordan var forsvaret av prosjektene?
Hvert team fikk 10 minutter til å snakke om hva de gjorde under prosjektet og hva de kom frem til. Etter denne tiden begynte 5 minutter, hvor selskapets ingeniører stilte gutta spørsmål og ga små tips som ville hjelpe dem å forbedre prosjektet eller forhindre eksisterende feil i fremtiden. Hver av gutta prøvde seg som foredragsholder, demonstrerte kunnskapen sin innen datasyn og bekreftet deres bidrag til opprettelsen av prosjektet, noe som hjalp oss med å vurdere og trekke en konklusjon om hver deltaker på skolen. Forsvaret foregikk over 3 timer, men vi tok oss av gutta og lette på spenningen med en kort kaffepause, hvor gutta kunne trekke pusten og diskutere problemer med ledende Intel-spesialister.
På slutten av dagen delte vi ut én første-, to andre- og tre tredjeplasser. Det var ganske vanskelig å velge, fordi hvert lag, hvert prosjekt hadde sin egen smak og ble preget av sin originalitet i presentasjonen.
Heltids CV Camp-deltakere, prosjektforsvar, Intel-kontor i Nizhny Novgorod
Presenterte prosjekter
Smart hanske
Bruke en detektor og tracker ved hjelp av OpenCV for visuell navigering i rommet. Teamet har i tillegg lagt til dybdesensorfunksjon ved hjelp av to kameraer. Microsoft Speech API brukes som administrasjonsgrensesnitt.
Reseptor
Påvisning av mat og valg av oppskrift på en ferdigrett, inkludert de funne ingrediensene. Gutta var ikke redde for oppgaven og i løpet av en uke merket de opp et tilstrekkelig antall bilder på egenhånd, trente detektoren ved å bruke TensorFlow Object Detection API og la til logikk for å finne oppskriften. Enkelt og smakfullt!
Redaktør 2.0
Prosjektdeltakerne brukte et sett med nevrale nettverk (ansiktssøk, normalisering av ansiktsbildet etter nøkkelpunkter, beregning av ansiktsbildebeskrivelsen) for ansiktsgjenkjenning som en del av oppgaven med å søke etter fragmenter i lange videoer der en bestemt person er tilstede. Det utviklede systemet kan brukes som et hjelpesystem for videoredigering, og frigjør en person fra å måtte se videoen selv på jakt etter de nødvendige fragmentene. Bruke nevrale nettverk fra , klarte teamet å oppnå høy hastighet på applikasjonen: på en bærbar PC med en Intel Core i5-prosessor var videobehandlingshastigheten 58 bilder per sekund.
Anonymizer
Tegne briller og masker på en persons ansikt. MTCNN-nettverket ble brukt til å oppdage ansikter og nøkkelpunkter.
Anonym
Nok et interessant arbeid om temaet skjule identitet. Dette teamet introduserte flere alternativer for å forvrenge ansikter: uskarphet og pikselering. På en uke fant gutta ikke bare ut oppgaven, men ga også en modus for å anonymisere en bestemt person (med ansiktsgjenkjenning).
Varm opp
Prosjektteamet "Oppvarming" løste problemet med å lage en sportsassistent for hodetiltøvelsen. Og selv om den endelige anvendelsen av denne applikasjonen fortsatt er kontroversiell, ble det utført en omfattende studie som sammenlignet forskjellige ansiktsdeteksjonsalgoritmer: Haar-kaskader, nettverk fra TensorFlow, OpenCV og OpenVINO. Vi varmet opp ikke bare fysisk, men også mentalt!
Lavere 800
Nizhny Novgorod, byen der skolen fant sted, fyller 2 år om 800 år, noe som betyr at det er nok tid til å gjennomføre et interessant prosjekt. Vi ba barna tenke gjennom oppgaven med å lage en veileder som ut fra bildet av fasaden på bygninger kan gi informasjon om hva slags objekt som vises på bildet og hvilke fakta som er kjent om det. Etter vår mening var denne oppgaven en av de vanskeligste, siden den er relatert til klassisk datasyn, men teamet viste et anstendig resultat.
Stein saks papir
Til tross for de strenge tidsbegrensningene for å fullføre designarbeidet, var dette teamet heller ikke redd for å gjennomføre et eksperiment for å trene sitt eget nevrale nettverk til å klassifisere håndposisjoner i et velkjent spill.
Tilbakemeldinger fra deltakerne
Vi ba studenter fra forskjellige kurs dele sine inntrykk av sommerskolen:
Jeg var nylig så heldig å delta på Intel Computer Vision Summer Camp, og det var en fantastisk opplevelse. Vi fikk mye ny kunnskap og ferdigheter innen CV, programvareinstallasjon, debugging, vi ble også fordypet i et arbeidsmiljø, møtte reelle problemer, diskuterte mulige løsninger med kolleger og skolelærere.Det er en myte om at en programmerers jobb består utelukkende av å kommunisere med en datamaskin. Dette er imidlertid ikke tilfelle i det hele tatt. Vårt kreative arbeid er uatskillelig fra kommunikasjon med mennesker. Det var gjennom kommunikasjon man kunne få unik kunnskap. Og jeg likte denne delen av skolen best. Det er imidlertid en ulempe... etter endt trening ønsket jeg å fortsette! I tillegg til teoretisk kunnskap i DL og praktiske ferdigheter i CV, fikk jeg en ide om hvilke områder av matematikk som bør vies spesiell oppmerksomhet og hvilke teknologier som bør studeres. Engasjementet, profesjonaliteten og kjærligheten til arbeidet deres til Intel-ingeniører og forskere påvirket mitt valg av retning innen IT. Det er for dette jeg vil takke alle arrangørene av skolen.
Kristina, 1. år, HMS
På så kort tid var skolen i stand til å gi maksimal informasjon og praksis på temaet datasyn. Og selv om det var laget for grunnleggende kunnskap, inneholdt forelesningene mye teknisk stoff som du ønsker å forstå og bruke mer tid på å studere. Skolens mentorer og forelesere svarte ivrig på alle spørsmål og kommuniserte med elevene. Vel, mens jeg fullførte sluttprosjektet, måtte jeg stupe inn i jungelen med å utvikle en ferdig applikasjon og møte vanskeligheter som ikke alltid oppstår når jeg studerer. Teamet vårt laget til slutt en søknad om å spille spillet "stein-papir-saks" med en datamaskin. Vi trente en modell til å gjenkjenne en figur på et webkamera, skrev logikk og laget et grensesnitt basert på opencv-rammeverket. Skolen ga mat til ettertanke og en vektor for påfølgende læring og utvikling. Jeg er veldig glad for at jeg deltok.
Sergey, 3. år, UNN
Skolen levde ikke helt opp til mine forventninger. Forelesningene ble holdt av ganske erfarne folk fra Intel-utviklere. Kommunikasjon med forelesere har alltid vært interessant og nyttig, mentorene er lydhøre og alltid klare til å hjelpe.Forelesningene er hyggelige å lytte til, temaene er ganske relevante og lærerike. Men jeg visste allerede noen ting, og de som jeg ikke visste ble ikke støttet av praksis på noen måte, og derfor ble det virkelig gode materialet aldri helt forstått og studert av meg. Ja, det meste av informasjonen er gitt for informasjonsformål, slik at du deretter kan prøve det hjemme, eller bare ha en ide om hva det handler om, men jeg ønsket fortsatt å implementere noen eksisterende algoritmer på egen hånd under veiledning av erfarne lærere som kan gi gode råd eller hjelpe hvis noe skjer fungerer ikke. Som et resultat ble det i praksis brukt ferdige løsninger, og koden, kan man si, var forhåndsskrevet for oss, den måtte bare endres litt. Prosjektene var de enkleste, og hvis du prøver å komplisere oppgaven på en eller annen måte, har du ikke nok tid til å implementere den til en mer eller mindre stabil tilstand, slik som skjedde hos oss.
Generelt ser hele skolen ut som et slags lite seriøst spill av utviklere, og dette er nettopp den praktiske delens feil. Jeg tenker at det er nødvendig å øke tiden som brukes på skolen, å komplisere øvingsmateriellet slik at man kan og bør skrive noe selv, noe virkelig komplekst og nødvendig, og ikke bruke ferdige, for å gjøre praksisen smidigere i å øke kompleksitet bør emner for konkurranseprosjekter gis ut i løpet av de første dagene, slik at materialet fra forelesninger og praksis kan brukes umiddelbart i dine prosjekter og det blir mer tid til gjennomføring. Da vil tiden på skolen tjene som en god opplevelse for aspirerende spesialister.
Dmitry, 1. års mastergrad, NSTU
Sommerskole fra Intel var en flott sjanse til å bruke denne sommeren på å gjøre det du elsker. Selve det faktum at forelesningene ble holdt av Intel-ansatte knyttet til programmering innen datasynsfeltet tillot meg ikke å slappe av, jeg ønsket å få mest mulig ut av hele prosessen, selv om det noen ganger var vanskelig. Hver dag gikk veldig fort, umerkelig og fruktbart. Muligheten til å gjennomføre mitt eget prosjekt gjorde at jeg kunne jobbe i et team med fantastiske kuratorer og andre skoledeltakere. Disse to ukene kan kort beskrives som følger: interessante og flyktige.
Elizaveta, 2. år, UNN
Til høsten (oktober-november) venter Delta-utdanningsprogrammet på deg, informasjon som du kan finne ut av vår . Følg med!
Kilde: www.habr.com