Van 3 juli tot 16 juli aan de Nizjni Novgorod Staatsuniversiteit. N.I. Lobatsjevski was gastheer van de Intel Interuniversity Summer School on Computer Vision - Computer Vision Summer Camp, waaraan meer dan 100 studenten deelnamen. De school was gericht op technische studenten van de universiteiten van Nizjni Novgorod die geïnteresseerd zijn in computervisie, deep learning, neurale netwerken, Intel OpenVINO, OpenCV.
In dit artikel zullen we vertellen hoe de selectie voor de school plaatsvond, wat ze studeerden, wat de studenten in het praktijkgedeelte deden, en ook praten over enkele van de projecten die tijdens de verdediging werden gepresenteerd.
Selectieproces en vormen van participatie
We besloten de kinderen de keuze te geven om zich aan te melden voor twee vormen van onderwijs: voltijds en deeltijds. Voor de deeltijd- en deeltijdopleidingen hebben de studenten geen selectie ondergaan en zijn zij direct ingeschreven. Ze woonden op weekdagen alleen 's ochtends colleges bij. De kinderen hadden ook de mogelijkheid om praktische taken uit te voeren en deze op te sturen voor toetsing door docenten.
Om in aanmerking te komen voor het voltijdsexamen moesten de jongens naar het Intel-kantoor komen voor een interview met de commissie. Het verschil met de deeltijd- en deeltijdvorm was dat de kampdeelnemers naast lezingen praktische taken doorliepen met curatoren - UNN-docenten en ingenieurs van Intel. In de tweede week eindigden de praktijkopdrachten en begonnen projecten, waaraan deelnemers in groepen van 3 personen werkten.
Tijdens het interview kregen de studenten vragen over wiskunde en programmeren, en kregen ze ook een probleem voorgelegd dat ter plekke moest worden opgelost. Het is vermeldenswaard dat de commissie bestond uit software-ingenieurs, algoritme-ingenieurs en universitaire docenten. N.I. Lobatsjevski, dus het interview bleek veelzijdig en buitengewoon te zijn. Vanuit het perspectief van de interviewer was het interessant om de technische basiskennis van de leerlingen op het gebied van computer vision te achterhalen, dus onderwerpen als C++/STL, OOP, basisalgoritmen en datastructuren, lineaire algebra, wiskundige analyse, discrete wiskunde en er werd nog veel meer gevraagd. Eén van de taken was het achterhalen van de redenering van de leerlingen. De commissie was ook geïnteresseerd in waar ze studeerden, welke ervaring ze hadden vóór deze school (bijvoorbeeld wetenschappelijke activiteiten) en hoe deze rechtstreeks kon worden toegepast op het gebied van computervisie.
Aan de voltijdselectie namen in totaal 78 studenten deel, terwijl er 24 voltijdplaatsen waren, waarbij per plaats 3 studenten werden geconcurreerd. Statistieken over deelnemers en visuele verschillen tussen voltijd- en deeltijdvormen van participatie zijn te zien in de onderstaande tabel:
Wat hebben de jongens twee weken lang gedaan?
Studenten maakten in theorie en praktijk kennis met de belangrijkste taken van computer vision: beeldclassificatie, objectdetectie en het volgen ervan. De lescomponent voor elk onderwerp omvatte meestal een historische excursie naar de ontwikkeling van klassieke methoden voor het oplossen van computervisieproblemen en moderne methoden voor het oplossen ervan met behulp van machinaal leren en neurale netwerken. De theorie werd gevolgd door de praktijk, waarbij studenten populaire neurale netwerkmodellen downloadden en deze lanceerden met behulp van de DNN-module van de OpenCV-bibliotheek, waardoor een aangepaste applicatie ontstond.
Presentaties van alle lezingen werden in een openbare repository geplaatst , zodat leerlingen, ook na schooltijd, altijd de benodigde informatie kunnen openen en bekijken. Zowel live als via chat op Gitter was het mogelijk om te communiceren met docenten, praktijkdocenten en Intel-ingenieurs. Ook de timing van de projectweek bleek succesvol: deze begon op woensdag, wat het mogelijk maakte om het weekend nuttig door te brengen zonder colleges, waardoor de teambeslissingen werden verbeterd. De meest verantwoordelijke deelnemers brachten de helft van de zaterdag door op het Intel-kantoor, waarvoor ze dezelfde dag werden beloond met een ongeplande excursie.
Hoe verliep de verdediging van de projecten?
Elk team kreeg 10 minuten de tijd om te vertellen wat ze tijdens het project deden en waar ze voor kwamen. Na deze tijd begonnen 5 minuten, waarin de ingenieurs van het bedrijf de jongens vragen stelden en kleine tips gaven die hen zouden helpen hun project te verbeteren of bestaande fouten in de toekomst te voorkomen. Elk van de jongens probeerde zichzelf als spreker, demonstreerde hun kennis op het gebied van computervisie en bevestigde hun bijdrage aan de totstandkoming van het project, wat ons hielp nadenken en een conclusie trekken over elke deelnemer aan de school. De verdediging duurde meer dan 3 uur, maar we zorgden voor de jongens en verlichtten de spanning met een korte koffiepauze, waar de jongens even op adem konden komen en problemen konden bespreken met vooraanstaande Intel-specialisten.
Aan het einde van de dag kenden we één eerste, twee tweede en drie derde plaatsen toe. Het was vrij moeilijk om te kiezen, omdat elk team, elk project zijn eigen smaak had en zich onderscheidde door zijn originaliteit van presentatie.
Fulltime CV Camp-deelnemers, projectverdediging, Intel-kantoor in Nizjni Novgorod
Gepresenteerde projecten
Slimme handschoen
Gebruik van een detector en tracker met behulp van OpenCV voor visuele navigatie in de ruimte. Het team heeft bovendien dieptewaarnemingsmogelijkheden toegevoegd met behulp van twee camera's. De Microsoft Speech API wordt gebruikt als beheerinterface.
Receptor
Detectie van voedsel en selectie van een recept voor een kant-en-klaar gerecht, inclusief de gevonden ingrediënten. De jongens waren niet bang voor de taak en binnen een week markeerden ze zelf een voldoende aantal afbeeldingen, trainden ze de detector met behulp van de TensorFlow Object Detection API en voegden logica toe voor het vinden van het recept. Eenvoudig en smaakvol!
Redacteur 2.0
De projectdeelnemers gebruikten een reeks neurale netwerken (gezicht zoeken, normalisatie van het gezichtsbeeld op basis van belangrijke punten, berekening van de gezichtsbeelddescriptor) voor gezichtsherkenning als onderdeel van de taak om fragmenten te zoeken in lange video's waarin een bepaalde persoon wordt weergegeven. cadeau. Het ontwikkelde systeem kan gebruikt worden als assistentiesysteem bij videobewerking, waardoor iemand niet zelf de video hoeft te bekijken op zoek naar de benodigde fragmenten. Met behulp van neurale netwerken van , slaagde het team erin een hoge snelheid van de applicatie te bereiken: op een laptop met een Intel Core i5-processor was de videoverwerkingssnelheid 58 frames per seconde.
Anonimisator
Brillen en maskers op iemands gezicht tekenen. Het MTCNN-netwerk werd gebruikt om gezichten en belangrijke punten te detecteren.
Anoniem
Nog een interessant werk over het onderwerp van het verbergen van identiteit. Dit team introduceerde verschillende opties voor het vervormen van gezichten: vervaging en pixelvorming. In een week tijd hebben de jongens niet alleen de taak ontdekt, maar ook een modus geboden om een specifieke persoon te anonimiseren (met gezichtsherkenning).
Opwarmen
Het projectteam "Warm-up" loste het probleem op van het creëren van een sportassistent voor de hoofdkanteloefening. En ook al is de uiteindelijke toepassing van deze applicatie nog steeds controversieel, er is een uitgebreide studie uitgevoerd waarbij verschillende gezichtsdetectie-algoritmen met elkaar zijn vergeleken: Haarcascades, netwerken van TensorFlow, OpenCV en OpenVINO. We hebben niet alleen fysiek, maar ook mentaal opgewarmd!
Lagere 800
Nizjni Novgorod, de stad waar de school plaatsvond, wordt over 2 jaar 800 jaar oud, wat betekent dat er voldoende tijd is om een interessant project uit te voeren. We vroegen de kinderen na te denken over de taak om een gids te maken die, op basis van het beeld van de gevel van gebouwen, informatie kan geven over wat voor soort object op de afbeelding wordt getoond en welke feiten erover bekend zijn. Naar onze mening was deze taak een van de moeilijkste, omdat deze betrekking heeft op klassieke computervisie, maar het team liet een behoorlijk resultaat zien.
Steen Papier Schaar
Ondanks de strikte tijdsdruk voor het voltooien van het ontwerpwerk, was dit team ook niet bang om een experiment uit te voeren om hun eigen neurale netwerk te trainen om handposities in een bekend spel te classificeren.
Feedback van deelnemers
We vroegen studenten van verschillende opleidingen naar hun indrukken van de Summer School:
Ik had onlangs het geluk om het Intel Computer Vision Summer Camp bij te wonen en het was een geweldige ervaring. We hebben veel nieuwe kennis en vaardigheden opgedaan op het gebied van CV, software-installatie, debuggen, we werden ook ondergedompeld in een werkomgeving, werden geconfronteerd met echte problemen, bespraken mogelijke oplossingen met collega's en leraren op school. Er is een mythe dat het werk van een programmeur bestaat uitsluitend uit communicatie met een computer. Dit is echter helemaal niet het geval. Ons creatieve werk is onlosmakelijk verbonden met de communicatie met mensen. Door middel van communicatie kon men unieke kennis opdoen. En dit onderdeel van de school vond ik het leukst. Er is echter één nadeel... na het afronden van de opleiding wilde ik verder! Naast de theoretische kennis op het gebied van DL en praktische vaardigheden op het gebied van CV, heb ik een idee gekregen van welke gebieden van de wiskunde speciale aandacht moeten krijgen en welke technologieën bestudeerd moeten worden. De toewijding, professionaliteit en liefde voor hun werk van Intel-ingenieurs en onderzoekers hebben mijn keuze voor een richting in de IT beïnvloed. Daarom wil ik alle organisatoren van de school bedanken.
Kristina, 1e jaar, HSE
In zo'n korte tijd was de school in staat om maximale informatie en praktijkervaring te bieden op het gebied van computervisie. En hoewel het bedoeld was voor basiskennis, bevatten de lezingen veel technisch materiaal dat je wilt begrijpen en waar je meer tijd aan wilt besteden. De mentoren en docenten van de school beantwoordden gretig alle vragen en communiceerden met de studenten. Nou, tijdens het voltooien van het afstudeerproject moest ik in de jungle duiken van het ontwikkelen van een voltooide applicatie en stuitte ik op moeilijkheden die niet altijd voorkomen tijdens het studeren. Ons team heeft uiteindelijk een applicatie gemaakt om het spel ‘steen-papier-schaar’ op een computer te spelen. We hebben een model getraind om een figuur op een webcam te herkennen, logica geschreven en een interface gemaakt op basis van het opencv-framework. De school bood stof tot nadenken en een vector voor later leren en ontwikkelen. Ik ben erg blij dat ik heb deelgenomen.
Sergey, 3e jaar, UNN
De school voldeed niet helemaal aan mijn verwachtingen. De lezingen werden gegeven door redelijk ervaren mensen van Intel-ontwikkelaars. De communicatie met docenten is altijd interessant en nuttig geweest, de mentoren zijn responsief en staan altijd klaar om te helpen. De lezingen zijn prettig om naar te luisteren, de onderwerpen zijn behoorlijk relevant en informatief. Maar sommige dingen wist ik al, en de dingen die ik niet wist, werden op geen enkele manier ondersteund door de praktijk, en daarom werd de echt goede stof nooit volledig door mij begrepen en bestudeerd. Ja, de meeste informatie wordt ter informatie verstrekt, zodat je het vervolgens thuis kunt uitproberen, of gewoon een idee hebt waar het over gaat, maar ik wilde toch een aantal bestaande algoritmen zelf implementeren onder de begeleiding van ervaren docenten die goed advies kunnen geven of hulp kunnen geven als er iets gebeurt, lukt niet. Als gevolg hiervan werden in de praktijk kant-en-klare oplossingen gebruikt en was de code, zou je kunnen zeggen, vooraf voor ons geschreven; deze hoefde slechts lichtjes te worden aangepast. De projecten waren het eenvoudigst, en als je de taak op de een of andere manier probeert te compliceren, dan heb je niet genoeg tijd om deze in een min of meer stabiele staat te implementeren, zoals bij ons gebeurde.
Over het algemeen ziet de hele school eruit als een soort niet erg serieus spel van ontwikkelaars, en dit is precies de schuld van het praktische gedeelte. Ik denk dat het nodig is om de tijd die je aan school besteedt te vergroten, om de oefenstof ingewikkelder te maken, zodat je zelf iets kunt en moet schrijven, iets dat echt complex en noodzakelijk is, en geen kant-en-klare exemplaren te gebruiken, om de oefening soepeler te maken bij het vergroten van complexiteit, onderwerpen voor wedstrijdprojecten moeten in de eerste dagen worden bekendgemaakt, zodat het materiaal uit lezingen en oefeningen onmiddellijk in uw projecten kan worden gebruikt en er meer tijd is voor implementatie. Dan zal de tijd die je op school doorbrengt een goede ervaring zijn voor aspirant-specialisten.
Dmitry, 1e jaar master, NSTU
De zomerschool van Intel was een geweldige kans om deze zomer te doen waar je van houdt. Alleen al het feit dat de lezingen werden gegeven door Intel-medewerkers met betrekking tot programmeren op het gebied van computer vision, zorgde ervoor dat ik niet kon ontspannen; ik wilde het maximale uit het hele proces halen, ook al was dat soms moeilijk. Elke dag ging heel snel, onmerkbaar en vruchtbaar voorbij. Door de mogelijkheid om mijn eigen project uit te voeren, kon ik in een team werken met geweldige curatoren en andere schooldeelnemers. Deze twee weken kunnen in het kort als volgt worden omschreven: interessant en vluchtig.
Elizaveta, 2e jaar, UNN
In het najaar (oktober-november) wacht het Delta-educatieprogramma op u, informatie hierover kunt u vinden in onze . Blijf kijken!
Bron: www.habr.com