Del 3 al 16 de juliol a la Universitat Estatal de Nizhny Novgorod. N.I. Lobachevsky va acollir l'Escola d'Estiu Interuniversitaria Intel sobre Visió per Computador - Campament d'Estiu de Visió per Computador, en la qual van participar més de 100 estudiants. L'escola estava dirigida a estudiants tècnics de les universitats de Nizhny Novgorod interessats en la visió per ordinador, l'aprenentatge profund, les xarxes neuronals, Intel OpenVINO, OpenCV.
En aquest article compartirem com es va fer la selecció per a l'Escola, què van estudiar, què van fer els alumnes a la part pràctica, i també parlarem d'alguns dels projectes presentats a la defensa.
Procés de selecció i formes de participació
Vam decidir donar als nens l'opció de sol·licitar dues modalitats d'educació: a temps complet i a temps parcial. Per als cursos a temps parcial i a temps parcial, els estudiants no van ser seleccionats i es van inscriure immediatament. Només assistien a conferències, entre setmana, al matí. Els nens també van tenir l'oportunitat de realitzar tasques pràctiques i enviar-les per a les proves dels professors.
Per optar a l'examen a temps complet, els nois havien de venir a l'oficina d'Intel per a una entrevista amb la comissió. La diferència amb la forma a temps parcial i a temps parcial va ser que, a més de les conferències, els participants del campament van realitzar tasques pràctiques amb comissaris: professors i enginyers de la UNN d'Intel. A la segona setmana s'han finalitzat els treballs pràctics i s'han començat els projectes, en els quals els participants han treballat en grups de 3 persones.
Durant l'entrevista es van fer preguntes sobre matemàtiques i programació als alumnes, i també se'ls va presentar un problema que s'havia de resoldre al moment. Val la pena assenyalar que la comissió estava formada per enginyers de programari, enginyers d'algoritmes i professors universitaris. N.I. Lobachevsky, així que l'entrevista va resultar ser polièdrica i extraordinària. Des del punt de vista de l'entrevistador, va ser interessant conèixer els coneixements tècnics bàsics dels alumnes en relació a la visió per computador, per tant temes com C++/STL, POO, algorismes bàsics i estructures de dades, àlgebra lineal, anàlisi matemàtica, matemàtiques discretes i es van demanar molt més. Entre les tasques, la prioritat era conèixer el raonament dels alumnes. La comissió també es va interessar per on estudiaven, quina experiència tenien abans d'aquesta escola (per exemple, activitat científica) i com es podia aplicar directament al camp de la visió per computador.
En la selecció a temps complet van participar un total de 78 alumnes, mentre que hi havia 24 places a jornada completa, el concurs va ser de 3 alumnes per plaça. Les estadístiques sobre els participants i les diferències visuals entre les formes de participació a temps complet i a temps parcial es poden veure a la taula següent:
Què van fer els nois durant 2 setmanes?
Els alumnes es van familiaritzar en teoria i pràctica amb les principals tasques de la visió per computador: classificació d'imatges, detecció d'objectes i el seu seguiment. El component de conferència per a cada tema sol incloure una excursió històrica al desenvolupament de mètodes clàssics per resoldre problemes de visió per ordinador i mètodes moderns de resolució mitjançant l'aprenentatge automàtic i les xarxes neuronals. La teoria va ser seguida de pràctica, on els estudiants van descarregar models populars de xarxes neuronals i els van llançar mitjançant el mòdul DNN de la biblioteca OpenCV, creant una aplicació personalitzada.
Les presentacions de totes les conferències es van penjar en un repositori públic , de manera que els estudiants sempre puguin obrir i veure la informació necessària, fins i tot després de l'escola. Va ser possible comunicar-se amb professors, professors de pràctiques i enginyers d'Intel tant en directe com per xat a Gitter. El calendari de la setmana del projecte també va ser un èxit: va començar dimecres, fet que va permetre passar el cap de setmana de manera útil sense conferències, millorant les decisions de l'equip. Els participants més responsables van passar la meitat del dissabte a l'oficina d'Intel, per la qual cosa van ser recompensats amb una excursió no programada el mateix dia.
Com va ser la defensa dels projectes?
Cada equip va tenir 10 minuts per parlar del que va fer durant el projecte i del que va arribar. Després d'aquest temps, van començar 5 minuts, durant els quals els enginyers de l'empresa van fer preguntes als nois i van donar petits consells que els ajudarien a millorar el seu projecte o evitar errors existents en el futur. Cadascun dels nois es va provar com a ponent, demostrant els seus coneixements en l'àmbit de la visió per computador i confirmant la seva contribució a la creació del projecte, la qual cosa ens va ajudar a reflexionar i treure una conclusió sobre cada participant de l'escola. La defensa es va dur a terme durant 3 hores, però vam tenir cura dels nois i vam alleujar la tensió amb una breu pausa per al cafè, on els nois van poder respirar i discutir problemes amb els principals especialistes d'Intel.
Al final de la jornada, vam atorgar un primer, dos segons i tres tercers llocs. Va ser força difícil triar, perquè cada equip, cada projecte tenia el seu propi sabor i es distingia per la seva originalitat de presentació.
Participants a temps complet del camp de CV, defensa del projecte, oficina d'Intel a Nizhny Novgorod
Projectes presentats
Guant intel·ligent
Ús d'un detector i rastrejador amb OpenCV per a la navegació visual a l'espai. L'equip també ha afegit la capacitat de detecció de profunditat mitjançant dues càmeres. L'API de Microsoft Speech s'utilitza com a interfície de gestió.
Receptor
Detecció d'aliments i selecció d'una recepta per a un plat preparat, inclosos els ingredients trobats. Els nois no tenien por de la tasca i en una setmana van marcar un nombre suficient d'imatges pel seu compte, van entrenar el detector mitjançant l'API de detecció d'objectes TensorFlow i van afegir lògica per trobar la recepta. Senzill i de bon gust!
Editor 2.0
Els participants del projecte van utilitzar un conjunt de xarxes neuronals (cerca de cares, normalització de la imatge facial per punts clau, càlcul del descriptor de la imatge facial) per al reconeixement facial com a part de la tasca de cerca de fragments en vídeos llargs en què una determinada persona es trobava. present. El sistema desenvolupat es pot utilitzar com a sistema d'assistència per a l'edició de vídeo, alliberant una persona d'haver de mirar el vídeo ella mateixa a la recerca dels fragments necessaris. Ús de xarxes neuronals de , l'equip va aconseguir una gran velocitat de l'aplicació: en un ordinador portàtil amb un processador Intel Core i5, la velocitat de processament de vídeo era de 58 fotogrames per segon.
Anonimitzador
Dibuixar ulleres i màscares a la cara d'una persona. La xarxa MTCNN es va utilitzar per detectar cares i punts clau.
Anònim
Un altre treball interessant sobre el tema de l'ocultació de la identitat. Aquest equip va introduir diverses opcions per distorsionar cares: desenfocament i pixelat. En una setmana, els nois no només van esbrinar la tasca, sinó que també van proporcionar un mode per anonimitzar una persona específica (amb reconeixement facial).
Caldeu-vos
L'equip del projecte "Warm-up" va resoldre el problema de crear un assistent esportiu per a l'exercici d'inclinació del cap. I encara que l'aplicació final d'aquesta aplicació encara sigui controvertida, es va dur a terme un estudi exhaustiu comparant diversos algorismes de detecció de cares: cascades Haar, xarxes de TensorFlow, OpenCV i OpenVINO. Hem escalfat no només físicament, sinó també mentalment!
Baixa 800
Nizhny Novgorod, la ciutat on va tenir lloc l'escola, complirà 2 anys d'aquí a 800 anys, la qual cosa significa que hi ha temps suficient per implementar un projecte interessant. Vam demanar als nens que pensessin en la tasca d'elaborar una guia que, a partir de la imatge de la façana dels edificis, pugui donar informació sobre quin tipus d'objecte es mostra a la imatge i quins fets se'n coneixen. Al nostre parer, aquesta tasca va ser una de les més difícils, ja que es relaciona amb la visió per ordinador clàssica, però l'equip va mostrar un resultat decent.
Pedra paper tisores
Malgrat les estrictes limitacions de temps per completar el treball de disseny, aquest equip tampoc va tenir por de dur a terme un experiment per entrenar la seva pròpia xarxa neuronal per classificar les posicions de les mans en un joc conegut.
Feedback dels participants
Vam demanar als alumnes de diferents cursos que comparteixin les seves impressions sobre l'Escola d'Estiu:
Recentment vaig tenir la sort d'assistir al campament d'estiu d'Intel Computer Vision i va ser una experiència meravellosa. Hem adquirit molts nous coneixements i habilitats en l'àmbit del currículum, la instal·lació de programari, la depuració, també ens hem immers en un entorn de treball, hem enfrontat problemes reals, hem comentat possibles solucions amb els companys i professors de l'escola Hi ha un mite que la feina d'un programador consisteix únicament en comunicar-se amb un ordinador. Tanmateix, aquest no és el cas en absolut. El nostre treball creatiu és inseparable de la comunicació amb les persones. A través de la comunicació es podia obtenir un coneixement únic. I aquest component de l'escola m'ha agradat més. Tanmateix, hi ha un inconvenient... després d'acabar l'entrenament volia continuar! A més dels coneixements teòrics en DL i habilitats pràctiques en CV, em vaig fer una idea de quines àrees de les matemàtiques s'haurien de donar una atenció especial i quines tecnologies s'han d'estudiar. La dedicació, la professionalitat i l'amor pel seu treball dels enginyers i investigadors d'Intel van influir en la meva elecció de direcció en TI. És per això que vull donar les gràcies a tots els organitzadors de l'escola.
Kristina, 1r any, HSE
En tan poc temps, l'escola va poder oferir la màxima informació i pràctica sobre el tema de la visió per computador. I tot i que estava pensat per a coneixements bàsics, les conferències contenien molt material tècnic que es vol entendre i dedicar més temps a estudiar. Els mentors i professors de l'escola van respondre amb entusiasme totes les preguntes i es van comunicar amb els estudiants. Bé, mentre acabava el projecte final, vaig haver de submergir-me a la selva de desenvolupar una aplicació acabada i trobar-me amb dificultats que no sempre sorgeixen a l'hora d'estudiar. El nostre equip finalment va crear una aplicació per jugar al joc "roca-paper-tisores" amb un ordinador. Vam entrenar un model per reconèixer una figura en una càmera web, vam escriure lògica i vam fer una interfície basada en el framework opencv. L'escola va ser un punt de reflexió i un vector per a l'aprenentatge i el desenvolupament posteriors. Estic molt content d'haver participat.
Sergey, 3r any, UNN
L'escola no va estar a l'altura de les meves expectatives. Les conferències van ser impartides per gent amb prou experiència de desenvolupadors d'Intel. La comunicació amb els professors sempre ha estat interessant i útil, els mentors són sensibles i sempre disposats a ajudar, les conferències són agradables d'escoltar, els temes són força rellevants i informatius. Però jo ja sabia algunes coses, i les que no sabia no eren recolzades per la pràctica de cap manera, i per tant, el material realment bo mai va ser entès i estudiat completament per mi. Sí, la major part de la informació es proporciona amb finalitats informatives, de manera que després podeu provar-la a casa, o simplement tenir una idea de què es tracta, però encara volia implementar alguns algorismes existents pel meu compte. supervisió de professors experimentats que poden donar bons consells o ajudar si alguna cosa no funciona. Com a resultat, a la pràctica, es van utilitzar solucions ja fetes i el codi, es podria dir, estava escrit prèviament per a nosaltres; només calia modificar-lo lleugerament. Els projectes eren els més senzills, i si intentes complicar la tasca d'alguna manera, no tens temps suficient per implementar-la en un estat més o menys estable, com ens va passar.
En general, tota l'escola sembla una mena de joc de desenvolupadors poc seriós, i això és precisament culpa de la part pràctica. Crec que cal augmentar el temps dedicat a l'escola, complicar el material de pràctica perquè puguis i hagis d'escriure tu mateix alguna cosa, quelcom realment complex i necessari, i no utilitzar-ne de fetes, per fer la pràctica més fluida en l'augment. complexitat, els temes dels projectes de concursos s'han de lliurar els primers dies, de manera que el material de les conferències i pràctiques es pugui utilitzar immediatament en els vostres projectes i hi hagi més temps per a la implementació. Aleshores, el temps passat a l'escola servirà com una bona experiència per als aspirants a especialistes.
Dmitry, 1r any de màster, NSTU
L'escola d'estiu d'Intel va ser una gran oportunitat per passar aquest estiu fent el que t'agrada. El mateix fet que les conferències fossin impartides per treballadors d'Intel relacionades amb la programació en l'àmbit de la visió per computador no em va permetre relaxar-me; volia treure el màxim profit de tot el procés, encara que de vegades era difícil. Cada dia passava molt ràpid, imperceptible i fructífer. L'oportunitat d'implementar el meu propi projecte em va permetre treballar en equip amb comissaris meravellosos i altres participants de l'escola. Aquestes dues setmanes es poden descriure breument de la següent manera: interessants i fugaces.
Elizaveta, 2n curs, UNN
A la tardor (octubre-novembre), us espera el programa educatiu Delta, informació de la qual podeu consultar al nostre . Estigueu atents!
Font: www.habr.com