Du 3 juillet au 16 juillet à l'Université d'État de Nijni Novgorod. N.I. Lobatchevski a accueilli l'école d'été interuniversitaire Intel sur la vision par ordinateur - Camp d'été sur la vision par ordinateur, à laquelle plus de 100 étudiants ont participé. L'école s'adressait aux étudiants techniques des universités de Nijni Novgorod qui s'intéressent à la vision par ordinateur, à l'apprentissage profond, aux réseaux de neurones, à Intel OpenVINO, à OpenCV.
Dans cet article, nous partagerons comment s'est déroulée la sélection pour l'École, ce qu'ils ont étudié, ce que les étudiants ont fait dans la partie pratique, et parlerons également de certains des projets présentés lors de la soutenance.
Processus de sélection et formes de participation
Nous avons décidé de donner aux enfants le choix de postuler à deux formes d'enseignement : à temps plein et à temps partiel. Pour les cours à temps partiel et à temps partiel, les étudiants n'ont pas fait l'objet de sélection et ont été inscrits immédiatement. Ils assistaient uniquement aux cours, en semaine, le matin. Les enfants ont également eu l'occasion de réaliser des travaux pratiques et de les envoyer à à tester par les enseignants.
Pour se qualifier pour l'examen à temps plein, les gars devaient se rendre au bureau d'Intel pour un entretien avec la commission. La différence entre le temps partiel et le temps partiel était qu'en plus des conférences, les participants au camp effectuaient des tâches pratiques avec des conservateurs - des enseignants de l'UNN et des ingénieurs d'Intel. Au cours de la deuxième semaine, les travaux pratiques se sont terminés et les projets ont commencé, sur lesquels les participants ont travaillé en groupes de 3 personnes.
Au cours de l'entretien, les étudiants ont été interrogés sur les mathématiques et la programmation, ainsi que sur un problème qu'ils devaient résoudre sur place. Il convient de noter que la commission était composée d’ingénieurs en logiciel, d’ingénieurs en algorithmique et de professeurs d’université. N.I. Lobatchevski, l'entretien s'est donc avéré multiforme et extraordinaire. Du point de vue de l'intervieweur, il était intéressant de connaître les connaissances techniques de base des étudiants en matière de vision par ordinateur, c'est-à-dire des sujets tels que C++/STL, POO, algorithmes de base et structures de données, algèbre linéaire, analyse mathématique, mathématiques discrètes et beaucoup plus a été demandé. Parmi les tâches, la priorité était de connaître le raisonnement des étudiants. La commission s'est également intéressée à l'endroit où ils ont étudié, à l'expérience qu'ils avaient avant cette école (par exemple, activité scientifique) et à la manière dont elle pourrait être appliquée directement au domaine de la vision par ordinateur.
Au total, 78 étudiants ont participé à la sélection à temps plein, alors qu'il y avait 24 places à temps plein. Le concours était de 3 étudiants par place. Les statistiques sur les participants et les différences visuelles entre les formes de participation à temps plein et à temps partiel peuvent être consultées dans le tableau ci-dessous :
Qu'ont fait les gars pendant 2 semaines ?
Les étudiants se sont familiarisés en théorie et en pratique avec les principales tâches de la vision par ordinateur : la classification des images, la détection des objets et leur suivi. La composante du cours pour chaque sujet comprenait généralement une excursion historique dans le développement de méthodes classiques de résolution de problèmes de vision par ordinateur et de méthodes modernes de résolution utilisant l'apprentissage automatique et les réseaux neuronaux. La théorie a été suivie par la pratique, où les étudiants ont téléchargé des modèles de réseaux neuronaux populaires et les ont lancés à l'aide du module DNN de la bibliothèque OpenCV, créant ainsi une application personnalisée.
Les présentations de toutes les conférences ont été publiées dans un référentiel public , afin que les élèves puissent toujours ouvrir et consulter les informations nécessaires, y compris après l'école. Il était possible de communiquer avec des conférenciers, des professeurs praticiens et des ingénieurs Intel en direct et via chat sur Gitter. Le timing de la semaine de projet s'est également avéré réussi : elle a commencé mercredi, ce qui a permis de passer utilement le week-end sans cours, améliorant ainsi les décisions d'équipe. Les participants les plus responsables ont passé la moitié du samedi au bureau d'Intel, pour lequel ils ont été récompensés par une excursion imprévue le même jour.
Comment s’est déroulée la défense des projets ?
Chaque équipe a eu 10 minutes pour parler de ce qu'elle a fait pendant le projet et de ce à quoi elle est parvenue. Passé ce délai, 5 minutes ont commencé, au cours desquelles les ingénieurs de l'entreprise ont posé des questions aux gars et leur ont donné de petits conseils qui les aideraient à améliorer leur projet ou à éviter des erreurs existantes à l'avenir. Chacun des gars s'est essayé en tant qu'orateur, démontrant ses connaissances dans le domaine de la vision par ordinateur et confirmant sa contribution à la création du projet, ce qui nous a aidé à réfléchir et à tirer une conclusion sur chaque participant de l'école. La soutenance s'est déroulée sur 3 heures, mais nous avons pris soin des gars et apaisé la tension avec une courte pause-café, où les gars ont pu souffler et discuter des problèmes avec les principaux spécialistes d'Intel.
Au final, nous avons attribué une première, deux deuxièmes et trois troisièmes places. Le choix a été assez difficile, car chaque équipe, chaque projet avait sa propre saveur et se distinguait par son originalité de présentation.
Participants à temps plein au CV Camp, défense de projet, bureau Intel à Nijni Novgorod
Projets présentés
Gant intelligent
Utilisation d'un détecteur et d'un tracker utilisant OpenCV pour la navigation visuelle dans l'espace. L’équipe a en outre ajouté une capacité de détection de profondeur à l’aide de deux caméras. L'API Microsoft Speech est utilisée comme interface de gestion.
Récepteur
Détection des aliments et sélection d'une recette d'un plat cuisiné, incluant les ingrédients trouvés. Les gars n'avaient pas peur de la tâche et en une semaine, ils ont marqué eux-mêmes un nombre suffisant d'images, formé le détecteur à l'aide de l'API de détection d'objets TensorFlow et ajouté une logique pour trouver la recette. Simple et de bon goût !
Éditeur 2.0
Les participants au projet ont utilisé un ensemble de réseaux neuronaux (recherche de visage, normalisation de l'image du visage par points clés, calcul du descripteur de l'image du visage) pour la reconnaissance faciale dans le cadre de la tâche de recherche de fragments dans de longues vidéos dans lesquelles une certaine personne est présent. Le système développé peut être utilisé comme système d'assistance au montage vidéo, évitant ainsi à une personne de devoir regarder elle-même la vidéo à la recherche des fragments nécessaires. Utiliser les réseaux de neurones de , l'équipe a réussi à atteindre une vitesse élevée de l'application : sur un ordinateur portable équipé d'un processeur Intel Core i5, la vitesse de traitement vidéo était de 58 images par seconde.
Anonymiseur
Dessiner des lunettes et des masques sur le visage d'une personne. Le réseau MTCNN a été utilisé pour détecter les visages et les points clés.
Anonymus
Un autre ouvrage intéressant sur le thème de la dissimulation de l'identité. Cette équipe a introduit plusieurs options pour déformer les visages : le flou et la pixellisation. En une semaine, les gars ont non seulement compris la tâche, mais ont également fourni un mode permettant d'anonymiser une personne spécifique (avec reconnaissance faciale).
Réchauffer
L'équipe du projet « Warm-up » a résolu le problème de la création d'un assistant sportif pour l'exercice d'inclinaison de la tête. Et même si l'application finale de cette application est encore controversée, une étude approfondie a été réalisée comparant différents algorithmes de détection de visage : cascades Haar, réseaux TensorFlow, OpenCV et OpenVINO. Nous nous sommes échauffés non seulement physiquement, mais aussi mentalement !
Inférieur à 800
Nijni Novgorod, la ville où a eu lieu l'école, aura 2 ans dans 800 ans, ce qui signifie qu'il reste suffisamment de temps pour mettre en œuvre un projet intéressant. Nous avons demandé aux enfants de réfléchir à la tâche consistant à créer un guide qui, basé sur l'image de la façade des bâtiments, peut fournir des informations sur le type d'objet représenté dans l'image et sur les faits connus à son sujet. À notre avis, cette tâche était l'une des plus difficiles, puisqu'elle concerne la vision par ordinateur classique, mais l'équipe a montré un résultat décent.
Pierre papier ciseaux
Malgré les contraintes de temps strictes pour terminer le travail de conception, cette équipe n'a pas non plus eu peur de mener une expérience pour entraîner son propre réseau neuronal à classer les positions des mains dans un jeu bien connu.
Commentaires des participants
Nous avons demandé aux étudiants de différents cours de partager leurs impressions sur la Summer School :
J'ai récemment eu la chance de participer au camp d'été Intel Computer Vision et ce fut une expérience merveilleuse. Nous avons acquis beaucoup de nouvelles connaissances et compétences dans le domaine du CV, de l'installation de logiciels, du débogage, nous avons également été immergés dans un environnement de travail, confrontés à de vrais problèmes, discuté des solutions possibles avec des collègues et des professeurs d'école. Il existe un mythe selon lequel le travail d'un programmeur consiste uniquement à communiquer avec un ordinateur. Cependant, ce n’est pas du tout le cas. Notre travail créatif est indissociable de la communication avec les gens. C'est grâce à la communication que l'on peut acquérir des connaissances uniques. Et j'ai le plus aimé cette composante de l'école. Il y a cependant un inconvénient... après avoir terminé la formation, j'ai eu envie de continuer ! En plus des connaissances théoriques en DL et des compétences pratiques en CV, j'ai acquis une idée des domaines des mathématiques qui devraient faire l'objet d'une attention particulière et des technologies qui devraient être étudiées. Le dévouement, le professionnalisme et l'amour pour leur travail des ingénieurs et chercheurs d'Intel ont influencé mon choix d'orientation en informatique. C'est pour cela que je tiens à remercier tous les organisateurs de l'école.
Kristina, 1ère année, HSE
En si peu de temps, l'école a pu fournir un maximum d'informations et de pratique sur le thème de la vision par ordinateur. Et bien qu'il ait été conçu pour les connaissances de base, les conférences contenaient de nombreux éléments techniques que vous souhaitez comprendre et consacrer plus de temps à étudier. Les mentors et les professeurs de l'école ont répondu avec empressement à toutes les questions et ont communiqué avec les étudiants. Eh bien, en terminant le projet final, j'ai dû plonger dans la jungle du développement d'une application finie et rencontrer des difficultés qui ne surviennent pas toujours lors des études. Notre équipe a finalement réalisé une application permettant de jouer au jeu « pierre-papier-ciseaux » avec un ordinateur. Nous avons formé un modèle pour reconnaître une figure sur une webcam, écrit la logique et créé une interface basée sur le framework opencv. L’école constitue une matière à réflexion et un vecteur d’apprentissage et de développement ultérieur. Je suis très heureux d'avoir participé.
Sergueï, 3ème année, UNN
L'école n'a pas vraiment répondu à mes attentes. Les conférences ont été données par des personnes assez expérimentées parmi les développeurs Intel. La communication avec les conférenciers a toujours été intéressante et utile, les mentors sont réactifs et toujours prêts à aider. Les conférences sont agréables à écouter, les sujets sont assez pertinents et instructifs. Mais je savais déjà certaines choses, et celles que je ne connaissais pas n'étaient en aucun cas soutenues par la pratique, et donc le très bon matériel n'a jamais été entièrement compris et étudié par moi. Oui, la plupart des informations sont fournies à titre informatif, afin que vous puissiez ensuite les essayer chez vous, ou simplement avoir une idée de ce dont il s'agit, mais je souhaitais quand même implémenter moi-même certains algorithmes existants sous le supervision d'enseignants expérimentés qui peuvent donner de bons conseils ou aider si quelque chose ne fonctionne pas. En conséquence, dans la pratique, des solutions toutes faites ont été utilisées, et le code, pourrait-on dire, a été pré-écrit pour nous, il n'a fallu que légèrement le modifier. Les projets étaient les plus simples, et si vous essayez de compliquer la tâche d'une manière ou d'une autre, vous n'aurez pas assez de temps pour la mettre en œuvre dans un état plus ou moins stable, comme cela s'est produit avec nous.
En général, toute l'école ressemble à une sorte de jeu de développeurs pas très sérieux, et c'est précisément la faute de la partie pratique. Je pense qu'il est nécessaire d'augmenter le temps passé à l'école, de compliquer le matériel de pratique pour que vous puissiez et deviez écrire quelque chose vous-même, quelque chose de vraiment complexe et nécessaire, et ne pas utiliser de matériel tout fait, pour rendre la pratique plus fluide en augmentant complexité, les sujets des projets de concours doivent être distribués dès les premiers jours, afin que le matériel des cours et des pratiques puisse être utilisé immédiatement dans vos projets et qu'il y ait plus de temps pour la mise en œuvre. Le temps passé à l’école constituera alors une bonne expérience pour les futurs spécialistes.
Dmitry, 1re année de maîtrise, NSTU
L'école d'été d'Intel était une excellente occasion de passer cet été à faire ce que vous aimez. Le fait même que les conférences soient données par des employés d'Intel sur la programmation dans le domaine de la vision par ordinateur ne m'a pas permis de me détendre, je voulais tirer le meilleur parti de l'ensemble du processus, même si c'était parfois difficile. Chaque jour passait très vite, imperceptiblement et fructueusement. L'opportunité de mettre en œuvre mon propre projet m'a permis de travailler en équipe avec de merveilleux conservateurs et d'autres participants de l'école. Ces deux semaines peuvent être brièvement décrites ainsi : intéressantes et éphémères.
Elizaveta, 2ème année, UNN
À l'automne (octobre-novembre), le programme éducatif Delta vous attend, dont vous pourrez vous renseigner auprès de notre . Restez à l'écoute!
Source: habr.com