Computer Vision Summer Camp – Intel Summer School zum Thema Computer Vision

Vom 3. bis 16. Juli an der Staatlichen Universität Nischni Nowgorod. N.I. Lobachevsky war Gastgeber der Intel Interuniversity Summer School on Computer Vision – Computer Vision Summer Camp, an der mehr als 100 Studenten teilnahmen. Die Schule richtete sich an technische Studenten der Universitäten Nischni Nowgorod, die sich für Computer Vision, Deep Learning, neuronale Netze, Intel OpenVINO und OpenCV interessieren.

In diesem Artikel erzählen wir, wie die Auswahl für die Schule ablief, was sie studierten, was die Schüler im praktischen Teil machten und sprechen auch über einige der Projekte, die bei der Verteidigung vorgestellt wurden.

Auswahlverfahren und Beteiligungsformen

Wir haben beschlossen, den Kindern die Wahl zu lassen, sich für zwei Bildungsformen zu bewerben: Vollzeit und Teilzeit. Für berufsbegleitende und berufsbegleitende Studiengänge wurden die Studierenden nicht ausgewählt und sofort eingeschrieben. Sie besuchten werktags nur vormittags Vorlesungen. Die Kinder hatten auch die Möglichkeit, praktische Aufgaben zu lösen und zu verschicken GitHub zur Prüfung durch Lehrer.

Um sich für die Vollzeitprüfung zu qualifizieren, mussten die Jungs zu einem Vorstellungsgespräch mit der Kommission ins Intel-Büro kommen. Der Unterschied zur Teilzeit- und Teilzeitform bestand darin, dass die Camp-Teilnehmer zusätzlich zu den Vorlesungen praktische Aufgaben mit Kuratoren – UNN-Lehrern und Ingenieuren von Intel – absolvierten. In der zweiten Woche endeten die praktischen Aufgaben und es begann mit Projekten, an denen die Teilnehmer in Gruppen von 3 Personen arbeiteten.

Während des Interviews wurden den Studierenden Fragen zu Mathematik und Programmierung gestellt und außerdem eine Aufgabe gestellt, die vor Ort gelöst werden musste. Es ist erwähnenswert, dass die Kommission aus Software-Ingenieuren, Algorithmen-Ingenieuren und Universitätslehrern bestand. N.I. Lobachevsky, so erwies sich das Interview als vielfältig und außergewöhnlich. Aus Sicht des Interviewers war es interessant herauszufinden, welche technischen Grundkenntnisse die Studierenden in Bezug auf Computer Vision haben, also Themen wie C++/STL, OOP, grundlegende Algorithmen und Datenstrukturen, lineare Algebra, mathematische Analyse, diskrete Mathematik usw es wurden noch viel mehr gefragt. Bei den Aufgaben bestand die Priorität darin, die Argumentation der Schüler herauszufinden. Die Kommission interessierte sich auch dafür, wo sie studierten, welche Erfahrungen sie vor dieser Schule hatten (z. B. wissenschaftliche Tätigkeit) und wie sich diese direkt auf den Bereich Computer Vision übertragen ließen.

An der Vollzeitauswahl nahmen insgesamt 78 Studierende teil, bei Vollzeitplätzen gab es 24. Im Wettbewerb standen 3 Studierende pro Platz. Statistiken zu den Teilnehmern und visuelle Unterschiede zwischen Vollzeit- und Teilzeitbeteiligungsformen können der folgenden Tabelle entnommen werden:

Was haben die Jungs 2 Wochen lang gemacht?

Die Studierenden lernten in Theorie und Praxis die Hauptaufgaben des Computer Vision kennen: Bildklassifizierung, Objekterkennung und deren Verfolgung. Die Vorlesungskomponente für jedes Thema beinhaltete in der Regel einen historischen Ausflug in die Entwicklung klassischer Methoden zur Lösung von Computer-Vision-Problemen und moderner Lösungsmethoden mithilfe von maschinellem Lernen und neuronalen Netzen. Auf die Theorie folgte die Praxis, bei der die Studierenden beliebte neuronale Netzwerkmodelle herunterluden und sie mithilfe des DNN-Moduls der OpenCV-Bibliothek starteten und so eine benutzerdefinierte Anwendung erstellten.

Präsentationen aller Vorträge wurden in einem öffentlichen Repository veröffentlicht Github, damit die Schüler auch nach der Schule immer die notwendigen Informationen öffnen und einsehen können. Es war möglich, mit Dozenten, Praxislehrern und Intel-Ingenieuren sowohl live als auch per Chat auf Gitter zu kommunizieren. Auch der zeitliche Ablauf der Projektwoche erwies sich als gelungen: Sie begann am Mittwoch, wodurch es sinnvoll war, das vorlesungsfreie Wochenende sinnvoll zu verbringen und die Teamentscheidungen zu verbessern. Die verantwortungsvollsten Teilnehmer verbrachten die Hälfte des Samstags im Intel-Büro, wofür sie am selben Tag mit einem außerplanmäßigen Ausflug belohnt wurden.

Wie war die Verteidigung der Projekte?

Jedes Team hatte 10 Minuten Zeit, um darüber zu sprechen, was es während des Projekts getan hat und was dabei herausgekommen ist. Nach dieser Zeit begannen 5 Minuten, in denen die Ingenieure des Unternehmens den Jungs Fragen stellten und kleine Tipps gaben, die ihnen helfen würden, ihr Projekt zu verbessern oder bestehende Fehler in Zukunft zu vermeiden. Jeder der Jungs versuchte sich als Redner, demonstrierte sein Wissen im Bereich Computer Vision und bestätigte seinen Beitrag zur Entstehung des Projekts, was uns dabei half, über jeden Teilnehmer der Schule nachzudenken und eine Schlussfolgerung zu ziehen. Die Verteidigung dauerte drei Stunden, aber wir kümmerten uns um die Jungs und lockerten die Spannung mit einer kurzen Kaffeepause, in der die Jungs durchatmen und Probleme mit führenden Intel-Spezialisten besprechen konnten.

Am Ende des Tages vergaben wir einen ersten, zwei zweiten und drei dritte Plätze. Die Auswahl war ziemlich schwierig, da jedes Team, jedes Projekt seinen eigenen Geschmack hatte und sich durch die Originalität der Präsentation auszeichnete.

Vollzeit-CV-Camp-Teilnehmer, Projektverteidigung, Intel-Büro in Nischni Nowgorod

Vorgestellte Projekte

Intelligenter Handschuh

Verwendung eines Detektors und Trackers mit OpenCV für die visuelle Navigation im Weltraum. Das Team hat mithilfe von zwei Kameras zusätzlich die Fähigkeit zur Tiefenerkennung hinzugefügt. Als Verwaltungsschnittstelle wird die Microsoft Speech API verwendet.

Rezeptor

Erkennung von Lebensmitteln und Auswahl eines Rezepts für ein Fertiggericht, einschließlich der gefundenen Zutaten. Die Jungs hatten keine Angst vor der Aufgabe und markierten innerhalb einer Woche selbst eine ausreichende Anzahl von Bildern, trainierten den Detektor mithilfe der TensorFlow Object Detection API und fügten Logik zum Finden des Rezepts hinzu. Einfach und geschmackvoll!

Editor 2.0

Die Projektteilnehmer verwendeten eine Reihe neuronaler Netze (Gesichtssuche, Normalisierung des Gesichtsbilds anhand von Schlüsselpunkten, Berechnung des Gesichtsbilddeskriptors) zur Gesichtserkennung im Rahmen der Suche nach Fragmenten in langen Videos, in denen sich eine bestimmte Person befindet gegenwärtig. Das entwickelte System kann als Assistenzsystem für die Videobearbeitung eingesetzt werden, sodass der Benutzer nicht mehr selbst das Video auf der Suche nach den benötigten Fragmenten anschauen muss. Verwendung neuronaler Netze von OpenVINO-ModellbibliothekenDem Team gelang es, eine hohe Geschwindigkeit der Anwendung zu erreichen: Auf einem Laptop mit einem Intel Core i5-Prozessor betrug die Videoverarbeitungsgeschwindigkeit 58 Bilder pro Sekunde.

Anonymisierer

Zeichnen von Brillen und Masken auf das Gesicht einer Person. Zur Erkennung von Gesichtern und Schlüsselpunkten wurde das MTCNN-Netzwerk verwendet.

Anonymus

Eine weitere interessante Arbeit zum Thema Identitätsverschleierung. Dieses Team führte mehrere Optionen zur Verzerrung von Gesichtern ein: Unschärfe und Pixelierung. Innerhalb einer Woche haben die Jungs nicht nur die Aufgabe gelöst, sondern auch einen Modus zur Anonymisierung einer bestimmten Person (mit Gesichtserkennung) bereitgestellt.

Warm-up

Das Projektteam „Warm-up“ löste das Problem, einen Sportassistenten für die Kopfneigungsübung zu erstellen. Und auch wenn die endgültige Anwendung dieser Anwendung noch umstritten ist, wurde eine umfassende Studie durchgeführt, in der verschiedene Gesichtserkennungsalgorithmen verglichen wurden: Haar-Kaskaden, Netzwerke von TensorFlow, OpenCV und OpenVINO. Wir haben uns nicht nur körperlich, sondern auch geistig aufgewärmt!

Untere 800

Nischni Nowgorod, die Stadt, in der die Schule stattfand, wird in 2 Jahren 800 Jahre alt, sodass noch genügend Zeit bleibt, um ein interessantes Projekt umzusetzen. Wir haben die Kinder gebeten, über die Aufgabe nachzudenken, einen Leitfaden zu erstellen, der anhand des Bildes der Fassade von Gebäuden Aufschluss darüber geben kann, was für ein Objekt im Bild dargestellt ist und welche Fakten darüber bekannt sind. Unserer Meinung nach war diese Aufgabe eine der schwierigsten, da sie sich auf klassisches Computer Vision bezieht, aber das Team zeigte ein ordentliches Ergebnis.

Schere, Stein, Papier

Trotz der strengen Zeitvorgaben für die Fertigstellung der Designarbeiten scheute sich dieses Team auch nicht, ein Experiment durchzuführen, um sein eigenes neuronales Netzwerk zu trainieren, Handpositionen in einem bekannten Spiel zu klassifizieren.

Feedback der Teilnehmer

Wir haben Studierende verschiedener Studiengänge gebeten, ihre Eindrücke von der Summer School zu teilen:

Ich hatte kürzlich das Glück, am Intel Computer Vision Summer Camp teilzunehmen, und es war eine wundervolle Erfahrung. Wir haben viele neue Kenntnisse und Fähigkeiten im Bereich Lebenslauf, Softwareinstallation und Debugging erworben, sind auch in eine Arbeitsumgebung eingetaucht, haben uns echten Problemen gestellt und mögliche Lösungen mit Kollegen und Schullehrern besprochen. Es gibt einen Mythos, dass der Job eines Programmierers besteht ausschließlich aus der Kommunikation mit einem Computer. Dies ist jedoch überhaupt nicht der Fall. Unsere kreative Arbeit ist untrennbar mit der Kommunikation mit Menschen verbunden. Durch Kommunikation konnte man einzigartiges Wissen erlangen. Und dieser Teil der Schule hat mir am besten gefallen. Allerdings gibt es einen Nachteil... nach Abschluss der Ausbildung wollte ich weitermachen! Neben theoretischen Kenntnissen im DL und praktischen Fähigkeiten im CV habe ich eine Vorstellung davon gewonnen, welchen Bereichen der Mathematik besondere Aufmerksamkeit geschenkt und welche Technologien studiert werden sollten. Das Engagement, die Professionalität und die Liebe der Ingenieure und Forscher von Intel für ihre Arbeit haben meine Richtungswahl in der IT beeinflusst. Dafür möchte ich allen Organisatoren der Schule danken.

Kristina, 1. Jahr, HSE

In so kurzer Zeit konnte die Schule ein Höchstmaß an Informationen und Praxis zum Thema Computer Vision bereitstellen. Und obwohl es auf Grundkenntnisse ausgelegt war, enthielten die Vorlesungen viel technischen Stoff, den man verstehen und für dessen Studium man sich mehr Zeit nehmen möchte. Die Mentoren und Dozenten der Schule beantworteten eifrig alle Fragen und kommunizierten mit den Schülern. Nun, während ich das Abschlussprojekt fertigstellte, musste ich mich in den Dschungel der Entwicklung einer fertigen Bewerbung stürzen und stieß auf Schwierigkeiten, die beim Lernen nicht immer auftreten. Unser Team hat schließlich einen Antrag gestellt, das Spiel „Stein-Schere-Papier“ am Computer zu spielen. Wir haben einem Modell beigebracht, eine Figur auf einer Webcam zu erkennen, haben Logik geschrieben und eine Schnittstelle basierend auf dem OpenCV-Framework erstellt. Die Schule bot Denkanstöße und einen Ausgangspunkt für späteres Lernen und Entwicklung. Ich bin sehr froh, dass ich teilgenommen habe.

Sergey, 3. Jahr, UNN

Die Schule hat meine Erwartungen nicht ganz erfüllt. Die Vorträge wurden von ziemlich erfahrenen Leuten von Intel-Entwicklern gehalten. Die Kommunikation mit den Dozenten war immer interessant und nützlich, die Mentoren sind ansprechbar und immer bereit zu helfen. Die Vorträge sind angenehm zu hören, die Themen sind sehr relevant und informativ. Aber einige Dinge wusste ich bereits, und die Dinge, die ich nicht wusste, wurden in keiner Weise durch die Praxis gestützt, und deshalb wurde der wirklich gute Stoff von mir nie vollständig verstanden und studiert. Да, большинство информации подано в ознакомительных целях, чтобы затем опробовать ее уже дома, либо просто представлять о чем идет речь, но все же хотелось реализовать некоторые существующие алгоритмы самостоятельно под надзором опытных педагогов, которые могут дать дельный совет или помочь, если что-то klappt nicht. Infolgedessen wurden in der Praxis vorgefertigte Lösungen verwendet und der Code war sozusagen vorab für uns geschrieben und musste nur geringfügig geändert werden. Die Projekte waren die einfachsten, und wenn Sie versuchen, die Aufgabe auf irgendeine Weise zu komplizieren, haben Sie nicht genug Zeit, um sie in einen mehr oder weniger stabilen Zustand zu bringen, wie es bei uns der Fall war.
Im Allgemeinen sieht die ganze Schule wie eine Art nicht sehr ernstes Entwicklerspiel aus, und genau daran ist der praktische Teil schuld. Ich denke, dass es notwendig ist, die in der Schule aufgewendete Zeit zu erhöhen, das Übungsmaterial zu komplizieren, damit man selbst etwas schreiben kann und sollte, etwas wirklich Komplexes und Notwendiges, und keine vorgefertigten Materialien zu verwenden, um die Übung in der Steigerung reibungsloser zu gestalten Komplexität, Themen für Wettbewerbsprojekte sollten in den ersten Tagen vergeben werden, damit der Stoff aus Vorlesungen und Übungen sofort in Ihren Projekten eingesetzt werden kann und mehr Zeit für die Umsetzung bleibt. Dann wird die Schulzeit für angehende Fachkräfte zu einem schönen Erlebnis.

Dmitry, Master-Abschluss im 1. Jahr, NSTU

Die Sommerschule von Intel war eine großartige Gelegenheit, diesen Sommer damit zu verbringen, das zu tun, was man liebt. Allein die Tatsache, dass die Vorlesungen von Intel-Mitarbeitern mit Bezug zum Programmieren im Bereich Computer Vision gehalten wurden, ließ mich nicht entspannen; ich wollte das Beste aus dem gesamten Prozess herausholen, auch wenn es manchmal schwierig war. Jeder Tag verging sehr schnell, unmerklich und fruchtbar. Die Möglichkeit, mein eigenes Projekt umzusetzen, ermöglichte mir die Zusammenarbeit im Team mit wunderbaren Kuratoren und anderen Schulteilnehmern. Diese zwei Wochen lassen sich kurz wie folgt beschreiben: interessant und flüchtig.

Elizaveta, 2. Jahr, UNN

Im Herbst (Oktober-November) erwartet Sie das Delta-Bildungsprogramm, Informationen dazu finden Sie bei uns VKontakte-Gruppen. Bleiben Sie dran!

Source: habr.com