Wie ich das Training in maschinellem Lernen an der NSU organisiert habe

Ich heiße Sascha und liebe maschinelles Lernen sowie die Ausbildung von Menschen. Derzeit betreue ich Bildungsprogramme im Computer Science Zentrum und leite das Bachelorprogramm für Datenanalyse an der SPbGU. Davor arbeitete ich als Analyst bei Yandex und noch früher als Wissenschaftler: Ich beschäftigte mich mit mathematischer Modellierung am IVT SO RAN.

In diesem Beitrag möchte ich erzählen, was aus der Idee geworden ist, Trainings im maschinellen Lernen für Studenten, Absolventen der Novosibirsker staatlichen Universität und alle Interessierten ins Leben zu rufen.

Ich hatte schon lange den Wunsch, einen Spezialkurs zur Vorbereitung auf Wettbewerbe zur Datenanalyse auf Kaggle und anderen Plattformen zu organisieren. Es schien eine großartige Idee zu sein:

• Die Studenten und alle Interessierten werden ihr theoretisches Wissen in der Praxis anwenden und Erfahrungen beim Lösen von Aufgaben in öffentlichen Wettbewerben sammeln.
• Studenten, die in solchen Wettbewerben Spitzenplätze einnehmen, tragen zur Attraktivität der NSU für Studienbewerber, Studenten und Absolventen bei. Genauso ist es mit dem Training im sportlichen Programmieren.
• Ein solcher Spezialkurs ergänzt und erweitert die grundlegenden Kenntnisse hervorragend: Die Teilnehmer setzen selbstständig Modelle des maschinellen Lernens um, schließen sich oft in Teams zusammen, die auf weltweiter Ebene konkurrieren.
• An anderen Universitäten fanden bereits solche Trainings statt, daher hoffte ich auf den Erfolg des Spezialkurses auch an der NSU.

Starten

Im Akademgorodok von Nowosibirsk gibt es einen sehr fruchtbaren Boden für solche Initiativen: Studenten, Absolventen und Dozenten des Computer Science Zentrums und starker technischer Fakultäten wie FIT, MMF, FF, eine starke Unterstützung durch die Verwaltung der NSU, eine aktive ODS-Community, erfahrene Ingenieure und Analysten verschiedener IT-Unternehmen. Etwa zu dieser Zeit erfuhren wir von dem Förderprogramm von Botan Investments — die Stiftung unterstützt Teams, die gute Ergebnisse in Wettbewerben im sportlichen ML erzielen.

Wir haben einen Raum an der NSU für wöchentliche Treffen gefunden, einen Chat in Telegram erstellt und ab dem 1. Oktober gemeinsam mit Studenten und Absolventen des CS Zentrums gestartet. Zum ersten Kurs kamen 19 Personen. Sechs von ihnen wurden zu regelmäßigen Teilnehmern des Trainings. Im Laufe des akademischen Jahres kam insgesamt 31 Personen mindestens einmal zum Treffen.

Die ersten Ergebnisse

Wir haben uns mit den Jungs kennengelernt, Erfahrungen ausgetauscht, Wettbewerbe besprochen und einen groben Plan für die Zukunft erstellt. Wir haben schnell verstanden, dass der Kampf um die Plätze in den Wettbewerben zur Datenanalyse eine regelmäßige, mühsame Arbeit ist, die einer unbezahlten Vollzeitstelle ähnelt, aber sehr interessant und aufregend ist 🙂 Einer der Teilnehmer, Kaggle-Meister Maxim, riet uns, zunächst individuell in Wettbewerben voranzukommen und uns erst einige Wochen später unter Berücksichtigung des öffentlichen Punktestands in Teams zusammenzuschließen. So haben wir es auch gemacht! Bei den Präsenztrainings haben wir Modelle, wissenschaftliche Artikel und Feinheiten der Python-Bibliotheken diskutiert und gemeinsam Probleme gelöst.

Die Ergebnisse des Herbstsemesters bestanden aus drei Silbermedaillen in zwei Wettbewerben auf Kaggle: TGS Salzidentifikation und PLAsTiCC astronomische Klassifizierung. Und einem dritten Platz im CFT-Wettbewerb zur Korrektur von Tippfehlern mit dem ersten gewonnenen Geld (in the money, wie erfahrene Kegler sagen).

Ein weiteres sehr wichtiges indirektes Ergebnis des Spezialkurses war die Inbetriebnahme und Einrichtung des VKI-Clusters der NGU. Seine Rechenleistung hat unser Wettkampfleben erheblich verbessert: 40 CPU, 755 Gb RAM, 8 GPU NVIDIA Tesla V100.

Bis dahin haben wir uns irgendwie über Wasser gehalten: wir haben auf unseren persönlichen Laptops und Desktop-Computern, in Google Colab und in Kaggle-Kernels gerechnet. Einem Team hatte sogar ein selbstgeschriebenes Skript, das automatisch das Modell speicherte und die Berechnung neu startete, wenn sie aufgrund des Zeitlimits anhalten musste.

Im Frühlingssemester haben wir weiterhin zusammengekommen, unsere erfolgreichen Entdeckungen ausgetauscht und über unsere Lösungen in den Wettbewerben berichtet. Es kamen immer mehr neue interessierte Teilnehmer zu uns. Im Frühlingssemester konnten wir bereits eine Gold-, drei Silber- und neun Bronzemedaillen in acht Wettbewerben auf Kaggle gewinnen: PetFinder, Santander, Auflösung von geschlechtsspezifischen Pronomen, Walidentifikation, Quora, Google Landmarks und anderen, Bronze bei Recco Challenge, den dritten Platz im Changellenge>>Cup und den ersten Platz (wieder in the money) im Wettbewerb zur Maschinenlernen auf der Programmiermeisterschaft von Yandex.

Was die Teilnehmer der Trainings sagen

Mikhail Karchersky
„Ich bin sehr froh, dass eine solche Aktivität bei uns in Sibirien stattfindet, denn ich glaube, dass die Teilnahme an Wettbewerben der schnellste Weg ist, ML zu meistern. Für solche Wettbewerbe ist die Hardware ziemlich teuer, um sie selbst zu kaufen, und hier kann man Ideen kostenlos ausprobieren.“

Kirill Brodt
„Vor dem Auftreten von ML-Trainings habe ich an Wettbewerben nur sporadisch teilgenommen, abgesehen von akademischen und indischen Wettbewerben: Ich sah darin keinen Sinn, da ich im Bereich des maschinellen Lernens arbeitete und mit ihm vertraut war. Im ersten Semester war ich als Zuhörer dabei. Aber ab dem zweiten Semester, als die rechnerischen Ressourcen bereitstanden, dachte ich, warum nicht mitmachen. Und es hat mich gepackt. Die Aufgaben, Daten und Metriken wurden für einen vorbereitet, man musste nur die gesamte Leistungsfähigkeit von ML nutzen, state-of-the-art Modelle und Techniken überprüfen. Wären es nicht die Trainings und, nicht weniger wichtig, die rechnerischen Ressourcen gewesen, hätte ich wahrscheinlich nicht bald angefangen, teilzunehmen.“

Andrej Schewljow
„Die Präsenz-ML-Trainings haben mir geholfen, Gleichgesinnte zu finden, mit denen ich mein Wissen im Bereich des maschinellen Lernens und der Datenanalyse vertiefen konnte. Das ist auch eine großartige Option für diejenigen, die nicht viel Zeit für eine eigenständige Auseinandersetzung mit dem Thema der Wettbewerbe haben, aber trotzdem auf dem Laufenden bleiben möchten.“

Kommen Sie zu uns

Wettbewerbe auf Kaggle und anderen Plattformen schärfen praktische Fähigkeiten und führen schnell zu interessanten Arbeitsplätzen im Bereich Data Science. Menschen, die gemeinsam an einem anspruchsvollen Wettbewerb teilgenommen haben, werden oft Kollegen und setzen ihre Arbeit erfolgreich fort. So etwas ist auch uns passiert: Michail Karchewski hat zusammen mit einem Freund aus dem Team in eine Firma gewechselt, um an einem Empfehlungssystem zu arbeiten.

Im Laufe der Zeit planen wir, diese Aktivität mit wissenschaftlichen Veröffentlichungen und der Teilnahme an Konferenzen zum maschinellen Lernen auszuweiten. Schließen Sie sich uns in Nowosibirsk als Teilnehmer oder Experten an – schreiben Sie mir oder Kirill. Organisieren Sie ähnliche Trainings in Ihren Städten und Universitäten.

Hier ist ein kleines Handbuch, das Ihnen helfen wird, die ersten Schritte zu machen:

1. Überlegen Sie sich einen geeigneten Ort und Zeitpunkt für regelmäßige Treffen. Optimal sind 1-2 Mal pro Woche.
2. Informieren Sie potenziell interessierte Teilnehmer über das erste Treffen. In erster Linie handelt es sich um Studierende technischer Hochschulen, Teilnehmer von ODS.
3. Erstellen Sie einen Chat für die Diskussion aktueller Angelegenheiten: Telegram, VK, WhatsApp oder einen anderen Messenger, der den meisten passt.
4. Führen Sie einen öffentlich zugänglichen Trainingsplan, eine Liste der Wettbewerbe und Teilnehmer und verfolgen Sie die Ergebnisse.
5. Finden Sie in nahegelegenen Universitäten, Forschungsinstituten oder Unternehmen verfügbare Rechenressourcen oder Stipendien dafür.
6. PROFIT!

Quelle: habr.com