Das Unternehmen DeepMind, bekannt für seine Entwicklungen im Bereich der künstlichen Intelligenz und dem Aufbau neuronaler Netze, die Computer- und Brettspiele auf menschlicher Ebene spielen können, stellte das AlphaCode-Projekt vor, das ein maschinelles Lernsystem zur Generierung von Code entwickelt, der teilnehmen kann an Programmierwettbewerben auf der Codeforces-Plattform teilnehmen und durchschnittliche Ergebnisse vorweisen. Ein wesentliches Merkmal der Entwicklung ist die Möglichkeit, Code in Python oder C++ zu generieren, wobei als Eingabe ein Text mit einer Problemstellung in Englisch verwendet wird.
Um das System zu testen, wurden 10 neue Codeforces-Wettbewerbe mit mehr als 5000 Teilnehmern ausgewählt, die nach Abschluss des Trainings des maschinellen Lernmodells abgehalten wurden. Die Ergebnisse der Erledigung der Aufgaben ermöglichten es dem AlphaCode-System, ungefähr in der Mitte der Wertung dieser Wettbewerbe zu landen (54.3 %). Die prognostizierte Gesamtbewertung von AlphaСode betrug 1238 Punkte, was den Einzug in die Top 28 % aller Codeforces-Teilnehmer sichert, die in den letzten 6 Monaten mindestens einmal an Wettbewerben teilgenommen haben. Es wird darauf hingewiesen, dass sich das Projekt noch in der Anfangsphase der Entwicklung befindet und in Zukunft geplant ist, die Qualität des generierten Codes zu verbessern und AlphaCode in Richtung von Systemen zu entwickeln, die beim Schreiben von Code helfen, oder von Anwendungsentwicklungstools, die es sein können Wird von Personen ohne Programmierkenntnisse verwendet.
Das Projekt nutzt die neuronale Netzwerkarchitektur Transformer in Kombination mit Abtast- und Filtertechniken, um verschiedene unvorhersehbare Codevarianten zu generieren, die Text in natürlicher Sprache entsprechen. Nach dem Filtern, Clustern und Ranking wird der optimalste Arbeitscode aus dem generierten Optionsstrom entfernt, der dann überprüft wird, um sicherzustellen, dass das richtige Ergebnis erhalten wird (jede Wettbewerbsaufgabe gibt ein Beispiel für Eingabedaten und das diesem Beispiel entsprechende Ergebnis an). , die nach der Ausführung des Programms abgerufen werden sollte).
Um das maschinelle Lernsystem grob zu trainieren, haben wir eine Codebasis verwendet, die in öffentlichen GitHub-Repositories verfügbar ist. Nach der Vorbereitung des ersten Modells wurde eine Optimierungsphase durchgeführt, die auf einer Codesammlung mit Beispielen für Probleme und Lösungen basierte, die von Teilnehmern der Wettbewerbe Codeforces, CodeChef, HackerEarth, AtCoder und Aizu vorgeschlagen wurden. Insgesamt wurden für das Training 715 GB Code von GitHub und mehr als eine Million Lösungsbeispiele für typische Wettbewerbsprobleme genutzt. Bevor mit der Codegenerierung begonnen wurde, durchlief der Aufgabentext eine Normalisierungsphase, in der alles Unnötige entfernt wurde und nur wesentliche Teile übrig blieben.
Source: opennet.ru