DeepMind-virksomheden, kendt for sin udvikling inden for kunstig intelligens og konstruktion af neurale netværk, der er i stand til at spille computer- og brætspil på menneskeligt niveau, præsenterede AlphaCode-projektet, som udvikler et maskinlæringssystem til at generere kode, der kan deltage i programmeringskonkurrencer på Codeforces platformen og demonstrere et gennemsnitligt resultat. Et centralt træk ved udviklingen er evnen til at generere kode i Python eller C++ ved at tage en tekst med en problemformulering på engelsk som input.
For at teste systemet blev der udvalgt 10 nye Codeforces-konkurrencer med mere end 5000 deltagere, som blev afholdt efter færdiggørelsen af træningen af maskinlæringsmodellen. Resultaterne af udførelsen af opgaverne gjorde det muligt for AlphaCode-systemet at deltage cirka i midten af vurderingen af disse konkurrencer (54.3%). Den forventede samlede vurdering af AlphaСode var 1238 point, hvilket sikrer adgang til Top 28% blandt alle Codeforces-deltagere, der har deltaget i konkurrencer mindst én gang i løbet af de sidste 6 måneder. Det bemærkes, at projektet stadig er på den indledende udviklingsfase, og i fremtiden planlægges det at forbedre kvaliteten af den genererede kode, samt udvikle AlphaCode mod systemer, der hjælper med at skrive kode, eller applikationsudviklingsværktøjer, der kan bruges af folk uden programmeringsevner.
Projektet bruger Transformers neurale netværksarkitektur i kombination med sampling- og filtreringsteknikker til at generere forskellige uforudsigelige kodevarianter, der svarer til naturlig sprogtekst. Efter filtrering, clustering og rangering elimineres den mest optimale arbejdskode fra den genererede strøm af muligheder, som derefter kontrolleres for at sikre, at det korrekte resultat opnås (hver konkurrenceopgave angiver et eksempel på inputdata og resultatet svarende til dette eksempel , som skal hentes efter afvikling af programmet).
For at træne maskinlæringssystemet groft, brugte vi en kodebase tilgængelig i offentlige GitHub-lagre. Efter at have udarbejdet den indledende model blev der gennemført en optimeringsfase, baseret på en samling af kode med eksempler på problemer og løsninger foreslået af deltagere i Codeforces, CodeChef, HackerEarth, AtCoder og Aizu konkurrencerne. I alt blev der brugt 715 GB kode fra GitHub og mere end en million eksempler på løsninger på typiske konkurrenceproblemer til træning. Inden man gik videre til kodegenerering, gennemgik opgaveteksten en normaliseringsfase, hvor alt unødvendigt blev elimineret, og kun væsentlige dele var tilbage.
Kilde: opennet.ru