Tvrtka DeepMind, poznata po razvoju na području umjetne inteligencije i izgradnji neuronskih mreža sposobnih za igranje računalnih i društvenih igara na ljudskoj razini, predstavila je projekt AlphaCode koji razvija sustav strojnog učenja za generiranje koda koji može sudjelovati na programerskim natjecanjima na Codeforces platformi i pokazati prosječan rezultat. Ključna značajka razvoja je mogućnost generiranja koda u Pythonu ili C++, uzimajući kao ulaz tekst s izjavom problema na engleskom jeziku.
Za testiranje sustava odabrano je 10 novih Codeforces natjecanja s više od 5000 sudionika, koja su održana nakon završetka obuke modela strojnog učenja. Rezultati izvršavanja zadataka omogućili su sustavu AlphaCode da uđe približno u sredinu rejtinga ovih natjecanja (54.3%). Predviđena ukupna ocjena AlphaSode bila je 1238 bodova, što osigurava ulazak u Top 28% među svim sudionicima Codeforcesa koji su sudjelovali u natjecanjima barem jednom u proteklih 6 mjeseci. Napominje se da je projekt još uvijek u početnoj fazi razvoja te se u budućnosti planira poboljšati kvalitetu generiranog koda, kao i razvijati AlphaCode prema sustavima koji pomažu u pisanju koda, odnosno alatima za razvoj aplikacija koji se mogu koriste ljudi bez znanja programiranja.
Projekt koristi arhitekturu neuronske mreže Transformer u kombinaciji s tehnikama uzorkovanja i filtriranja za generiranje različitih nepredvidivih varijanti koda koje odgovaraju tekstu na prirodnom jeziku. Nakon filtriranja, klasteriranja i rangiranja, iz generiranog toka opcija eliminira se najoptimalniji radni kod koji se zatim provjerava kako bi se osiguralo dobivanje točnog rezultata (svaki natjecateljski zadatak označava primjer ulaznih podataka i rezultat koji odgovara tom primjeru , koje treba dobiti nakon izvođenja programa).
Za grubo treniranje sustava strojnog učenja upotrijebili smo bazu koda dostupnu u javnim GitHub repozitorijima. Nakon pripreme inicijalnog modela, provedena je faza optimizacije koja se temelji na kolekciji koda s primjerima problema i rješenjima koja su predložili sudionici natjecanja Codeforces, CodeChef, HackerEarth, AtCoder i Aizu. Ukupno je za trening korišteno 715 GB koda s GitHuba i više od milijun primjera rješenja tipičnih natjecateljskih problema. Prije prelaska na generiranje koda, tekst zadatka je prošao kroz fazu normalizacije, tijekom koje je eliminirano sve nepotrebno i ostavljeni su samo značajni dijelovi.
Izvor: opennet.ru