Kompanija DeepMind, poznata po svojim razvojima u oblasti veštačke inteligencije i konstrukcije neuronskih mreža sposobnih za igranje kompjuterskih i društvenih igara na ljudskom nivou, predstavila je projekat AlphaCode, koji razvija sistem mašinskog učenja za generisanje koda, sposoban za učestvovanje na takmičenjima u programiranju na Codeforces platformi i pokazivanje prosječnog rezultata. Ključna karakteristika razvoja je mogućnost generisanja koda u Python-u ili C++, uzimajući kao ulaz tekst sa izjavom problema na engleskom.
Za testiranje sistema odabrano je 10 novih Codeforces takmičenja sa više od 5000 učesnika, održanih po završetku obuke modela mašinskog učenja. Rezultati izvršenja zadataka omogućili su AlphaCode sistemu da uđe približno u sredinu rejtinga ovih takmičenja (54.3%). Predviđeni ukupni rejting AlphaCode-a bio je 1238 bodova, što osigurava ulazak u Top 28% među svim Codeforces učesnicima koji su učestvovali u takmičenjima barem jednom u proteklih 6 mjeseci. Napominje se da je projekat još uvijek u početnoj fazi razvoja te je u budućnosti planirano poboljšanje kvaliteta generiranog koda, kao i razvoj AlphaCode prema sistemima koji pomažu u pisanju koda, odnosno alatima za razvoj aplikacija koji se mogu koriste ljudi bez programskih vještina.
Projekat koristi arhitekturu neuronske mreže Transformer u kombinaciji sa tehnikama uzorkovanja i filtriranja za generisanje različitih nepredvidivih varijanti koda koje odgovaraju tekstu na prirodnom jeziku. Nakon filtriranja, grupiranja i rangiranja, najoptimalniji radni kod se eliminira iz generiranog toka opcija, koji se zatim provjerava kako bi se osiguralo da se dobije ispravan rezultat (svaki takmičarski zadatak ukazuje na primjer ulaznih podataka i rezultat koji odgovara ovom primjeru , koje treba dobiti nakon izvršavanja programa).
Da bismo grubo obučili sistem mašinskog učenja, koristili smo bazu koda dostupnu u javnim GitHub repozitorijumima. Nakon pripreme početnog modela, izvršena je faza optimizacije, zasnovana na zbirci koda sa primjerima problema i rješenja koje su predložili učesnici Codeforces, CodeChef, HackerEarth, AtCoder i Aizu takmičenja. Ukupno je za trening korišćeno 715 GB koda sa GitHub-a i više od milion primera rešenja tipičnih takmičarskih problema. Pre prelaska na generisanje koda, tekst zadatka je prošao kroz fazu normalizacije, tokom koje je sve nepotrebno eliminisano i ostavljeni su samo značajni delovi.
izvor: opennet.ru