Spoločnosť DeepMind, známa svojimi vyvinutými technológiami v oblasti umelej inteligencie a strojového učenia s neurónovými sieťami, ktoré sú schopné hrať počítačové a stolové hry na úrovni človeka, predstavila projekt AlphaCode. Tento projekt rozvíja systém strojového učenia na generovanie kódu, ktorý je schopný účastniť sa súťaží v programovaní na platforme Codeforces a dosahovať priemerné výsledky. Kľúčovou charakteristikou tohto vývoja je schopnosť generovať kód v jazykoch Python alebo C++, pričom ako vstupný text je dané zadanie v anglickom jazyku.
Na testovanie systému bolo vybraných 10 nových súťaží Codeforces s viac ako 5000 účastníkmi, ktoré sa uskutočnili po ukončení tréningu modelu strojového učenia. Výsledky vykonávania úloh umožnili systému AlphaCode umiestniť sa približne v strede rebríčka týchto súťaží (54,3 %). Predpokladaný celkový rating AlphaCode dosiahol 1238 bodov, čo zabezpečuje zaradenie do Top 28 % medzi všetkými účastníkmi Codeforces, ktorí sa aspoň raz zúčastnili súťaží v posledných 6 mesiacoch. Uvádza sa, že projekt sa zatiaľ nachádza v počiatočnej fáze vývoja a do budúcna sa plánuje zlepšiť kvalita generovaného kódu, ako aj rozvíjať AlphaCode smerom k systémom, ktoré pomáhajú pri písaní kódu, alebo nástrojom na vývoj aplikácií, ktoré budú môcť používať aj ľudia bez programátorských zručností.
V projekte sa používa architektúra neurónovej siete „Transformer“ v kombinácii s metódami vzorkovania a filtrovania, ktoré umožňujú generovať rôzne nepredvídateľné varianty kódu, ktoré zodpovedajú textu v prirodzenom jazyku. Po filtrovaní, klastrovaní a hodnotení sa z vytvorenej škály variantov vyberá najoptimálnejší pracovný kód, ktorý sa následne kontroluje, aby sa zistilo, či vracia správny výsledok (v každej úlohe súťaže je uvedený príklad vstupných údajov a zodpovedajúci výsledok, ktorý by mal byť získaný po vykonaní programu).
Na hrubé trénovanie systému strojového učenia bola použitá kódová základňa dostupná vo verejných repozitároch GitHub. Po príprave počiatočného modelu sa vykonávala fáza optimalizácie, realizovaná na základe kolekcie kódu s príkladmi úloh a riešení, ktoré ponúkli účastníkom súťaží Codeforces, CodeChef, HackerEarth, AtCoder a Aizu. Na tréning bolo celkovo využitých 715 GB kódu z GitHubu a viac ako milión príkladov riešení typických úloh z týchto súťaží. Pred prechodom na generovanie kódu text úlohy prechádzal fázou normalizácie, počas ktorej bolo odstránené všetko nadbytočné a zostali len významné časti.
Zdroj: opennet.ru
