Kompanija DeepMind, žinoma dėl tobulėjimo dirbtinio intelekto srityje ir neuroninių tinklų, galinčių žaisti kompiuterinius ir stalo žaidimus žmogaus lygmeniu, konstravimo, pristatė AlphaCode projektą, kurio metu kuriama mašininio mokymosi sistema, skirta generuoti kodą, galintį dalyvauti. programavimo konkursuose Codeforces platformoje ir demonstruoti vidutinį rezultatą. Pagrindinis kūrimo bruožas yra galimybė generuoti kodą Python arba C++ kalbomis, kaip įvestį naudojant tekstą su problemos teiginiu anglų kalba.
Sistemai išbandyti buvo atrinkta 10 naujų Codeforces konkursų, kuriuose dalyvavo daugiau nei 5000 dalyvių, surengtų baigus mokymus mašininio mokymosi modeliui. Užduočių atlikimo rezultatai leido AlphaCode sistemai patekti į maždaug šių varžybų reitingo vidurį (54.3 proc.). Prognozuotas bendras AlphaСode įvertinimas buvo 1238 taškai, o tai užtikrina patekimą į Top 28% tarp visų Codeforces dalyvių, kurie bent kartą dalyvavo varžybose per pastaruosius 6 mėnesius. Pažymima, kad projektas dar tik pradinėje kūrimo stadijoje ir ateityje planuojama gerinti sugeneruojamo kodo kokybę, taip pat plėtoti AlphaCode link sistemų, padedančių rašyti kodą, arba aplikacijų kūrimo įrankius, kurie gali būti naudoja žmonės, neturintys programavimo įgūdžių.
Projekte naudojama Transformatoriaus neuroninio tinklo architektūra kartu su mėginių ėmimo ir filtravimo metodais, siekiant sukurti įvairius nenuspėjamus kodo variantus, atitinkančius natūralios kalbos tekstą. Po filtravimo, klasterizavimo ir reitingavimo iš sugeneruoto parinkčių srauto pašalinamas optimaliausias darbo kodas, kuris vėliau patikrinamas, ar gaunamas teisingas rezultatas (kiekvienoje konkurso užduotyje nurodomas įvesties duomenų pavyzdys ir šį pavyzdį atitinkantis rezultatas , kurią reikia gauti paleidus programą).
Norėdami apytiksliai išmokyti mašininio mokymosi sistemą, naudojome kodų bazę, prieinamą viešosiose „GitHub“ saugyklose. Parengus pirminį modelį, buvo atliktas optimizavimo etapas, paremtas kodų rinkiniu su problemų ir sprendimų pavyzdžiais, kuriuos pasiūlė Codeforces, CodeChef, HackerEarth, AtCoder ir Aizu konkursų dalyviai. Iš viso treniruotėms buvo panaudota 715 GB kodo iš GitHub ir daugiau nei milijonas tipinių varžybų problemų sprendimų pavyzdžių. Prieš pereinant prie kodo generavimo, užduoties tekstas praėjo normalizavimo fazę, kurios metu buvo pašalinta viskas, kas nereikalinga, ir liko tik reikšmingos dalys.
Šaltinis: opennet.ru