Компанијата DeepMind, позната по развојот на полето на вештачката интелигенција и изградбата на невронски мрежи способни да играат компјутерски и друштвени игри на човечко ниво, го претстави проектот AlphaCode, кој развива систем за машинско учење за генерирање код кој може да учествува во натпревари за програмирање на платформата Codeforces и демонстрираат просечен резултат. Клучна карактеристика на развојот е способноста да се генерира код во Python или C++, земајќи како влез текст со изјава за проблем на англиски јазик.
За тестирање на системот, беа избрани 10 нови Codeforces натпревари со повеќе од 5000 учесници, одржани по завршувањето на обуката за моделот за машинско учење. Резултатите од исполнувањето на задачите му овозможија на системот AlphaCode да влезе приближно во средината на рејтингот на овие натпревари (54.3%). Предвидениот целосен рејтинг на AlphaСode беше 1238 поени, што обезбедува влез во Топ 28% меѓу сите учесници на Codeforces кои учествувале во натпревари најмалку еднаш во изминатите 6 месеци. Забележано е дека проектот се уште е во почетна фаза на развој и во иднина се планира подобрување на квалитетот на генерираниот код, како и развој на AlphaCode кон системи кои помагаат при пишување код, или алатки за развој на апликации кои можат да се се користи од луѓе без програмски вештини.
Проектот користи архитектура на невронска мрежа Transformer во комбинација со техники за земање примероци и филтрирање за да генерира различни непредвидливи варијанти на код што одговараат на текстот на природен јазик. По филтрирањето, групирањето и рангирањето, најоптималниот работен код се елиминира од генерираниот тек на опции, кој потоа се проверува за да се осигура дека е добиен точниот резултат (секоја задача на натпреварот означува пример за влезни податоци и резултатот што одговара на овој пример , кој треба да се добие по извршување на програмата).
За грубо обучување на системот за машинско учење, користевме база на кодови достапна во јавните складишта на GitHub. По подготовката на почетниот модел, беше спроведена фаза на оптимизација, базирана на колекција на код со примери на проблеми и решенија предложени од учесниците на натпреварите Codeforces, CodeChef, HackerEarth, AtCoder и Aizu. Вкупно, за обука беа искористени 715 GB код од GitHub и повеќе од милион примери на решенија за типични проблеми со натпреварот. Пред да се премине на генерирање код, текстот на задачата помина низ фаза на нормализација, при што беше елиминирано се што е непотребно и останаа само значајни делови.
Извор: opennet.ru