DeepMind представи система за машинно обучение за генериране на код от текстово описание на задача

Компанията DeepMind, известна с разработките си в областта на изкуствения интелект и изграждането на невронни мрежи, способни да играят компютърни и настолни игри на човешко ниво, представи проекта AlphaCode, който разработва система за машинно обучение за генериране на код, който може да участва в състезания по програмиране на платформата Codeforces и демонстрират среден резултат. Основна характеристика на разработката е възможността за генериране на код на Python или C++, като се приема като вход текст с описание на проблема на английски език.

За тестване на системата бяха избрани 10 нови Codeforces състезания с повече от 5000 участници, проведени след завършване на обучението на модела за машинно обучение. Резултатите от изпълнението на задачите позволиха на системата AlphaCode да влезе приблизително в средата на рейтинга на тези състезания (54.3%). Прогнозираният общ рейтинг на AlphaСode беше 1238 точки, което гарантира влизане в Топ 28% сред всички участници в Codeforces, които са участвали в състезания поне веднъж през последните 6 месеца. Отбелязва се, че проектът все още е в начален етап на разработка и в бъдеще се планира да се подобри качеството на генерирания код, както и да се разработи AlphaCode към системи, които помагат при писането на код, или инструменти за разработка на приложения, които могат да бъдат използвани от хора без умения за програмиране.

Проектът използва архитектурата на невронната мрежа Transformer в комбинация с техники за вземане на проби и филтриране, за да генерира различни непредвидими варианти на код, които съответстват на текст на естествен език. След филтриране, групиране и класиране, най-оптималния работещ код се елиминира от генерирания поток от опции, който след това се проверява, за да се гарантира, че е получен правилният резултат (всяка състезателна задача показва пример за входни данни и резултата, съответстващ на този пример , който трябва да се получи след изпълнение на програмата).

За да обучим грубо системата за машинно обучение, използвахме кодова база, налична в публичните хранилища на GitHub. След подготовката на първоначалния модел беше извършена фаза на оптимизация, базирана на колекция от код с примери за проблеми и решения, предложени от участниците в състезанията Codeforces, CodeChef, HackerEarth, AtCoder и Aizu. Общо 715 GB код от GitHub и повече от милион примери за решения на типични състезателни проблеми бяха използвани за обучение. Преди да се премине към генериране на код, текстът на задачата премина през фаза на нормализиране, по време на която всичко ненужно беше елиминирано и бяха оставени само значими части.

Източник: opennet.ru