IBM отвори CodeNet за системи за машинно обучение, които превеждат и проверяват код

Компания IBM представи инициативата CodeNet, насочена към предоставяне на набор от данни на изследователи, позволяваща експериментиране с прилагането на методи за машинно обучение за създаване на транслятори между различни програмни езици, както и генератори и анализатори на код. CodeNet включва колекция от 14 милиона примери на код, решаващи 4053 типови проблеми в програмирането. В общия резултат колекцията съдържа около 500 млн. реда код и обхваща 55 програмни езика, както съвременни езици, като C++, Java, Python и Go, така и остарели, включително COBOL, Pascal и FORTRAN. Резултатите от проекта се разпространяват под лицензия Apache 2.0, а наборите от данни се планират да бъдат разпространявани под формата на обществено достояние.

Примерите са снабдени с анотации и реализират идентични алгоритми на различни програмни езици. Предполага се, че предлаганият набор ще помогне за обучението на системи за машинно обучение и развитието на иновации в областта на транслацията и машинния анализ на код, по аналогия с това как базата данни с анотирани изображения ImageNet помогна за развитието на системи за разпознаване на образи и машинно зрение. Като един от основните източници за формиране на колекцията се посочват различни състезания по програмиране.

В отличие от традиционните транслатори, реализирани на базата на правила за преобразуване, системите за машинно обучение могат да улавят и вземат предвид контекста на използването на кода. При преобразуването от един програмен език на друг контекстът е не по-малко важен, отколкото при превода от един човешки език на друг. Именно липсата на вземане предвид на контекста пречи на преобразуването на код от остарели езици, като COBOL.

Наличието на голяма база реализации на алгоритми на различни езици ще помогне за създаването на универсални системи за машинно обучение, които вместо директна транслация между конкретни езици, манипулират с по-абстрактно представяне на кода, независимо от конкретните програмни езици. Подобна система може да се използва като транслатор, който превежда предадения код на който и да е от поддържаните езици в своето вътрешно абстрактно представяне, от което впоследствие може да бъде генериран код на множество езици.

Системата ще може да извършва двупосочни преобразувания. Например, в банките и държавните институции все още се използват проекти на остарелия език COBOL. Преводач на базата на система за машинно обучение ще може да преобразува кода на COBOL в представяне на езика Java, а при необходимост да преведе фрагмент от Java обратно в код на COBOL.

Освен преводите между езици, в CodeNet се споменават области на приложение като създаване на интелигентни системи за търсене на код и автоматизация на откритията на клони, а също и разработка на оптимизатори и системи за автоматична корекция на кода. В частност, примерите, представени в CodeNet, са снабдени с метаданни, описващи резултатите от тестовете за производителност, крайния размер на програмата, потребление на памет и състояние, което позволява да се разграничи правилният код от кода с грешки (за да се различи правилният код от неправилния, в колекцията специално са включени примери с грешки, чийто дял е 29.5%). Системата за машинно обучение може да взема предвид тези метаданни, за да генерира най-оптималния код или да открива регресии в анализирания код (системата може да разбере, че предаденият код не е реализиран оптимално или съдържа грешки).

Източник: opennet.ru