IBM откри CodeNet за системи за машинно обучение, които трансформират и проверяват код

Компанията IBM представи инициативата CodeNet, насочена към предоставяне на набор от данни, който позволява на изследователите да експериментират с методи за машинно обучение за създаване на транслатори от един програмен език в друг, както и генератори и анализатори на код. CodeNet включва колекция от 14 милиона примера на код, решаващи 4053 стандартни проблеми в програмирането. В сумата колекцията съдържа около 500 милиона реда код и обхваща 55 програмни езика, включително съвременни езици като C++, Java, Python и Go, както и остарели, включително COBOL, Pascal и FORTRAN. Резултатите от проекта ще бъдат разпространени под лицензия Apache 2.0, а наборите от данни ще бъдат предоставени като обществено достояние.

Примерите са снабдени с анотации и реализират идентични алгоритми на различни програмни езици. Предполага се, че предоставеният набор ще помогне за обучението на системи за машинно обучение и развитието на иновации в областта на транслацията и машинното разбиране на код, по аналогия с това как базата данни с анотирани изображения ImageNet помогна за развитието на системи за разпознаване на образи и компютърно зрение. Като един от основните източници за формиране на колекцията се посочват различни състезания по програмиране.

В отличие от традиционните транслатори, реализирани на базата на правила за преобразуване, системите за машинно обучение могат да улавят и отчитат контекста на използването на кода. При преобразуването от един програмен език на друг контекстът е не по-малко важен, отколкото при превод от един човешки език на друг. Именно отсъствието на отчитане на контекста пречи на преобразуването на код от остарели езици, като COBOL.

Наличието на обширна база реализация на алгоритми на различни езици ще подпомогне създаването на универсални системи за машинно обучение, които вместо пряка транслация между конкретни езици, манипулират по-абстрактно представяне на кода, независимо от конкретни програмни езици. Тази система може да се използва като транслатор, който превежда подадения код на който и да е от поддържаните езици в своето вътрешно абстрактно представяне, от което след това може да бъде генериран код на множество езици.

Включително системата ще може да изпълнява двупосочни преобразувания. Например, в банки и правителствени институции все още се използват проекти на остарелия език COBOL. Транслаторът на базата на системата за машинно обучение ще може да преобразува кода на COBOL в представяне на езика Java, а при необходимост да преведе фрагмент на Java обратно в код на COBOL.

Освен транслацията между езици, се споменават и области на приложение на CodeNet, като създаването на интелигентни системи за търсене на код и автоматизация на открития на клониране, както и разработката на оптимизатори и системи за автоматична корекция на кода. В частност, примерите, представени в CodeNet, са снабдени с метаданни, описващи резултатите от производителността, крайния размер на програмата, потреблението на памет и състояние, което позволява да се различи коректния код от кода с грешки (за да се разграничи правилния код от неправилния, в колекцията специално са включени примери с грешки, чието участие е 29.5%). Системата за машинно обучение може да вземе предвид тези метаданни за генериране на най-оптималния код или за откритие на регресии в анализирания код (системата може да разбере, че в подадения код алгоритъмът не е реализиран оптимално или съдържа грешки).

Източник: opennet.ru