IBM отвора CodeNet за системи за машинско учење што го преведуваат и потврдуваат кодот

IBM ја откри својата иницијатива CodeNet, која има за цел да им обезбеди на истражувачите база на податоци што им овозможува да експериментираат со употреба на техники за машинско учење за да создадат преведувачи на програмски јазици, генератори на код и анализатори. CodeNet вклучува колекција од 14 милиони примери на код кои решаваат 4053 вообичаени програмски проблеми. Севкупно, колекцијата содржи околу 500 милиони линии код и опфаќа 55 програмски јазици, двата современи јазици како што се C++, Java, Python и Go, и наследни јазици, вклучувајќи COBOL, Pascal и FORTRAN. Развојот на проектот се дистрибуира под лиценцата Apache 2.0, а множествата на податоци се планира да бидат дистрибуирани во форма на јавен домен.

Примерите се прибележени и имплементираат идентични алгоритми на различни програмски јазици. Се очекува дека предложениот сет ќе помогне да се обучуваат системите за машинско учење и да се развијат иновации во полето на превод и парсирање на машински кодови, слично како што базата на податоци за слики со нотирани слики ImageNet помогна во развојот на системи за препознавање шаблони и компјутерска визија. Различни натпревари за програмирање се наведуваат како еден од главните извори на формирање колекција.

За разлика од традиционалните преведувачи, кои се имплементирани врз основа на правила за преведување, системите за машинско учење можат да го доловат и да го земат предвид контекстот на употребата на кодот. При конверзија од еден програмски јазик на друг, контекстот е исто толку важен како и при преведувањето од еден човечки јазик на друг. Овој недостаток на разгледување на контекстот е она што спречува кодот да се конвертира од наследни јазици како што е COBOL.

Имањето голема база на податоци за имплементации на алгоритми на различни јазици ќе помогне да се создадат универзални системи за машинско учење кои, наместо директен превод помеѓу одредени јазици, манипулираат со поапстрактно претставување на кодот, независно од специфичните програмски јазици. Таквиот систем може да се користи како преведувач, преведувајќи го пренесениот код на кој било од поддржаните јазици во неговата внатрешна апстрактна репрезентација, од која потоа може да се генерира код на повеќе јазици.

Системот ќе може да врши и двонасочни трансформации. На пример, банките и владините агенции продолжуваат да користат проекти на застарениот COBOL јазик. Преведувач базиран на машинско учење ќе може да го конвертира COBOL кодот во Java претстава и, доколку е потребно, да го преведе фрагментот Java назад во COBOL код.

Покрај преводот меѓу јазиците, се спомнуваат такви области на примена на CodeNet како создавање на системи за пребарување на паметни кодови и автоматизација на откривање на клонови, како и развој на оптимизатори и системи за автоматска корекција на кодот. Конкретно, примерите презентирани во CodeNet се опремени со метаподатоци кои ги опишуваат резултатите од тестирањето на перформансите, големината на програмата што произлегува, потрошувачката и состојбата на меморијата, што ни овозможува да разликуваме точен код од код со грешки (за да се разликува точниот код од неточниот код, збирката конкретно вклучува примери со грешки, чие учество е 29.5%). Системот за машинско учење може да ги земе предвид овие метаподатоци за да генерира најоптимален код или да идентификува регресии во анализираниот код (системот може да разбере дека алгоритмот во поднесениот код не е оптимално имплементиран или содржи грешки).

Извор: opennet.ru