GitHub отвори развој во употребата на машинско учење за пребарување и анализа на кодови

GitHub воведено Проектот CodeSearchNet, кој подготви модели за машинско учење и збирки податоци неопходни за парсирање, класификација и анализа на кодот на различни програмски јазици. CodeSearchNet, слично на IMAGEnet, вклучува голема колекција на фрагменти од код со прибелешки кои го формализираат она што го прави кодот. Компонентите за модели за обука и примери за користење на CodeSearchNet се напишани во Python користејќи ја рамката Tensorflow и дистрибуирани од под лиценцата MIT.

При креирањето на CodeSearchNet, користени се технологии за парсирање на текст на природен јазик, овозможувајќи им на системите за машинско учење да ги земат предвид не само синтаксичките карактеристики, туку и значењето на дејствата што ги извршува кодот. Системот GitHub важи во експериментите за организирање на пребарување на семантички код користејќи прашања на природен јазик (на пример, кога се бара „сортирање листа на низи“, се прикажува код со имплементација на соодветните алгоритми).

Предложената база на податоци вклучува повеќе од 2 милиони врски со код-коментари, подготвени врз основа на изворните текстови на постоечките отворени библиотеки. Кодот го покрива целосниот изворен текст на поединечни функции или методи, а коментарот ги опишува дејствата што ги извршува функцијата (наведена е детална документација). Во моментов, збирките на податоци се подготвени за Python, JavaScript, Ruby, Go, Java и PHP. Дадени се примери за користење на предложените збирки на податоци за обука на различни видови невронски мрежи, вклучувајќи Неврална вреќа со зборови, РНН, Само-Внимание (БЕРТ) и 1D-CNN + хибрид за самовнимание.

За да се развијат механизми за пребарување на природен јазик, дополнително е подготвен сет на CodeSearchNet Challenge, вклучувајќи
99 типични прашања со околу 4 илјади експертски прибелешки кои ги опишуваат најверојатните обврзувачки кодови во базата на податоци CodeSearchNet Corpus, покривајќи околу 6 милиони методи и функции (поставена големина околу 20 GB). Предизвикот CodeSearchNet може да послужи како репер за проценка на ефективноста на одредени методи за пребарување на кодот на природен јазик. Користење на алатки Кубефлоу подготвени
пример пребарувач за кодови.

Извор: opennet.ru