GitHub отвори разработки в използването на машинно обучение за търсене и анализ на код

GitHub подадено проект CodeSearchNet, която е подготвила модели за машинно обучение и набори от данни, необходими за парсване, класифициране и анализиране на код в различни езици за програмиране. CodeSearchNet, подобно на ImageNet, включва голяма колекция от кодови фрагменти с анотации, които формализират какво прави кодът. Компонентите за обучителни модели и примери за използване на CodeSearchNet са написани на Python с помощта на рамката Tensorflow и разпространява се от под лиценза на MIT.

При създаването на CodeSearchNet бяха използвани технологии за парсиране на текст на естествен език, което позволява на системите за машинно обучение да вземат предвид не само синтактичните характеристики, но и значението на действията, извършвани от кода. Системата GitHub прилага в експерименти за организиране на търсене на семантичен код с помощта на заявки за естествен език (например при заявка за „сортиране на списък от низове“ се показва код с имплементацията на съответните алгоритми).

Предложеният набор от данни включва повече от 2 милиона връзки за код-коментар, изготвени въз основа на изходните текстове на съществуващи отворени библиотеки. Кодът обхваща пълния изходен текст на отделни функции или методи, а коментарът описва действията, извършвани от функцията (предоставена е подробна документация). В момента са подготвени набори от данни за Python, JavaScript, Ruby, Go, Java и PHP. Дадени са примери за използване на предложените набори от данни за обучение на различни видове невронни мрежи, включително Neural-Bag-Of-Words, RNN, Самовнимание (BERT) и 1D-CNN+хибрид за самовнимание.

За разработване на механизми за търсене на естествен език е подготвен допълнително набор от CodeSearchNet Challenge, включително
99 типичен заявки с около 4 хиляди експертни анотации, описващи най-вероятните кодови обвързвания в набора от данни на CodeSearchNet Corpus, обхващащи около 6 милиона метода и функции (зададен размер около 20 GB). CodeSearchNet Challenge може да служи като еталон за оценка на ефективността на определени методи за търсене на код на естествен език. Използване на инструменти KubeFlow подготвени
пример кодова търсачка.

Източник: opennet.ru