GitHub публикува разработки за използване на машинно обучение за търсене и анализ на код

GitHub представи проект CodeSearchNet, в рамките на който са подготвени модели на машинно обучение и набори от данни, необходими за парсинг, класификация и анализ на код на различни езици за програмиране. CodeSearchNet, по аналогия с ImageNet, включва голяма колекция от фрагменти от код, снабдени с анотации, формализиращи действията, извършвани от кода. Компонентите за обучаване на модели и примери за използване на CodeSearchNet са написани на езика Python с използване на фреймворка Tensorflow и се разпространява под лиценз MIT.

При създаването на CodeSearchNet са използвани технологии за парсинг на текст на естествен език, които дават възможност на системите за машинно обучение да вземат предвид не само синтактичните особености, но и смисъла на действията, извършвани от кода. В GitHub системата се прилага в експерименти за организиране на семантично търсене на код с използване на запитвания на естествен език (например, при запитване „сортиране на списък от низове“ се извежда код с реализация на съответните алгоритми).

Предложеният набор от данни включва над 2 млн връзки „код-коментар“, подготвени на база изходни текстове на съществуващи отворени библиотеки. Кодът обхваща целия изходен текст на отделни функции или методи, а коментарът описва действията, извършвани от функцията (предоставя се детайлна документация). В момента наборите от данни са подготвени за езици Python, JavaScript, Ruby, Go, Java и PHP. Предоставени са примери за използване на предложените набори от данни за обучение на различни типове невронни мрежи, включително Neural-Bag-Of-Words, RNN, Self-Attention (BERT) и 1D-CNN+Self-Attention Hybrid.

За развитието на механизмите за търсене на естествен език допълнително е подготвен наборът CodeSearchNet Challenge, включващ
99 типови запитвания с около 4 хиляди експертни анотации, описващи най-вероятните свързвания с кода в набора от данни CodeSearchNet Corpus, обхващащ около 6 млн метода и функции (размер на набора около 20 Гб). CodeSearchNet Challenge може да служи като еталон за оценка на ефективността на различни методи за търсене на код на естествен език. С използването на инструментария Kubeflow е подготвен
пример движка за търсене на код.

Източник: opennet.ru