GitHub откри разработки по прилагането на машинно обучение за търсене и анализ на код

GitHub представи проект CodeSearchNet, в рамките на който са подготвени модели за машинно обучение и набори от данни, необходими за анализ, класификация и изследване на код на различни програмни езици. CodeSearchNet, по аналогия с ImageNet, включва голяма колекция от фрагменти код, предоставени с анотации, формализиращи действията, изпълнявани от кода. Компонентите за обучение на моделите и примери за използване на CodeSearchNet са написани на Python, използвайки Tensorflow и разпространява под лиценз MIT.

При създаването на CodeSearchNet са използвани технологии за обработка на естествения език, позволяващи на системите за машинно обучение да вземат предвид не само синтактичните особености, но и смисъла на действията, изпълнявани от кода. В GitHub системата се прилага в експериментите по организация на семантичното търсене на код с помощта на запитвания на естествен език (например, при запитване „сортиране на списък от низове“ се извежда код с реализация на съответните алгоритми).

Предложеният набор от данни включва над 2 млн. двойки „код-коментар“, подготвени на базата на изходен текст от съществуващи публични библиотеки. Кодът обхваща пълния изходен текст на отделни функции или методи, а коментарът описва действията, изпълнявани от функцията (предоставя се подробна документация). В момента набори от данни са подготвени за езици Python, JavaScript, Ruby, Go, Java и PHP. Предоставени са примери за използване на предложените набори от данни за обучение на различни видове невронни мрежи, включително Neural-Bag-Of-Words, RNN, Self-Attention (BERT) и 1D-CNN+Self-Attention Hybrid.

За развитие на механизмите за търсене на естествен език допълнително е подготвен наборът CodeSearchNet Challenge, включващ
99 типови запитвания с около 4000 експертни анотации, описващи най-вероятните привързаности към кода в набора от данни CodeSearchNet Corpus, обхващащ около 6 млн. методи и функции (размер на набора около 20 ГБ). CodeSearchNet Challenge може да служи като еталон за оценка на ефективността на различни методи за търсене на код на естествен език. С помощта на инструмента Kubeflow е подготвен
пример движка за търсене на код.

Източник: opennet.ru