GitHub лоиҳа , ки моделҳои омӯзиши мошинсозӣ ва маҷмӯи маълумотро барои таҳлил, тасниф ва таҳлили код дар забонҳои гуногуни барномасозӣ омода кардааст. CodeSearchNet, монанд ба , маҷмӯи зиёди пораҳои кодро бо эзоҳҳое дар бар мегирад, ки он кореро, ки код мекунад, расман мегардонад. Қисмҳо барои моделҳои омӯзишӣ ва намунаҳои истифодаи CodeSearchNet дар Python бо истифода аз чаҳорчӯбаи Tensorflow ва таҳти иҷозатномаи MIT.
Ҳангоми эҷоди CodeSearchNet технологияҳои таҳлили матни забони табиӣ истифода мешуданд, ки ба системаҳои омӯзиши мошин имкон медиҳад, ки на танҳо хусусиятҳои синтаксисӣ, балки маънои амалҳои иҷрокардаи кодро низ ба назар гиранд. Системаи GitHub дар таҷрибаҳо оид ба ташкили ҷустуҷӯи рамзи семантикӣ бо истифода аз дархостҳо оид ба (масалан, ҳангоми дархости "мутадбиркунии рӯйхати сатрҳо" код бо татбиқи алгоритмҳои мувофиқ нишон дода мешавад).
Маҷмӯи додаҳои пешниҳодшуда зиёда аз 2 миллион истинодҳои рамзӣ-тафсирро дар бар мегирад, ки дар асоси матнҳои сарчашмаи китобхонаҳои кушодаи мавҷуда омода шудаанд. Рамз матни пурраи манбаи функсияҳо ё усулҳои алоҳидаро дар бар мегирад ва шарҳ амалҳои иҷрошударо тавсиф мекунад (ҳуҷҷатҳои муфассал пешниҳод карда мешаванд). Дар айни замон, маҷмӯи додаҳо барои Python, JavaScript, Ruby, Go, Java ва PHP омода карда шудаанд. Намунаҳои истифодаи маҷмӯи додаҳои пешниҳодшуда барои омӯзиши намудҳои гуногуни шабакаҳои нейрон, аз ҷумла оварда шудаанд , , (БЕРТ) ва .
Барои таҳияи механизмҳои ҷустуҷӯи забони табиӣ, маҷмӯи CodeSearchNet Challenge ба таври иловагӣ омода карда шудааст, аз ҷумла
пурсишҳо бо тақрибан 4 ҳазор эзоҳҳои коршиносӣ, ки бастабандиҳои эҳтимолии кодро дар маҷмӯи додаҳои CodeSearchNet Corpus тавсиф мекунанд, ки тақрибан 6 миллион усул ва функсияҳоро дар бар мегиранд ( тақрибан 20 ГБ). CodeSearchNet Challenge метавонад ҳамчун меъёр барои арзёбии самаранокии усулҳои муайяни ҷустуҷӯи рамзи забони табиӣ хидмат кунад. Истифодаи асбобҳо омода кардааст
системаи ҷустуҷӯии код.
Манбаъ: opennet.ru