GitHub projekts , kas ir sagatavojis mašīnmācīšanās modeļus un datu kopas, kas nepieciešamas koda parsēšanai, klasificēšanai un analīzei dažādās programmēšanas valodās. CodeSearchNet, līdzīgs , ietver lielu koda fragmentu kolekciju ar anotācijām, kas formalizē koda darbību. Apmācības modeļu komponenti un CodeSearchNet izmantošanas piemēri ir rakstīti Python, izmantojot Tensorflow ietvaru un saskaņā ar MIT licenci.
Veidojot CodeSearchNet, tika izmantotas dabiskās valodas teksta parsēšanas tehnoloģijas, kas ļauj mašīnmācīšanās sistēmām ņemt vērā ne tikai sintaktiskās pazīmes, bet arī koda veikto darbību nozīmi. GitHub sistēma eksperimentos par semantiskā koda meklēšanas organizēšanu, izmantojot vaicājumus (piemēram, pieprasot “kārtot virkņu sarakstu”, tiek parādīts kods ar atbilstošo algoritmu ieviešanu).
Ierosinātajā datu kopā ir vairāk nekā 2 miljoni kodu komentāru saišu, kas sagatavotas, pamatojoties uz esošo atvērto bibliotēku avota tekstiem. Kods aptver atsevišķu funkciju vai metožu pilnu avota tekstu, un komentārā ir aprakstītas funkcijas veiktās darbības (tiek nodrošināta detalizēta dokumentācija). Pašlaik datu kopas ir sagatavotas Python, JavaScript, Ruby, Go, Java un PHP. Ir sniegti piemēri piedāvāto datu kopu izmantošanai dažāda veida neironu tīklu apmācībai, t.sk , , (BERT) un .
Lai izstrādātu dabiskās valodas meklēšanas mehānismus, papildus ir sagatavots CodeSearchNet Challenge komplekts, t.sk
vaicājumi ar aptuveni 4 tūkstošiem ekspertu anotāciju, kas apraksta visticamākos kodu saistījumus CodeSearchNet Corpus datu kopā, aptverot aptuveni 6 miljonus metožu un funkciju ( apmēram 20 GB). CodeSearchNet Challenge var kalpot kā etalons, lai novērtētu noteiktu dabiskās valodas koda meklēšanas metožu efektivitāti. Izmantojot rīkus sagatavots
kodu meklētājprogramma.
Avots: opennet.ru