GitHub on avanud arendused masinõppe rakendamiseks koodi otsimiseks ja analüüsimiseks.

GitHub esitles projekt CodeSearchNet, mille on välja töötatud masinõppe mudelid ja andmestikud, mis on vajalikud koodi analüüsimiseks, klassifitseerimiseks ja analüüsimiseks erinevates programmeerimiskeeltes. CodeSearchNet, sarnaselt ImageNet, sisaldab suurt kogumit koodilõike, mis on varustatud annotatsioonidega, mis formaliseerivad koodiga sooritatud toimingud. Mudelite koolitamiseks vajalikud komponendid ja CodeSearchNeti kasutusnäited on kirjutatud Pythonis, kasutades Tensorflow raamistikku ja levitatakse MIT litsentsi alusel.

CodeSearchNeti loomisel on kasutatud loomuliku keele seadistustehnoloogiaid, mis võimaldavad masinõppe süsteemidel arvestada mitte ainult süntaktiliste omadustega, vaid ka koodi sooritatud toimingute tähendusega. GitHubi süsteem rakendatakse eksperimentides semantilise koodi otsingu korraldamiseks loomuliku keele päringute abil loomuliku keele (

näiteks päringuga „stringide loendi sortimine“ väljastatakse kood, mis implementeerib vastavaid algoritme). Ettepanekut andmekogumit hõlmab üle 2 miljoni „koodi-kommentaar“ paari, mis on koostatud olemasolevate avatud teegide lähtekoodidest. Kood hõlmab üksikute funktsioonide või meetodite täisteksti ning kommentaar kirjeldab funktsiooni sooritatud toiminguid (toodud on detailsed dokumentatsioonid). Hetkel on andmekogumid ette valmistatud Python, JavaScript, Ruby, Go, Java ja PHP keelte jaoks. Pakutud andmekogumite kasutusnäidete jaoks erinevate närvivõrkude koolitamiseks on hõlmatud, Neural-Bag-Of-Words, RNN Self-Attention (BERT) ja.

1D-CNN+Self-Attention Hybrid
Loomuliku keele otsimise mehhanismide arendamiseks on lisaks ette valmistatud CodeSearchNet Challenge andmekogum, mis sisaldab 99 tüüpilistpäringut koos umbes 4 tuhande ekspertide annotatsiooniga, mis kirjeldavad kõige tõenäolisemaid sidemeid koodiga andmekogus CodeSearchNet Corpus, mis katab umbes 6 miljonit meetodit ja funktsiooni ( kogu kogumi umbes 20 GB). CodeSearchNet Challenge võib toimida standardina koodi otsingu erinevate meetodite tõhususe hindamiseks loomuliku keele abil. Kasutades on ette valmistatud
näide Kubeflow

Allikas: opennet.ru