GitHub y prosiect , sydd wedi paratoi modelau dysgu peirianyddol a setiau data sy'n angenrheidiol ar gyfer dosrannu, dosbarthu a dadansoddi cod mewn amrywiol ieithoedd rhaglennu. CodeSearchNet, tebyg i , yn cynnwys casgliad mawr o bytiau cod gydag anodiadau sy'n ffurfioli'r hyn y mae'r cod yn ei wneud. Mae cydrannau ar gyfer modelau hyfforddi ac enghreifftiau o ddefnyddio CodeSearchNet yn cael eu hysgrifennu yn Python gan ddefnyddio fframwaith Tensorflow a dan drwydded MIT.
Wrth greu CodeSearchNet, defnyddiwyd technolegau dosrannu testun iaith naturiol, gan alluogi systemau dysgu peirianyddol i ystyried nid yn unig nodweddion cystrawennol, ond hefyd ystyr y gweithredoedd a gyflawnir gan y cod. Y system GitHub mewn arbrofion ar drefnu chwiliad cod semantig gan ddefnyddio ymholiadau ar (er enghraifft, wrth ofyn am βddidoli rhestr o linynnauβ, dangosir cod gyda gweithrediad yr algorithmau cyfatebol).
Mae'r set ddata arfaethedig yn cynnwys mwy na 2 filiwn o ddolenni cod-sylwadau, a baratowyd yn seiliedig ar destunau ffynhonnell y llyfrgelloedd agored presennol. Mae'r cod yn ymdrin Γ’ thestun ffynhonnell cyflawn swyddogaethau neu ddulliau unigol, ac mae'r sylw'n disgrifio'r gweithredoedd a gyflawnir gan y swyddogaeth (darperir dogfennaeth fanwl). Ar hyn o bryd, mae setiau data yn cael eu paratoi ar gyfer Python, JavaScript, Ruby, Go, Java a PHP. Darperir enghreifftiau o ddefnyddio'r setiau data arfaethedig ar gyfer hyfforddi gwahanol fathau o rwydweithiau niwral, gan gynnwys , , (BERT) a .
Er mwyn datblygu mecanweithiau chwilio iaith naturiol, mae set o Her CodeSearchNet wedi'i pharatoi hefyd, gan gynnwys
ymholiadau gyda thua 4 mil o anodiadau arbenigol yn disgrifio'r rhwymiadau cod mwyaf tebygol yn set ddata CodeSearchNet Corpus, yn cwmpasu tua 6 miliwn o ddulliau a swyddogaethau ( tua 20 GB). Gall Her CodeSearchNet fod yn feincnod ar gyfer gwerthuso effeithiolrwydd rhai dulliau ar gyfer chwilio cod iaith naturiol. Defnyddio offer wedi'i baratoi
peiriant chwilio cod.
Ffynhonnell: opennet.ru