GitHub projekt , koja je pripremila modele strojnog učenja i skupove podataka potrebne za parsiranje, klasificiranje i analizu koda u različitim programskim jezicima. CodeSearchNet, slično , uključuje veliku zbirku isječaka koda s komentarima koji formaliziraju ono što kod radi. Komponente za modele obuke i primjere korištenja CodeSearchNet-a napisane su u Pythonu korištenjem okvira Tensorflow i pod licencom MIT-a.
Prilikom izrade CodeSearchNet-a korištene su tehnologije parsiranja teksta prirodnog jezika, omogućujući sustavima strojnog učenja da uzmu u obzir ne samo sintaktičke značajke, već i značenje radnji koje izvodi kod. Sustav GitHub u eksperimentima organiziranja pretraživanja semantičkog koda pomoću upita na (na primjer, kada se traži "sortiranje popisa nizova", prikazuje se kod s implementacijom odgovarajućih algoritama).
Predloženi skup podataka uključuje više od 2 milijuna poveznica kodova i komentara, pripremljenih na temelju izvornih tekstova postojećih otvorenih knjižnica. Kod pokriva potpuni izvorni tekst pojedinačnih funkcija ili metoda, a komentar opisuje radnje koje funkcija izvodi (dostavljena je detaljna dokumentacija). Trenutačno su skupovi podataka pripremljeni za Python, JavaScript, Ruby, Go, Java i PHP. Daju se primjeri korištenja predloženih skupova podataka za obuku različitih vrsta neuronskih mreža, uključujući , , (BERT) i .
Za razvoj mehanizama pretraživanja prirodnog jezika, dodatno je pripremljen skup CodeSearchNet Challenge, uključujući
upite s oko 4 tisuće stručnih komentara koji opisuju najvjerojatnije vezivanje koda u skupu podataka CodeSearchNet Corpus, pokrivajući oko 6 milijuna metoda i funkcija ( oko 20 GB). CodeSearchNet Challenge može poslužiti kao mjerilo za ocjenu učinkovitosti određenih metoda za pretraživanje koda prirodnog jezika. Korištenje alata pripremljeno
tražilica kodova.
Izvor: opennet.ru