GitHub prosjekt , som har utarbeidet maskinlæringsmodeller og datasett som er nødvendige for å analysere, klassifisere og analysere kode på ulike programmeringsspråk. CodeSearchNet, lik , inkluderer en stor samling kodebiter med merknader som formaliserer hva koden gjør. Komponenter for treningsmodeller og eksempler på bruk av CodeSearchNet er skrevet i Python ved hjelp av Tensorflow-rammeverket og under MIT-lisensen.
Når du opprettet CodeSearchNet, ble tekstparsing-teknologier med naturlig språk brukt, noe som gjorde det mulig for maskinlæringssystemer å ta hensyn til ikke bare syntaktiske funksjoner, men også betydningen av handlingene som utføres av koden. GitHub-systemet i eksperimenter med å organisere semantisk kodesøk ved å bruke spørringer på (for eksempel, når du ber om "sortere en liste over strenger", vises kode med implementeringen av de tilsvarende algoritmene).
Det foreslåtte datasettet inkluderer mer enn 2 millioner kodekommentarlenker, utarbeidet basert på kildetekstene til eksisterende åpne biblioteker. Koden dekker hele kildeteksten til individuelle funksjoner eller metoder, og kommentaren beskriver handlingene som utføres av funksjonen (detaljert dokumentasjon er gitt). Foreløpig utarbeides datasett for Python, JavaScript, Ruby, Go, Java og PHP. Det er gitt eksempler på bruk av de foreslåtte datasettene for opplæring av ulike typer nevrale nettverk, inkludert , , (BERT) og .
For å utvikle søkemekanismer for naturlig språk er det i tillegg utarbeidet et sett med CodeSearchNet Challenge, inkludert
spørringer med rundt 4 tusen ekspertkommentarer som beskriver de mest sannsynlige kodebindingene i CodeSearchNet Corpus-datasettet, som dekker rundt 6 millioner metoder og funksjoner ( ca 20 GB). CodeSearchNet Challenge kan tjene som en målestokk for å evaluere effektiviteten til visse metoder for å søke etter naturlig språkkode. Bruke verktøy forberedt
kode søkemotor.
Kilde: opennet.ru