GitHub projektet , dÀr modeller för maskininlÀrning och dataset har förberetts för att analysera, klassificera och analysera kod pÄ olika programmeringssprÄk. CodeSearchNet, i likhet med , inkluderar en stor samling kodavsnitt uppbackade av anteckningar som formaliserar de handlingar som utförs av koden. Komponenter för att trÀna modeller och exempel pÄ anvÀndning av CodeSearchNet Àr skrivna i Python med hjÀlp av Tensorflow-ramverket och licensieras under MIT.
Vid skapandet av CodeSearchNet har tekniker för naturlig sprÄkbehandling anvÀnts, vilket gör det möjligt för maskininlÀrningssystem att ta hÀnsyn till inte bara syntaktiska egenskaper utan Àven betydelsen av de handlingar som koden utför. PÄ GitHub har systemet i experiment för semantisk kodsökning med hjÀlp av frÄgor pÄ (till exempel, nÀr man frÄgar "sortering av en lista med strÀngar", visas kod med implementeringen av motsvarande algoritmer).
Det föreslagna datasetet innehÄller mer Àn 2 miljoner "kod-kommentar"-par, förberedda baserat pÄ kÀlltexter frÄn befintliga öppna bibliotek. Koden omfattar hela kÀlltexten av individuella funktioner eller metoder, medan kommentaren beskriver de ÄtgÀrder som funktionen utför (detaljerad dokumentation ges). För nÀrvarande har dataset beretts för sprÄk som Python, JavaScript, Ruby, Go, Java och PHP. Exempel pÄ anvÀndning av de föreslagna dataset för trÀning av olika typer av neurala nÀtverk, inklusive , , (BERT) och .
För att utveckla mekanismer för sökningar pÄ naturligt sprÄk har ett ytterligare dataset, CodeSearchNet Challenge, förberetts, vilket inkluderar
frÄgor med cirka 4 000 expertnoteringar som beskriver de mest sannolika kopplingarna till kod i datasetet CodeSearchNet Corpus, som omfattar cirka 6 miljoner metoder och funktioner ( Àr cirka 20 GB). CodeSearchNet Challenge kan fungera som en referens för att utvÀrdera effektiviteten av olika metoder för kodsökning pÄ naturligt sprÄk. Med hjÀlp av verktygen förberedd
en motor för kodsökning.
KĂ€lla: opennet.ru
