GitHub projekt , która przygotowała modele uczenia maszynowego oraz zbiory danych niezbędne do parsowania, klasyfikacji i analizy kodu w różnych językach programowania. CodeSearchNet, podobny do , zawiera duży zbiór fragmentów kodu z adnotacjami, które formalizują działanie kodu. Komponenty do modeli szkoleniowych i przykłady wykorzystania CodeSearchNet są napisane w Pythonie przy użyciu frameworku Tensorflow i na licencji MIT.
Podczas tworzenia CodeSearchNet wykorzystano technologie analizowania tekstu w języku naturalnym, dzięki czemu systemy uczenia maszynowego uwzględniają nie tylko cechy syntaktyczne, ale także znaczenie działań wykonywanych przez kod. System GitHub w eksperymentach nad organizacją wyszukiwania kodu semantycznego za pomocą zapytań (na przykład przy żądaniu „sortowania listy ciągów” wyświetlany jest kod z implementacją odpowiednich algorytmów).
Proponowany zbiór danych zawiera ponad 2 miliony linków z komentarzami do kodu, przygotowanych na podstawie tekstów źródłowych istniejących otwartych bibliotek. Kod obejmuje pełny tekst źródłowy poszczególnych funkcji lub metod, a komentarz opisuje działania wykonywane przez funkcję (szczegółowa dokumentacja jest dostępna). Obecnie zbiory danych przygotowywane są dla Pythona, JavaScript, Ruby, Go, Java i PHP. Podano przykłady wykorzystania proponowanych zbiorów danych do uczenia różnych typów sieci neuronowych, m.in , , (BERT) i .
Aby opracować mechanizmy wyszukiwania w języku naturalnym, przygotowano dodatkowo zestaw CodeSearchNet Challenge, zawierający m.in
zapytania z około 4 tysiącami adnotacji eksperckich opisujących najbardziej prawdopodobne powiązania kodu w zbiorze danych CodeSearchNet Corpus, obejmujących około 6 milionów metod i funkcji ( około 20 GB). Konkurs CodeSearchNet Challenge może służyć jako punkt odniesienia do oceny skuteczności niektórych metod wyszukiwania kodu języka naturalnego. Używanie narzędzi przygotowany
wyszukiwarka kodów.
Źródło: opennet.ru