GitHub는 코드 검색 및 분석을 위해 기계 학습을 사용하는 개발을 시작했습니다.

GitHub의 도입 된 계획 코드서치넷에서는 다양한 프로그래밍 언어로 코드를 파싱, 분류, 분석하는 데 필요한 머신러닝 모델과 데이터 세트를 준비했습니다. CodeSearchNet과 유사 IMAGEnet에는 코드의 기능을 공식화하는 주석이 포함된 대규모 코드 조각 모음이 포함되어 있습니다. 훈련 모델을 위한 구성 요소와 CodeSearchNet 사용 예는 Tensorflow 프레임워크를 사용하여 Python으로 작성되었으며 배포자 MIT 라이센스에 따라.

CodeSearchNet을 만들 때 자연어 텍스트 구문 분석 기술이 사용되어 기계 학습 시스템이 구문 기능뿐만 아니라 코드가 수행하는 작업의 의미도 고려할 수 있게 되었습니다. GitHub 시스템 적용된 쿼리를 사용하여 의미 코드 검색을 구성하는 실험에서 자연어 (예를 들어 "문자열 목록 정렬"을 요청하면 해당 알고리즘이 구현된 코드가 표시됩니다.)

제안된 데이터 세트에는 기존 오픈 라이브러리의 소스 텍스트를 기반으로 준비된 2백만 개 이상의 코드 주석 링크가 포함되어 있습니다. 코드는 개별 함수 또는 메서드의 전체 소스 텍스트를 다루고 주석은 함수가 수행하는 작업을 설명합니다(자세한 문서가 제공됨). 현재 Python, JavaScript, Ruby, Go, Java 및 PHP용 데이터세트가 준비되어 있습니다. 다음을 포함하여 다양한 유형의 신경망을 훈련하기 위해 제안된 데이터 세트를 사용하는 예가 제공됩니다. 신경망 단어집, RNN, 셀프 어텐션 (BERT) 및 1D-CNN+셀프 어텐션 하이브리드.

자연어 검색 메커니즘을 개발하기 위해 다음을 포함한 일련의 CodeSearchNet Challenge가 추가로 준비되었습니다.
99 일반 CodeSearchNet Corpus 데이터세트에서 가장 가능성이 높은 코드 바인딩을 설명하는 약 4천 개의 전문 주석이 포함된 쿼리로, 약 6만 개의 메소드와 기능을 포함합니다(세트 사이즈 약 20GB). CodeSearchNet Challenge는 자연어 코드 검색을 위한 특정 방법의 효율성을 평가하기 위한 벤치마크 역할을 할 수 있습니다. 도구 사용 쿠베 플로우 준비
예 코드 검색 엔진.

출처 : opennet.ru