IBM, 코드를 번역하고 검증하는 기계 학습 시스템용 CodeNet 공개

IBM은 프로그래밍 언어 번역기, 코드 생성기 및 분석기를 만들기 위해 기계 학습 기술을 사용하여 실험할 수 있는 데이터 세트를 연구자들에게 제공하는 것을 목표로 하는 CodeNet 이니셔티브를 공개했습니다. CodeNet에는 14개의 일반적인 프로그래밍 문제를 해결하는 4053만 개의 코드 예제 모음이 포함되어 있습니다. 전체적으로 이 컬렉션에는 약 500억 줄의 코드가 포함되어 있으며 C++, Java, Python 및 Go와 같은 최신 언어와 COBOL, Pascal 및 FORTRAN을 포함한 레거시 언어 모두 55개 프로그래밍 언어를 포함합니다. 프로젝트의 개발은 Apache 2.0 라이선스에 따라 배포되며, 데이터 세트는 공개 도메인 형태로 배포될 예정입니다.

예제에는 주석이 추가되어 있으며 서로 다른 프로그래밍 언어로 동일한 알고리즘을 구현합니다. 제안된 세트는 ImageNet 주석이 달린 이미지 데이터베이스가 패턴 인식 및 컴퓨터 비전 시스템 개발에 도움이 된 것과 유사하게 기계 학습 시스템을 훈련하고 번역 및 기계 코드 구문 분석 분야의 혁신을 개발하는 데 도움이 될 것으로 예상됩니다. 다양한 프로그래밍 대회가 컬렉션 형성의 주요 원천 중 하나로 인용됩니다.

번역 규칙을 기반으로 구현되는 기존 번역기와 달리 기계 학습 시스템은 코드 사용 컨텍스트를 캡처하고 고려할 수 있습니다. 한 프로그래밍 언어에서 다른 프로그래밍 언어로 변환할 때 컨텍스트는 한 인간 언어에서 다른 언어로 변환할 때만큼 중요합니다. 이러한 컨텍스트 고려 부족으로 인해 COBOL과 같은 레거시 언어에서 코드가 변환되지 않습니다.

다양한 언어로 구현된 대규모 알고리즘 데이터베이스를 보유하면 특정 언어 간 직접 번역 대신 특정 프로그래밍 언어와 관계없이 코드의 보다 추상적인 표현을 조작하는 범용 기계 학습 시스템을 만드는 데 도움이 됩니다. 이러한 시스템은 지원되는 언어로 전송된 코드를 내부 추상 표현으로 번역하는 번역기로 사용될 수 있으며, 이로부터 코드는 여러 언어로 생성될 수 있습니다.

시스템은 양방향 변환도 수행할 수 있습니다. 예를 들어, 은행과 정부 기관에서는 오래된 COBOL 언어로 된 프로젝트를 계속 사용하고 있습니다. 기계 학습 기반 번역기는 COBOL 코드를 Java 표현으로 변환하고 필요한 경우 Java 조각을 다시 COBOL 코드로 변환할 수 있습니다.

언어 간 번역 외에도 스마트 코드 검색 시스템 생성, 클론 감지 자동화, 옵티마이저 및 자동 코드 수정 시스템 개발 등 CodeNet의 적용 분야가 언급되어 있습니다. 특히, CodeNet에 제시된 예제에는 성능 테스트 결과, 결과 프로그램 크기, 메모리 소비 및 상태를 설명하는 메타데이터가 포함되어 있어 올바른 코드와 오류가 있는 코드를 구별할 수 있습니다(올바른 코드와 잘못된 코드를 구별하기 위해, 컬렉션에는 특히 오류가 있는 예제가 포함되어 있으며 그 비율은 29.5%입니다. 기계 학습 시스템은 이 메타데이터를 고려하여 가장 최적의 코드를 생성하거나 분석된 코드의 회귀를 식별할 수 있습니다. 시스템은 제출된 코드의 알고리즘이 최적으로 구현되지 않았거나 오류가 포함되어 있음을 이해할 수 있습니다.

출처 : opennet.ru