Facebook, 200개 언어를 지원하는 기계 번역 모델 출시

Facebook(러시아 연방에서 금지됨)은 영어로의 중간 번역을 우회하여 텍스트를 한 언어에서 다른 언어로 직접 번역하기 위한 보편적인 기계 학습 모델을 만드는 것을 목표로 하는 NLLB(No Language Left Behind) 프로젝트의 개발 내용을 발표했습니다. 제안된 모델은 아프리카와 호주 민족의 희귀 언어를 포함해 200개 이상의 언어를 다루고 있습니다. 이 프로젝트의 궁극적인 목표는 사용하는 언어에 관계없이 모든 사람에게 의사소통 수단을 제공하는 것입니다.

이 모델은 저작자 표시를 제공하고 라이센스를 유지하며 비상업적 목적으로만 사용하는 경우 복사, 재배포, 사용자 정의 및 파생 작업을 허용하는 크리에이티브 커먼즈 BY-NC 4.0 라이센스에 따라 라이센스가 부여됩니다. 모델 작업을 위한 도구는 MIT 라이선스에 따라 제공됩니다. NLLB 모델을 사용하여 개발을 촉진하기 위해 연구자들에게 보조금을 제공하기 위해 200만 달러를 할당하기로 결정했습니다.

제안된 모델을 사용하여 프로젝트 생성을 단순화하기 위해 모델 품질 테스트 및 평가에 사용되는 애플리케이션 코드(FLORES-200, NLLB-MD, Toxicity-200), 훈련 모델용 코드 및 LASER3 라이브러리 기반 인코더( 언어에 구애받지 않는 SEntence)는 추가로 오픈 소스입니다. 최종 모델은 전체 버전과 단축 버전의 두 가지 버전으로 제공됩니다. 단축 버전은 리소스가 더 적게 필요하며 연구 프로젝트에서 테스트하고 사용하는 데 적합합니다.

머신러닝 시스템을 기반으로 한 다른 번역 시스템과 달리 페이스북의 솔루션은 200개 언어 전체에 대해 하나의 일반 모델을 제공하여 모든 언어를 포괄하고 언어별로 별도의 모델을 사용할 필요가 없다는 점에서 주목할 만합니다. 영어로의 중간 번역 없이 원어에서 타겟 언어로 직접 번역이 이루어집니다. 보편적인 번역 시스템을 만들기 위해 사용되는 언어를 결정할 수 있는 LID 모델(Language IDentification)이 추가로 제안됩니다. 저것들. 시스템은 정보가 어떤 언어로 제공되는지 자동으로 인식하고 이를 사용자의 언어로 번역할 수 있습니다.

지원되는 200개 언어 중 어느 방향으로든 번역이 지원됩니다. 모든 언어 간 번역 품질을 확인하기 위해 FLORES-200 참조 테스트 세트를 준비했는데, 이는 NLLB-200 모델을 사용했을 때 이전에 제안된 기계 학습 기반 연구 시스템보다 번역 품질 측면에서 평균 44% 우수한 것으로 나타났습니다. 기계 번역과 표준 인간 번역을 비교하는 BLEU 측정항목입니다. 희귀한 아프리카 언어와 인도 방언의 경우 품질 우위가 70%에 이른다. 특별히 준비된 데모 사이트에서 번역 품질을 시각적으로 평가할 수 있습니다.

출처 : opennet.ru