Amazon은 51개 언어로 음성을 이해하기 위한 데이터 세트를 게시했습니다.

Amazon은 CC BY 4.0 라이선스에 따라 "MASSIVE"(다국어 Amazon SLURP for Slot Filling, Intent Classification, Virtual-assistant Evaluation) 데이터 세트, 기계 학습 시스템용 모델, 자체 모델 교육용 도구를 게시했습니다. 자연어에 대한 정보를 이해합니다(NLU, Natural Language Understanding). 이 세트에는 51개 언어로 준비된 백만 개 이상의 주석이 추가되고 분류된 텍스트 발언이 포함되어 있습니다.

원래 영어로 제공되었던 SLURP 컬렉션은 MASSIVE 세트를 구축하기 위한 참조 자료로 사용되었으며 전문 번역가를 통해 50개 언어로 현지화되었습니다. Alexa의 자연어 이해(NLU) 기술은 먼저 음성을 텍스트로 변환한 다음, 키워드 존재 여부를 분석하는 텍스트에 여러 NLU 모델을 적용하여 사용자 질문의 본질을 판단합니다.

세트를 만들고 게시하는 목표 중 하나는 음성 도우미가 여러 언어로 동시에 정보를 처리하도록 조정하고 타사 개발자가 음성 도우미의 기능을 확장하는 애플리케이션 및 서비스를 만들도록 장려하는 것입니다. 개발자의 관심을 끌기 위해 Amazon은 게시된 데이터 세트를 사용하여 최고의 일반 모델을 만들기 위한 경쟁을 시작했습니다.

현재 음성 비서는 몇 가지 언어만 지원하며 특정 언어와 연결된 기계 학습 모델을 사용합니다. MASSIVE 프로젝트는 다양한 언어로 정보를 구문 분석하고 처리할 수 있는 범용 모델과 기계 학습 시스템을 만들어 이러한 단점을 제거하는 것을 목표로 합니다.

출처 : opennet.ru