Amazon публикува набор от данни за разбиране на реч на 51 езика

Amazon пусна набора от данни „MASSIVE“ (Multilingual Amazon SLURP for Slot Filling, Intent Classification, and Virtual-Assistant Evaluation), заедно с модели за системи за машинно обучение и набор от инструменти за обучение на персонализирани модели за разбиране на естествен език (NLU) под лиценз CC BY 4.0. Наборът от данни включва над един милион анотирани и класифицирани текстови изказвания на 51 езика.

Колекцията SLURP, първоначално достъпна на английски език и локализирана на 50 други езика с помощта на професионални преводачи, беше използвана като еталон за изграждането на масивния набор от данни. Технологията за разбиране на естествен език (NLU), използвана в гласовия асистент Alexa, първо преобразува речта в текст и след това прилага няколко NLU модела към текста, анализирайки наличието на ключови думи, за да определи същността на въпроса на потребителя.

Една от целите на създаването и публикуването на набора от данни е да се адаптират гласовите асистенти за едновременна обработка на информация на множество езици, както и да се насърчат разработчици от трети страни да създават приложения и услуги, които разширяват възможностите на гласовите асистенти. За да привлече вниманието на разработчиците, Amazon стартира конкурс за създаване на най-добрия универсален модел, използвайки публикувания набор от данни.

В момента гласовите асистенти поддържат само няколко езика и използват специфични за езика модели за машинно обучение. Проектът MASSIVE има за цел да се справи с този недостатък чрез създаване на универсални модели и системи за машинно обучение, способни да анализират и обработват информация на множество езици.

Източник: opennet.ru