Amazon публикува набор от данни за разбиране на реч на 51 езика

Amazon публикува под лиценз CC BY 4.0 набора от данни „MASSIVE“ (Multilingual Amazon SLURP for Slot Filling, Intent Classification, and Virtual-assistant Evaluation), модели за системи за машинно обучение и инструменти за обучение на вашите собствени модели, които могат да се използват за разбиране на информация на естествен език (NLU, разбиране на естествен език). Комплектът включва повече от милион анотирани и класифицирани текстови изказвания, подготвени за 51 езика.

Колекцията SLURP, първоначално достъпна за английски език, беше използвана като референция за изграждане на комплекта MASSIVE, който беше локализиран на 50 други езика с помощта на професионални преводачи. Технологията за разбиране на естествен език (NLU) на Alexa първо преобразува речта в текст, след което прилага множество NLU модели към текста, които анализират наличието на ключови думи, за да определят същността на въпроса на потребителя.

Една от целите на създаването и публикуването на комплекта е да се адаптират гласовите асистенти за обработка на информация на няколко езика наведнъж, както и да се насърчат разработчиците на трети страни да създават приложения и услуги, които разширяват възможностите на гласовите асистенти. За да привлече вниманието на разработчиците, Amazon стартира състезание за създаване на най-добрия общ модел, използвайки публикуван набор от данни.

В момента гласовите асистенти поддържат само няколко езика и използват модели за машинно обучение, свързани с конкретен език. Проектът MASSIVE има за цел да премахне този недостатък чрез създаване на универсални модели и системи за машинно обучение, способни да анализират и обработват информация на различни езици.

Източник: opennet.ru