Амазон објави база на податоци за разбирање на говорот на 51 јазик

Амазон го објави под лиценца CC BY 4.0 базата на податоци „MASSIVE“ (Повеќејазична Amazon SLURP за пополнување на места, класификација на намери и евалуација со виртуелен асистент), модели за системи за машинско учење и алатки за обука на сопствени модели што може да се користат за разбирање информации за природниот јазик (NLU, Natural Language Understanding). Комплетот вклучува повеќе од милион коментари и класифицирани текстуални искази подготвени за 51 јазик.

Колекцијата SLURP, првично достапна за англиски јазик, се користеше како референца за градење на комплетот MASSIVE, кој беше локализиран на 50 други јазици со помош на професионални преведувачи. Технологијата за разбирање природен јазик (NLU) на Alexa прво го претвора говорот во текст, а потоа применува повеќе модели NLU на текстот кои го анализираат присуството на клучни зборови за да ја одредат суштината на прашањето на корисникот.

Една од целите на создавањето и објавувањето на сетот е да се приспособат гласовните асистенти да обработуваат информации на неколку јазици одеднаш, како и да се охрабрат програмерите од трети страни да создаваат апликации и услуги кои ги прошируваат можностите на гласовните асистенти. За да го привлече вниманието на програмерите, Амазон започна натпревар за создавање на најдобар генерички модел користејќи објавена база на податоци.

Во моментов, гласовните асистенти поддржуваат само неколку јазици и користат модели за машинско учење врзани за одреден јазик. Проектот MASSIVE има за цел да го елиминира овој недостаток преку создавање универзални модели и системи за машинско учење способни да анализираат и обработуваат информации на различни јазици.

Извор: opennet.ru