Amazon je pod licencom CC BY 4.0 objavio "MASSIVE" (Višejezični Amazon SLURP za popunjavanje mjesta, klasifikaciju namjere i evaluaciju virtualnog pomoćnika) skup podataka, modele za sisteme mašinskog učenja i alate za obuku vaših vlastitih modela koji se mogu koristiti za razumiju informacije o prirodnom jeziku (NLU, Natural Language Understanding). Komplet uključuje više od milion anotiranih i povjerljivih tekstualnih iskaza pripremljenih za 51 jezik.
SLURP kolekcija, izvorno dostupna za engleski jezik, korištena je kao referenca za izradu skupa MASSIVE, koji je uz pomoć profesionalnih prevodilaca lokaliziran na 50 drugih jezika. Alexa tehnologija razumevanja prirodnog jezika (NLU) prvo pretvara govor u tekst, a zatim primenjuje višestruke NLU modele na tekst koji analiziraju prisustvo ključnih reči da bi se utvrdila suština korisničkog pitanja.
Jedan od ciljeva kreiranja i objavljivanja kompleta je prilagođavanje glasovnih pomoćnika za obradu informacija na nekoliko jezika odjednom, kao i poticanje nezavisnih programera da kreiraju aplikacije i usluge koje proširuju mogućnosti glasovnih asistenata. Kako bi privukao pažnju programera, Amazon je pokrenuo takmičenje za kreiranje najboljeg generičkog modela koristeći objavljeni skup podataka.
Trenutno glasovni asistenti podržavaju samo nekoliko jezika i koriste modele mašinskog učenja koji su vezani za određeni jezik. Projekat MASSIVE ima za cilj da eliminiše ovaj nedostatak stvaranjem univerzalnih modela i sistema mašinskog učenja koji mogu da analiziraju i obrađuju informacije na različitim jezicima.
izvor: opennet.ru
