Amazon CC BY 4.0 лицензиясынын алкагында "MASSIVE" (Multilingual Amazon SLURP for Slot Filling, Intent Classification, and Virtual-assistant Evaluation) маалымат топтомун, машина үйрөнүү системалары үчүн моделдерди жана өз моделдериңизди үйрөтүү үчүн куралдарды жарыялады. табигый тил боюнча маалыматты түшүнүү (NLU, Natural Language Understanding). Комплект 51 тил үчүн даярдалган миллиондон ашык аннотацияланган жана жашыруун тексттерди камтыйт.
SLURP коллекциясы, алгач англис тили үчүн жеткиликтүү, профессионал котормочулардын жардамы менен 50 башка тилге локализацияланган MASSIVE топтомун куруу үчүн маалымдама катары колдонулган. Alexa компаниясынын табигый тилди түшүнүү (NLU) технологиясы алгач кепти текстке айлантат, андан кийин колдонуучунун суроосунун маңызын аныктоо үчүн ачкыч сөздөрдүн бар-жоктугун талдоочу текстке бир нече NLU моделдерин колдонот.
Комплектти түзүү жана жарыялоо максаттарынын бири - үн жардамчыларын бир эле учурда бир нече тилде маалыматты иштеп чыгууга ылайыкташтыруу, ошондой эле үчүнчү тараптын иштеп чыгуучуларын үн жардамчыларынын мүмкүнчүлүктөрүн кеңейтүүчү тиркемелерди жана кызматтарды түзүүгө шыктандыруу. Иштеп чыгуучулардын көңүлүн буруу үчүн, Amazon жарыяланган маалыматтар топтомун колдонуу менен эң мыкты жалпы моделди түзүү үчүн сынакты баштады.
Учурда үн жардамчылары бир нече тилди гана колдошот жана белгилүү бир тилге байланышкан машина үйрөнүү моделдерин колдонушат. MASSIVE долбоору ар кандай тилдерде маалыматты талдоо жана иштетүүгө жөндөмдүү универсалдуу моделдерди жана машина үйрөнүү системаларын түзүү аркылуу бул кемчиликти жоюуга багытталган.
Source: opennet.ru