אמזון פרסמה מערך נתונים להבנת דיבור ב-51 שפות

אמזון פרסמה תחת רישיון CC BY 4.0 את מערך הנתונים "MASSIVE" (רב-לשוני אמזון SLURP למילוי חריצים, סיווג כוונות ו-Virtual-Assistent Evaluation), מודלים למערכות למידת מכונה, וכלים להכשרת מודלים משלך שניתן להשתמש בהם כדי להבין מידע על שפה טבעית (NLU, Natural Language Understanding). הסט כולל יותר ממיליון אמירות טקסט מוערות ומסווגות שהוכנו ל-51 שפות.

אוסף SLURP, זמין במקור לאנגלית, שימש כאסמכתא לבניית הסט MASSIVE, שהוקם ל-50 שפות אחרות באמצעות מתרגמים מקצועיים. טכנולוגיית הבנת השפה הטבעית (NLU) של Alexa ממירה תחילה דיבור לטקסט, ולאחר מכן מיישמת מספר מודלים של NLU על הטקסט המנתחים את נוכחותן של מילות מפתח כדי לקבוע את מהות השאלה של המשתמש.

אחת המטרות של יצירה ופרסום של הסט היא להתאים את העוזרות הקוליות לעיבוד מידע במספר שפות בו-זמנית, וכן לעודד מפתחי צד שלישי ליצור אפליקציות ושירותים המרחיבים את היכולות של העוזרות הקוליות. כדי למשוך את תשומת הלב של המפתחים, אמזון השיקה תחרות ליצירת המודל הגנרי הטוב ביותר באמצעות מערך נתונים שפורסם.

נכון לעכשיו, עוזרות קוליות תומכות רק בכמה שפות ומשתמשות במודלים של למידת מכונה הקשורים לשפה ספציפית. פרויקט MASSIVE שואף לבטל את החסרון הזה על ידי יצירת מודלים אוניברסליים ומערכות למידת מכונה המסוגלות לנתח ולעבד מידע בשפות שונות.

מקור: OpenNet.ru