פייסבוק מפרסמת מודל תרגום מכונה התומך ב-200 שפות

פייסבוק (אסורה בפדרציה הרוסית) פרסמה את הפיתוחים של פרויקט NLLB (No Language Left Behind), שמטרתו ליצור מודל למידת מכונה אוניברסלי לתרגום ישיר של טקסט משפה אחת לאחרת, תוך עקיפת תרגום ביניים לאנגלית. המודל המוצע מכסה יותר מ-200 שפות, כולל שפות נדירות של עמים אפריקאים ואוסטרליים. המטרה הסופית של הפרויקט היא לספק אמצעי תקשורת לכל אדם, ללא קשר לשפה בה הם מדברים.

המודל מורשה תחת רישיון Creative Commons BY-NC 4.0, המאפשר העתקה, הפצה מחדש, התאמה אישית ונגזרות של יצירות, בתנאי שאתה נותן ייחוס, שומר על הרישיון ומשתמש בו למטרות לא מסחריות בלבד. כלים לעבודה עם דגמים מסופקים תחת רישיון MIT. כדי לעורר פיתוח באמצעות מודל NLLB, הוחלט להקצות 200 אלף דולר למתן מענקים לחוקרים.

כדי לפשט את יצירת הפרויקטים באמצעות המודל המוצע, קוד היישומים המשמשים לבדיקה והערכת איכות המודלים (FLORES-200, NLLB-MD, Toxicity-200), קוד לאימון מודלים ומקודדים המבוססים על ספריית LASER3 ( Language-Agnostic Sentence) הם בנוסף קוד פתוח. ייצוג). הדגם הסופי מוצע בשתי גרסאות - מלא ומקוצר. הגרסה המקוצרת דורשת פחות משאבים ומתאימה לבדיקה ושימוש בפרויקטי מחקר.

בניגוד למערכות תרגום אחרות המבוססות על מערכות למידת מכונה, הפתרון של פייסבוק בולט בכך שהוא מציע מודל כללי אחד לכל 200 השפות, המכסה את כל השפות ואינו מצריך שימוש במודלים נפרדים לכל שפה. התרגום מתבצע ישירות משפת המקור לשפת היעד, ללא תרגום ביניים לאנגלית. כדי ליצור מערכות תרגום אוניברסליות, מוצע בנוסף מודל LID (זיהוי שפה), המאפשר לקבוע את השפה שבה נעשה שימוש. הָהֵן. המערכת יכולה לזהות אוטומטית באיזו שפה המידע מסופק ולתרגם אותו לשפת המשתמש.

תרגום נתמך בכל כיוון, בין כל אחת מ-200 השפות הנתמכות. כדי לאשר את איכות התרגום בין כל שפות, הוכן מערך מבחני ההתייחסות FLORES-200, אשר הראה כי מודל NLLB-200 מבחינת איכות התרגום עדיף בממוצע ב-44% על מערכות מחקר מבוססות למידת מכונה שהוצעו בעבר בעת שימוש מדדי BLEU המשווים תרגום מכונה לתרגום אנושי סטנדרטי. עבור שפות אפריקאיות נדירות ודיאלקטים הודיים, עליונות האיכות מגיעה ל-70%. ניתן להעריך חזותית את איכות התרגום באתר הדגמה שהוכן במיוחד.

מקור: OpenNet.ru