Facebook (Rusiya Federasiyasında qadağan olunub) ingilis dilinə aralıq tərcümədən yan keçməklə mətnin bir dildən digərinə birbaşa tərcüməsi üçün universal maşın öyrənmə modelinin yaradılmasına yönəlmiş NLLB (No Language Left Behind) layihəsinin işlənib hazırlanmasını dərc edib. Təklif olunan model nadir Afrika və Avstraliya dilləri də daxil olmaqla 200-dən çox dili əhatə edir. Layihənin son məqsədi danışdıqları dildən asılı olmayaraq bütün insanlar üçün ünsiyyət vasitəsi təmin etməkdir.
Model Creative Commons BY-NC 4.0 lisenziyası altında mövcuddur, bu, surət çıxarmağa, paylamağa, layihələrinizə daxil etməyə və törəmə əsərlərin yaradılmasına imkan verir, lakin atribusiya, lisenziyanın saxlanması və yalnız qeyri-kommersiya məqsədləri üçün istifadə edilməsi şərtilə. Modelləşdirmə Aləti MIT lisenziyası ilə lisenziyalaşdırılıb. NLLB modelindən istifadə edərək inkişafı stimullaşdırmaq üçün tədqiqatçılara qrantların verilməsi üçün 200 min dollar ayrılması qərara alınıb.
Təklif olunan modeldən istifadə edərək layihələrin yaradılmasını sadələşdirmək üçün modellərin keyfiyyətini yoxlamaq və qiymətləndirmək üçün istifadə olunan proqramlar kodu (FLORES-200, NLLB-MD, Toksiklik-200), LASER3 kitabxanasına əsaslanan təlim modelləri və kodlayıcılar üçün kod. (Dil-Aqnostik Sentence təmsili). Son model iki versiyada təklif olunur - tam və azaldılmış. Azaldılmış versiya daha az resurs tələb edir və tədqiqat layihələrində sınaq və istifadə üçün uyğundur.
Digər maşın öyrənmə tərcümə sistemlərindən fərqli olaraq, Facebook həlli bütün dilləri əhatə edən və hər bir dil üçün ayrıca modellər tələb etməyən 200 dil üçün ümumi bir model təklif etməsi ilə diqqət çəkir. Tərcümə ingilis dilinə ara tərcümə edilmədən birbaşa mənbədən hədəf dilə aparılır. Universal tərcümə sistemlərini yaratmaq üçün istifadə olunan dili müəyyən etməyə imkan verən əlavə LID-modeli (Language Identification) təklif olunur. Bunlar. sistem məlumatın verildiyi dili avtomatik tanıya və onu istifadəçinin dilinə çevirə bilər.
Tərcümə dəstəklənən 200 dildən hər hansı biri arasında istənilən istiqamətdə dəstəklənir. İstənilən dillər arasında tərcümənin keyfiyyətini təsdiqləmək üçün FLORES-200 istinad test dəsti hazırlanmışdır ki, bu da NLLB-200 modelinin tərcümə keyfiyyətinə görə maşın öyrənməsinə əsaslanan əvvəllər təklif edilmiş tədqiqat sistemlərindən orta hesabla 44% üstün olduğunu göstərmişdir. maşın tərcüməsini standart insan tərcüməsi ilə müqayisə edən BLEU ölçülərindən istifadə edərkən. Nadir Afrika dilləri və hind dialektləri üçün keyfiyyət üstünlüyü 70%-ə çatır. Xüsusi hazırlanmış demo saytında tərcümənin keyfiyyətini vizual qiymətləndirmək dəbdədir.
Mənbə: opennet.ru