فیس بوک (ممنوع در فدراسیون روسیه) پیشرفت های پروژه NLLB (No Language Left Behind) را منتشر کرده است که هدف آن ایجاد یک مدل یادگیری ماشین جهانی برای ترجمه مستقیم متن از یک زبان به زبان دیگر، دور زدن ترجمه میانی به انگلیسی است. مدل پیشنهادی بیش از 200 زبان، از جمله زبان‌های کمیاب مردم آفریقا و استرالیا را پوشش می‌دهد. هدف نهایی این پروژه فراهم کردن وسیله ای برای ارتباط برای هر مردم، صرف نظر از زبانی است که صحبت می کنند.
این مدل تحت مجوز Creative Commons BY-NC 4.0 مجوز دارد که کپی، توزیع مجدد، سفارشی‌سازی و آثار مشتق شده را مجاز می‌سازد، مشروط بر اینکه شما منبع را ذکر کنید، مجوز را حفظ کنید، و از آن فقط برای مقاصد غیرتجاری استفاده کنید. ابزار کار با مدل ها تحت مجوز MIT ارائه می شود. برای تحریک توسعه با استفاده از مدل NLLB، تصمیم گرفته شد تا 200 هزار دلار برای ارائه کمک های مالی به محققان اختصاص یابد.
برای ساده سازی ایجاد پروژه ها با استفاده از مدل پیشنهادی، کد برنامه های کاربردی مورد استفاده برای آزمایش و ارزیابی کیفیت مدل ها (FLORES-200، NLLB-MD، Toxicity-200)، کد مدل های آموزشی و رمزگذارهای مبتنی بر کتابخانه LASER3 ( زبان-آگنوستیک SE) علاوه بر این منبع باز هستند. مدل نهایی در دو نسخه کامل و کوتاه ارائه شده است. نسخه کوتاه شده به منابع کمتری نیاز دارد و برای آزمایش و استفاده در پروژه های تحقیقاتی مناسب است.
برخلاف سایر سیستم‌های ترجمه مبتنی بر سیستم‌های یادگیری ماشینی، راه‌حل فیس‌بوک از این جهت قابل توجه است که یک مدل کلی را برای هر 200 زبان ارائه می‌کند که همه زبان‌ها را پوشش می‌دهد و نیازی به استفاده از مدل‌های جداگانه برای هر زبان ندارد. ترجمه مستقیماً از زبان مبدأ به زبان مقصد، بدون ترجمه میانی به انگلیسی انجام می شود. برای ایجاد سیستم های ترجمه جهانی، یک مدل LID (شناسه زبان) نیز پیشنهاد شده است که تعیین زبان مورد استفاده را ممکن می سازد. آن ها سیستم می تواند به طور خودکار تشخیص دهد که اطلاعات به کدام زبان ارائه شده و آن را به زبان کاربر ترجمه کند.
ترجمه در هر جهت، بین هر یک از 200 زبان پشتیبانی شده پشتیبانی می شود. برای تایید کیفیت ترجمه بین هر زبانی، مجموعه تست مرجع FLORES-200 تهیه شد که نشان داد مدل NLLB-200 از نظر کیفیت ترجمه به طور متوسط 44٪ نسبت به سیستم های تحقیقاتی مبتنی بر یادگیری ماشینی پیشنهادی قبلی در هنگام استفاده از آن برتری دارد. معیارهای BLEU ترجمه ماشینی را با ترجمه انسانی استاندارد مقایسه می کند. برای زبان های نادر آفریقایی و گویش های هندی، برتری کیفیت به 70 درصد می رسد. ارزیابی بصری کیفیت ترجمه در یک سایت دمو مخصوص تهیه شده امکان پذیر است.
منبع: opennet.ru