Facebook публикува модел за машинен превод, който поддържа 200 езика

Facebook (забранен в Руската федерация) публикува разработките на проекта NLLB (No Language Left Behind), насочен към създаване на универсален модел за машинно обучение за директен превод на текст от един език на друг, заобикаляйки междинния превод на английски. Предложеният модел обхваща повече от 200 езика, включително редки африкански и австралийски езици. Крайната цел на проекта е да осигури средство за комуникация за всички хора, независимо от езика, който говорят.

Моделът се предлага под лиценз Creative Commons BY-NC 4.0, който позволява копиране, разпространение, включване във вашите проекти и създаване на производни произведения, но подлежи на посочване, запазване на лиценза и използване само за некомерсиални цели. Инструментът за моделиране е лицензиран съгласно лиценза на MIT. За да се стимулира развитието с помощта на модела NLLB, беше решено да се отпуснат 200 хиляди долара за предоставяне на грантове на изследователи.

За да се опрости създаването на проекти с помощта на предложения модел, кодът на приложенията, използвани за тестване и оценка на качеството на моделите (FLORES-200, NLLB-MD, Toxicity-200), кодът за модели за обучение и енкодери, базирани на библиотеката LASER3 (Езиково-агностично представяне на изречение). Крайният модел се предлага в два варианта - пълен и намален. Умалената версия изисква по-малко ресурси и е подходяща за тестване и използване в изследователски проекти.

За разлика от други системи за превод, базирани на машинно обучение, решението на Facebook се отличава с това, че предлага един общ модел за всичките 200 езика, покривайки всички езици и не изисквайки отделни модели за всеки език. Преводът се извършва директно от изходния към целевия език, без междинен превод на английски. За създаване на универсални системи за превод се предлага допълнителен LID-модел (Language IDentification), който позволява определяне на използвания език. Тези. системата може автоматично да разпознае езика, на който е предоставена информацията, и да го преведе на езика на потребителя.

Преводът се поддържа във всяка посока, между всеки от поддържаните 200 езика. За потвърждаване на качеството на превода между всички езици беше изготвен набор от референтни тестове FLORES-200, който показа, че моделът NLLB-200 по отношение на качеството на превода е средно с 44% по-добър от предложените по-рано изследователски системи, базирани на машинно обучение когато използвате показатели BLEU, които сравняват машинния превод със стандартния човешки превод. За редки африкански езици и индийски диалекти превъзходството в качеството достига 70%. Модерно е визуално да се оцени качеството на превода на специално подготвен демо сайт.

Източник: opennet.ru