Компания Mozilla опубликовала собственную систему машинного перевода

Компания Mozilla выпустила инструментарий для самодостаточного машинного перевода с одного языка на другой, работающий на локальной системе пользователя без обращения к внешним сервисам. Проект развивается в рамках инициативы Bergamot совместно с исследователями нескольких университетов Великобритании, Эстонии и Чехии при финансовой поддержке Евросоюза. Наработки распространяются под лицензией MPL 2.0.

Проект включает в себя движок bergamot-translator, инструменты для самостоятельной тренировки системы машинного обучения и готовые модели для 14 языков, включая экспериментальные модели для перевода с английского на русский язык и наоборот. Уровень перевода можно оценить на online-демонстрации.

Движок написан на языке C++ и представляет собой обвязку над фреймворком машинного перевода Marian, в котором применяется рекуррентная нейронная сеть (RNN) и языковые модели на основе трансформеров. Для ускорения обучения и перевода может использоваться GPU. Фреймворк Marian также используется для обеспечения работы сервиса перевода Microsoft Translator и развивается в основном инженерами из Microsoft совместно с исследователями из Эдинбургского и Познанского университетов.

Для пользователей Firefox подготовлено дополнение для перевода web-страниц, осуществляющее перевод на стороне браузера без обращения к облачным сервисам. Ранее дополнение можно было установить только в бета-выпусках и ночных сборках, но теперь оно доступно и для релизов Firefox. В браузерном дополнении движок, изначально написанный на С++, компилируется в промежуточное бинарное представление WebAssembly при помощи компилятора Emscripten. Из новых возможностей дополнения отмечается возможность перевода во время заполнения web-форм (пользователь вводит текст на родном языке и он на лету переводится на язык текущего сайта) и оценка качества перевода с автоматической пометкой сомнительных переводов для информирования пользователя о потенциальных ошибках.

Источник: opennet.ru