Издаване на системата за машинен превод OpenNMT-tf 2.30

Публикувана версия на системата за машинен превод OpenNMT-tf 2.30.0 (Open Neural Machine Translation), която използва методи на машинното обучение. Кодът на модулите, разработвани от проекта OpenNMT-tf, е написан на Python, използва библиотеката TensorFlow и се разпространява под MIT лиценз.

В същото време се развива вариант на OpenNMT на базата на библиотеката PyTorch, който се различава по поддържаните функции. Освен това, OpenNMT на базата на PyTorch се представя като по-лесен за използване и мултимодален, докато вариантът на базата на TensorFlow се отличава с модулност, стабилност и възможност за използване на GPU за ускоряване на обучението на невронната мрежа. За опростяване на разпространението на продукта също се разработва самостоятелна версия на трансфера на C++ — CTranslate2, която използва предварително обучени модели без допълнителни зависимости.

Моделите са подготвени за английски, немски и каталански езици. За останалите езици можете сами да създадете модел на база набора от данни на проекта OPUS (за обучение на системата се подават два файла — един с предложения на изходния език и втори с качествени преводи на тези предложения на целевия език).

Проектът се развива с участието на компанията SYSTRAN, специализирана в създаването на инструменти за машинен превод, и група изследователи от Harvard, които разработват модели на човешкия език за системи за машинно обучение. Потребителският интерфейс е максимално опростен и изисква само указание на входен файл с текст и файл за запазване на резултата от превода. Системата от добавки позволява реализация на допълнителна функционалност на базата на OpenNMT, например, автоцитиране, класификация на текстове и генериране на субтитри.

В новата версия:

• Добавена е поддръжка за библиотеката TensorFlow 2.11, но новите оптимизатори Keras все още не се поддържат (потребно е използване на режима tf.keras.optimizers.legacy).
• Добавена е поддръжка за новата версия на движка CTranslate2 3.x, предназначена за ефективно изпълнение на модели с архитектура „трансформер“.
• Добавен е параметър за обучение на модели pad_to_bucket_boundary за включване на допълнително запълване, което изравнява размера на блока до стойности, кратни на length_bucket_width.
• Интегрирана е поддръжката на метрики chrf и chrf++ от проекта SacreBLEU, които сравняват машинния превод с еталонния човешки превод.
• Премахнат е атрибутът на модела ctranslate2_spec, който вече не се използва в CTranslate2.

Източник: opennet.ru