Излязло издание на системата за машинен превод OpenNMT-tf 2.30.0 (Open Neural Machine Translation), използваща методи на машинно обучение. Кодът на разработваните проекти чрез OpenNMT-tf модулите е написан на Python, използва библиотеката TensorFlow и се разпределя под лицензия MIT.
Паралелно се развива вариант на OpenNMT на базата на библиотеката PyTorch, който се отличава на ниво поддържани възможности. В допълнение, OpenNMT на базата на PyTorch се предлага като по-лесен за използване и мултимодален, а вариантът на базата на TensorFlow се отличава като модулен, стабилен и позволяващ използване на GPU възможности за ускоряване на обучението на невронната мрежа. За улесняване на разпространението на продукта, проектът развива и самостоятелна версия на транслатора на C++ - CTranslate2, която използва предварително обучени модели без зависимост от дополнительные библиотеки.
Моделите са подготвени за английски, немски и каталонски езици, за останалите езици може да се създаде модел самостоятелно на базата на набор от данни от проекта OPUS (за обучението на системата се предоставят два файла - един с предложения на изходния език и втори с качествения превод на тези предложения на целевия език).
Проектът се развива с участието на компанията SYSTRAN, специализирана в създаването на средства за машинен превод, и група изследователи от Harvard, разработваща модели на човешкия език за системи за машинно обучение. Потребителският интерфейс е максимално опростен и изисква само посочване на входен файл с текст и файл за запазване на резултата от превода. Системата за разширения дава възможност за реализиране на допълнителна функционалност на базата на OpenNMT, например, авторефериране, класификация на текстове и генериране на субтитри.
В новата версия:
- Добавена е поддръжка за библиотеката TensorFlow 2.11, но новите оптимизатори Keras все още не се поддържат (необходимо е използване на режима tf.keras.optimizers.legacy).
- Добавена е поддръжка за нова версия на движка CTranslate2 3.x, предназначена за ефективно изпълнение на модели с архитектура 'трансформер'.
- Добавен е параметър за обучение на модели pad_to_bucket_boundary за включване на добавъчно запълване, съизмерващо размера на блока до стойности, кратни на length_bucket_width.
- Интегрирана е поддръжката на метриките chrf и chrf++ от проекта SacreBLEU, които сравняват машинния превод с еталонния човешки превод.
- Премахнат е атрибутът model ctranslate2_spec, който вече не се използва в CTranslate2.
Източник: opennet.ru
