La sortie de la version 2.30.0 du système de traduction automatique OpenNMT-tf (Open Neural Machine Translation), utilisant des méthodes d'apprentissage automatique, a été publiée. Le code des modules développés par OpenNMT-tf est écrit en Python, utilise la bibliothèque TensorFlow et est distribué sous licence MIT.
Parallèlement, une version d'OpenNMT basée sur la bibliothèque PyTorch est en développement, offrant des capacités différentes. En outre, OpenNMT basé sur PyTorch est présenté comme étant plus simple à utiliser et multimodal, tandis que la version basée sur TensorFlow est considérée comme modulaire, stable et capable de tirer parti des capacités GPU pour accélérer le processus d'apprentissage du réseau de neurones. Pour faciliter la distribution du produit, un version autonome du traducteur en C++ — CTranslate2 — est également en développement, utilisant des modèles pré-entraînés sans dépendances supplémentaires.
Les modèles sont préparés pour l'anglais, l'allemand et le catalan ; pour les autres langues, il est possible de former un modèle sur la base d'un ensemble de données du projet OPUS (deux fichiers sont transmis à la système d'entraînement — l'un contenant des phrases dans la langue source et l'autre avec la traduction de ces phrases dans la langue cible).
Le projet se développe avec la participation de la société SYSTRAN, spécialisée dans la création d'outils de traduction automatique, et d'un groupe de chercheurs d'Harvard qui développent des modèles de langage humain pour des systèmes d'apprentissage automatique. L'interface utilisateur est simplifiée au maximum et nécessite simplement l'indication d'un fichier d'entrée avec le texte et d'un fichier pour sauvegarder le résultat de la traduction. Le système d'extensions permet d'ajouter des fonctionnalités supplémentaires à OpenNMT, telles que l'auto-référencement, la classification de textes et la génération de sous-titres.
Dans la nouvelle version :
- Le support de la bibliothèque TensorFlow 2.11 a été ajouté, mais les nouveaux optimisateurs Keras ne sont pas encore supportés (le mode tf.keras.optimizers.legacy est requis).
- Le support d'une nouvelle branche du moteur CTranslate2 3.x, destinée à exécuter efficacement les modèles avec une architecture « transformeur », a été ajouté.
- Un paramètre d'entraînement des modèles pad_to_bucket_boundary a été ajouté pour inclure un remplissage additionnel, alignant la taille du bloc sur des valeurs multiples de length_bucket_width.
- Intégration de la prise en charge des métriques chrf et chrf++ du projet SacreBLEU, comparant la traduction automatique à la traduction humaine de référence.
- L'attribut modèle ctranslate2_spec a été supprimé, car il n'est plus utilisé dans CTranslate2.
Source : opennet.ru
