Veröffentlichung des Systeme für maschinelle Übersetzung OpenNMT-tf 2.30

Die Veröffentlichung der Version 2.30.0 des maschinellen Übersetzungssystems OpenNMT-tf (Open Neural Machine Translation), das Methoden des maschinellen Lernens verwendet. Der Code der durch das OpenNMT-tf-Projekt entwickelten Module ist in Python geschrieben, verwendet die TensorFlow-Bibliothek und wird unter der MIT-Lizenz verbreitet.

Parallel dazu wird eine OpenNMT-Variante auf Basis der PyTorch-Bibliothek entwickelt, die sich auf Ebene der unterstützten Funktionen unterscheidet. Darüber hinaus wird die OpenNMT-Variante auf Basis von PyTorch als benutzerfreundlicher und multimodal präsentiert, während die TensorFlow-basierte Variante als modular, stabil und in der Lage, die GPU-Funktionalitäten zur Beschleunigung des Trainingsprozesses eines neuronalen Netzwerks zu nutzen, hervorgehoben wird. Zur Vereinfachung der Verbreitung des Produkts wird auch eine autarke Übersetzer-Variante in C++ – CTranslate2 – entwickelt, die vortrainierte Modelle ohne Bindung an zusätzliche Abhängigkeiten verwendet.

Modelle wurden für die Sprachen Englisch, Deutsch und Katalanisch vorbereitet. Für andere Sprachen kann ein Modell basierend auf dem Datensatz des OPUS-Projekts selbst erstellt werden (für das Training werden zwei Dateien übergeben – eine mit Sätzen in der Ausgangssprache und die zweite mit einer qualitativ hochwertigen Übersetzung dieser Sätze in die Zielsprache).

Das Projekt wird mit Teilnahme der Firma SYSTRAN entwickelt, die sich auf die Erstellung von maschinellen Übersetzungsmitteln spezialisiert, und einer Gruppe von Forschern der Harvard-Universität, die menschliche Sprachmodelle für Systeme des maschinellen Lernens entwickelt. Die Benutzeroberfläche ist sehr vereinfacht und erfordert lediglich die Angabe einer Eingabedatei mit Text und einer Datei zur Speicherung des Übersetzungsergebnisses. Das Erweiterungs-System bietet die Möglichkeit, zusätzliche Funktionen auf der Basis von OpenNMT zu implementieren, beispielsweise Auto-Referierung, Textklassifikation und die Generierung von Untertiteln.

In der neuen Version:

• Die Unterstützung für die TensorFlow 2.11-Bibliothek wurde hinzugefügt, aber neue Keras-Optimierer werden derzeit noch nicht unterstützt (es muss der Modus tf.keras.optimizers.legacy verwendet werden).
• Die Unterstützung für den neuen CTranslate2-Engine-Zweig 3.x wurde hinzugefügt, der für die effiziente Ausführung von Modellen mit der „Transformer“-Architektur vorgesehen ist.
• Ein neuer Trainingsparameter für Modelle, pad_to_bucket_boundary, wurde hinzugefügt, um eine zusätzliche Auffüllung zu ermöglichen, die die Blockgröße auf Werte, die Vielfache von length_bucket_width sind, ausgleicht.
• Die Unterstützung für die Metriken chrf und chrf++ aus dem SacreBLEU-Projekt wurde integriert, die maschinelle Übersetzungen mit Referenzübersetzungen von Menschen vergleichen.
• Das Attribut model ctranslate2_spec wurde entfernt, da es nicht mehr in CTranslate2 verwendet wird.

Quelle: opennet.ru