Die Veröffentlichung des Übersetzungssystems OpenNMT-tf 2.30.0 (Open Neural Machine Translation) wurde bekannt gegeben. Der Code der im Rahmen des OpenNMT-tf-Projekts entwickelten Module ist in Python geschrieben, nutzt die TensorFlow-Bibliothek und wird unter der MIT-Lizenz veröffentlicht.
Parallel dazu wird eine Version von OpenNMT auf Basis der PyTorch-Bibliothek entwickelt, die sich in den unterstützten Funktionen unterscheidet. Zudem wird die PyTorch-Version als benutzerfreundlicher und multimodal beschrieben, während die TensorFlow-Version als modular, stabil und in der Lage bezeichnet wird, GPU-Ressourcen zur Beschleunigung des Trainingsprozesses des neuronalen Netzwerks zu nutzen. Um die Verbreitung des Produkts zu vereinfachen, entwickelt das Projekt auch eine eigenständige Übersetzungsbibliothek in C++ — CTranslate2, die vortrainierte Modelle ohne zusätzliche Abhängigkeiten verwendet.
Die Modelle wurden für Englisch, Deutsch und Katalanisch vorbereitet; für andere Sprachen kann ein Modell basierend auf dem Datensatz des Projekts OPUS eigenständig erstellt werden (zum Trainieren des Systems werden zwei Dateien übergeben – eine mit Sätzen in der Ausgangssprache und die zweite mit einer hochwertigen Übersetzung dieser Sätze in die Zielsprache).
Das Projekt wird in Zusammenarbeit mit der Firma SYSTRAN, die auf die Entwicklung von Maschinenübersetzungstechnologien spezialisiert ist, und einer Gruppe von Forschern der Harvard-Universität, die Modelle menschlicher Sprache für maschinelle Lernsysteme entwickelt, vorangetrieben. Die Benutzeroberfläche ist maximal vereinfacht und erfordert lediglich die Angabe einer Eingabedatei mit Text und einer Datei zum Speichern des Übersetzungsergebnisses. Das Erweiterungssystem ermöglicht es, zusätzliche Funktionen auf Basis von OpenNMT zu implementieren, wie z.B. die automatische Verweisung, Textklassifikation und Generierung von Untertiteln.
In der neuen Version:
- Die Unterstützung für die TensorFlow-Bibliothek 2.11 wurde hinzugefügt, jedoch werden die neuen Keras-Optimierer derzeit nicht unterstützt (es ist der Einsatz des Modus tf.keras.optimizers.legacy erforderlich).
- Die Unterstützung des neuen CTranslate2 3.x-Engines wurde hinzugefügt, die für die effektive Ausführung von Modellen mit der Architektur 'Transformer' vorgesehen ist.
- Der Training-Parameter pad_to_bucket_boundary wurde hinzugefügt, um zusätzliches Padding zu aktivieren, das die Blockgröße auf Werte ausrichtet, die ein Vielfaches von length_bucket_width sind.
- Die Unterstützung für die Metriken chrf und chrf++ des Projekts SacreBLEU wurde integriert, die maschinelle Übersetzungen mit Referenzübersetzungen von Menschen vergleichen.
- Das Attribut ctranslate2_spec, das in CTranslate2 nicht mehr verwendet wird, wurde entfernt.
Quelle: opennet.ru
