Die Veröffentlichung des maschinellen Übersetzungssystems OpenNMT 0.28.0 (Open Neural Machine Translation), das Methoden des maschinellen Lernens verwendet, wurde veröffentlicht. Um ein neuronales Netzwerk aufzubauen, nutzt das Projekt die Fähigkeiten der TensorFlow-Bibliothek für tiefes maschinelles Lernen. Der Code der vom OpenNMT-Projekt entwickelten Module ist in Python geschrieben und wird unter der MIT-Lizenz vertrieben. Für die Sprachen Englisch, Deutsch und Katalanisch werden vorgefertigte Modelle vorbereitet; für andere Sprachen können Sie selbstständig ein Modell auf Basis eines Datensatzes aus dem OPUS-Projekt erstellen (zum Training werden zwei Dateien an das System übertragen – eine mit Sätzen in der Ausgangssprache und der zweite mit einer qualitativ hochwertigen Übersetzung dieser Sätze in die Zielsprache).
Das Projekt wird unter Beteiligung von SYSTRAN, einem auf die Entwicklung maschineller Übersetzungstools spezialisierten Unternehmen, und einer Gruppe von Harvard-Forschern entwickelt, die menschliche Sprachmodelle für maschinelle Lernsysteme entwickeln. Die Benutzeroberfläche ist so vereinfacht wie möglich und erfordert lediglich die Angabe einer Eingabedatei mit Text und einer Datei zum Speichern des Übersetzungsergebnisses. Das Erweiterungssystem ermöglicht die Implementierung zusätzlicher Funktionalitäten auf Basis von OpenNMT, beispielsweise automatische Zusammenfassung, Textklassifizierung und Untertitelgenerierung.
Durch die Verwendung von TensorFlow können Sie die Fähigkeiten der GPU nutzen (um den Trainingsprozess eines neuronalen Netzwerks zu beschleunigen). Um die Verteilung des Produkts zu vereinfachen, entwickelt das Projekt außerdem eine eigenständige Version des Übersetzers in C++ – CTranslate2 , das vorab trainierte Modelle ohne Bezug auf zusätzliche Abhängigkeiten verwendet.
Die neue Version fügt den Parameter initial_learning_rate hinzu und implementiert mehrere neue Argumente (mha_bias und output_layer_bias), um den Transformer-Modellgenerator zu konfigurieren. Der Rest ist von Fehlerbehebungen geprägt.
Source: opennet.ru