Die Veröffentlichung von OpenNMT 0.28.0 (Open Neural Machine Translation) bringt ein System für maschinelles Übersetzen, das auf Methoden des maschinellen Lernens basiert. Zum Aufbau des neuronalen Netzwerks nutzt das Projekt die Möglichkeiten der TensorFlow-Bibliothek für tiefes maschinelles Lernen. Der Quellcode der vom OpenNMT-Projekt entwickelten Module ist in Python geschrieben und steht unter der MIT-Lizenz. Fertige Modelle sind für Englisch, Deutsch und Katalanisch verfügbar; für andere Sprachen kann ein Modell mithilfe von Datensätzen aus dem OPUS-Projekt selbst erstellt werden (zum Trainieren des Systems werden zwei Dateien benötigt — eine mit Sätzen in der Ausgangssprache und eine andere mit einer qualitativ hochwertigen Übersetzung dieser Sätze in die Zielsprache).
Das Projekt entwickelt sich in Zusammenarbeit mit der Firma SYSTRAN, die sich auf maschinelle Übersetzung spezialisiert hat, sowie einer Gruppe von Forschern der Harvard Universität, die Sprachmodelle für maschinelles Lernen entwickeln. Die Benutzeroberfläche ist stark vereinfacht und erfordert nur die Angabe einer Eingabedatei mit Text und einer Datei für das Speichern des Übersetzungsergebnisses. Das Erweiterungssystem ermöglicht die Implementierung zusätzlicher Funktionen auf Basis von OpenNMT, wie z. B. Auto-Referierung, Textklassifizierung und die Generierung von Untertiteln.
Die Verwendung von TensorFlow ermöglicht die Nutzung von GPU-Ressourcen zur Beschleunigung des Trainingsprozesses des neuronalen Netzwerks. Um die Verbreitung des Produkts zu erleichtern, entwickelt das Projekt auch eine eigenständige Version des Übersetzers in C++, CTranslate2, die vorab trainierte Modelle verwendet, ohne auf zusätzliche Abhängigkeiten angewiesen zu sein.
In der neuen Version wurde der Parameter initial_learning_rate hinzugefügt, und es wurden mehrere neue Argumente (mha_bias und output_layer_bias) zur Anpassung des Transformers-Modellgenerators implementiert. Darüber hinaus wurden einige Fehlerbehebungen vorgenommen.
Quelle: opennet.ru
