Die Veröffentlichung des maschinellen Übersetzungssystems OpenNMT 0.28.0 (Open Neural Machine Translation), das Methoden des maschinellen Lernens verwendet, wurde bekannt gegeben. Zur Erstellung des neuronalen Netzwerks nutzt das Projekt die Möglichkeiten der Deep Learning-Bibliothek TensorFlow. Der Code der vom OpenNMT-Projekt entwickelten Module ist in Python geschrieben und wird unter der MIT-Lizenz veröffentlicht. Fertige Modelle sind für die englische, deutsche und katalanische Sprache vorbereitet, für andere Sprachen kann man selbstständig ein Modell auf der Grundlage des Datensatzes vom OPUS-Projekt bereitstellen (zum Trainieren des Systems werden zwei Dateien übergeben – eine mit Sätzen in der Ausgangssprache und eine zweite mit der qualitativ hochwertigen Übersetzung dieser Sätze in die Zielsprache).
Das Projekt wird in Zusammenarbeit mit der Firma SYSTRAN, die auf die Erstellung von maschinellen Übersetzungssystemen spezialisiert ist, sowie einer Gruppe von Forschern von Harvard, die menschliche Sprachmodelle für maschinelles Lernen entwickeln, weitergetragen. Die Benutzeroberfläche ist so einfach wie möglich gestaltet und erfordert lediglich die Angabe der Eingabedatei mit dem Text und der Datei zur Speicherung des Übersetzungsergebnisses. Das Erweiterungssystem ermöglicht es, zusätzliche Funktionalitäten auf der Grundlage von OpenNMT zu implementieren, wie beispielsweise die automatische Referenzierung, Textklassifikation und die Generierung von Untertiteln.
Die Verwendung von TensorFlow ermöglicht den Einsatz der GPU-Ressourcen (um den Prozess des Trainings des neuronalen Netzwerks zu beschleunigen). Um die Verbreitung des Produkts zu vereinfachen, wird außerdem eine eigenständige Version des Übersetzers in C++ — CTranslate2 — entwickelt, die vortrainierte Modelle ohne zusätzliche Abhängigkeiten verwendet.
In der neuen Version wurde der Parameter initial_learning_rate hinzugefügt und mehrere neue Argumente (mha_bias und output_layer_bias) für die Konfiguration des Transformer-Modellgenerators implementiert. Ansonsten wurden Fehlerkorrekturen vorgenommen.
Quelle: opennet.ru
