{"id":106018,"date":"2022-12-13T09:36:49","date_gmt":"2022-12-13T07:36:49","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/vypusk-sistemy-mashinnogo-perevoda-opennmt-tf-2-30"},"modified":"2022-12-13T09:36:49","modified_gmt":"2022-12-13T07:36:49","slug":"vypusk-sistemy-mashinnogo-perevoda-opennmt-tf-2-30","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/vypusk-sistemy-mashinnogo-perevoda-opennmt-tf-2-30","title":{"rendered":"Ver\u00f6ffentlichung des Systeme f\u00fcr maschinelle \u00dcbersetzung OpenNMT-tf 2.30","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Die Ver\u00f6ffentlichung der Version 2.30.0 des maschinellen \u00dcbersetzungssystems OpenNMT-tf (Open Neural Machine Translation), das Methoden des maschinellen Lernens verwendet. Der Code der durch das OpenNMT-tf-Projekt entwickelten Module ist in Python geschrieben, verwendet die TensorFlow-Bibliothek und wird unter der MIT-Lizenz verbreitet. <\/p>\n
Parallel wird eine OpenNMT-Variante auf Basis der PyTorch-Bibliothek entwickelt, die sich in Bezug auf die unterst\u00fctzten Funktionen unterscheidet. Dar\u00fcber hinaus wird OpenNMT auf PyTorch als benutzerfreundlicher und multimodal pr\u00e4sentiert, w\u00e4hrend die TensorFlow-basierte Variante als modular, stabil und als f\u00e4hig zur Nutzung von GPU-Ressourcen zur Beschleunigung des Trainingsprozesses der neuronalen Netze gilt. Zur Vereinfachung der Verbreitung des Produkts wird auch eine eigenst\u00e4ndige Version des \u00dcbersetzers in C++ - CTranslate2 - entwickelt, die vortrainierte Modelle ohne zus\u00e4tzliche Abh\u00e4ngigkeiten verwendet. <\/p>\n
Die Modelle sind f\u00fcr die Sprachen Englisch, Deutsch und Katalanisch vorbereitet; f\u00fcr andere Sprachen kann ein Modell anhand eines Datensatzes aus dem OPUS-Projekt erstellt werden (zum Training der Systeme werden zwei Dateien \u00fcbergeben - eine mit S\u00e4tzen in der Ausgangsprache und die zweite mit einer qualitativ hochwertigen \u00dcbersetzung dieser S\u00e4tze in die Zielsprache). <\/p>\n
Das Projekt wird mit Teilnahme der Firma SYSTRAN entwickelt, die sich auf die Erstellung von maschinellen \u00dcbersetzungsmitteln spezialisiert, und einer Gruppe von Forschern der Harvard-Universit\u00e4t, die menschliche Sprachmodelle f\u00fcr Systeme des maschinellen Lernens entwickelt. Die Benutzeroberfl\u00e4che ist sehr vereinfacht und erfordert lediglich die Angabe einer Eingabedatei mit Text und einer Datei zur Speicherung des \u00dcbersetzungsergebnisses. Das Erweiterungs-System bietet die M\u00f6glichkeit, zus\u00e4tzliche Funktionen auf der Basis von OpenNMT zu implementieren, beispielsweise Auto-Referierung, Textklassifikation und die Generierung von Untertiteln. <\/p>\n
In der neuen Version: <\/p>\n
\n
Die Unterst\u00fctzung f\u00fcr die TensorFlow 2.11-Bibliothek wurde hinzugef\u00fcgt, aber neue Keras-Optimierer werden derzeit noch nicht unterst\u00fctzt (es muss der Modus tf.keras.optimizers.legacy verwendet werden).\n
Die Unterst\u00fctzung f\u00fcr die neue Engine-Version CTranslate2 3.x wurde hinzugef\u00fcgt, die f\u00fcr die effiziente Ausf\u00fchrung von Modellen mit der Architektur \u201eTransformer\u201c vorgesehen ist.\n
Ein neuer Trainingsparameter f\u00fcr Modelle, pad_to_bucket_boundary, wurde hinzugef\u00fcgt, um eine zus\u00e4tzliche Auff\u00fcllung zu erm\u00f6glichen, die die Blockgr\u00f6\u00dfe auf Werte, die Vielfache von length_bucket_width sind, ausgleicht.\n
Die Unterst\u00fctzung f\u00fcr die Metriken chrf und chrf++ aus dem SacreBLEU-Projekt wurde integriert, die maschinelle \u00dcbersetzungen mit Referenz\u00fcbersetzungen von Menschen vergleichen.\n
Das Attribut model ctranslate2_spec wurde entfernt, da es nicht mehr in CTranslate2 verwendet wird. <\/ul>\n