Megjelent az OpenNMT-tf 2.30.0 verziója, amely a gépi fordításokról szól (Open Neural Machine Translation), és gépi tanulási módszereket alkalmaz. Az OpenNMT-tf projekt keretein belül fejlesztett modulok kódja Python nyelven készült, a TensorFlow könyvtárat használja és MIT licenc alatt terjesztik.
Párhuzamosan fejlődik az OpenNMT PyTorch könyvtárra épülő változata, amely a támogatott képességek szintjén különbözik. Továbbá, a PyTorch alapú OpenNMT egyszerűbb használatát és multimodális természetét hangsúlyozza, míg a TensorFlow alapú változat moduláris, stabil, és lehetőséget biztosít a GPU teljesítmény kihasználására a neurális hálózat tanításának felgyorsításához. A termék egyszerűbb terjesztése érdekében a projekt egy önálló fordítót is fejleszt C++ nyelven — CTranslate2, amely előre betanított modelleket alkalmaz külső függőségek nélkül.
A modellek angol, német és katalán nyelvekhez készültek, míg a többi nyelv esetében külön modellek létrehozása lehetséges az OPUS projekt adathalmazon alapulva (a rendszer tanításához két fájlt kell átadni — az egyiket a forrásszöveggel, a másikat a forrásszöveg minőségi fordításával a cél nyelven).
A projekt a gépi fordító rendszerek fejlesztésére specializálódott SYSTRAN cég és a Harvard egyetem kutatócsoportja közreműködésével fejlődik, amely emberi nyelvi modelleket fejleszt a gépi tanulási rendszerekhez. A felhasználói felület maximálisan egyszerűsített, és csak a szöveget tartalmazó bemeneti fájl és a fordítási eredmény mentésére szolgáló fájl megadását igényli. A bővítő rendszer lehetőséget biztosít az OpenNMT alapú kiegészítő funkciók megvalósítására, például automatikus hivatkozásra, szövegek osztályozására és feliratok generálására.
Az új verzióban:
- Bővült a TensorFlow 2.11 könyvtár támogatása, de az új Keras optimalizálók még nem támogatottak (a tf.keras.optimizers.legacy mód használata szükséges).
- Bővült a CTranslate2 3.x motor új ága, amely a „transformer” architektúrával rendelkező modellek hatékony futtatására szolgál.
- Bevezetésre került a pad_to_bucket_boundary modellek képzési paraméter, amely lehetővé teszi a blokkok méretének kitöltését, hogy azok a length_bucket_width értékek többszörösei legyenek.
- Integráltuk a SacreBLEU projekt chrf és chrf++ metrikáit, amelyek a gépi fordítást az emberi referenciafordítással hasonlítják össze.
- Eltávolítottuk a ctranslate2_spec modell attribútumot, amely már nem használatos a CTranslate2-ben.
Forrás: opennet.ru
