Byla zveřejněna verze systému strojového překladu OpenNMT-tf 2.30.0 (Open Neural Machine Translation), který využívá metody strojového učení. Kód modulů vyvíjených projektem OpenNMT-tf je napsán v jazyce Python, využívá knihovnu TensorFlow a je šířen pod licencí MIT.
Současně se vyvíjí varianta OpenNMT založená na knihovně PyTorch, která se liší v úrovni podporovaných funkcí. Navíc je OpenNMT na bázi PyTorch prezentován jako jednodušší na použití a multimodální, zatímco verze založená na TensorFlow se vyznačuje modularitou, stabilitou a možností využití funkcí GPU pro urychlení procesu školení neuronové sítě. Pro usnadnění šíření produktu se projektem také vyvíjí samostatná varianta překladače v jazyce C++ — CTranslate2, který využívá předtrénované modely bez vazby na další závislosti.
Modely jsou připraveny pro anglický, německý a katalánský jazyk, pro ostatní jazyky je možné samostatně vytvořit model na základě datové sady z projektu OPUS (pro školení systému se předává dva soubory — jeden se větami v původním jazyce a druhý s kvalitním překladem těchto vět do cílového jazyka).
Projekt se vyvíjí za účasti společnosti SYSTRAN, která se specializuje na vývoj prostředků strojového překladu, a skupiny výzkumníků z Harvardu, kteří vyvíjejí modely lidského jazyka pro systémy strojového učení. Uživatelské rozhraní je maximálně zjednodušené a vyžaduje pouze uvedení vstupního souboru s textem a souboru pro uložení výsledku překladu. Systém rozšíření umožňuje implementaci dodatečné funkčnosti na bázi OpenNMT, například autoreferování, klasifikaci textů a generaci titulků.
V nové verzi:
- Byla přidána podpora pro knihovnu TensorFlow 2.11, ale nové optimalizátory Keras zatím nejsou podporovány (je nutné používat režim tf.keras.optimizers.legacy).
- Byla přidána podpora pro novou větev enginu CTranslate2 3.x, určenou pro efektivní provádění modelů s architekturou „transformer“.
- Byl přidán parametr školení modelů pad_to_bucket_boundary pro zahrnutí dodatečného vyplnění, které vyrovnává velikost bloku na hodnoty násobící length_bucket_width.
- Byla integrována podpora metrik chrf a chrf++ z projektu SacreBLEU, které porovnávají strojový překlad s referenčním lidským překladem.
- Byl odstraněn atribut modelu ctranslate2_spec, který se již nepoužívá v CTranslate2.
Zdroj: opennet.ru
