Bolo zverejnené vydanie systému strojového prekladu OpenNMT-tf 2.30.0 (Open Neural Machine Translation), ktorý využíva metódy strojového učenia. Kód modulov vyvinutých projektom OpenNMT-tf je napísaný v jazyku Python, využíva knižnicu TensorFlow a je distribuovaný pod licenciou MIT.
Paralelne sa vyvíja verzia OpenNMT založená na knižnici PyTorch, ktorá sa líši úrovňou podporovaných schopností. OpenNMT založená na PyTorch je navyše ponúkaná ako jednoduchšia na použitie a multimodálna, zatiaľ čo verzia založená na TensorFlow je ponúkaná ako modulárna, stabilná a schopná využiť možnosti GPU na urýchlenie tréningu neurónových sietí. Pre zjednodušenie distribúcie produktu sa v rámci projektu vyvíja aj sebestačná verzia prekladača v C++ – CTranslate2, ktorá využíva predtrénované modely bez odkazu na ďalšie závislosti.
Modely sú pripravené pre angličtinu, nemčinu a katalánčinu, pre ostatné jazyky je možné samostatne vytvoriť model na základe súboru údajov z projektu OPUS (na školenie sa do systému prenesú dva súbory - jeden s vetami v zdrojovom jazyku, a druhý s kvalitným prekladom týchto viet do cieľového jazyka) .
Projekt je vyvíjaný za účasti spoločnosti SYSTRAN, ktorá sa špecializuje na vytváranie nástrojov strojového prekladu, a skupiny výskumníkov z Harvardu, ktorí vyvíjajú modely ľudského jazyka pre systémy strojového učenia. Používateľské rozhranie je maximálne zjednodušené a vyžaduje len zadanie vstupného súboru s textom a súboru na uloženie výsledku prekladu. Systém rozšírenia umožňuje implementovať ďalšie funkcie založené na OpenNMT, napríklad automatické zhrnutie, klasifikáciu textu a generovanie titulkov.
V novej verzii:
- Pridaná podpora pre knižnicu TensorFlow 2.11, ale nové optimalizátory Keras zatiaľ nie sú podporované (vyžaduje režim tf.keras.optimizers.legacy).
- Pridaná podpora pre novú vetvu enginu CTranslate2 3.x, určenú pre efektívne vykonávanie modelov s architektúrou Transformer.
- Pridaný parameter trénovania modelu pad_to_bucket_boundary na umožnenie prírastkovej výplne, ktorá zarovná veľkosť bloku k násobkom dĺžky_dĺžky_šírky.
- Integrovaná podpora pre metriky chrf a chrf++ z projektu SacreBLEU, ktoré porovnávajú strojový preklad s referenčným ľudským prekladom.
- Odstránený atribút modelu ctranslate2_spec, ktorý sa už v CTranslate2 nepoužíva.
Zdroj: opennet.ru
