Vydanie OpenNMT 2.28.0 systému strojového prekladu

Bolo zverejnené vydanie systému strojového prekladu OpenNMT 0.28.0 (Open Neural Machine Translation), ktorý využíva metódy strojového učenia. Na vybudovanie neurónovej siete projekt využíva možnosti knižnice hlbokého strojového učenia TensorFlow. Kód modulov vyvinutých projektom OpenNMT je napísaný v jazyku Python a distribuovaný pod licenciou MIT. Hotové modely sú pripravené pre angličtinu, nemčinu a katalánčinu, pre ostatné jazyky môžete nezávisle vytvoriť model na základe súboru údajov z projektu OPUS (na školenie sa do systému prenesú dva súbory - jeden s vetami v zdrojový jazyk a druhý s kvalitným prekladom týchto viet do cieľového jazyka).

Projekt je vyvíjaný za účasti spoločnosti SYSTRAN, ktorá sa špecializuje na vytváranie nástrojov strojového prekladu, a skupiny výskumníkov z Harvardu, ktorí vyvíjajú modely ľudského jazyka pre systémy strojového učenia. Používateľské rozhranie je maximálne zjednodušené a vyžaduje len zadanie vstupného súboru s textom a súboru na uloženie výsledku prekladu. Systém rozšírenia umožňuje implementovať ďalšie funkcie založené na OpenNMT, napríklad automatické zhrnutie, klasifikáciu textu a generovanie titulkov.

Využitie TensorFlow umožňuje využiť možnosti GPU (na urýchlenie procesu trénovania neurónovej siete. Pre zjednodušenie distribúcie produktu sa v projekte vyvíja aj sebestačná verzia prekladača v C++ - CTranslate2 , ktorá používa predtrénované modely bez odkazu na ďalšie závislosti.

Nová verzia pridáva parameter initial_learning_rate a implementuje niekoľko nových argumentov (mha_bias a output_layer_bias) na konfiguráciu generátora modelu Transformer. Zvyšok je poznačený opravami chýb.

Zdroj: opennet.ru

Pridať komentár