Ëllet një version të sistemit të përkthimit të makinës OpenNMT-tf 2.30.0 (Përkthimi i Makinës së Nervës), që përdor metoda të mësimit të makinës. Kodi i moduleve të zhvilluara nga projekti OpenNMT-tf është shkruar në gjuhën Python, përdor bibliotekën TensorFlow dhe shpërndahen nën licencën MIT.
Paralelisht zhvillohet një variant OpenNMT mbi bibliotekën PyTorch, i cili dallon në nivelin e mundësive të mbështetura. Për më tepër, OpenNMT mbi PyTorch paraqitet si më i lehtë për t'u përdorur dhe multimedial, ndërsa varianti mbi TensorFlow përmendet si modular, stabil dhe që lejon të shfrytëzohen mundësitë e GPU për të përshpejtuar procesin e mësimit të rrjetit nervor. Për ta thjeshtuar shpërndarjen e produktit, projekti zhvillon gjithashtu një variant të vetë-mjaftueshëm të përkthyesit në gjuhën C++ — CTranslate2, i cili përdor modele të trajnuara paraprakisht pa varësi nga varësi të tjera.
Modelet janë përgatitur për gjuhët angleze, gjermane dhe katallane, për gjuhët e tjera mund të krijoni vetë një model në bazë të të dhënave nga projekti OPUS (për trajnimin e sistemit dërgohen dy skedarë — një me fraza në gjuhën origjinale dhe një tjetër me përkthimin cilësor të këtyre frazave në gjuhën e synuar).
Projekti zhvillohet me pjesëmarrjen e kompanisë SYSTRAN, e cila specializohet në krijimin e mjeteve përkthimi të makinës, dhe grupit të hulumtuesve të Harvardit, që zhvillon modele të gjuhës njerëzore për sistemet e mësimit të makinës. Ndërfaqja e përdoruesit është maksimalisht e thjeshtuar dhe kërkon vetëm një skedar hyrës me tekstin dhe një skedar për ruajtjen e rezultatit të përkthimit. Sistemi i zgjerimeve ofron mundësinë për të realizuar funksionalitete të tjera mbi OpenNMT, si përkthimi automatik, klasifikimi i teksteve dhe gjenerimi i subtitrave.
Në këtë version të ri:
- Shtuar mbështetje për bibliotekën TensorFlow 2.11, por optimizuesit e rinj Keras ende nuk mbështeten (kërkohet përdorimi i modalitetit tf.keras.optimizers.legacy).
- Shtuar mbështetje për degën e re të motorit CTranslate2 3.x, e cila është e dizajnuar për ekzekutimin efikas të modeleve me arkitekturën "transformer".
- Shtuar parametrin e trajnimit të modeleve pad_to_bucket_boundary për të përfshirë mbushje shtesë, duke rrafshuar madhësinë e bllokut në vlera shumëfishin e length_bucket_width.
- Integruar mbështetje për metrikat chrf dhe chrf++ nga projekti SacreBLEU, që krahasojnë përkthimin e makinës me përkthimin e standardizuar njerëzor.
- Hequr atributin e modelit ctranslate2_spec, i cili nuk përdoret më në CTranslate2.
Burimi: opennet.ru
