Ăllet njĂ« version tĂ« sistemit tĂ« pĂ«rkthimit tĂ« makinĂ«s OpenNMT-tf 2.30.0 (PĂ«rkthimi i MakinĂ«s sĂ« NervĂ«s), qĂ« pĂ«rdor metoda tĂ« mĂ«simit tĂ« makinĂ«s. Kodi i moduleve tĂ« zhvilluara nga projekti OpenNMT-tf Ă«shtĂ« shkruar nĂ« gjuhĂ«n Python, pĂ«rdor bibliotekĂ«n TensorFlow dhe shpĂ«rndahen nĂ«n licencĂ«n MIT.
Paralelisht zhvillohet njĂ« variant OpenNMT mbi bibliotekĂ«n PyTorch, i cili dallon nĂ« nivelin e mundĂ«sive tĂ« mbĂ«shtetura. PĂ«r mĂ« tepĂ«r, OpenNMT mbi PyTorch paraqitet si mĂ« i lehtĂ« pĂ«r t'u pĂ«rdorur dhe multimedial, ndĂ«rsa varianti mbi TensorFlow pĂ«rmendet si modular, stabil dhe qĂ« lejon tĂ« shfrytĂ«zohen mundĂ«sitĂ« e GPU pĂ«r tĂ« pĂ«rshpejtuar procesin e mĂ«simit tĂ« rrjetit nervor. PĂ«r ta thjeshtuar shpĂ«rndarjen e produktit, projekti zhvillon gjithashtu njĂ« variant tĂ« vetĂ«-mjaftueshĂ«m tĂ« pĂ«rkthyesit nĂ« gjuhĂ«n C++ â CTranslate2, i cili pĂ«rdor modele tĂ« trajnuara paraprakisht pa varĂ«si nga varĂ«si tĂ« tjera.
Modelet janĂ« pĂ«rgatitur pĂ«r gjuhĂ«t angleze, gjermane dhe katallane, pĂ«r gjuhĂ«t e tjera mund tĂ« krijoni vetĂ« njĂ« model nĂ« bazĂ« tĂ« tĂ« dhĂ«nave nga projekti OPUS (pĂ«r trajnimin e sistemit dĂ«rgohen dy skedarĂ« â njĂ« me fraza nĂ« gjuhĂ«n origjinale dhe njĂ« tjetĂ«r me pĂ«rkthimin cilĂ«sor tĂ« kĂ«tyre frazave nĂ« gjuhĂ«n e synuar).
Projekti zhvillohet me pjesëmarrjen e kompanisë SYSTRAN, e cila specializohet në krijimin e mjeteve përkthimi të makinës, dhe grupit të hulumtuesve të Harvardit, që zhvillon modele të gjuhës njerëzore për sistemet e mësimit të makinës. Ndërfaqja e përdoruesit është maksimalisht e thjeshtuar dhe kërkon vetëm një skedar hyrës me tekstin dhe një skedar për ruajtjen e rezultatit të përkthimit. Sistemi i zgjerimeve ofron mundësinë për të realizuar funksionalitete të tjera mbi OpenNMT, si përkthimi automatik, klasifikimi i teksteve dhe gjenerimi i subtitrave.
Në këtë version të ri:
- Shtuar mbështetje për bibliotekën TensorFlow 2.11, por optimizuesit e rinj Keras ende nuk mbështeten (kërkohet përdorimi i modalitetit tf.keras.optimizers.legacy).
- Shtuar mbështetje për degën e re të motorit CTranslate2 3.x, e cila është e dizajnuar për ekzekutimin efikas të modeleve me arkitekturën "transformer".
- Shtuar parametrin e trajnimit të modeleve pad_to_bucket_boundary për të përfshirë mbushje shtesë, duke rrafshuar madhësinë e bllokut në vlera shumëfishin e length_bucket_width.
- Integruar mbështetje për metrikat chrf dhe chrf++ nga projekti SacreBLEU, që krahasojnë përkthimin e makinës me përkthimin e standardizuar njerëzor.
- Hequr atributin e modelit ctranslate2_spec, i cili nuk përdoret më në CTranslate2.
Burimi: opennet.ru
