OpenNMT-tf 2.30 masintõlke süsteemi väljaanne

Avaldatud on masintõlke süsteemi OpenNMT-tf 2.30.0 (Avatud Neuraalne Masintõlge), mis kasutab masinõppe meetodeid. OpenNMT-tf arendatavate moodulite kood on kirjutatud keeles Python, kasutab raamatukogu TensorFlow ja on litsentseeritud MIT litsentsi alusel.

Samanähtavalt arendatakse OpenNMT varianti PyTorch raamatukogu alusel, mis erineb toetatavate funktsioonide poolest. Lisaks peetakse OpenNMT variant PyTorchi alusel lihtsamaks kasutada ja multimeedia-kohaselt, samas kui TensorFlow variant on moodulaarne, stabiilne ja võimaldab kasutada GPU-d närvivõrgu treenimise kiirendamiseks. Toote lihtsustamiseks arendab projekt ka iseseisvat tõlkijat keeles C++ — CTranslate2, mis kasutab eelnevalt treenitud mudeleid ilma täiendavate sõltuvusteta.

Mudelid on ette valmistatud inglise, saksa ja katalaani keele jaoks, teiste keelte puhul on võimalik iseseisvalt moodul luua, tuginedes OPUS projekti andmekogule (modellimiseks antakse süsteemile kaks faili — üks algkeeles lauseid ja teine nende lausete kvaliteetne tõlge sihtkeeles).

Projekt areneb koostöös ettevõttega SYSTRAN, mis spetsialiseerub masintõlke vahendite loomisele, ja Harvardi teadlaste rühma, kes arendab inimkeele mudeleid masinõppesüsteemide jaoks. Kasutajaliides on maksimaalselt lihtsustatud ning vajab vaid sisendfaili tekstiga ja faili tõlke tulemuse salvestamiseks. Lisafunktsionaalsuse rakendamine OpenNMT alusel on võimalik tänu laiendusliidesele, näiteks automaatreferaadid, tekstide klassifitseerimine ja subtiitrite genereerimine.

Uues versioonis:

• Lisatud on toetus TensorFlow 2.11 raamatukogu jaoks, kuid uusi Keras optimeerijaid ei toetata (vajalik on tf.keras.optimizers.legacy režiimi kasutamine).
• Lisatud on toetus uue CTranslate2 3.x mootori haru jaoks, mis on mõeldud tõhusaks mudeleid ‘transformeerija’ arhitektuuriga käitamiseks.
• Lisatud on mudelite treenimise parameeter pad_to_bucket_boundary, mis võimaldab lisatäidise kaasamist, mis joondab ploki suuruse length_bucket_width arvu korrutistega.
• Integreeritud on SacreBLEU projekti chrf ja chrf++ mõõdikute toimetamine, mis võrdleb masintõlget kvaliteetsete inimtõlgetega.
• Eemaldatud on mudeli ctranslate2_spec atribuut, mida CTranslate2 enam ei kasuta.

Allikas: opennet.ru