Avalikustatud OpenNMT-tf 2.30.0 (Open Neural Machine Translation) masintõlke süsteemi versioon, mis kasutab masinõppe meetodeid. OpenNMT-tf projekti raames arendatavate moodulite kood on kirjutatud Pythonis, kasutades TensorFlow raamatukogu ning levitatakse MIT litsentsi alusel.
Samaaegselt arendatakse ka OpenNMT versiooni, mis põhineb PyTorch raamatukogul, mis erineb toetatavate funktsioonide tasemel. Lisaks esitatakse PyTorch'i põhine OpenNMT lihtsama ja multimeedia toena, samas kui TensorFlow'i põhine versioon on modulaarne, stabiilne ning võimaldab kasutada GPU võimeid, et kiirendada närvivõrgustiku õppeprotsessi. Toote lihtsustamiseks arendab projekt ka iseseisvat C++ keeles kirjutatud tõlkijat — CTranslate2, mis kasutab eelnevalt treenitud mudeleid ilma täiendavate sõltuvusteta.
Mudelid on ette valmistatud inglise, saksa ja katalaani keele jaoks; teiste keelte jaoks saab mudeli iseseisvalt luua, kasutades projekti OPUS andmestikku (süsteemi koolitamiseks edastatakse kaks faili — üks algkeeles ja teine, mis sisaldab kvaliteetset tõlget sihtkeeles).
Projekt areneb koostöös ettevõttega SYSTRAN, mis spetsialiseerub masintõlke vahendite loomisele, ja Harvardi teadlaste grupiga, kes arendab inimkeele mudeleid masinõppe süsteemide jaoks. Kasutajaliides on maksimaalselt lihtsustatud ning nõuab vaid sisendfaili määramist tekstiga ja faili tulemuste salvestamiseks. Laienduste süsteem võimaldab OpenNMT baasil rakendada täiendavat funktsionaalsust, nagu automaatviitamine, tekstide klassifitseerimine ja subtiitrite genereerimine.
Uues versioonis:
- Lisatud tugi TensorFlow 2.11 raamatukogule, kuid uusi Keras’i optimeerijaid ei toetata veel (vajalik on kasutada režiimi tf.keras.optimizers.legacy).
- CTranslate2 3.x mootor uue haru tugi on lisatud, mis on mõeldud tõhusaks transformeerimismudelite täitmiseks.
- Mudelite treenimise parameeter pad_to_bucket_boundary on lisatud, mis võimaldab lisatäite kasutamist, mis joondab ploki suuruse length_bucket_width'i kordsete väärtuste järgi.
- Integreeritud on chrf ja chrf++ meetrikate tugi SacreBLEU projektist, mis võrdlevad masintõlget kvaliteetsete inimtõlgetega.
- Mudeli ctranslate2_spec atribuut on eemaldatud, kuna seda ei kasutata enam CTranslate2-s.
Allikas: opennet.ru
