OpenNMT 2.28.0 masintõlke süsteemi väljaanne

Avaldatud on masintõlke süsteemi OpenNMT 0.28.0 (Open Neural Machine Translation) väljaanne, mis kasutab masinõppe meetodeid. Neuraalvõrgu loomiseks kasutab projekt süvitsi õppimise raamatukogu TensorFlow võimalusi. OpenNMT projekti arendatud moodulite kood on kirjutatud Pythonis ja jagatakse MIT litsentsi alusel. Valmis mudelid on ette valmistatud inglise, saksa ja katalaani keeles, teiste keelte jaoks saab ise luua mudeli, kasutades projekti OPUS andmekogu (koolitamiseks antakse süsteemile kaks faili — üks algkeeles lauseid ja teine nende lausete kvaliteetne tõlge sihtkeelde).

Projekt areneb koostöös ettevõttega SYSTRAN, mis spetsialiseerub masintõlkemoodulate loomisele, ning Harvardi teadlaste grupp, mis töötatakse välja inimkeele mudeleid masinõppesüsteemide jaoks. Kasutajaliides on maksimaalselt lihtsaks sillutatud ja nõuab vaid sisendfaili teksti ja faili tõlke tulemusena salvestamiseks. Laienduste süsteem võimaldab OpenNMT põhjal teostada täiendavat funktsionaalsust, näiteks automaatreferimisi, tekstide klassifitseerimist ja subtiitrite genereerimist.

TensorFlow rakendamine võimaldab kasutada GPU võimalusi (neuraalvõrgu koolitusprotsessi kiirendamiseks). Toote lihtsustamiseks arendab projekt ka iseseisvat tõlgitöötlusversiooni C++ keeles — CTranslate2, mis kasutab eelnevalt koolitatud mudeleid ilma täiendavate sõltuvusteta.

Uues versioonis on lisatud parameeter initial_learning_rate ja rakendatud mitmeid uusi argumente (mha_bias ja output_layer_bias) Transformer mudelite generaatori seadistamiseks. Ülejäänud osas on tegeletud vigade parandamisega.

Allikas: opennet.ru