Objavljeno je izdanje sustava za strojno prevođenje OpenNMT-tf 2.30.0 (Open Neural Machine Translation), koji koristi metode strojno učenja. Kod modula koji se razvijaju kroz projekt OpenNMT-tf napisan je na jeziku Python, koristi TensorFlow biblioteku i distribuira se pod MIT licencom.
Paralelno se razvija varijanta OpenNMT koja se temelji na PyTorch biblioteci, koja se razlikuje u razini podržanih mogućnosti. Osim toga, OpenNMT na bazi PyTorch se predstavlja kao jednostavniji za korištenje i multimodalni, dok se varijanta na bazi TensorFlow ističe kao modularna, stabilna i omogućava korištenje GPU mogućnosti kako bi se ubrzao proces učenja neuronske mreže. Za pojednostavljenje distribucije proizvoda, projekt također razvija samostalnu varijantu prevoditelja napisanu u C++ — CTranslate2, koja koristi unaprijed obučene modele bez ovisnosti o dodatnim knjižnicama.
Modeli su pripremljeni za engleski, njemački i katalonski jezik, dok se za ostale jezike može samostalno formirati model na temelju seta podataka iz projekta OPUS (za obuku sustava dostavljaju se dvije datoteke — jedna s rečenicama na izvorном jeziku, a druga s kvalitetnim prijevodom tih rečenica na ciljni jezik).
Projekt se razvija uz sudjelovanje tvrtke SYSTRAN, specijalizirane za izradu alata za strojno prevođenje, i grupe istraživača s Harvarda koji razvijaju modele ljudskog jezika za sustave strojnog učenja. Korisničko sučelje je maksimalno pojednostavljeno i zahtijeva samo navođenje ulazne datoteke s tekstom i datoteke za pohranu rezultata prevođenja. Sustav proširenja omogućuje realizaciju dodatne funkcionalnosti na bazi OpenNMT, poput automatskog referiranja, klasifikacije tekstova i generiranja titlova.
U novoj verziji:
- Dodana je podrška za TensorFlow biblioteku 2.11, no novi Keras optimizatori još uvijek nisu podržani (potrebno je koristiti način tf.keras.optimizers.legacy).
- Dodana je podrška za novu granu motora CTranslate2 3.x, namijenjenu učinkovitoj izvedbi modela s 'transformer' arhitekturom.
- Dodana je opcija za obuku modela pad_to_bucket_boundary za uključivanje dodatnog punjenja koje izravnava veličinu bloka na vrijednosti višekratne od length_bucket_width.
- Integrirana je podrška za metrikama chrf i chrf++ iz projekta SacreBLEU, koje uspoređuju strojno prevođenje s referentnim ljudskim prijevodom.
- Uklonjen je atribut modela ctranslate2_spec, koji se više ne koristi u CTranslate2.
Izvor: opennet.ru
