Objavljeno je izdanje sustava za strojno prevođenje OpenNMT-tf 2.30.0 (Open Neural Machine Translation), koji koristi metode strojnog učenja. Kod modula razvijenih u projektu OpenNMT-tf napisan je u Pythonu, koristi biblioteku TensorFlow i distribuira se pod licencom MIT-a.
Paralelno se razvija verzija OpenNMT-a temeljena na biblioteci PyTorch, koja se razlikuje po razini podržanih mogućnosti. Osim toga, OpenNMT koji se temelji na PyTorchu reklamira se kao lakši za korištenje i multimodalni, dok se verzija temeljena na TensorFlowu reklamira kao modularna, stabilna i sposobna iskoristiti mogućnosti GPU-a za ubrzavanje obuke neuronske mreže. Kako bi se pojednostavila distribucija proizvoda, projekt također razvija samodostatnu verziju prevoditelja u C++ - CTranslate2, koja koristi unaprijed obučene modele bez pozivanja na dodatne ovisnosti.
Modeli su pripremljeni za engleski, njemački i katalonski jezik, za ostale jezike možete samostalno izraditi model na temelju skupa podataka iz projekta OPUS (za obuku se u sustav prenose dvije datoteke – jedna s rečenicama na izvornom jeziku, a drugi s kvalitetnim prijevodom tih rečenica na ciljni jezik) .
Projekt se razvija uz sudjelovanje SYSTRAN-a, tvrtke specijalizirane za izradu alata za strojno prevođenje, i skupine istraživača s Harvarda koji razvijaju modele ljudskog jezika za sustave strojnog učenja. Korisničko sučelje je maksimalno pojednostavljeno i zahtijeva samo navođenje ulazne datoteke s tekstom i datoteke za spremanje rezultata prijevoda. Sustav proširenja omogućuje implementaciju dodatne funkcionalnosti temeljene na OpenNMT-u, na primjer, automatsko sažimanje, klasifikaciju teksta i generiranje podnaslova.
U novoj verziji:
- Dodana je podrška za biblioteku TensorFlow 2.11, ali novi Keras optimizatori još nisu podržani (zahtijeva način rada tf.keras.optimizers.legacy).
- Dodana podrška za novu granu pogona CTranslate2 3.x, dizajniranog za učinkovito izvođenje modela s arhitekturom Transformer.
- Dodan je parametar obuke modela pad_to_bucket_boundary kako bi se omogućilo inkrementalno dopunjavanje koje poravnava veličinu bloka na višekratnike length_bucket_width.
- Integrirana podrška za chrf i chrf++ metriku iz projekta SacreBLEU, koja uspoređuje strojno prevođenje s referentnim ljudskim prijevodom.
- Uklonjen atribut modela ctranslate2_spec, koji se više ne koristi u CTranslate2.
Izvor: opennet.ru
