Ua paʻi ʻia ka hoʻokuʻu ʻana o ka ʻōnaehana unuhi mīkini OpenNMT-tf 2.30.0 (Open Neural Machine Translation), me ka hoʻohana ʻana i nā ʻano aʻo mīkini. Ua kākau ʻia ke code o nā modules i hoʻomohala ʻia e ka papahana OpenNMT-tf ma Python, hoʻohana i ka waihona TensorFlow a māhele ʻia ma lalo o ka laikini MIT.
Ma ka like, ke kūkulu ʻia nei kahi mana o OpenNMT e pili ana i ka waihona PyTorch, ʻokoʻa i ka pae o nā mea i kākoʻo ʻia. Hoʻohui ʻia, ʻike ʻia ka OpenNMT i hoʻokumu ʻia ʻo PyTorch e like me ka maʻalahi o ka hoʻohana ʻana a me ka multimodal, ʻoiai ʻo ka TensorFlow-based version e like me modular, stable, a hiki ke hoʻohana i nā mana GPU e wikiwiki i ka hoʻomaʻamaʻa pūnaewele neural. No ka maʻalahi o ka hāʻawi ʻana i ka huahana, ke kūkulu nei ka papahana i kahi mana ponoʻī o ka unuhi ma C++ - CTranslate2, e hoʻohana ana i nā hiʻohiʻona i hoʻomaʻamaʻa mua ʻia me ka ʻole o ka pili ʻana i nā hilinaʻi hou.
Hoʻomākaukau ʻia nā hiʻohiʻona no ka ʻōlelo Pelekania, Kelemānia a me Catalan; no nā ʻōlelo ʻē aʻe, hiki iā ʻoe ke hana kūʻokoʻa i kahi kumu hoʻohālike e pili ana i kahi hoʻonohonoho ʻikepili mai ka papahana OPUS (no ka hoʻomaʻamaʻa ʻana, ua hoʻoili ʻia nā faila ʻelua i ka ʻōnaehana - hoʻokahi me nā huaʻōlelo ma ka ʻōlelo kumu, a ʻo ka lua me ka unuhi kiʻekiʻe o kēia mau ʻōlelo i loko o ka ʻōlelo i manaʻo ʻia) .
Ke hoʻomohala ʻia nei ka papahana me ke komo ʻana o SYSTRAN, kahi hui kūikawā i ka hana ʻana i nā mea unuhi mīkini, a me kahi hui o nā mea noiʻi Harvard e hoʻomohala ana i nā ʻōlelo hoʻohālike kanaka no nā ʻōnaehana aʻo mīkini. Ua maʻalahi ka mea hoʻohana e like me ka hiki a koi wale i ka wehewehe ʻana i kahi faila hoʻokomo me kahi kikokikona a me kahi faila e mālama ai i ka hopena unuhi. Hiki i ka ʻōnaehana hoʻonui ke hoʻokō i nā hana hou aʻe e pili ana i OpenNMT, no ka laʻana, ka hōʻuluʻulu ʻokoʻa, ka hoʻokaʻawale ʻana i nā kikokikona a me ka hanauna subtitle.
Ma ka mana hou:
- Hoʻohui ʻia ke kākoʻo no ka waihona ʻo TensorFlow 2.11, akā ʻaʻole i kākoʻo ʻia nā mea hoʻoponopono Keras hou (koi ke ʻano tf.keras.optimizers.legacy).
- Hoʻohui i ke kākoʻo no kahi lālā hou o ka mīkini CTranslate2 3.x, i hoʻolālā ʻia no ka hoʻokō pono ʻana i nā hiʻohiʻona me ka hoʻolālā Transformer.
- Hoʻohui ʻia ka ʻāpana hoʻonaʻauao kumu hoʻohālike pad_to_bucket_boundary e hiki ai ke hoʻohui i ka padding i hoʻohālikelike i ka nui o ka poloka i nā mea he nui o ka length_bucket_width.
- Kākoʻo hoʻohui ʻia no nā anana chrf a me chrf++ mai ka papahana SacreBLEU, e hoʻohālikelike ana i ka unuhi mīkini me kahi unuhi kanaka.
- Wehe ʻia ka ʻano hoʻohālike ctranslate2_spec, ʻaʻole i hoʻohana hou ʻia ma CTranslate2.
Source: opennet.ru
