ะะฟัะฑะปะธะบะพะฒะฐะฝ ะฒัะฟััะบ ัะธััะตะผั ะผะฐัะธะฝะฝะพะณะพ ะฟะตัะตะฒะพะดะฐ OpenNMT 0.28.0 (Open Neural Machine Translation), ะธัะฟะพะปัะทัััะตะน ะผะตัะพะดั ะผะฐัะธะฝะฝะพะณะพ ะพะฑััะตะฝะธั. ะะปั ะฟะพัััะพะตะฝะธั ะฝะตะนัะพะฝะฝะพะน ัะตัะธ ะฟัะพะตะบั ะธัะฟะพะปัะทัะตั ะฒะพะทะผะพะถะฝะพััะธ ะฑะธะฑะปะธะพัะตะบะธ ะณะปัะฑะธะฝะฝะพะณะพ ะผะฐัะธะฝะฝะพะณะพ ะพะฑััะตะฝะธั TensorFlow. ะะพะด ัะฐะทะฒะธะฒะฐะตะผัั ะฟัะพะตะบัะพะผ OpenNMT ะผะพะดัะปะตะน ะฝะฐะฟะธัะฐะฝ ะฝะฐ ัะทัะบะต Python ะธ ัะฐัะฟัะพัััะฐะฝัะตััั ะฟะพะด ะปะธัะตะฝะทะธะตะน MIT. ะะพัะพะฒัะต ะผะพะดะตะปะธ ะฟะพะดะณะพัะพะฒะปะตะฝั ะดะปั ะฐะฝะณะปะธะนัะบะพะณะพ, ะฝะตะผะตัะบะพะณะพ ะธ ะบะฐัะฐะปะฐะฝัะบะพะณะพ ัะทัะบะพะฒ, ะดะปั ะพััะฐะปัะฝัั ัะทัะบะพะฒ ะผะพะถะฝะพ ัะฐะผะพััะพััะตะปัะฝะพ ััะพัะผะธัะพะฒะฐัั ะผะพะดะตะปั ะฝะฐ ะพัะฝะพะฒะต ะฝะฐะฑะพัะฐ ะดะฐะฝะฝัั ะพั ะฟัะพะตะบัะฐ OPUS (ะดะปั ะพะฑััะตะฝะธั ัะธััะตะผะต ะฟะตัะตะดะฐัััั ะดะฒะฐ ัะฐะนะปะฐ โ ะพะดะธะฝ ั ะฟัะตะดะปะพะถะตะฝะธัะผะธ ะฝะฐ ะธัั ะพะดะฝะพะผ ัะทัะบะต, ะฐ ะฒัะพัะพะน ั ะบะฐัะตััะฒะตะฝะฝัะผ ะฟะตัะตะฒะพะดะพะผ ััะธั ะฟัะตะดะปะพะถะตะฝะธะน ะฝะฐ ัะตะปะตะฒะพะน ัะทัะบ).
ะัะพะตะบั ัะฐะทะฒะธะฒะฐะตััั ะฟัะธ ััะฐััะธะธ ะบะพะผะฟะฐะฝะธะธ SYSTRAN, ัะฟะตัะธะฐะปะธะทะธััััะฐััั ะฝะฐ ัะพะทะดะฐะฝะธะธ ััะตะดััะฒ ะผะฐัะธะฝะฝะพะณะพ ะฟะตัะตะฒะพะดะฐ, ะธ ะณััะฟะฟั ะธััะปะตะดะพะฒะฐัะตะปะตะน Harvard, ัะฐะทัะฐะฑะฐััะฒะฐััะตะน ะผะพะดะตะปะธ ัะตะปะพะฒะตัะตัะบะพะณะพ ัะทัะบะฐ ะดะปั ัะธััะตะผ ะผะฐัะธะฝะฝะพะณะพ ะพะฑััะตะฝะธั. ะะฝัะตััะตะนั ะฟะพะปัะทะพะฒะฐัะตะปั ะผะฐะบัะธะผะฐะปัะฝะพ ัะฟัะพััะฝ ะธ ััะตะฑัะตั ะปะธัั ัะบะฐะทะฐะฝะธั ะฒั ะพะดะฝะพะณะพ ัะฐะนะปะฐ ั ัะตะบััะพะผ ะธ ัะฐะนะปะฐ ะดะปั ัะพั ัะฐะฝะตะฝะธั ัะตะทัะปััะฐัะฐ ะฟะตัะตะฒะพะดะฐ. ะกะธััะตะผะฐ ัะฐััะธัะตะฝะธะน ะดะฐัั ะฒะพะทะผะพะถะฝะพััั ัะตะฐะปะธะทะพะฒัะฒะฐัั ะฝะฐ ะฑะฐะทะต OpenNMT ะดะพะฟะพะปะฝะธัะตะปัะฝัั ััะฝะบัะธะพะฝะฐะปัะฝะพััั, ะฝะฐะฟัะธะผะตั, ะฐะฒัะพัะตัะตัะธัะพะฒะฐะฝะธะต, ะบะปะฐััะธัะธะบะฐัะธั ัะตะบััะพะฒ ะธ ะณะตะฝะตัะฐัะธั ััะฑัะธััะพะฒ.
ะัะธะผะตะฝะตะฝะธะต TensorFlow ะฟะพะทะฒะพะปัะตั ะทะฐะดะตะนััะฒะพะฒะฐัั ะฒะพะทะผะพะถะฝะพััะธ GPU (ะดะปั ััะบะพัะตะฝะธั ะฟัะพัะตััะฐ ะพะฑััะตะฝะธั ะฝะตะนัะพะฝะฝะพะน ัะตัะธ. ะะปั ัะฟัะพัะตะฝะธั ัะฐัะฟัะพัััะฐะฝะตะฝะธั ะฟัะพะดัะบัะฐ ะฟัะพะตะบัะพะผ ัะฐะบะถะต ัะฐะทะฒะธะฒะฐะตััั ัะฐะผะพะดะพััะฐัะพัะฝัะน ะฒะฐัะธะฐะฝั ััะฐะฝัะปััะพัะฐ ะฝะฐ ัะทัะบะต C++ โ CTranslate2, ะบะพัะพััะน ะธัะฟะพะปัะทัะตั ะฟัะตะดะฒะฐัะธัะตะปัะฝะพ ะฝะฐััะตะฝะธัะพะฒะฐะฝะฝัะต ะผะพะดะตะปะธ ะฑะตะท ะฟัะธะฒัะทะบะธ ะบ ะดะพะฟะพะปะฝะธัะตะปัะฝัะผ ะทะฐะฒะธัะธะผะพัััะผ.
ะ ะฝะพะฒะพะน ะฒะตััะธะธ ะดะพะฑะฐะฒะปะตะฝ ะฟะฐัะฐะผะตัั initial_learning_rate ะธ ัะตะฐะปะธะทะพะฒะฐะฝะพ ะฝะตัะบะพะปัะบะพ ะฝะพะฒัั
ะฐัะณัะผะตะฝัะพะฒ (mha_bias ะธ output_layer_bias) ะดะปั ะฝะฐัััะพะนะบะธ ะณะตะฝะตัะฐัะพัะฐ ะผะพะดะตะปะตะน Transformer. ะ ะพััะฐะปัะฝะพะผ ะพัะผะตัะฐะตััั ะธัะฟัะฐะฒะปะตะฝะธะตะผ ะพัะธะฑะพะบ.
เด
เดตเดฒเดเดฌเด: opennet.ru