αž€αžΆαžšαž…αŸαž‰αž•αŸ’αžŸαžΆαž™αž”αŸ’αžšαž–αŸαž“αŸ’αž’αž”αž€αž”αŸ’αžšαŸ‚αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“ OpenNMT 2.28.0

αž€αžΆαžšαž…αŸαž‰αž•αŸ’αžŸαžΆαž™αž”αŸ’αžšαž–αŸαž“αŸ’αž’αž”αž€αž”αŸ’αžšαŸ‚αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“ OpenNMT 0.28.0 (Open Neural Machine Translation) αžŠαŸ‚αž›αž”αŸ’αžšαžΎαžœαž·αž’αžΈαžŸαžΆαžŸαŸ’αžαŸ’αžšαžšαŸ€αž“αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αžαŸ’αžšαžΌαžœαž”αžΆαž“αž”αŸ„αŸ‡αž–αž»αž˜αŸ’αž–αž•αŸ’αžŸαžΆαž™αŸ” αžŠαžΎαž˜αŸ’αž”αžΈαž”αž„αŸ’αž€αžΎαžαž”αžŽαŸ’αžαžΆαž‰αžŸαžšαžŸαŸƒαž”αŸ’αžšαžŸαžΆαž‘ αž‚αž˜αŸ’αžšαŸ„αž„αž”αŸ’αžšαžΎαž”αŸ’αžšαžΆαžŸαŸ‹αžŸαž˜αžαŸ’αžαž—αžΆαž–αžšαž”αžŸαŸ‹αž”αžŽαŸ’αžŽαžΆαž›αŸαž™ TensorFlow deep machine learningαŸ” αž€αžΌαžŠαž“αŸƒαž˜αŸ‰αžΌαžŒαž»αž›αžŠαŸ‚αž›αž”αž„αŸ’αž€αžΎαžαž‘αžΎαž„αžŠαŸ„αž™αž‚αž˜αŸ’αžšαŸ„αž„ OpenNMT αžαŸ’αžšαžΌαžœαž”αžΆαž“αžŸαžšαžŸαŸαžšαž‡αžΆ Python αž“αž·αž„αž…αŸ‚αž€αž…αžΆαž™αž€αŸ’αžšαŸ„αž˜αž’αžΆαž‡αŸ’αž‰αžΆαž”αŸαžŽαŸ’αžŽ MIT αŸ” αž‚αŸ†αžšαžΌαžŠαŸ‚αž›αž•αž›αž·αžαžšαž½αž…αžšαžΆαž›αŸ‹αžαŸ’αžšαžΌαžœαž”αžΆαž“αžšαŸ€αž”αž…αŸ†αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž—αžΆαžŸαžΆαž’αž„αŸ‹αž‚αŸ’αž›αŸαžŸ αž’αžΆαž‘αžΊαž˜αŸ‰αž„αŸ‹ αž“αž·αž„αž—αžΆαžŸαžΆαž€αžΆαžαžΆαž‘αžΆαž“ αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž—αžΆαžŸαžΆαž•αŸ’αžŸαŸαž„αž‘αŸ€αž αž’αŸ’αž“αž€αž’αžΆαž…αž”αž„αŸ’αž€αžΎαžαž‚αŸ†αžšαžΌαžŠαŸ„αž™αž―αž€αžšαžΆαž‡αŸ’αž™αžŠαŸ„αž™αž•αŸ’αž’αŸ‚αž€αž›αžΎαžŸαŸ†αžŽαž»αŸ†αž‘αž·αž“αŸ’αž“αž“αŸαž™αž–αžΈαž‚αž˜αŸ’αžšαŸ„αž„ OPUS (αžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž€αžΆαžšαž”αžŽαŸ’αžαž»αŸ‡αž”αžŽαŸ’αžαžΆαž› αž―αž€αžŸαžΆαžšαž–αžΈαžšαžαŸ’αžšαžΌαžœαž”αžΆαž“αž•αŸ’αž‘αŸαžšαž‘αŸ…αž”αŸ’αžšαž–αŸαž“αŸ’αž’ - αž˜αž½αž™αž˜αžΆαž“αž”αŸ’αžšαž™αŸ„αž‚αž“αŸ…αž€αŸ’αž“αž»αž„ αž—αžΆαžŸαžΆαž”αŸ’αžšαž—αž– αž“αž·αž„αž‘αžΈαž–αžΈαžšαž‡αžΆαž˜αž½αž™αž“αžΉαž„αž€αžΆαžšαž”αž€αž”αŸ’αžšαŸ‚αžŠαŸ‚αž›αž˜αžΆαž“αž‚αž»αžŽαž—αžΆαž–αžαŸ’αž–αžŸαŸ‹αž“αŸƒαž”αŸ’αžšαž™αŸ„αž‚αž‘αžΆαŸ†αž„αž“αŸαŸ‡αž‘αŸ…αž‡αžΆαž—αžΆαžŸαžΆαž‚αŸ„αž›αžŠαŸ…)αŸ”

αž‚αž˜αŸ’αžšαŸ„αž„αž“αŸαŸ‡αž€αŸ†αž–αž»αž„αžαŸ’αžšαžΌαžœαž”αžΆαž“αž”αž„αŸ’αž€αžΎαžαž‘αžΎαž„αžŠαŸ„αž™αž˜αžΆαž“αž€αžΆαžšαž…αžΌαž›αžšαž½αž˜αž–αžΈ SYSTRAN αžŠαŸ‚αž›αž‡αžΆαž€αŸ’αžšαž»αž˜αž αŸŠαž»αž“αž‡αŸ†αž“αžΆαž‰αž€αŸ’αž“αž»αž„αž€αžΆαžšαž”αž„αŸ’αž€αžΎαžαž§αž”αž€αžšαžŽαŸαž”αž€αž”αŸ’αžšαŸ‚αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“ αž“αž·αž„αž€αŸ’αžšαž»αž˜αž’αŸ’αž“αž€αžŸαŸ’αžšαžΆαžœαž‡αŸ’αžšαžΆαžœαž“αŸ…αžŸαžΆαž€αž›αžœαž·αž‘αŸ’αž™αžΆαž›αŸαž™ Harvard αžŠαŸ‚αž›αž”αž„αŸ’αž€αžΎαžαž‚αŸ†αžšαžΌαž—αžΆαžŸαžΆαž˜αž“αž»αžŸαŸ’αžŸαžŸαž˜αŸ’αžšαžΆαž”αŸ‹αž”αŸ’αžšαž–αŸαž“αŸ’αž’αžšαŸ€αž“αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αŸ” αž…αŸ†αžŽαž»αž…αž”αŸ’αžšαž‘αžΆαž€αŸ‹αž’αŸ’αž“αž€αž”αŸ’αžšαžΎαžαŸ’αžšαžΌαžœαž”αžΆαž“αž’αŸ’αžœαžΎαž±αŸ’αž™αžŸαžΆαž˜αž‰αŸ’αž‰αžαžΆαž˜αžŠαŸ‚αž›αž’αžΆαž…αž’αŸ’αžœαžΎαž‘αŸ…αž”αžΆαž“ αž αžΎαž™αž‘αžΆαž˜αž‘αžΆαžšαžαŸ‚αž€αžΆαžšαž”αž‰αŸ’αž‡αžΆαž€αŸ‹αž―αž€αžŸαžΆαžšαž”αž‰αŸ’αž…αžΌαž›αž‡αžΆαž˜αž½αž™αž’αžαŸ’αžαž”αž‘ αž“αž·αž„αž―αž€αžŸαžΆαžšαžŠαžΎαž˜αŸ’αž”αžΈαžšαž€αŸ’αžŸαžΆαž‘αž»αž€αž›αž‘αŸ’αž’αž•αž›αž”αž€αž”αŸ’αžšαŸ‚αŸ” αž”αŸ’αžšαž–αŸαž“αŸ’αž’αž•αŸ’αž“αŸ‚αž€αž”αž“αŸ’αžαŸ‚αž˜αž’αŸ’αžœαžΎαž±αŸ’αž™αžœαžΆαž’αžΆαž…αž’αž“αž»αžœαžαŸ’αžαž˜αž»αžαž„αžΆαžšαž”αž“αŸ’αžαŸ‚αž˜αžŠαŸ„αž™αž•αŸ’αž’αŸ‚αž€αž›αžΎ OpenNMT αž§αž‘αžΆαž αžšαžŽαŸ αž€αžΆαžšαžŸαž„αŸ’αžαŸαž”αžŠαŸ„αž™αžŸαŸ’αžœαŸαž™αž”αŸ’αžšαžœαžαŸ’αžαž· αž…αŸ†αžŽαžΆαžαŸ‹αžαŸ’αž“αžΆαž€αŸ‹αž’αžαŸ’αžαž”αž‘ αž“αž·αž„αž€αžΆαžšαž”αž„αŸ’αž€αžΎαžαž…αŸ†αžŽαž„αž‡αžΎαž„αžšαž„αŸ”

αž€αžΆαžšαž”αŸ’αžšαžΎαž”αŸ’αžšαžΆαžŸαŸ‹ TensorFlow αž’αž“αž»αž‰αŸ’αž‰αžΆαžαž±αŸ’αž™αž’αŸ’αž“αž€αž”αŸ’αžšαžΎαžŸαž˜αžαŸ’αžαž—αžΆαž–αžšαž”αžŸαŸ‹ GPU (αžŠαžΎαž˜αŸ’αž”αžΈαž–αž“αŸ’αž›αžΏαž“αžŠαŸ†αžŽαžΎαžšαž€αžΆαžšαž“αŸƒαž€αžΆαžšαž”αžŽαŸ’αžαž»αŸ‡αž”αžŽαŸ’αžαžΆαž›αž”αžŽαŸ’αžαžΆαž‰αžŸαžšαžŸαŸƒαž”αŸ’αžšαžŸαžΆαž‘αŸ” αžŠαžΎαž˜αŸ’αž”αžΈαžŸαž˜αŸ’αžšαž½αž›αžŠαž›αŸ‹αž€αžΆαžšαž…αŸ‚αž€αž…αžΆαž™αž•αž›αž·αžαž•αž› αž‚αž˜αŸ’αžšαŸ„αž„αž“αŸαŸ‡αž€αŸαž€αŸ†αž–αž»αž„αž’αž—αž·αžœαžŒαŸ’αžαž€αŸ†αžŽαŸ‚αž€αž˜αŸ’αž˜αžœαž·αž’αžΈαž”αž€αž”αŸ’αžšαŸ‚αžŠαŸ„αž™αžαŸ’αž›αž½αž“αž―αž„αž“αŸ…αž€αŸ’αž“αž»αž„ C++ - CTranslate2 αžŠαŸ‚αž›αž”αŸ’αžšαžΎαž‚αŸ†αžšαžΌαžŠαŸ‚αž›αž”αžΆαž“αž”αžŽαŸ’αžαž»αŸ‡αž”αžŽαŸ’αžαžΆαž›αž‡αžΆαž˜αž»αž“αžŠαŸ„αž™αž˜αž·αž“αž™αŸ„αž„αž‘αŸ…αž›αžΎαž—αžΆαž–αž’αžΆαžŸαŸ’αžšαŸαž™αž”αž“αŸ’αžαŸ‚αž˜αŸ”

αž€αŸ†αžŽαŸ‚αžαŸ’αž˜αžΈαž”αž“αŸ’αžαŸ‚αž˜αž”αŸ‰αžΆαžšαŸ‰αžΆαž˜αŸ‰αŸ‚αžαŸ’αžš initial_learning_rate αž“αž·αž„αž’αž“αž»αžœαžαŸ’αžαž’αžΆαž‚αž»αž™αž˜αŸ‰αž„αŸ‹αžαŸ’αž˜αžΈαž‡αžΆαž…αŸ’αžšαžΎαž“ (mha_bias αž“αž·αž„ output_layer_bias) αžŠαžΎαž˜αŸ’αž”αžΈαž€αŸ†αžŽαžαŸ‹αžšαž…αž“αžΆαžŸαž˜αŸ’αž–αŸαž“αŸ’αž’αž˜αŸ‰αžΆαžŸαŸŠαžΈαž“αž—αŸ’αž›αžΎαž„αž‚αŸ†αžšαžΌ Transformer αŸ” αž“αŸ…αžŸαž›αŸ‹αžαŸ’αžšαžΌαžœαž”αžΆαž“αžŸαž˜αŸ’αž‚αžΆαž›αŸ‹αžŠαŸ„αž™αž€αžΆαžšαž€αŸ‚αž€αŸ†αž αž»αžŸαŸ”

αž”αŸ’αžšαž—αž–: opennet.ru

αž”αž“αŸ’αžαŸ‚αž˜αž˜αžαž·αž™αŸ„αž”αž›αŸ‹