OpenNMT 2.28.0 ਮਸ਼ੀਨ ਅਨੁਵਾਦ ਪ੍ਰਣਾਲੀ ਦੀ ਰਿਲੀਜ਼

ਓਪਨਐਨਐਮਟੀ 0.28.0 (ਓਪਨ ਨਿਊਰਲ ਮਸ਼ੀਨ ਟ੍ਰਾਂਸਲੇਸ਼ਨ) ਮਸ਼ੀਨ ਅਨੁਵਾਦ ਪ੍ਰਣਾਲੀ, ਜੋ ਕਿ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਵਿਧੀਆਂ ਦੀ ਵਰਤੋਂ ਕਰਦੀ ਹੈ, ਦੀ ਰਿਲੀਜ਼ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੀ ਗਈ ਹੈ। ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਬਣਾਉਣ ਲਈ, ਪ੍ਰੋਜੈਕਟ ਟੈਨਸਰਫਲੋ ਡੂੰਘੀ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਲਾਇਬ੍ਰੇਰੀ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ। ਓਪਨਐਨਐਮਟੀ ਪ੍ਰੋਜੈਕਟ ਦੁਆਰਾ ਵਿਕਸਤ ਕੀਤੇ ਮੋਡਿਊਲਾਂ ਦਾ ਕੋਡ ਪਾਈਥਨ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ MIT ਲਾਇਸੰਸ ਦੇ ਅਧੀਨ ਵੰਡਿਆ ਗਿਆ ਹੈ। ਤਿਆਰ ਕੀਤੇ ਮਾਡਲ ਅੰਗਰੇਜ਼ੀ, ਜਰਮਨ ਅਤੇ ਕੈਟਲਨ ਭਾਸ਼ਾਵਾਂ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਹਨ; ਹੋਰ ਭਾਸ਼ਾਵਾਂ ਲਈ, ਤੁਸੀਂ OPUS ਪ੍ਰੋਜੈਕਟ ਤੋਂ ਇੱਕ ਡੇਟਾ ਸੈੱਟ ਦੇ ਅਧਾਰ ਤੇ ਸੁਤੰਤਰ ਰੂਪ ਵਿੱਚ ਇੱਕ ਮਾਡਲ ਬਣਾ ਸਕਦੇ ਹੋ (ਸਿਖਲਾਈ ਲਈ, ਦੋ ਫਾਈਲਾਂ ਸਿਸਟਮ ਵਿੱਚ ਟ੍ਰਾਂਸਫਰ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ - ਇੱਕ ਵਿੱਚ ਵਾਕਾਂ ਦੇ ਨਾਲ। ਸਰੋਤ ਭਾਸ਼ਾ, ਅਤੇ ਦੂਜੀ ਟੀਚਾ ਭਾਸ਼ਾ ਵਿੱਚ ਇਹਨਾਂ ਵਾਕਾਂ ਦੇ ਉੱਚ-ਗੁਣਵੱਤਾ ਅਨੁਵਾਦ ਦੇ ਨਾਲ)।

ਇਹ ਪ੍ਰੋਜੈਕਟ SYSTRAN ਦੀ ਭਾਗੀਦਾਰੀ ਨਾਲ ਵਿਕਸਤ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ, ਮਸ਼ੀਨ ਅਨੁਵਾਦ ਟੂਲ ਬਣਾਉਣ ਵਿੱਚ ਮਾਹਰ ਕੰਪਨੀ, ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰਣਾਲੀਆਂ ਲਈ ਮਨੁੱਖੀ ਭਾਸ਼ਾ ਦੇ ਮਾਡਲਾਂ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਾਲੇ ਹਾਰਵਰਡ ਖੋਜਕਰਤਾਵਾਂ ਦੇ ਇੱਕ ਸਮੂਹ। ਉਪਭੋਗਤਾ ਇੰਟਰਫੇਸ ਜਿੰਨਾ ਸੰਭਵ ਹੋ ਸਕੇ ਸਰਲ ਬਣਾਇਆ ਗਿਆ ਹੈ ਅਤੇ ਅਨੁਵਾਦ ਨਤੀਜੇ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਲਈ ਟੈਕਸਟ ਅਤੇ ਇੱਕ ਫਾਈਲ ਦੇ ਨਾਲ ਇੱਕ ਇਨਪੁਟ ਫਾਈਲ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਐਕਸਟੈਂਸ਼ਨ ਸਿਸਟਮ OpenNMT 'ਤੇ ਆਧਾਰਿਤ ਵਾਧੂ ਕਾਰਜਕੁਸ਼ਲਤਾ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਸੰਭਵ ਬਣਾਉਂਦਾ ਹੈ, ਉਦਾਹਰਨ ਲਈ, ਸਵੈ-ਸੰਖੇਪ, ਟੈਕਸਟ ਵਰਗੀਕਰਨ ਅਤੇ ਉਪਸਿਰਲੇਖ ਬਣਾਉਣਾ।

TensorFlow ਦੀ ਵਰਤੋਂ ਤੁਹਾਨੂੰ GPU ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੀ ਹੈ (ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਤੇਜ਼ ਕਰਨ ਲਈ। ਉਤਪਾਦ ਦੀ ਵੰਡ ਨੂੰ ਸਰਲ ਬਣਾਉਣ ਲਈ, ਪ੍ਰੋਜੈਕਟ C++ - CTranslate2 ਵਿੱਚ ਅਨੁਵਾਦਕ ਦਾ ਇੱਕ ਸਵੈ-ਨਿਰਭਰ ਸੰਸਕਰਣ ਵੀ ਵਿਕਸਤ ਕਰ ਰਿਹਾ ਹੈ। , ਜੋ ਕਿ ਵਾਧੂ ਨਿਰਭਰਤਾ ਦੇ ਹਵਾਲੇ ਤੋਂ ਬਿਨਾਂ ਪ੍ਰੀ-ਟ੍ਰੇਂਡ ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।

ਨਵਾਂ ਸੰਸਕਰਣ initial_learning_rate ਪੈਰਾਮੀਟਰ ਨੂੰ ਜੋੜਦਾ ਹੈ ਅਤੇ ਟ੍ਰਾਂਸਫਾਰਮਰ ਮਾਡਲ ਜਨਰੇਟਰ ਦੀ ਸੰਰਚਨਾ ਕਰਨ ਲਈ ਕਈ ਨਵੇਂ ਆਰਗੂਮੈਂਟਾਂ (mha_bias ਅਤੇ output_layer_bias) ਨੂੰ ਲਾਗੂ ਕਰਦਾ ਹੈ। ਬਾਕੀ ਬੱਗ ਫਿਕਸ ਦੁਆਰਾ ਚਿੰਨ੍ਹਿਤ ਕੀਤਾ ਗਿਆ ਹੈ।

ਸਰੋਤ: opennet.ru