ਸਿਲੇਰੋ ਸਪੀਚ ਸਿੰਥੇਸਿਸ ਸਿਸਟਮ ਦੀ ਨਵੀਂ ਰੀਲੀਜ਼

ਸਿਲੇਰੋ ਟੈਕਸਟ-ਟੂ-ਸਪੀਚ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਸਪੀਚ ਸਿੰਥੇਸਿਸ ਸਿਸਟਮ ਦੀ ਇੱਕ ਨਵੀਂ ਜਨਤਕ ਰਿਲੀਜ਼ ਉਪਲਬਧ ਹੈ। ਪ੍ਰੋਜੈਕਟ ਦਾ ਮੁੱਖ ਉਦੇਸ਼ ਇੱਕ ਆਧੁਨਿਕ, ਉੱਚ-ਗੁਣਵੱਤਾ ਵਾਲੀ ਬੋਲੀ ਸੰਸ਼ਲੇਸ਼ਣ ਪ੍ਰਣਾਲੀ ਬਣਾਉਣਾ ਹੈ ਜੋ ਕਾਰਪੋਰੇਸ਼ਨਾਂ ਦੇ ਵਪਾਰਕ ਹੱਲਾਂ ਤੋਂ ਘਟੀਆ ਨਹੀਂ ਹੈ ਅਤੇ ਮਹਿੰਗੇ ਸਰਵਰ ਉਪਕਰਣਾਂ ਦੀ ਵਰਤੋਂ ਕੀਤੇ ਬਿਨਾਂ ਹਰ ਕਿਸੇ ਲਈ ਪਹੁੰਚਯੋਗ ਹੈ।

ਮਾਡਲਾਂ ਨੂੰ GNU AGPL ਲਾਇਸੈਂਸ ਦੇ ਤਹਿਤ ਵੰਡਿਆ ਜਾਂਦਾ ਹੈ, ਪਰ ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਵਿਕਸਤ ਕਰਨ ਵਾਲੀ ਕੰਪਨੀ ਮਾਡਲਾਂ ਦੀ ਸਿਖਲਾਈ ਲਈ ਵਿਧੀ ਦਾ ਖੁਲਾਸਾ ਨਹੀਂ ਕਰਦੀ ਹੈ। ਚਲਾਉਣ ਲਈ, ਤੁਸੀਂ PyTorch ਅਤੇ ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ ਜੋ ONNX ਫਾਰਮੈਟ ਦਾ ਸਮਰਥਨ ਕਰਦੇ ਹਨ। ਸਿਲੇਰੋ ਵਿੱਚ ਸਪੀਚ ਸਿੰਥੇਸਿਸ ਡੂੰਘੇ ਸੰਸ਼ੋਧਿਤ ਆਧੁਨਿਕ ਨਿਊਰਲ ਨੈਟਵਰਕ ਐਲਗੋਰਿਦਮ ਅਤੇ ਡਿਜੀਟਲ ਸਿਗਨਲ ਪ੍ਰੋਸੈਸਿੰਗ ਵਿਧੀਆਂ ਦੀ ਵਰਤੋਂ 'ਤੇ ਅਧਾਰਤ ਹੈ।

ਇਹ ਨੋਟ ਕੀਤਾ ਗਿਆ ਹੈ ਕਿ ਸਪੀਚ ਸਿੰਥੇਸਿਸ ਲਈ ਆਧੁਨਿਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਹੱਲਾਂ ਦੀ ਮੁੱਖ ਸਮੱਸਿਆ ਇਹ ਹੈ ਕਿ ਉਹ ਅਕਸਰ ਭੁਗਤਾਨ ਕੀਤੇ ਕਲਾਉਡ ਹੱਲਾਂ ਦੇ ਅੰਦਰ ਹੀ ਉਪਲਬਧ ਹੁੰਦੇ ਹਨ, ਅਤੇ ਜਨਤਕ ਉਤਪਾਦਾਂ ਵਿੱਚ ਉੱਚ ਹਾਰਡਵੇਅਰ ਲੋੜਾਂ ਹੁੰਦੀਆਂ ਹਨ, ਘੱਟ ਗੁਣਵੱਤਾ ਵਾਲੀਆਂ ਹੁੰਦੀਆਂ ਹਨ, ਜਾਂ ਸੰਪੂਰਨ ਅਤੇ ਵਰਤੋਂ ਲਈ ਤਿਆਰ ਨਹੀਂ ਹੁੰਦੀਆਂ ਹਨ। ਉਤਪਾਦ. ਉਦਾਹਰਨ ਲਈ, ਨਵੇਂ ਪ੍ਰਸਿੱਧ ਐਂਡ-ਟੂ-ਐਂਡ ਸਿੰਥੇਸਿਸ ਆਰਕੀਟੈਕਚਰ, VITS, ਨੂੰ ਸੁਚਾਰੂ ਢੰਗ ਨਾਲ ਸਿੰਥੇਸਿਸ ਮੋਡ ਵਿੱਚ ਚਲਾਉਣ ਲਈ (ਜੋ ਕਿ ਮਾਡਲ ਸਿਖਲਾਈ ਲਈ ਨਹੀਂ), VRAM ਦੇ 16 ਗੀਗਾਬਾਈਟ ਤੋਂ ਵੱਧ ਵਾਲੇ ਵੀਡੀਓ ਕਾਰਡਾਂ ਦੀ ਲੋੜ ਹੈ।

ਮੌਜੂਦਾ ਰੁਝਾਨ ਦੇ ਉਲਟ, Silero ਹੱਲ AVX1 ਨਿਰਦੇਸ਼ਾਂ ਦੇ ਨਾਲ ਇੱਕ Intel ਪ੍ਰੋਸੈਸਰ ਦੇ 86 x2 ਥਰਿੱਡ 'ਤੇ ਵੀ ਸਫਲਤਾਪੂਰਵਕ ਚੱਲਦਾ ਹੈ। 4 ਪ੍ਰੋਸੈਸਰ ਥਰਿੱਡਾਂ 'ਤੇ, ਸਿੰਥੇਸਿਸ ਤੁਹਾਨੂੰ 30 kHz ਸੰਸਲੇਸ਼ਣ ਮੋਡ ਵਿੱਚ 60 ਤੋਂ 8 ਸਕਿੰਟ ਪ੍ਰਤੀ ਸਕਿੰਟ, 24 kHz ਮੋਡ ਵਿੱਚ - 15-20 ਸਕਿੰਟ, ਅਤੇ 48 kHz ਮੋਡ ਵਿੱਚ - ਲਗਭਗ 10 ਸਕਿੰਟ ਵਿੱਚ ਸੰਸਲੇਸ਼ਣ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।

ਨਵੀਂ ਸਿਲੇਰੋ ਰੀਲੀਜ਼ ਦੀਆਂ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ:

• ਮਾਡਲ ਦਾ ਆਕਾਰ 2 ਗੁਣਾ ਘਟਾ ਕੇ 50 ਮੈਗਾਬਾਈਟ ਕੀਤਾ ਗਿਆ ਹੈ;
• ਮਾਡਲ ਜਾਣਦੇ ਹਨ ਕਿ ਕਿਵੇਂ ਰੁਕਣਾ ਹੈ;
• ਰੂਸੀ ਵਿੱਚ 4 ਉੱਚ-ਗੁਣਵੱਤਾ ਦੀਆਂ ਆਵਾਜ਼ਾਂ ਉਪਲਬਧ ਹਨ (ਅਤੇ ਬੇਤਰਤੀਬੇ ਲੋਕਾਂ ਦੀ ਇੱਕ ਬੇਅੰਤ ਗਿਣਤੀ)। ਉਚਾਰਨ ਉਦਾਹਰਨਾਂ;
• ਮਾਡਲ 10 ਗੁਣਾ ਤੇਜ਼ ਹੋ ਗਏ ਹਨ ਅਤੇ, ਉਦਾਹਰਨ ਲਈ, 24 kHz ਮੋਡ ਵਿੱਚ ਉਹ ਤੁਹਾਨੂੰ 20 ਪ੍ਰੋਸੈਸਰ ਥਰਿੱਡਾਂ 'ਤੇ ਪ੍ਰਤੀ ਸਕਿੰਟ 4 ਸਕਿੰਟ ਤੱਕ ਆਡੀਓ ਸਿੰਥੇਸਾਈਜ਼ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ;
• ਇੱਕ ਭਾਸ਼ਾ ਲਈ ਸਾਰੇ ਵੌਇਸ ਵਿਕਲਪਾਂ ਨੂੰ ਇੱਕ ਮਾਡਲ ਵਿੱਚ ਪੈਕ ਕੀਤਾ ਗਿਆ ਹੈ;
• ਮਾਡਲ ਟੈਕਸਟ ਦੇ ਪੂਰੇ ਪੈਰਾਗ੍ਰਾਫਾਂ ਨੂੰ ਇੰਪੁੱਟ ਵਜੋਂ ਸਵੀਕਾਰ ਕਰ ਸਕਦੇ ਹਨ, SSML ਟੈਗਸ ਸਮਰਥਿਤ ਹਨ;
• ਸੰਸਲੇਸ਼ਣ ਤਿੰਨ ਸੈਂਪਲਿੰਗ ਫ੍ਰੀਕੁਐਂਸੀ ਵਿੱਚ ਚੁਣਨ ਲਈ ਇੱਕੋ ਵਾਰ ਕੰਮ ਕਰਦਾ ਹੈ - 8, 24 ਅਤੇ 48 ਕਿਲੋਹਰਟਜ਼;
• "ਬੱਚਿਆਂ ਦੀਆਂ ਸਮੱਸਿਆਵਾਂ" ਨੂੰ ਹੱਲ ਕੀਤਾ ਗਿਆ ਹੈ: ਅਸਥਿਰਤਾ ਅਤੇ ਗੁੰਮ ਹੋਏ ਸ਼ਬਦ;
• ਲਹਿਜ਼ੇ ਦੀ ਆਟੋਮੈਟਿਕ ਪਲੇਸਮੈਂਟ ਅਤੇ ਅੱਖਰ “е” ਦੀ ਪਲੇਸਮੈਂਟ ਨੂੰ ਨਿਯੰਤਰਿਤ ਕਰਨ ਲਈ ਫਲੈਗ ਸ਼ਾਮਲ ਕੀਤੇ ਗਏ।

ਵਰਤਮਾਨ ਵਿੱਚ, ਸੰਸਲੇਸ਼ਣ ਦੇ ਨਵੀਨਤਮ ਸੰਸਕਰਣ ਲਈ, ਰੂਸੀ ਵਿੱਚ 4 ਆਵਾਜ਼ਾਂ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਹਨ, ਪਰ ਆਉਣ ਵਾਲੇ ਸਮੇਂ ਵਿੱਚ ਅਗਲਾ ਸੰਸਕਰਣ ਹੇਠਾਂ ਦਿੱਤੀਆਂ ਤਬਦੀਲੀਆਂ ਨਾਲ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਜਾਵੇਗਾ:

• ਸੰਸਲੇਸ਼ਣ ਦੀ ਦਰ ਇਕ ਹੋਰ 2-4 ਵਾਰ ਵਧੇਗੀ;
• CIS ਭਾਸ਼ਾਵਾਂ ਲਈ ਸੰਸਲੇਸ਼ਣ ਮਾਡਲ ਅੱਪਡੇਟ ਕੀਤੇ ਜਾਣਗੇ: ਕਲਮੀਕ, ਤਾਤਾਰ, ਉਜ਼ਬੇਕ ਅਤੇ ਯੂਕਰੇਨੀ;
• ਯੂਰਪੀਅਨ ਭਾਸ਼ਾਵਾਂ ਲਈ ਮਾਡਲ ਸ਼ਾਮਲ ਕੀਤੇ ਜਾਣਗੇ;
• ਭਾਰਤੀ ਭਾਸ਼ਾਵਾਂ ਲਈ ਮਾਡਲ ਜੋੜੇ ਜਾਣਗੇ;
• ਅੰਗਰੇਜ਼ੀ ਲਈ ਮਾਡਲ ਸ਼ਾਮਲ ਕੀਤੇ ਜਾਣਗੇ।

ਸਿਲੇਰੋ ਸੰਸਲੇਸ਼ਣ ਵਿੱਚ ਨਿਹਿਤ ਸਿਸਟਮ ਦੇ ਕੁਝ ਵਿਗਾੜ:

• ਹੋਰ ਪਰੰਪਰਾਗਤ ਸੰਸਲੇਸ਼ਣ ਹੱਲਾਂ ਦੇ ਉਲਟ ਜਿਵੇਂ ਕਿ RHVoice, Silero ਸਿੰਥੇਸਿਸ ਵਿੱਚ SAPI ਏਕੀਕਰਣ, ਆਸਾਨੀ ਨਾਲ ਇੰਸਟਾਲ ਕਰਨ ਵਾਲੇ ਕਲਾਇੰਟਸ, ਜਾਂ ਵਿੰਡੋਜ਼ ਅਤੇ ਐਂਡਰੌਇਡ ਲਈ ਏਕੀਕਰਣ ਨਹੀਂ ਹੁੰਦੇ ਹਨ;
• ਗਤੀ, ਹਾਲਾਂਕਿ ਅਜਿਹੇ ਹੱਲ ਲਈ ਬੇਮਿਸਾਲ ਤੌਰ 'ਤੇ ਉੱਚੀ ਹੈ, ਉੱਚ ਗੁਣਵੱਤਾ ਵਾਲੇ ਕਮਜ਼ੋਰ ਪ੍ਰੋਸੈਸਰਾਂ 'ਤੇ ਫਲਾਈ ਸੰਸਲੇਸ਼ਣ ਲਈ ਕਾਫ਼ੀ ਨਹੀਂ ਹੋ ਸਕਦੀ;
• ਆਟੋ-ਐਕਸੈਂਟ ਹੱਲ ਹੋਮੋਗ੍ਰਾਫਾਂ (ਕਿਲ੍ਹੇ ਅਤੇ ਕਿਲ੍ਹੇ ਵਰਗੇ ਸ਼ਬਦ) ਨੂੰ ਨਹੀਂ ਸੰਭਾਲਦਾ ਅਤੇ ਫਿਰ ਵੀ ਗਲਤੀਆਂ ਕਰਦਾ ਹੈ, ਪਰ ਇਸ ਨੂੰ ਭਵਿੱਖ ਦੀਆਂ ਰੀਲੀਜ਼ਾਂ ਵਿੱਚ ਠੀਕ ਕੀਤਾ ਜਾਵੇਗਾ;
• ਸੰਸਲੇਸ਼ਣ ਦਾ ਮੌਜੂਦਾ ਸੰਸਕਰਣ AVX2 ਨਿਰਦੇਸ਼ਾਂ ਤੋਂ ਬਿਨਾਂ ਪ੍ਰੋਸੈਸਰਾਂ 'ਤੇ ਕੰਮ ਨਹੀਂ ਕਰਦਾ ਹੈ (ਜਾਂ ਤੁਹਾਨੂੰ ਖਾਸ ਤੌਰ 'ਤੇ PyTorch ਸੈਟਿੰਗਾਂ ਨੂੰ ਬਦਲਣ ਦੀ ਜ਼ਰੂਰਤ ਹੈ) ਕਿਉਂਕਿ ਮਾਡਲ ਦੇ ਅੰਦਰਲੇ ਇੱਕ ਮੋਡੀਊਲ ਦੀ ਮਾਤਰਾ ਹੈ;
• ਸਿੰਥੇਸਿਸ ਦੇ ਮੌਜੂਦਾ ਸੰਸਕਰਣ ਵਿੱਚ ਲਾਜ਼ਮੀ ਤੌਰ 'ਤੇ ਇੱਕ ਸਿੰਗਲ ਪਾਈਟੋਰਚ ਨਿਰਭਰਤਾ ਹੈ; ਮਾਡਲ ਅਤੇ ਜੇਆਈਟੀ ਪੈਕੇਜਾਂ ਦੇ ਅੰਦਰ ਸਾਰੀਆਂ ਸਟਫਿੰਗ "ਹਾਰਡਵਾਇਰਡ" ਹੈ। ਮਾਡਲਾਂ ਦੇ ਸਰੋਤ ਕੋਡ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਕੀਤੇ ਗਏ ਹਨ, ਨਾਲ ਹੀ PyTorch ਕਲਾਇੰਟਸ ਤੋਂ ਦੂਜੀਆਂ ਭਾਸ਼ਾਵਾਂ ਲਈ ਮਾਡਲ ਚਲਾਉਣ ਲਈ ਕੋਡ;
• Libtorch, ਮੋਬਾਈਲ ਪਲੇਟਫਾਰਮਾਂ ਲਈ ਉਪਲਬਧ, ONNX ਰਨਟਾਈਮ ਨਾਲੋਂ ਬਹੁਤ ਜ਼ਿਆਦਾ ਭਾਰੀ ਹੈ, ਪਰ ਮਾਡਲ ਦਾ ਇੱਕ ONNX ਸੰਸਕਰਣ ਅਜੇ ਉਪਲਬਧ ਨਹੀਂ ਹੈ।

ਸਰੋਤ: opennet.ru