ਸੰਗੀਤ ਸੰਸਲੇਸ਼ਣ ਲਈ ਅਨੁਕੂਲਿਤ ਸਥਿਰ ਪ੍ਰਸਾਰ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰਣਾਲੀ

ਰਿਫਿਊਜ਼ਨ ਪ੍ਰੋਜੈਕਟ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਸਿਸਟਮ ਸਟੈਬਲ ਡਿਫਿਊਜ਼ਨ ਦਾ ਇੱਕ ਸੰਸਕਰਣ ਵਿਕਸਿਤ ਕਰ ਰਿਹਾ ਹੈ, ਚਿੱਤਰਾਂ ਦੀ ਬਜਾਏ ਸੰਗੀਤ ਬਣਾਉਣ ਲਈ ਅਨੁਕੂਲਿਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਸੰਗੀਤ ਨੂੰ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਵਿੱਚ ਟੈਕਸਟ ਵਰਣਨ ਤੋਂ ਜਾਂ ਪ੍ਰਸਤਾਵਿਤ ਟੈਂਪਲੇਟ ਦੇ ਅਧਾਰ ਤੇ ਸੰਸ਼ਲੇਸ਼ਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ। ਮਿਊਜ਼ਿਕ ਸਿੰਥੇਸਿਸ ਕੰਪੋਨੈਂਟ ਪਾਈਟੌਰਚ ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਪਾਈਥਨ ਵਿੱਚ ਲਿਖੇ ਗਏ ਹਨ ਅਤੇ MIT ਲਾਇਸੰਸ ਦੇ ਤਹਿਤ ਉਪਲਬਧ ਹਨ। ਇੰਟਰਫੇਸ ਬਾਈਡਿੰਗ TypeScript ਵਿੱਚ ਲਾਗੂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ ਅਤੇ MIT ਲਾਇਸੰਸ ਦੇ ਅਧੀਨ ਵੀ ਵੰਡੀ ਜਾਂਦੀ ਹੈ। ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲਾਂ ਨੂੰ ਵਪਾਰਕ ਵਰਤੋਂ ਲਈ ਆਗਿਆਕਾਰੀ ਕਰੀਏਟਿਵ ML OpenRAIL-M ਲਾਇਸੰਸ ਦੇ ਅਧੀਨ ਲਾਇਸੰਸ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ।

ਇਹ ਪ੍ਰੋਜੈਕਟ ਦਿਲਚਸਪ ਹੈ ਕਿ ਇਹ ਸੰਗੀਤ ਬਣਾਉਣ ਲਈ "ਟੈਕਸਟ-ਟੂ-ਇਮੇਜ" ਅਤੇ "ਇਮੇਜ-ਟੂ-ਇਮੇਜ" ਮਾਡਲਾਂ ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਜਾਰੀ ਰੱਖਦਾ ਹੈ, ਪਰ ਸਪੈਕਟ੍ਰੋਗ੍ਰਾਮਾਂ ਨੂੰ ਚਿੱਤਰਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਹੇਰਾਫੇਰੀ ਕਰਦਾ ਹੈ। ਦੂਜੇ ਸ਼ਬਦਾਂ ਵਿਚ, ਕਲਾਸਿਕ ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ ਨੂੰ ਫੋਟੋਆਂ ਅਤੇ ਤਸਵੀਰਾਂ 'ਤੇ ਨਹੀਂ, ਸਗੋਂ ਸਪੈਕਟ੍ਰੋਗ੍ਰਾਮਾਂ ਦੀਆਂ ਤਸਵੀਰਾਂ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾਂਦੀ ਹੈ ਜੋ ਸਮੇਂ ਦੇ ਨਾਲ ਧੁਨੀ ਤਰੰਗ ਦੀ ਬਾਰੰਬਾਰਤਾ ਅਤੇ ਐਪਲੀਟਿਊਡ ਵਿਚ ਤਬਦੀਲੀਆਂ ਨੂੰ ਦਰਸਾਉਂਦੇ ਹਨ। ਇਸ ਅਨੁਸਾਰ, ਆਉਟਪੁੱਟ 'ਤੇ ਇੱਕ ਸਪੈਕਟ੍ਰੋਗ੍ਰਾਮ ਵੀ ਬਣਦਾ ਹੈ, ਜੋ ਫਿਰ ਇੱਕ ਆਡੀਓ ਪ੍ਰਤੀਨਿਧਤਾ ਵਿੱਚ ਬਦਲ ਜਾਂਦਾ ਹੈ।

ਵਿਧੀ ਦੀ ਵਰਤੋਂ ਮੌਜੂਦਾ ਧੁਨੀ ਰਚਨਾਵਾਂ ਨੂੰ ਸੰਸ਼ੋਧਿਤ ਕਰਨ ਅਤੇ ਨਮੂਨੇ ਤੋਂ ਸੰਗੀਤ ਨੂੰ ਸੰਸ਼ਲੇਸ਼ਣ ਕਰਨ ਲਈ ਵੀ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ, ਸਥਿਰ ਪ੍ਰਸਾਰ ਵਿੱਚ ਚਿੱਤਰ ਸੋਧ ਦੇ ਸਮਾਨ। ਉਦਾਹਰਨ ਲਈ, ਪੀੜ੍ਹੀ ਇੱਕ ਹਵਾਲਾ ਸ਼ੈਲੀ ਦੇ ਨਾਲ ਸਪੈਕਟ੍ਰੋਗ੍ਰਾਮਾਂ ਦਾ ਨਮੂਨਾ ਲੈ ਸਕਦੀ ਹੈ, ਵੱਖ-ਵੱਖ ਸ਼ੈਲੀਆਂ ਨੂੰ ਜੋੜ ਸਕਦੀ ਹੈ, ਇੱਕ ਸ਼ੈਲੀ ਤੋਂ ਦੂਜੀ ਸ਼ੈਲੀ ਵਿੱਚ ਨਿਰਵਿਘਨ ਤਬਦੀਲੀ ਕਰ ਸਕਦੀ ਹੈ, ਜਾਂ ਵਿਅਕਤੀਗਤ ਯੰਤਰਾਂ ਦੀ ਆਵਾਜ਼ ਨੂੰ ਵਧਾਉਣਾ, ਤਾਲ ਨੂੰ ਬਦਲਣਾ ਅਤੇ ਬਦਲਣਾ ਵਰਗੀਆਂ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨ ਲਈ ਮੌਜੂਦਾ ਧੁਨੀ ਵਿੱਚ ਬਦਲਾਅ ਕਰ ਸਕਦੀ ਹੈ। ਯੰਤਰ ਨਮੂਨਿਆਂ ਦੀ ਵਰਤੋਂ ਲੰਬੇ ਸਮੇਂ ਤੱਕ ਚੱਲਣ ਵਾਲੀਆਂ ਰਚਨਾਵਾਂ ਨੂੰ ਬਣਾਉਣ ਲਈ ਵੀ ਕੀਤੀ ਜਾਂਦੀ ਹੈ, ਜੋ ਕਿ ਸਮੇਂ ਦੇ ਨਾਲ ਥੋੜ੍ਹੇ ਜਿਹੇ ਵੱਖ-ਵੱਖ ਹੁੰਦੇ ਹਨ। ਮਾਡਲ ਦੇ ਅੰਦਰੂਨੀ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਇੰਟਰਪੋਲੇਸ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਤਿਆਰ ਕੀਤੇ ਪੈਸਿਆਂ ਨੂੰ ਇੱਕ ਨਿਰੰਤਰ ਧਾਰਾ ਵਿੱਚ ਜੋੜਿਆ ਜਾਂਦਾ ਹੈ।

ਧੁਨੀ ਤੋਂ ਇੱਕ ਸਪੈਕਟਰੋਗ੍ਰਾਮ ਬਣਾਉਣ ਲਈ ਇੱਕ ਵਿੰਡੋਡ ਫੂਰੀਅਰ ਟ੍ਰਾਂਸਫਾਰਮ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ। ਇੱਕ ਸਪੈਕਟ੍ਰੋਗ੍ਰਾਮ ਤੋਂ ਧੁਨੀ ਨੂੰ ਦੁਬਾਰਾ ਬਣਾਉਣ ਵੇਲੇ, ਪੜਾਅ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਵਿੱਚ ਇੱਕ ਸਮੱਸਿਆ ਪੈਦਾ ਹੁੰਦੀ ਹੈ (ਸਿਰਫ਼ ਸਪੈਕਟ੍ਰੋਗ੍ਰਾਮ 'ਤੇ ਬਾਰੰਬਾਰਤਾ ਅਤੇ ਐਪਲੀਟਿਊਡ ਮੌਜੂਦ ਹੁੰਦੇ ਹਨ), ਜਿਸ ਦੇ ਪੁਨਰ ਨਿਰਮਾਣ ਲਈ ਗ੍ਰਿਫਿਨ-ਲਿਮ ਅਨੁਮਾਨ ਐਲਗੋਰਿਦਮ ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਜਾਂਦੀ ਹੈ।

ਸਰੋਤ: opennet.ru