ਸਥਿਰ ਵੀਡੀਓ ਡਿਫਿਊਜ਼ਨ ਵੀਡੀਓ ਸਿੰਥੇਸਿਸ ਸਿਸਟਮ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ

ਸਟੈਬਿਲਿਟੀ ਏਆਈ ਨੇ ਇੱਕ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਮਾਡਲ, ਸਟੇਬਲ ਵੀਡੀਓ ਡਿਫਿਊਜ਼ਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਹੈ, ਜੋ ਤਸਵੀਰਾਂ ਤੋਂ ਛੋਟੇ ਵੀਡੀਓ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ। ਇਹ ਮਾਡਲ ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ ਪ੍ਰੋਜੈਕਟ ਦੀਆਂ ਸਮਰੱਥਾਵਾਂ ਦਾ ਵਿਸਤਾਰ ਕਰਦਾ ਹੈ, ਜੋ ਪਹਿਲਾਂ ਸਥਿਰ ਤਸਵੀਰਾਂ ਨੂੰ ਸਿੰਥੇਸਾਈਜ਼ ਕਰਨ ਤੱਕ ਸੀਮਿਤ ਸੀ। ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਸਿਖਲਾਈ ਅਤੇ ਚਿੱਤਰ ਨਿਰਮਾਣ ਟੂਲਸ ਲਈ ਕੋਡ ਪਾਈਥਨ ਵਿੱਚ ਪਾਈਟੋਰਚ ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ MIT ਲਾਇਸੈਂਸ ਦੇ ਅਧੀਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲ ਕਰੀਏਟਿਵ ML OpenRAIL-M ਪਰਮਿਸੀਵ ਲਾਇਸੈਂਸ ਦੇ ਤਹਿਤ ਓਪਨ ਸੋਰਸ ਕੀਤੇ ਗਏ ਹਨ, ਜੋ ਵਪਾਰਕ ਵਰਤੋਂ ਦੀ ਆਗਿਆ ਦਿੰਦੇ ਹਨ।

ਡਾਊਨਲੋਡ ਲਈ ਦੋ ਮਾਡਲ ਰੂਪ ਉਪਲਬਧ ਹਨ: SVD (ਸਟੇਬਲ ਵੀਡੀਓ ਡਿਫਿਊਜ਼ਨ), ਜੋ ਕਿਸੇ ਦਿੱਤੇ ਗਏ ਸਥਿਰ ਚਿੱਤਰ ਦੇ ਆਧਾਰ 'ਤੇ 576×1024 ਰੈਜ਼ੋਲਿਊਸ਼ਨ 'ਤੇ 14 ਫਰੇਮ ਤਿਆਰ ਕਰਦਾ ਹੈ, ਅਤੇ SVD-XT, ਜੋ 25 ਫਰੇਮ ਤਿਆਰ ਕਰਦਾ ਹੈ। ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ ਸੰਭਵ ਹੈ, ਜਾਂ ਤਾਂ ਗਤੀਹੀਣ ਜਾਂ ਬਹੁਤ ਹੌਲੀ ਕੈਮਰਾ ਰੋਟੇਸ਼ਨ ਦੇ ਨਾਲ, ਜੋ 4 ਸਕਿੰਟਾਂ ਤੋਂ ਵੱਧ ਨਹੀਂ ਚੱਲਦਾ। ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਦੇ ਟੈਕਸਟ 'ਤੇ ਆਧਾਰਿਤ ਮਾਡਲ ਦਾ ਸਿੱਧਾ ਨਿਯੰਤਰਣ ਅਜੇ ਸਮਰਥਿਤ ਨਹੀਂ ਹੈ, ਪਰ ਪਹਿਲਾਂ ਪੁਰਾਣੇ ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ 2.1 ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਰੋਤ ਚਿੱਤਰ ਤਿਆਰ ਕਰਨਾ ਅਤੇ ਫਿਰ SVD ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇਸਨੂੰ ਵੀਡੀਓ ਵਿੱਚ ਬਦਲਣਾ ਸੰਭਵ ਹੈ।

ਵੀਡੀਓ ਗੁਣਵੱਤਾ ਅਜੇ ਤੱਕ ਸੰਪੂਰਨ ਫੋਟੋਰੀਅਲਿਜ਼ਮ ਜਾਂ ਚਿਹਰਿਆਂ ਅਤੇ ਲੋਕਾਂ ਦੀ ਗਾਰੰਟੀਸ਼ੁਦਾ ਸਹੀ ਪੇਸ਼ਕਾਰੀ ਪ੍ਰਦਾਨ ਨਹੀਂ ਕਰਦੀ ਹੈ। ਪ੍ਰਦਰਸ਼ਨ ਦੇ ਮਾਮਲੇ ਵਿੱਚ, ਪ੍ਰਸਤਾਵਿਤ ਓਪਨ-ਸੋਰਸ ਮਾਡਲ ਰਨਵੇਅ ਅਤੇ ਪਿਕਾ ਲੈਬਜ਼ ਦੇ ਮਲਕੀਅਤ ਐਨਾਲਾਗਾਂ ਨੂੰ ਪਛਾੜਦਾ ਹੈ। ਮਾਡਲ ਨੂੰ ਵੱਖ-ਵੱਖ ਕੰਮਾਂ ਲਈ ਆਸਾਨੀ ਨਾਲ ਅਨੁਕੂਲ ਬਣਾਇਆ ਜਾ ਸਕਦਾ ਹੈ, ਜਿਵੇਂ ਕਿ ਤਿੰਨ-ਅਯਾਮੀ ਚਿੱਤਰ ਬਣਾਉਣਾ।

ਵੀਡੀਓ-LLaVA ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਟੂਲਕਿੱਟ ਦਾ ਪ੍ਰਕਾਸ਼ਨ ਵੀ ਧਿਆਨ ਦੇਣ ਯੋਗ ਹੈ, ਜੋ ਸਿਖਲਾਈ ਦੌਰਾਨ ਵਸਤੂ ਦੀਆਂ ਫੋਟੋਆਂ ਅਤੇ ਵੀਡੀਓ ਰਿਕਾਰਡਿੰਗਾਂ ਦੋਵਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਬਣਾਈ ਗਈ ਵਸਤੂ ਦੀ ਇੱਕ ਏਕੀਕ੍ਰਿਤ ਵਿਜ਼ੂਅਲ ਪ੍ਰਤੀਨਿਧਤਾ ਬਣਾਉਣ ਦੇ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ। ਸਿਸਟਮ ਦੀ ਵਰਤੋਂ, ਉਦਾਹਰਣ ਵਜੋਂ, ਤਸਵੀਰਾਂ ਅਤੇ ਵੀਡੀਓ ਵਿੱਚ ਇੱਕੋ ਵਸਤੂ ਦੀ ਮੌਜੂਦਗੀ ਨੂੰ ਪਛਾਣਨ ਲਈ ਕੀਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਕੋਡ ਪਾਈਥਨ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ ਅਪਾਚੇ 2.0 ਲਾਇਸੈਂਸ ਦੇ ਤਹਿਤ ਵੰਡਿਆ ਗਿਆ ਹੈ।

ਸਰੋਤ: opennet.ru