ਨਵਾਂ ਓਪਨ ਸੋਰਸ ਇਮੇਜ ਸਿੰਥੇਸਿਸ ਸਿਸਟਮ ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ

ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਸਿਸਟਮ ਨਾਲ ਸਬੰਧਤ ਵਿਕਾਸ, ਜੋ ਕਿ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਵਿੱਚ ਟੈਕਸਟ ਵਰਣਨ ਦੇ ਆਧਾਰ 'ਤੇ ਚਿੱਤਰਾਂ ਦਾ ਸੰਸਲੇਸ਼ਣ ਕਰਦਾ ਹੈ, ਦੀ ਖੋਜ ਕੀਤੀ ਗਈ ਹੈ। ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਸਥਿਰਤਾ AI ਅਤੇ ਰਨਵੇਅ, Eleuther AI ਅਤੇ LAION ਸਮੁਦਾਇਆਂ, ਅਤੇ CompVis ਲੈਬ ਸਮੂਹ (ਮਿਊਨਿਖ ਯੂਨੀਵਰਸਿਟੀ ਵਿਖੇ ਕੰਪਿਊਟਰ ਵਿਜ਼ਨ ਅਤੇ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਖੋਜ ਪ੍ਰਯੋਗਸ਼ਾਲਾ) ਦੇ ਖੋਜਕਰਤਾਵਾਂ ਦੁਆਰਾ ਸਾਂਝੇ ਤੌਰ 'ਤੇ ਵਿਕਸਤ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ। ਸਮਰੱਥਾਵਾਂ ਅਤੇ ਨਤੀਜੇ ਦੀ ਗੁਣਵੱਤਾ ਦੇ ਪੱਧਰ ਦੇ ਸੰਦਰਭ ਵਿੱਚ, ਸਥਿਰ ਪ੍ਰਸਾਰ DALL-E 2 ਪ੍ਰੋਜੈਕਟ ਵਰਗਾ ਹੈ, ਪਰ ਇਸਨੂੰ ਖੁੱਲੇ ਅਤੇ ਜਨਤਕ ਤੌਰ 'ਤੇ ਉਪਲਬਧ ਵਜੋਂ ਵਿਕਸਤ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ। ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ ਨੂੰ ਲਾਗੂ ਕਰਨਾ ਪਾਇਥਨ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ MIT ਲਾਇਸੰਸ ਦੇ ਤਹਿਤ ਵੰਡਿਆ ਗਿਆ ਹੈ।

ਤਿਆਰ ਮਾਡਲ ਵਰਤਮਾਨ ਵਿੱਚ ਵਿਦਿਅਕ ਸੰਸਥਾਵਾਂ ਅਤੇ ਸੁਤੰਤਰ ਖੋਜਕਰਤਾਵਾਂ ਨੂੰ ਵੱਖਰੀ ਬੇਨਤੀ 'ਤੇ ਉਪਲਬਧ ਹਨ, ਪਰ ਵਿਕਾਸਕਾਰ ਟੈਸਟਿੰਗ ਪੂਰੀ ਹੋਣ ਅਤੇ ਪਹਿਲੀ ਰੀਲੀਜ਼ ਦੇ ਤਿਆਰ ਹੋਣ ਤੋਂ ਬਾਅਦ ਉਹਨਾਂ ਨੂੰ ਹਰੇਕ ਲਈ ਖੋਲ੍ਹਣ ਦਾ ਵਾਅਦਾ ਕਰਦੇ ਹਨ। ਸਿਸਟਮ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ, 4000 NVIDIA A100 Ezra-1 GPU ਦਾ ਇੱਕ ਕਲੱਸਟਰ ਅਤੇ ਇੱਕ LAION-5B ਸੰਗ੍ਰਹਿ, ਜਿਸ ਵਿੱਚ ਟੈਕਸਟ ਵਰਣਨ ਦੇ ਨਾਲ 5.85 ਬਿਲੀਅਨ ਚਿੱਤਰ ਸ਼ਾਮਲ ਹਨ, ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਸੀ। ਚਿੱਤਰ ਬਣਾਉਣ ਲਈ ਭਾਗਾਂ ਨੂੰ ਉਪਭੋਗਤਾ ਸਿਸਟਮਾਂ 'ਤੇ ਕੰਮ ਕਰਨ ਲਈ ਕਾਫ਼ੀ ਹਲਕੇ ਹੋਣ ਵਜੋਂ ਨੋਟ ਕੀਤਾ ਗਿਆ ਹੈ; ਉਦਾਹਰਨ ਲਈ, 512x512 ਦੇ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਨਾਲ ਚਿੱਤਰਾਂ ਨੂੰ ਸੰਸਲੇਸ਼ਣ ਕਰਨ ਲਈ, ਸਿਸਟਮ ਵਿੱਚ 10GB ਵੀਡੀਓ ਮੈਮੋਰੀ ਵਾਲਾ GPU ਕਾਫੀ ਹੈ।

ਟੈਕਸਟ ਵੇਰਵਿਆਂ ਦੇ ਅਧਾਰ 'ਤੇ ਚਿੱਤਰਾਂ ਨੂੰ ਸਿੰਥੇਸਾਈਜ਼ ਕਰਨ ਤੋਂ ਇਲਾਵਾ, ਚਿੱਤਰਾਂ ਨੂੰ ਸੰਸ਼ੋਧਿਤ ਕਰਨ ਲਈ ਇੱਕ ਵਿਕਲਪ ਪੇਸ਼ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਜੋ ਸਪੱਸ਼ਟ ਕਰਨ ਵਾਲੇ ਟੈਕਸਟ ਪ੍ਰੋਂਪਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ, ਯੋਜਨਾਬੱਧ ਸਕੈਚਾਂ ਤੋਂ ਤਸਵੀਰਾਂ ਤਿਆਰ ਕਰ ਸਕਦਾ ਹੈ, ਚਿੱਤਰਾਂ ਨੂੰ ਸੰਪਾਦਿਤ ਅਤੇ ਬਦਲ ਸਕਦਾ ਹੈ, ਜਾਂ ਜ਼ੂਮ ਇਨ ਕਰਨ ਵੇਲੇ ਗੁੰਮ ਗਏ ਵੇਰਵਿਆਂ ਨੂੰ ਬਹਾਲ ਕਰ ਸਕਦਾ ਹੈ। ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਟੈਕਸਟ ਕਮਾਂਡਾਂ ਦੇ ਅਧਾਰ ਤੇ ਵੀਡੀਓ ਸੰਪਾਦਨ ਲਈ ਸਥਿਰ ਪ੍ਰਸਾਰ ਵੀ ਵਿਕਾਸ ਵਿੱਚ ਹੈ।

ਸਰੋਤ: opennet.ru