ਸਥਿਰ ਪ੍ਰਸਾਰ 2.0 ਚਿੱਤਰ ਸੰਸਲੇਸ਼ਣ ਪ੍ਰਣਾਲੀ ਪੇਸ਼ ਕੀਤੀ ਗਈ

ਸਥਿਰਤਾ AI ਨੇ ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਸਿਸਟਮ ਦਾ ਦੂਜਾ ਐਡੀਸ਼ਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਹੈ, ਜੋ ਪ੍ਰਸਤਾਵਿਤ ਟੈਂਪਲੇਟ ਜਾਂ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਟੈਕਸਟ ਵਰਣਨ ਦੇ ਆਧਾਰ 'ਤੇ ਚਿੱਤਰਾਂ ਨੂੰ ਸੰਸਲੇਸ਼ਣ ਅਤੇ ਸੋਧਣ ਦੇ ਸਮਰੱਥ ਹੈ। ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਸਿਖਲਾਈ ਅਤੇ ਚਿੱਤਰ ਬਣਾਉਣ ਵਾਲੇ ਟੂਲਸ ਲਈ ਕੋਡ ਪਾਈਟੌਰਚ ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਪਾਈਥਨ ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ MIT ਲਾਇਸੈਂਸ ਦੇ ਤਹਿਤ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਹੈ। ਪਹਿਲਾਂ ਤੋਂ ਹੀ ਸਿਖਿਅਤ ਮਾੱਡਲ ਆਗਿਆਕਾਰੀ ਕਰੀਏਟਿਵ ML ਓਪਨਰੇਲ-ਐਮ ਲਾਇਸੰਸ ਦੇ ਅਧੀਨ ਖੁੱਲ੍ਹੇ ਹਨ, ਵਪਾਰਕ ਉਦੇਸ਼ਾਂ ਲਈ ਵਰਤੋਂ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦੇ ਹਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਇੱਕ ਡੈਮੋ ਔਨਲਾਈਨ ਚਿੱਤਰ ਜਨਰੇਟਰ ਉਪਲਬਧ ਹੈ।

ਸਥਿਰ ਪ੍ਰਸਾਰ ਦੇ ਨਵੇਂ ਐਡੀਸ਼ਨ ਵਿੱਚ ਮੁੱਖ ਸੁਧਾਰ:

• ਟੈਕਸਟ ਵਰਣਨ ਦੇ ਅਧਾਰ ਤੇ ਚਿੱਤਰ ਸੰਸਲੇਸ਼ਣ ਲਈ ਇੱਕ ਨਵਾਂ ਮਾਡਲ ਬਣਾਇਆ ਗਿਆ ਹੈ - SD2.0-v, ਜੋ ਕਿ 768x768 ਦੇ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਨਾਲ ਚਿੱਤਰਾਂ ਦੇ ਨਿਰਮਾਣ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ। ਨਵੇਂ ਮਾਡਲ ਨੂੰ LAION-5B ਸੰਗ੍ਰਹਿ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਹੈ, ਜਿਸ ਵਿੱਚ ਟੈਕਸਟ ਵਰਣਨ ਦੇ ਨਾਲ 5.85 ਬਿਲੀਅਨ ਚਿੱਤਰ ਸ਼ਾਮਲ ਹਨ। ਮਾਡਲ ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ 1.5 ਮਾਡਲ ਦੇ ਰੂਪ ਵਿੱਚ ਪੈਰਾਮੀਟਰਾਂ ਦੇ ਇੱਕੋ ਸੈੱਟ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਪਰ ਇੱਕ ਬੁਨਿਆਦੀ ਤੌਰ 'ਤੇ ਵੱਖਰੇ OpenCLIP-ViT/H ਏਨਕੋਡਰ ਦੀ ਵਰਤੋਂ ਲਈ ਪਰਿਵਰਤਨ ਵਿੱਚ ਵੱਖਰਾ ਹੈ, ਜਿਸ ਨੇ ਨਤੀਜੇ ਵਜੋਂ ਚਿੱਤਰਾਂ ਦੀ ਗੁਣਵੱਤਾ ਵਿੱਚ ਮਹੱਤਵਪੂਰਨ ਸੁਧਾਰ ਕੀਤਾ ਹੈ।
• SD2.0-ਬੇਸ ਦਾ ਇੱਕ ਸਰਲੀਕ੍ਰਿਤ ਸੰਸਕਰਣ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਹੈ, ਕਲਾਸੀਕਲ ਸ਼ੋਰ ਪੂਰਵ ਅਨੁਮਾਨ ਮਾਡਲ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ 256×256 ਚਿੱਤਰਾਂ 'ਤੇ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਹੈ ਅਤੇ 512×512 ਦੇ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਨਾਲ ਚਿੱਤਰਾਂ ਦੇ ਨਿਰਮਾਣ ਦਾ ਸਮਰਥਨ ਕਰਦੀ ਹੈ।
• ਸਥਾਨਿਕ ਸਕੇਲਿੰਗ ਅਤੇ ਵਿਸਥਾਰ ਪੁਨਰ ਨਿਰਮਾਣ ਐਲਗੋਰਿਦਮ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ, ਗੁਣਵੱਤਾ ਨੂੰ ਘਟਾਏ ਬਿਨਾਂ ਅਸਲੀ ਚਿੱਤਰ ਦੇ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਨੂੰ ਵਧਾਉਣ ਲਈ ਸੁਪਰਸੈਂਪਲਿੰਗ ਤਕਨਾਲੋਜੀ (ਸੁਪਰ ਰੈਜ਼ੋਲਿਊਸ਼ਨ) ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸੰਭਵ ਹੈ। ਪ੍ਰਦਾਨ ਕੀਤਾ ਗਿਆ ਚਿੱਤਰ ਪ੍ਰੋਸੈਸਿੰਗ ਮਾਡਲ (SD20-upscaler) ਚਾਰ ਗੁਣਾ ਜ਼ੂਮ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਜੋ 2048x2048 ਦੇ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਨਾਲ ਚਿੱਤਰ ਬਣਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।
• ਵਸਤੂਆਂ ਦੀ ਡੂੰਘਾਈ ਅਤੇ ਸਥਾਨਿਕ ਵਿਵਸਥਾ ਨੂੰ ਧਿਆਨ ਵਿੱਚ ਰੱਖਦੇ ਹੋਏ, SD2.0-depth2img ਮਾਡਲ ਪ੍ਰਸਤਾਵਿਤ ਹੈ। ਮੋਨੋਕੂਲਰ ਡੂੰਘਾਈ ਦੇ ਅਨੁਮਾਨ ਲਈ, MiDaS ਸਿਸਟਮ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ। ਮਾਡਲ ਤੁਹਾਨੂੰ ਟੈਂਪਲੇਟ ਦੇ ਤੌਰ 'ਤੇ ਕਿਸੇ ਹੋਰ ਚਿੱਤਰ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਨਵੇਂ ਚਿੱਤਰਾਂ ਦਾ ਸੰਸਲੇਸ਼ਣ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਜੋ ਅਸਲ ਤੋਂ ਬਿਲਕੁਲ ਵੱਖਰੀ ਹੋ ਸਕਦੀ ਹੈ, ਪਰ ਸਮੁੱਚੀ ਰਚਨਾ ਅਤੇ ਡੂੰਘਾਈ ਨੂੰ ਬਣਾਈ ਰੱਖਦੀ ਹੈ। ਉਦਾਹਰਨ ਲਈ, ਤੁਸੀਂ ਉਸੇ ਪੋਜ਼ ਵਿੱਚ ਇੱਕ ਹੋਰ ਪਾਤਰ ਬਣਾਉਣ ਲਈ ਇੱਕ ਫੋਟੋ ਵਿੱਚ ਇੱਕ ਵਿਅਕਤੀ ਦੇ ਪੋਜ਼ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ।
• ਚਿੱਤਰਾਂ ਨੂੰ ਸੋਧਣ ਲਈ ਮਾਡਲ ਅੱਪਡੇਟ ਕੀਤਾ ਗਿਆ ਹੈ - SD 2.0-ਇਨਪੇਂਟਿੰਗ, ਜੋ ਤੁਹਾਨੂੰ ਟੈਕਸਟ ਪ੍ਰੋਂਪਟ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਚਿੱਤਰ ਦੇ ਭਾਗਾਂ ਨੂੰ ਬਦਲਣ ਅਤੇ ਬਦਲਣ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ।
• ਮਾਡਲਾਂ ਨੂੰ ਇੱਕ ਸਿੰਗਲ GPU ਨਾਲ ਰਵਾਇਤੀ ਪ੍ਰਣਾਲੀਆਂ 'ਤੇ ਵਰਤਣ ਲਈ ਅਨੁਕੂਲ ਬਣਾਇਆ ਗਿਆ ਹੈ।

ਸਰੋਤ: opennet.ru