ਚਿੱਤਰ ਸੰਸਲੇਸ਼ਣ ਅਤੇ ਰਾਤ ਦੀਆਂ ਫੋਟੋਆਂ ਵਿੱਚ ਰੌਲਾ ਘਟਾਉਣ ਲਈ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰਣਾਲੀਆਂ

ਸਥਿਰਤਾ AI ਨੇ ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਸਿਸਟਮ ਲਈ ਤਿਆਰ ਕੀਤੇ ਮਾਡਲ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤੇ ਹਨ, ਜੋ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਵਿੱਚ ਟੈਕਸਟ ਵਰਣਨ ਦੇ ਆਧਾਰ 'ਤੇ ਚਿੱਤਰਾਂ ਨੂੰ ਸੰਸਲੇਸ਼ਣ ਅਤੇ ਸੋਧਣ ਦੇ ਸਮਰੱਥ ਹਨ। ਮਾਡਲਾਂ ਨੂੰ ਵਪਾਰਕ ਵਰਤੋਂ ਲਈ ਇੱਕ ਆਗਿਆਕਾਰੀ ਕਰੀਏਟਿਵ ML OpenRAIL-M ਲਾਇਸੰਸ ਦੇ ਅਧੀਨ ਲਾਇਸੰਸ ਦਿੱਤਾ ਜਾਂਦਾ ਹੈ। ਸਿਸਟਮ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ, 4000 NVIDIA A100 Ezra-1 GPU ਦਾ ਇੱਕ ਕਲੱਸਟਰ ਅਤੇ ਇੱਕ LAION-5B ਸੰਗ੍ਰਹਿ, ਜਿਸ ਵਿੱਚ ਟੈਕਸਟ ਵਰਣਨ ਦੇ ਨਾਲ 5.85 ਬਿਲੀਅਨ ਚਿੱਤਰ ਸ਼ਾਮਲ ਹਨ, ਦੀ ਵਰਤੋਂ ਕੀਤੀ ਗਈ ਸੀ। ਪਹਿਲਾਂ, ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਅਤੇ ਚਿੱਤਰ ਬਣਾਉਣ ਲਈ ਔਜ਼ਾਰਾਂ ਲਈ ਕੋਡ MIT ਲਾਇਸੰਸ ਦੇ ਤਹਿਤ ਓਪਨ-ਸੋਰਸਡ ਸੀ।

ਇੱਕ ਰੈਡੀਮੇਡ ਮਾਡਲ ਦੀ ਉਪਲਬਧਤਾ ਅਤੇ ਕਾਫ਼ੀ ਮਾਮੂਲੀ ਸਿਸਟਮ ਲੋੜਾਂ ਜੋ ਇੱਕ ਪੀਸੀ 'ਤੇ ਮਿਆਰੀ GPUs ਦੇ ਨਾਲ ਪ੍ਰਯੋਗ ਸ਼ੁਰੂ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦੀਆਂ ਹਨ, ਨੇ ਕਈ ਸੰਬੰਧਿਤ ਪ੍ਰੋਜੈਕਟਾਂ ਦੇ ਉਭਾਰ ਦਾ ਕਾਰਨ ਬਣਾਇਆ ਹੈ:

• ਟੈਕਸਟ-ਉਲਟ (ਕੋਡ) - ਇੱਕ ਐਡ-ਆਨ ਜੋ ਤੁਹਾਨੂੰ ਚਿੱਤਰਾਂ ਨੂੰ ਦਿੱਤੇ ਅੱਖਰ, ਵਸਤੂ ਜਾਂ ਸ਼ੈਲੀ ਨਾਲ ਸੰਸਲੇਸ਼ਣ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਮੂਲ ਸਥਿਰ ਪ੍ਰਸਾਰ ਵਿੱਚ, ਸਿੰਥੇਸਾਈਜ਼ਡ ਚਿੱਤਰਾਂ ਵਿੱਚ ਵਸਤੂਆਂ ਬੇਤਰਤੀਬ ਅਤੇ ਬੇਕਾਬੂ ਹੁੰਦੀਆਂ ਹਨ। ਪ੍ਰਸਤਾਵਿਤ ਐਡ-ਆਨ ਤੁਹਾਨੂੰ ਆਪਣੀਆਂ ਖੁਦ ਦੀਆਂ ਵਿਜ਼ੂਅਲ ਵਸਤੂਆਂ ਨੂੰ ਜੋੜਨ, ਉਹਨਾਂ ਨੂੰ ਕੀਵਰਡਸ ਨਾਲ ਜੋੜਨ ਅਤੇ ਸੰਸਲੇਸ਼ਣ ਵਿੱਚ ਵਰਤਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।

  ਉਦਾਹਰਨ ਲਈ, ਰੈਗੂਲਰ ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ ਵਿੱਚ ਤੁਸੀਂ ਸਿਸਟਮ ਨੂੰ "ਕੈਟ ਇਨ ਏ ਬੋਟ" ਨਾਲ ਇੱਕ ਚਿੱਤਰ ਬਣਾਉਣ ਲਈ ਕਹਿ ਸਕਦੇ ਹੋ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਤੁਸੀਂ ਬਿੱਲੀ ਅਤੇ ਕਿਸ਼ਤੀ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਸਪੱਸ਼ਟ ਕਰ ਸਕਦੇ ਹੋ, ਪਰ ਇਹ ਅੰਦਾਜ਼ਾ ਨਹੀਂ ਲਗਾਇਆ ਜਾ ਸਕਦਾ ਹੈ ਕਿ ਕਿਹੜੀ ਬਿੱਲੀ ਅਤੇ ਕਿਸ਼ਤੀ ਦਾ ਸੰਸ਼ਲੇਸ਼ਣ ਕੀਤਾ ਜਾਵੇਗਾ। ਟੈਕਸਟ-ਉਲਟ ਤੁਹਾਨੂੰ ਤੁਹਾਡੀ ਬਿੱਲੀ ਜਾਂ ਕਿਸ਼ਤੀ ਦੇ ਚਿੱਤਰ 'ਤੇ ਸਿਸਟਮ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਅਤੇ ਕਿਸੇ ਖਾਸ ਬਿੱਲੀ ਜਾਂ ਕਿਸ਼ਤੀ ਨਾਲ ਚਿੱਤਰ ਨੂੰ ਸੰਸਲੇਸ਼ਣ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਇਸੇ ਤਰ੍ਹਾਂ, ਇਹ ਚਿੱਤਰ ਤੱਤਾਂ ਨੂੰ ਕੁਝ ਵਸਤੂਆਂ ਨਾਲ ਬਦਲ ਸਕਦਾ ਹੈ, ਸੰਸਲੇਸ਼ਣ ਲਈ ਇੱਕ ਵਿਜ਼ੂਅਲ ਸ਼ੈਲੀ ਦੀ ਇੱਕ ਉਦਾਹਰਣ ਸੈਟ ਕਰ ਸਕਦਾ ਹੈ, ਅਤੇ ਸੰਕਲਪਾਂ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰ ਸਕਦਾ ਹੈ (ਉਦਾਹਰਣ ਵਜੋਂ, ਡਾਕਟਰਾਂ ਦੀ ਪੂਰੀ ਕਿਸਮ ਤੋਂ, ਤੁਸੀਂ ਇੱਕ ਵਧੇਰੇ ਸਹੀ ਅਤੇ ਉੱਚ-ਗੁਣਵੱਤਾ ਚੋਣ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ। ਲੋੜੀਦੀ ਸ਼ੈਲੀ ਵਿੱਚ).

  

• ਸਥਿਰ-ਪ੍ਰਸਾਰ-ਐਨੀਮੇਸ਼ਨ - ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ ਵਿੱਚ ਉਤਪੰਨ ਤਸਵੀਰਾਂ ਵਿਚਕਾਰ ਇੰਟਰਪੋਲੇਸ਼ਨ ਦੇ ਅਧਾਰ ਤੇ ਐਨੀਮੇਟਡ (ਮੂਵਿੰਗ) ਚਿੱਤਰਾਂ ਦੀ ਸਿਰਜਣਾ।
• stable_diffusion.openvino (ਕੋਡ) - ਸਥਿਰ ਪ੍ਰਸਾਰ ਦਾ ਇੱਕ ਪੋਰਟ, ਜੋ ਕਿ ਗਣਨਾ ਲਈ ਸਿਰਫ਼ CPU ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਜੋ ਸ਼ਕਤੀਸ਼ਾਲੀ GPUs ਤੋਂ ਬਿਨਾਂ ਸਿਸਟਮਾਂ 'ਤੇ ਪ੍ਰਯੋਗ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। OpenVINO ਲਾਇਬ੍ਰੇਰੀ ਵਿੱਚ ਸਮਰਥਿਤ ਪ੍ਰੋਸੈਸਰ ਦੀ ਲੋੜ ਹੈ। ਅਧਿਕਾਰਤ ਤੌਰ 'ਤੇ, ਓਪਨਵੀਨੋ AVX2, AVX-512, AVX512_BF16 ਅਤੇ SSE ਐਕਸਟੈਂਸ਼ਨਾਂ ਦੇ ਨਾਲ ਨਾਲ Raspberry Pi 4 Model B, Apple Mac mini ਅਤੇ NVIDIA Jetson ਨੈਨੋ ਬੋਰਡਾਂ ਲਈ Intel ਪ੍ਰੋਸੈਸਰਾਂ ਲਈ ਪਲੱਗਇਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। ਅਣਅਧਿਕਾਰਤ ਤੌਰ 'ਤੇ, AMD Ryzen ਪ੍ਰੋਸੈਸਰਾਂ 'ਤੇ OpenVINO ਦੀ ਵਰਤੋਂ ਕਰਨਾ ਸੰਭਵ ਹੈ।
• sdamd AMD GPUs ਲਈ ਇੱਕ ਪੋਰਟ ਹੈ।
• ਵੀਡੀਓ ਸੰਸਲੇਸ਼ਣ ਦਾ ਇੱਕ ਸ਼ੁਰੂਆਤੀ ਅਮਲ।
• stable-diffusion-gui, stable-diffusion-ui, Artbreeder Collage, diffuse-the-Rest - ਸਥਿਰ ਪ੍ਰਸਾਰ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਚਿੱਤਰ ਬਣਾਉਣ ਲਈ ਗ੍ਰਾਫਿਕਲ ਇੰਟਰਫੇਸ।
• beta.dreamstudio.ai, ਹੱਗਿੰਗ ਫੇਸ ਸਪੇਸ, hlky ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ WebUI - ਸਟੇਬਲ ਡਿਫਿਊਜ਼ਨ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਚਿੱਤਰ ਸੰਸਲੇਸ਼ਣ ਲਈ ਵੈੱਬ ਇੰਟਰਫੇਸ।
• GIMP, Figma, Blender ਅਤੇ Photoshop ਨਾਲ ਸਥਿਰ ਪ੍ਰਸਾਰ ਨੂੰ ਜੋੜਨ ਲਈ ਪਲੱਗਇਨ।

ਇਸ ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ RawNeRF (RAW Neural Radiance Fields) ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਸਿਸਟਮ ਦੇ ਕੋਡ ਦੇ Google ਦੁਆਰਾ ਪ੍ਰਕਾਸ਼ਨ ਨੂੰ ਨੋਟ ਕਰ ਸਕਦੇ ਹਾਂ, ਜੋ ਕਿ ਕਈ RAW ਚਿੱਤਰਾਂ ਦੇ ਡੇਟਾ ਦੇ ਅਧਾਰ ਤੇ, ਹਨੇਰੇ ਅਤੇ ਅੰਦਰਲੇ ਬਹੁਤ ਰੌਲੇ-ਰੱਪੇ ਵਾਲੀਆਂ ਤਸਵੀਰਾਂ ਦੀ ਗੁਣਵੱਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ। ਗਰੀਬ ਰੋਸ਼ਨੀ. ਸ਼ੋਰ ਨੂੰ ਖਤਮ ਕਰਨ ਤੋਂ ਇਲਾਵਾ, ਪ੍ਰੋਜੈਕਟ ਦੁਆਰਾ ਵਿਕਸਤ ਕੀਤੇ ਟੂਲ ਵੇਰਵੇ ਨੂੰ ਵਧਾਉਣਾ, ਚਮਕ ਨੂੰ ਖਤਮ ਕਰਨਾ, HDR ਦਾ ਸੰਸਲੇਸ਼ਣ ਕਰਨਾ ਅਤੇ ਫੋਟੋਆਂ ਵਿੱਚ ਸਮੁੱਚੀ ਰੋਸ਼ਨੀ ਨੂੰ ਬਦਲਣ ਦੇ ਨਾਲ-ਨਾਲ ਵੱਖ-ਵੱਖ ਕੋਣਾਂ ਤੋਂ ਕਈ ਤਸਵੀਰਾਂ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਵਸਤੂਆਂ ਦੀ ਤਿੰਨ-ਅਯਾਮੀ ਸਥਿਤੀ ਨੂੰ ਮੁੜ ਬਣਾਉਣਾ ਸੰਭਵ ਬਣਾਉਂਦੇ ਹਨ, ਦ੍ਰਿਸ਼ਟੀਕੋਣ ਨੂੰ ਬਦਲੋ, ਫੋਕਸ ਵਿੱਚ ਹੇਰਾਫੇਰੀ ਕਰੋ ਅਤੇ ਮੂਵਿੰਗ ਤਸਵੀਰਾਂ ਬਣਾਓ।

ਸਰੋਤ: opennet.ru