NVIDIA ਓਪਨ ਸੋਰਸ ਸਟਾਈਲਗਨ3, ਚਿਹਰੇ ਦੇ ਸੰਸਲੇਸ਼ਣ ਲਈ ਇੱਕ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰਣਾਲੀ

NVIDIA ਨੇ ਲੋਕਾਂ ਦੇ ਚਿਹਰਿਆਂ ਦੇ ਯਥਾਰਥਵਾਦੀ ਚਿੱਤਰਾਂ ਨੂੰ ਸੰਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੇ ਉਦੇਸ਼ ਨਾਲ ਜਨਰੇਟਿਵ ਐਡਵਰਸੇਰੀਅਲ ਨਿਊਰਲ ਨੈੱਟਵਰਕ (GAN) 'ਤੇ ਆਧਾਰਿਤ ਇੱਕ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਸਿਸਟਮ, StyleGAN3 ਲਈ ਸਰੋਤ ਕੋਡ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਹੈ। ਕੋਡ PyTorch ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਕੇ Python ਵਿੱਚ ਲਿਖਿਆ ਗਿਆ ਹੈ ਅਤੇ NVIDIA ਸੋਰਸ ਕੋਡ ਲਾਇਸੈਂਸ ਦੇ ਤਹਿਤ ਵੰਡਿਆ ਗਿਆ ਹੈ, ਜੋ ਵਪਾਰਕ ਵਰਤੋਂ 'ਤੇ ਪਾਬੰਦੀਆਂ ਲਾਉਂਦਾ ਹੈ।

Flickr-Faces-HQ (FFHQ) ਸੰਗ੍ਰਹਿ 'ਤੇ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਤਿਆਰ ਤਿਆਰ ਸਿਖਲਾਈ ਪ੍ਰਾਪਤ ਮਾਡਲ, ਜਿਸ ਵਿੱਚ ਲੋਕਾਂ ਦੇ ਚਿਹਰਿਆਂ ਦੀਆਂ 70 ਹਜ਼ਾਰ ਉੱਚ-ਗੁਣਵੱਤਾ (1024x1024) PNG ਤਸਵੀਰਾਂ ਸ਼ਾਮਲ ਹਨ, ਵੀ ਡਾਊਨਲੋਡ ਕਰਨ ਲਈ ਉਪਲਬਧ ਹਨ। ਇਸ ਤੋਂ ਇਲਾਵਾ, AFHQv2 (ਜਾਨਵਰਾਂ ਦੇ ਚਿਹਰਿਆਂ ਦੀਆਂ ਫੋਟੋਆਂ) ਅਤੇ ਮੈਟਫੇਸ (ਕਲਾਸੀਕਲ ਪੇਂਟਿੰਗ ਦੇ ਪੋਰਟਰੇਟ ਤੋਂ ਲੋਕਾਂ ਦੇ ਚਿਹਰਿਆਂ ਦੀਆਂ ਤਸਵੀਰਾਂ) ਸੰਗ੍ਰਹਿ ਦੇ ਆਧਾਰ 'ਤੇ ਬਣਾਏ ਗਏ ਮਾਡਲ ਹਨ। ਵਿਕਾਸ ਦਾ ਧਿਆਨ ਚਿਹਰਿਆਂ 'ਤੇ ਹੈ, ਪਰ ਸਿਸਟਮ ਨੂੰ ਕਿਸੇ ਵੀ ਵਸਤੂ, ਜਿਵੇਂ ਕਿ ਲੈਂਡਸਕੇਪ ਅਤੇ ਕਾਰਾਂ ਬਣਾਉਣ ਲਈ ਸਿਖਲਾਈ ਦਿੱਤੀ ਜਾ ਸਕਦੀ ਹੈ। ਇਸ ਤੋਂ ਇਲਾਵਾ, ਤੁਹਾਡੇ ਆਪਣੇ ਚਿੱਤਰ ਸੰਗ੍ਰਹਿ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਇੱਕ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਨੂੰ ਸਵੈ-ਸਿਖਲਾਈ ਲਈ ਟੂਲ ਪ੍ਰਦਾਨ ਕੀਤੇ ਜਾਂਦੇ ਹਨ। ਇੱਕ ਜਾਂ ਵੱਧ NVIDIA ਗ੍ਰਾਫਿਕਸ ਕਾਰਡਾਂ ਦੀ ਲੋੜ ਹੈ (Tesla V100 ਜਾਂ A100 GPU ਦੀ ਸਿਫ਼ਾਰਸ਼ ਕੀਤੀ ਗਈ), ਘੱਟੋ-ਘੱਟ 12 GB RAM, PyTorch 1.9 ਅਤੇ CUDA 11.1+ ਟੂਲਕਿੱਟ। ਨਤੀਜੇ ਵਜੋਂ ਚਿਹਰਿਆਂ ਦੇ ਨਕਲੀ ਸੁਭਾਅ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰਨ ਲਈ, ਇੱਕ ਵਿਸ਼ੇਸ਼ ਡਿਟੈਕਟਰ ਵਿਕਸਤ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ.

ਸਿਸਟਮ ਤੁਹਾਨੂੰ ਕਈ ਚਿਹਰਿਆਂ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਦੇ ਇੰਟਰਪੋਲੇਸ਼ਨ ਦੇ ਅਧਾਰ ਤੇ ਇੱਕ ਨਵੇਂ ਚਿਹਰੇ ਦੀ ਇੱਕ ਚਿੱਤਰ ਨੂੰ ਸੰਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ, ਉਹਨਾਂ ਦੀਆਂ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਜੋੜਦੇ ਹੋਏ, ਨਾਲ ਹੀ ਅੰਤਿਮ ਚਿੱਤਰ ਨੂੰ ਲੋੜੀਂਦੀ ਉਮਰ, ਲਿੰਗ, ਵਾਲਾਂ ਦੀ ਲੰਬਾਈ, ਮੁਸਕਰਾਹਟ ਦੇ ਅੱਖਰ, ਨੱਕ ਦੀ ਸ਼ਕਲ, ਚਮੜੀ ਦਾ ਰੰਗ, ਐਨਕਾਂ ਅਤੇ ਫੋਟੋ ਦਾ ਕੋਣ। ਜਨਰੇਟਰ ਚਿੱਤਰ ਨੂੰ ਸਟਾਈਲ ਦੇ ਸੰਗ੍ਰਹਿ ਦੇ ਰੂਪ ਵਿੱਚ ਸਮਝਦਾ ਹੈ, ਆਪਣੇ ਆਪ ਹੀ ਗੁਣਾਂ ਦੇ ਵੇਰਵਿਆਂ (ਫ੍ਰੀਕਲਸ, ਵਾਲ, ਗਲਾਸ) ਨੂੰ ਆਮ ਉੱਚ-ਪੱਧਰੀ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ (ਪੋਜ਼, ਲਿੰਗ, ਉਮਰ ਦੇ ਬਦਲਾਅ) ਤੋਂ ਵੱਖ ਕਰਦਾ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਉਹਨਾਂ ਨੂੰ ਕਿਸੇ ਵੀ ਰੂਪ ਵਿੱਚ ਦਬਦਬੇ ਦੇ ਨਿਰਧਾਰਨ ਨਾਲ ਜੋੜਨ ਦੀ ਇਜਾਜ਼ਤ ਦਿੰਦਾ ਹੈ. ਵਜ਼ਨ ਗੁਣਾਂਕ ਦੁਆਰਾ ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ। ਨਤੀਜੇ ਵਜੋਂ, ਤਸਵੀਰਾਂ ਤਿਆਰ ਕੀਤੀਆਂ ਜਾਂਦੀਆਂ ਹਨ ਜੋ ਅਸਲ ਤਸਵੀਰਾਂ ਤੋਂ ਵੱਖਰੀਆਂ ਹੁੰਦੀਆਂ ਹਨ।

StyleGAN ਤਕਨਾਲੋਜੀ ਦਾ ਪਹਿਲਾ ਸੰਸਕਰਣ 2019 ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਸੀ, ਜਿਸ ਤੋਂ ਬਾਅਦ 2020 ਵਿੱਚ StyleGAN2 ਦਾ ਇੱਕ ਸੁਧਾਰਿਆ ਸੰਸਕਰਣ ਪ੍ਰਸਤਾਵਿਤ ਕੀਤਾ ਗਿਆ ਸੀ, ਜਿਸ ਨਾਲ ਚਿੱਤਰ ਦੀ ਗੁਣਵੱਤਾ ਵਿੱਚ ਸੁਧਾਰ ਕੀਤਾ ਗਿਆ ਸੀ ਅਤੇ ਕੁਝ ਕਲਾਤਮਕ ਚੀਜ਼ਾਂ ਨੂੰ ਖਤਮ ਕੀਤਾ ਗਿਆ ਸੀ। ਉਸੇ ਸਮੇਂ, ਸਿਸਟਮ ਸਥਿਰ ਰਿਹਾ, ਯਾਨੀ. ਯਥਾਰਥਵਾਦੀ ਐਨੀਮੇਸ਼ਨ ਅਤੇ ਚਿਹਰੇ ਦੀ ਗਤੀ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰਨ ਦੀ ਇਜਾਜ਼ਤ ਨਹੀਂ ਦਿੱਤੀ. StyleGAN3 ਦਾ ਵਿਕਾਸ ਕਰਦੇ ਸਮੇਂ, ਮੁੱਖ ਟੀਚਾ ਐਨੀਮੇਸ਼ਨ ਅਤੇ ਵੀਡੀਓ ਵਿੱਚ ਇਸਦੀ ਵਰਤੋਂ ਲਈ ਤਕਨਾਲੋਜੀ ਨੂੰ ਅਨੁਕੂਲ ਬਣਾਉਣਾ ਸੀ।

StyleGAN3 ਇੱਕ ਮੁੜ-ਡਿਜ਼ਾਇਨ ਕੀਤੇ ਚਿੱਤਰ ਬਣਾਉਣ ਵਾਲੇ ਢਾਂਚੇ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ, ਅਲਾਈਸਿੰਗ ਤੋਂ ਮੁਕਤ, ਅਤੇ ਨਵੇਂ ਨਿਊਰਲ ਨੈੱਟਵਰਕ ਸਿਖਲਾਈ ਦ੍ਰਿਸ਼ਾਂ ਦਾ ਪ੍ਰਸਤਾਵ ਕਰਦਾ ਹੈ। ਇਸ ਵਿੱਚ ਇੰਟਰਐਕਟਿਵ ਵਿਜ਼ੂਅਲਾਈਜ਼ੇਸ਼ਨ (visualizer.py), ਵਿਸ਼ਲੇਸ਼ਣ (avg_spectra.py) ਅਤੇ ਵੀਡੀਓ ਜਨਰੇਸ਼ਨ (gen_video.py) ਲਈ ਨਵੀਆਂ ਉਪਯੋਗਤਾਵਾਂ ਸ਼ਾਮਲ ਹਨ। ਲਾਗੂ ਕਰਨ ਨਾਲ ਮੈਮੋਰੀ ਦੀ ਖਪਤ ਵੀ ਘਟਦੀ ਹੈ ਅਤੇ ਸਿੱਖਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਤੇਜ਼ ਹੋ ਜਾਂਦੀ ਹੈ।

StyleGAN3 ਆਰਕੀਟੈਕਚਰ ਦੀ ਇੱਕ ਮੁੱਖ ਵਿਸ਼ੇਸ਼ਤਾ ਨਿਰੰਤਰ ਪ੍ਰਕਿਰਿਆਵਾਂ ਦੇ ਰੂਪ ਵਿੱਚ ਨਿਊਰਲ ਨੈਟਵਰਕ ਵਿੱਚ ਸਾਰੇ ਸਿਗਨਲਾਂ ਦੀ ਵਿਆਖਿਆ ਕਰਨ ਲਈ ਪਰਿਵਰਤਨ ਸੀ, ਜਿਸ ਨਾਲ ਹਿੱਸੇ ਬਣਾਉਂਦੇ ਸਮੇਂ, ਉਹਨਾਂ ਅਨੁਸਾਰੀ ਸਥਿਤੀਆਂ ਵਿੱਚ ਹੇਰਾਫੇਰੀ ਕਰਨਾ ਸੰਭਵ ਹੋ ਗਿਆ ਸੀ ਜੋ ਵਿਅਕਤੀਗਤ ਪਿਕਸਲ ਦੇ ਸੰਪੂਰਨ ਨਿਰਦੇਸ਼ਾਂਕ ਨਾਲ ਨਹੀਂ ਜੁੜੀਆਂ ਹੁੰਦੀਆਂ ਹਨ। ਚਿੱਤਰ, ਪਰ ਚਿੱਤਰਿਤ ਵਸਤੂਆਂ ਦੀ ਸਤਹ 'ਤੇ ਸਥਿਰ ਹੈ। ਸਟਾਈਲਗਨ ਅਤੇ ਸਟਾਈਲਗਨ 2 ਵਿੱਚ, ਪੀੜ੍ਹੀ ਦੇ ਦੌਰਾਨ ਪਿਕਸਲ ਨਾਲ ਬੰਨ੍ਹਣ ਨਾਲ ਗਤੀਸ਼ੀਲ ਰੈਂਡਰਿੰਗ ਦੌਰਾਨ ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਹੁੰਦੀਆਂ ਹਨ, ਉਦਾਹਰਨ ਲਈ, ਜਦੋਂ ਚਿੱਤਰ ਨੂੰ ਮੂਵ ਕੀਤਾ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਛੋਟੇ ਵੇਰਵਿਆਂ ਦਾ ਮੇਲ ਨਹੀਂ ਖਾਂਦਾ ਸੀ, ਜਿਵੇਂ ਕਿ ਝੁਰੜੀਆਂ ਅਤੇ ਵਾਲ, ਜੋ ਬਾਕੀ ਦੇ ਚਿਹਰੇ ਤੋਂ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਘੁੰਮਦੇ ਜਾਪਦੇ ਸਨ। . StyleGAN3 ਵਿੱਚ, ਇਹ ਸਮੱਸਿਆਵਾਂ ਹੱਲ ਹੋ ਗਈਆਂ ਹਨ ਅਤੇ ਤਕਨਾਲੋਜੀ ਵੀਡੀਓ ਬਣਾਉਣ ਲਈ ਕਾਫ਼ੀ ਢੁਕਵੀਂ ਬਣ ਗਈ ਹੈ.

ਇਸ ਤੋਂ ਇਲਾਵਾ, ਅਸੀਂ "ਟ੍ਰਾਂਸਫਾਰਮਰ" ਆਰਕੀਟੈਕਚਰ ਵਾਲੇ ਡੂੰਘੇ ਨਿਊਰਲ ਨੈੱਟਵਰਕ 'ਤੇ ਆਧਾਰਿਤ ਸਭ ਤੋਂ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲ MT-NLG ਦੇ NVIDIA ਅਤੇ Microsoft ਦੁਆਰਾ ਸਿਰਜਣ ਦੀ ਘੋਸ਼ਣਾ ਨੂੰ ਨੋਟ ਕਰ ਸਕਦੇ ਹਾਂ। ਇਹ ਮਾਡਲ 530 ਬਿਲੀਅਨ ਪੈਰਾਮੀਟਰਾਂ ਨੂੰ ਕਵਰ ਕਰਦਾ ਹੈ, ਅਤੇ ਸਿਖਲਾਈ ਲਈ 4480 GPU (560 DGX A100 ਸਰਵਰ 8 A100 80GB GPUs ਨਾਲ) ਦਾ ਇੱਕ ਕਲੱਸਟਰ ਵਰਤਿਆ ਗਿਆ ਸੀ। ਮਾਡਲ ਦੀਆਂ ਐਪਲੀਕੇਸ਼ਨਾਂ ਵਿੱਚ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਪ੍ਰੋਸੈਸਿੰਗ ਸਮੱਸਿਆਵਾਂ ਨੂੰ ਹੱਲ ਕਰਨਾ ਸ਼ਾਮਲ ਹੈ, ਜਿਵੇਂ ਕਿ ਅਧੂਰੇ ਵਾਕਾਂ ਦੇ ਪੂਰਾ ਹੋਣ ਦੀ ਭਵਿੱਖਬਾਣੀ ਕਰਨਾ, ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣਾ, ਸਮਝ ਨੂੰ ਪੜ੍ਹਨਾ, ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਵਿੱਚ ਅਨੁਮਾਨਾਂ ਨੂੰ ਖਿੱਚਣਾ, ਅਤੇ ਸ਼ਬਦਾਂ ਦੇ ਅਰਥਾਂ ਨੂੰ ਅਸਪਸ਼ਟ ਕਰਨਾ।

ਸਰੋਤ: opennet.ru