ਟੈਕਸਟ ਵਰਣਨ ਦੇ ਅਧਾਰ 'ਤੇ ਚਿੱਤਰ ਸੰਸਲੇਸ਼ਣ ਲਈ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਪ੍ਰਣਾਲੀ ਨੂੰ ਲਾਗੂ ਕਰਨਾ

ਓਪਨਏਆਈ ਦੁਆਰਾ ਪ੍ਰਸਤਾਵਿਤ ਮਸ਼ੀਨ ਲਰਨਿੰਗ ਸਿਸਟਮ DALL-E 2 ਦਾ ਇੱਕ ਖੁੱਲਾ ਅਮਲੀਕਰਨ ਪ੍ਰਕਾਸ਼ਿਤ ਕੀਤਾ ਗਿਆ ਹੈ ਅਤੇ ਤੁਹਾਨੂੰ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਵਿੱਚ ਟੈਕਸਟ ਵਰਣਨ ਦੇ ਅਧਾਰ ਤੇ ਯਥਾਰਥਵਾਦੀ ਚਿੱਤਰਾਂ ਅਤੇ ਪੇਂਟਿੰਗਾਂ ਨੂੰ ਸੰਸਲੇਸ਼ਣ ਕਰਨ ਦੇ ਨਾਲ-ਨਾਲ ਚਿੱਤਰਾਂ ਨੂੰ ਸੰਪਾਦਿਤ ਕਰਨ ਲਈ ਕੁਦਰਤੀ ਭਾਸ਼ਾ ਵਿੱਚ ਕਮਾਂਡਾਂ ਲਾਗੂ ਕਰਨ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ ( ਉਦਾਹਰਨ ਲਈ, ਚਿੱਤਰ ਵਿੱਚ ਵਸਤੂਆਂ ਨੂੰ ਸ਼ਾਮਲ ਕਰੋ, ਮਿਟਾਓ ਜਾਂ ਮੂਵ ਕਰੋ)। OpenAI ਦੇ ਮੂਲ DALL-E 2 ਮਾਡਲ ਪ੍ਰਕਾਸ਼ਿਤ ਨਹੀਂ ਕੀਤੇ ਗਏ ਹਨ, ਪਰ ਵਿਧੀ ਦਾ ਵੇਰਵਾ ਦੇਣ ਵਾਲਾ ਇੱਕ ਪੇਪਰ ਉਪਲਬਧ ਹੈ। ਮੌਜੂਦਾ ਵਰਣਨ ਦੇ ਆਧਾਰ 'ਤੇ, ਸੁਤੰਤਰ ਖੋਜਕਰਤਾਵਾਂ ਨੇ ਪਾਈਟੋਰਚ ਫਰੇਮਵਰਕ ਦੀ ਵਰਤੋਂ ਕਰਦੇ ਹੋਏ ਅਤੇ MIT ਲਾਇਸੈਂਸ ਦੇ ਤਹਿਤ ਵੰਡਿਆ ਗਿਆ, Python ਵਿੱਚ ਲਿਖਿਆ ਇੱਕ ਵਿਕਲਪਿਕ ਲਾਗੂਕਰਨ ਤਿਆਰ ਕੀਤਾ ਹੈ।

ਪਹਿਲੀ ਪੀੜ੍ਹੀ ਦੇ DALL-E ਦੇ ਪਹਿਲਾਂ ਪ੍ਰਕਾਸ਼ਿਤ ਲਾਗੂਕਰਨ ਦੀ ਤੁਲਨਾ ਵਿੱਚ, ਨਵਾਂ ਸੰਸਕਰਣ ਵਰਣਨ ਨਾਲ ਚਿੱਤਰ ਦਾ ਵਧੇਰੇ ਸਟੀਕ ਮੇਲ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ, ਵਧੇਰੇ ਫੋਟੋਰੀਅਲਿਜ਼ਮ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ ਅਤੇ ਉੱਚ ਰੈਜ਼ੋਲਿਊਸ਼ਨ ਵਿੱਚ ਚਿੱਤਰ ਬਣਾਉਣਾ ਸੰਭਵ ਬਣਾਉਂਦਾ ਹੈ। ਸਿਸਟਮ ਨੂੰ ਮਾਡਲ ਨੂੰ ਸਿਖਲਾਈ ਦੇਣ ਲਈ ਵੱਡੇ ਸਰੋਤਾਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਉਦਾਹਰਨ ਲਈ, DALL-E 2 ਦੇ ਅਸਲੀ ਸੰਸਕਰਣ ਦੀ ਸਿਖਲਾਈ ਲਈ GPU 'ਤੇ 100-200 ਹਜ਼ਾਰ ਘੰਟੇ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ, ਯਾਨੀ. 2 NVIDIA Tesla V4 GPUs ਦੇ ਨਾਲ ਲਗਭਗ 256-100 ਹਫ਼ਤਿਆਂ ਦੀ ਗਣਨਾ।

ਉਸੇ ਲੇਖਕ ਨੇ ਇੱਕ ਵਿਸਤ੍ਰਿਤ ਸੰਸਕਰਣ - DALLE2 ਵੀਡਿਓ ਨੂੰ ਵਿਕਸਤ ਕਰਨਾ ਸ਼ੁਰੂ ਕੀਤਾ, ਜਿਸਦਾ ਉਦੇਸ਼ ਇੱਕ ਟੈਕਸਟ ਵਰਣਨ ਤੋਂ ਵੀਡੀਓ ਨੂੰ ਸਿੰਥੇਸਾਈਜ਼ ਕਰਨਾ ਹੈ। ਵੱਖਰੇ ਤੌਰ 'ਤੇ, ਅਸੀਂ Sberbank ਦੁਆਰਾ ਵਿਕਸਤ ਕੀਤੇ ru-dalle ਪ੍ਰੋਜੈਕਟ ਨੂੰ ਨੋਟ ਕਰ ਸਕਦੇ ਹਾਂ, ਪਹਿਲੀ ਪੀੜ੍ਹੀ ਦੇ DALL-E ਦੇ ਖੁੱਲ੍ਹੇ ਅਮਲ ਦੇ ਨਾਲ, ਰੂਸੀ ਵਿੱਚ ਵਰਣਨ ਨੂੰ ਮਾਨਤਾ ਦੇਣ ਲਈ ਅਨੁਕੂਲਿਤ ਕੀਤਾ ਗਿਆ ਹੈ।

ਸਰੋਤ: opennet.ru