मजकूर वर्णनावर आधारित प्रतिमा संश्लेषणासाठी मशीन शिक्षण प्रणालीची अंमलबजावणी

OpenAI द्वारे प्रस्तावित DALL-E 2 ची मशीन लर्निंग सिस्टीमची खुली अंमलबजावणी प्रकाशित करण्यात आली आहे आणि ती तुम्हाला नैसर्गिक भाषेतील मजकूराच्या वर्णनावर आधारित वास्तववादी प्रतिमा आणि पेंटिंगचे संश्लेषण करण्यास अनुमती देते, तसेच प्रतिमा संपादित करण्यासाठी नैसर्गिक भाषेत आदेश लागू करू देते ( उदाहरणार्थ, इमेजमध्ये ऑब्जेक्ट्स जोडा, हटवा किंवा हलवा). OpenAI ची मूळ DALL-E 2 मॉडेल्स प्रकाशित केलेली नाहीत, परंतु पद्धतीचा तपशील देणारा पेपर उपलब्ध आहे. विद्यमान वर्णनाच्या आधारे, स्वतंत्र संशोधकांनी पायटोर्च फ्रेमवर्क वापरून आणि एमआयटी परवान्याखाली वितरित केलेले, पायथॉनमध्ये लिहिलेले पर्यायी अंमलबजावणी तयार केली आहे.

DALL-E च्या पहिल्या पिढीच्या पूर्वी प्रकाशित केलेल्या अंमलबजावणीच्या तुलनेत, नवीन आवृत्ती वर्णनाशी प्रतिमेची अधिक अचूक जुळणी प्रदान करते, अधिक फोटोरिअलिझमला अनुमती देते आणि उच्च रिझोल्यूशनमध्ये प्रतिमा निर्माण करणे शक्य करते. मॉडेलला प्रशिक्षित करण्यासाठी सिस्टमला मोठ्या संसाधनांची आवश्यकता आहे; उदाहरणार्थ, DALL-E 2 च्या मूळ आवृत्तीचे प्रशिक्षण देण्यासाठी GPU वर 100-200 हजार तासांचे संगणन आवश्यक आहे, उदा. 2 NVIDIA Tesla V4 GPU सह सुमारे 256-100 आठवड्यांची गणना.

त्याच लेखकाने विस्तारित आवृत्ती विकसित करण्यास सुरुवात केली - DALLE2 व्हिडिओ, मजकूर वर्णनातून व्हिडिओ संश्लेषित करण्याच्या उद्देशाने. स्वतंत्रपणे, आम्ही Sberbank द्वारे विकसित केलेल्या ru-dalle प्रकल्पाची नोंद घेऊ शकतो, पहिल्या पिढीच्या DALL-E च्या खुल्या अंमलबजावणीसह, रशियन भाषेत वर्णन ओळखण्यासाठी रुपांतरित केले आहे.

स्त्रोत: opennet.ru