पाठ विवरण के आधार पर छवि संश्लेषण के लिए मशीन लर्निंग सिस्टम का कार्यान्वयन

OpenAI द्वारा प्रस्तावित मशीन लर्निंग सिस्टम DALL-E 2 का एक खुला कार्यान्वयन प्रकाशित किया गया है और यह आपको प्राकृतिक भाषा में पाठ विवरण के आधार पर यथार्थवादी छवियों और चित्रों को संश्लेषित करने की अनुमति देता है, साथ ही छवियों को संपादित करने के लिए प्राकृतिक भाषा में कमांड लागू करने की अनुमति देता है ( उदाहरण के लिए, छवि में ऑब्जेक्ट जोड़ें, हटाएं या स्थानांतरित करें)। OpenAI के मूल DALL-E 2 मॉडल प्रकाशित नहीं हुए हैं, लेकिन विधि का विवरण देने वाला एक पेपर उपलब्ध है। मौजूदा विवरण के आधार पर, स्वतंत्र शोधकर्ताओं ने पायटोरच फ्रेमवर्क का उपयोग करके पायथन में लिखित एक वैकल्पिक कार्यान्वयन तैयार किया है और एमआईटी लाइसेंस के तहत वितरित किया है।

पहली पीढ़ी के DALL-E के पहले प्रकाशित कार्यान्वयन की तुलना में, नया संस्करण विवरण के साथ छवि का अधिक सटीक मिलान प्रदान करता है, अधिक फोटोरियलिज्म की अनुमति देता है और उच्च रिज़ॉल्यूशन में छवियां उत्पन्न करना संभव बनाता है। मॉडल को प्रशिक्षित करने के लिए सिस्टम को बड़े संसाधनों की आवश्यकता होती है, उदाहरण के लिए, DALL-E 2 के मूल संस्करण को प्रशिक्षित करने के लिए GPU पर 100-200 हजार घंटे की कंप्यूटिंग की आवश्यकता होती है। 2 एनवीडिया टेस्ला वी4 जीपीयू के साथ लगभग 256-100 सप्ताह की गणना।

उसी लेखक ने एक विस्तारित संस्करण - DALLE2 वीडियो भी विकसित करना शुरू किया, जिसका उद्देश्य पाठ विवरण से वीडियो को संश्लेषित करना था। अलग से, हम पहली पीढ़ी के DALL-E के खुले कार्यान्वयन के साथ, Sberbank द्वारा विकसित ru-dall परियोजना को नोट कर सकते हैं, जिसे रूसी में विवरणों को पहचानने के लिए अनुकूलित किया गया है।

स्रोत: opennet.ru