पाठ विवरणमा आधारित छवि संश्लेषणको लागि मेसिन लर्निङ प्रणालीको कार्यान्वयन

OpenAI द्वारा प्रस्तावित मेसिन लर्निङ सिस्टम DALL-E 2 को खुला कार्यान्वयन प्रकाशित गरिएको छ र यसले तपाईंलाई प्राकृतिक भाषामा पाठ विवरणमा आधारित यथार्थवादी छविहरू र चित्रहरू संश्लेषण गर्न अनुमति दिन्छ, साथै छविहरू सम्पादन गर्न प्राकृतिक भाषामा आदेशहरू लागू गर्न अनुमति दिन्छ। उदाहरणका लागि, छविमा वस्तुहरू थप्नुहोस्, मेटाउनुहोस् वा सार्नुहोस्)। OpenAI को मूल DALL-E 2 मोडेलहरू प्रकाशित छैनन्, तर विधिको विवरण दिने कागज उपलब्ध छ। अवस्थित विवरणको आधारमा, स्वतन्त्र अन्वेषकहरूले Pytorch ढाँचा प्रयोग गरी पाइथनमा लेखिएको वैकल्पिक कार्यान्वयन तयार गरेका छन् र MIT लाइसेन्स अन्तर्गत वितरण गरिएको छ।

DALL-E को पहिलो पुस्ताको अघिल्लो प्रकाशित कार्यान्वयनको तुलनामा, नयाँ संस्करणले विवरणमा छविको अझ सटीक मिलान प्रदान गर्दछ, अझ ठूलो फोटोरियलिज्मको लागि अनुमति दिन्छ र उच्च रिजोल्युसनमा छविहरू उत्पन्न गर्न सम्भव बनाउँछ। प्रणालीलाई मोडेललाई प्रशिक्षित गर्न ठूलो स्रोत चाहिन्छ; उदाहरणका लागि, DALL-E 2 को मूल संस्करणलाई प्रशिक्षण दिन GPU मा 100-200 हजार घण्टा कम्प्युटिङ चाहिन्छ, अर्थात्। 2 NVIDIA Tesla V4 GPU को साथमा लगभग 256-100 हप्ताको गणना।

उही लेखकले विस्तारित संस्करण - DALLE2 भिडियो, पाठ विवरणबाट भिडियो संश्लेषण गर्ने उद्देश्यले विकास गर्न थाले। अलग रूपमा, हामी Sberbank द्वारा विकसित ru-dalle परियोजनालाई नोट गर्न सक्छौं, पहिलो पुस्ताको DALL-E को खुला कार्यान्वयनको साथ, रूसीमा वर्णनहरू पहिचान गर्न अनुकूलित।

स्रोत: opennet.ru