🥇स्टेबल डिफ्यूजन २.० छवि संश्लेषण प्रणाली प्रस्तुत गरियो

स्थिरता AI ले स्टेबल डिफ्युजन मेसिन लर्निङ प्रणालीको दोस्रो संस्करण प्रकाशित गरेको छ, जुन सुझाव गरिएको ढाँचा वा प्राकृतिक भाषा पाठ विवरणमा आधारित छविहरू संश्लेषण र परिमार्जन गर्न सक्षम छ। तंत्रिका नेटवर्क प्रशिक्षण र छवि उत्पादनको लागि उपकरणहरूको कोड PyTorch फ्रेमवर्क प्रयोग गरेर Python मा लेखिएको छ र MIT लाइसेन्स अन्तर्गत प्रकाशित छ। पहिले नै प्रशिक्षित मोडेलहरू क्रिएटिभ ML OpenRAIL-M अनुमति लाइसेन्स अन्तर्गत खुला छन्, जसले व्यावसायिक प्रयोगलाई अनुमति दिन्छ। थप रूपमा, एक डेमो अनलाइन छवि जनरेटर उपलब्ध छ।

स्थिर प्रसारको नयाँ संस्करणमा मुख्य सुधारहरू:

पाठ विवरणमा आधारित छवि संश्लेषणको लागि नयाँ मोडेल — SD2.0-v — सिर्जना गरिएको छ, जसले 768×768 को रिजोल्युसनको साथ छविहरूको उत्पादनलाई समर्थन गर्दछ। नयाँ मोडेललाई पाठ विवरणसहित ५.८५ बिलियन तस्बिरहरूको LAION-5B संग्रह प्रयोग गरी तालिम दिइएको थियो। मोडेलले स्थिर प्रसार 5.85 मोडेलको रूपमा समान सेट प्यारामिटरहरू प्रयोग गर्दछ, तर मौलिक रूपमा फरक OpenCLIP-ViT/H एन्कोडर प्रयोग गर्न संक्रमणद्वारा भिन्न हुन्छ, जसले परिणामित छविहरूको गुणस्तरमा उल्लेखनीय सुधार गर्न सम्भव बनायो।
SD2.0-base को एक सरलीकृत संस्करण तयार गरिएको छ, 256×256 छविहरूमा शास्त्रीय शोर भविष्यवाणी मोडेल र 512x512 को रिजोल्युसनको साथ समर्थन छवि उत्पादन प्रयोग गरेर प्रशिक्षित।
सुपरस्याम्पलिङ (सुपर रिजोल्युसन) को प्रविधि प्रयोग गर्ने सम्भाव्यता स्पेसियल स्केलिंग र विवरणहरूको पुनर्निर्माणको लागि एल्गोरिदम प्रयोग गरी गुणस्तर घटाउन बिना मूल छविको रिजोल्युसन बढाउन प्रदान गरिएको छ। प्रदान गरिएको छवि प्रशोधन मोडेल (SD20-upscaler) ले 2048x अपस्केलिंगलाई समर्थन गर्दछ, जसले 2048×XNUMX को रिजोल्युसनका साथ छविहरू उत्पन्न गर्न सक्छ।
SD2.0-depth2img मोडेल प्रस्ताव गरिएको छ, जसले वस्तुहरूको गहिराइ र स्थानिय व्यवस्थालाई ध्यानमा राख्छ। MiDaS प्रणाली मोनोकुलर गहिराई अनुमानको लागि प्रयोग गरिन्छ। मोडेलले तपाइँलाई टेम्प्लेटको रूपमा अर्को छवि प्रयोग गरेर नयाँ छविहरू संश्लेषण गर्न अनुमति दिन्छ, जुन मूल भन्दा पूर्ण रूपमा फरक हुन सक्छ, तर समग्र संरचना र गहिराइ कायम राख्छ। उदाहरण को लागी, तपाईले फोटोमा एक व्यक्तिको पोज प्रयोग गर्न सक्नुहुनेछ उही पोजमा अर्को क्यारेक्टर बनाउन।
छविहरू परिमार्जन गर्ने मोडेल अद्यावधिक गरिएको छ - SD 2.0-inpainting, जसले तपाईंलाई पाठ प्रम्प्टहरू प्रयोग गरेर छविको भागहरू बदल्न र परिवर्तन गर्न अनुमति दिन्छ।
मोडेलहरू एकल GPU संग परम्परागत प्रणालीहरूमा प्रयोगको लागि अनुकूलित गरिएको छ।

स्रोत: opennet.ru

स्थिर प्रसार 2.0 छवि संश्लेषण प्रणाली प्रस्तुत गरियो

एक टिप्पणी थप्न Отменить ответ