स्थिर प्रसार 2.0 छवि संश्लेषण प्रणाली शुरू की गई

स्टेबिलिटी एआई ने स्टेबल डिफ्यूजन मशीन लर्निंग सिस्टम का दूसरा संस्करण प्रकाशित किया है, जो प्रस्तावित टेम्पलेट या प्राकृतिक भाषा पाठ विवरण के आधार पर छवियों को संश्लेषित और संशोधित करने में सक्षम है। तंत्रिका नेटवर्क प्रशिक्षण और छवि निर्माण उपकरण के लिए कोड PyTorch फ्रेमवर्क का उपयोग करके Python में लिखा गया है और MIT लाइसेंस के तहत प्रकाशित किया गया है। पहले से ही प्रशिक्षित मॉडल अनुमेय क्रिएटिव एमएल ओपनरेल-एम लाइसेंस के तहत खुले हैं, जो व्यावसायिक उपयोग की अनुमति देते हैं। इसके अतिरिक्त, एक डेमो ऑनलाइन छवि जनरेटर उपलब्ध है।

स्टेबल डिफ्यूजन के नए संस्करण में प्रमुख सुधार:

• पाठ विवरण के आधार पर छवि संश्लेषण के लिए एक नया मॉडल बनाया गया है - SD2.0-v, जो 768x768 के रिज़ॉल्यूशन के साथ छवियों के निर्माण का समर्थन करता है। नए मॉडल को LAION-5B संग्रह का उपयोग करके प्रशिक्षित किया गया है, जिसमें पाठ विवरण के साथ 5.85 बिलियन छवियां शामिल हैं। मॉडल स्टेबल डिफ्यूजन 1.5 मॉडल के समान मापदंडों के सेट का उपयोग करता है, लेकिन मौलिक रूप से भिन्न OpenCLIP-ViT/H एनकोडर के उपयोग में परिवर्तन में भिन्नता है, जिससे परिणामी छवियों की गुणवत्ता में काफी सुधार हुआ है।
• SD2.0-बेस का एक सरलीकृत संस्करण तैयार किया गया है, जिसे शास्त्रीय शोर भविष्यवाणी मॉडल का उपयोग करके 256×256 छवियों पर प्रशिक्षित किया गया है और 512×512 के रिज़ॉल्यूशन के साथ छवियों की पीढ़ी का समर्थन किया गया है।
• स्थानिक स्केलिंग और विस्तार पुनर्निर्माण एल्गोरिदम का उपयोग करके, गुणवत्ता को कम किए बिना मूल छवि के रिज़ॉल्यूशन को बढ़ाने के लिए सुपरसैंपलिंग तकनीक (सुपर रिज़ॉल्यूशन) का उपयोग करना संभव है। प्रदान किया गया इमेज प्रोसेसिंग मॉडल (एसडी20-अपस्केलर) चार गुना ज़ूम का समर्थन करता है, जो 2048x2048 के रिज़ॉल्यूशन के साथ छवियों के निर्माण की अनुमति देता है।
• वस्तुओं की गहराई और स्थानिक व्यवस्था को ध्यान में रखते हुए SD2.0-depth2img मॉडल प्रस्तावित है। मोनोकुलर गहराई अनुमान के लिए, MiDaS प्रणाली का उपयोग किया जाता है। मॉडल आपको टेम्पलेट के रूप में किसी अन्य छवि का उपयोग करके नई छवियों को संश्लेषित करने की अनुमति देता है, जो मूल से मौलिक रूप से भिन्न हो सकता है, लेकिन समग्र संरचना और गहराई को बनाए रखता है। उदाहरण के लिए, आप किसी तस्वीर में किसी व्यक्ति की मुद्रा का उपयोग उसी मुद्रा में कोई अन्य पात्र बनाने के लिए कर सकते हैं।
• छवियों को संशोधित करने के लिए मॉडल को अद्यतन किया गया है - एसडी 2.0-इनपेंटिंग, जो आपको टेक्स्ट संकेतों का उपयोग करके छवि के कुछ हिस्सों को बदलने और बदलने की अनुमति देता है।
• मॉडलों को एकल जीपीयू के साथ पारंपरिक प्रणालियों पर उपयोग के लिए अनुकूलित किया गया है।

स्रोत: opennet.ru