स्थिर प्रसार 2.0 प्रतिमा संश्लेषण प्रणाली सादर केली

स्थिरता AI ने स्टेबल डिफ्यूजन मशीन लर्निंग सिस्टमची दुसरी आवृत्ती प्रकाशित केली आहे, जी सुचवलेल्या टेम्प्लेट किंवा नैसर्गिक भाषेतील मजकूर वर्णनावर आधारित प्रतिमा संश्लेषित आणि सुधारित करण्यास सक्षम आहे. न्यूरल नेटवर्क प्रशिक्षण आणि प्रतिमा निर्मितीसाठी साधनांचा कोड PyTorch फ्रेमवर्क वापरून Python मध्ये लिहिलेला आहे आणि MIT परवान्याअंतर्गत प्रकाशित केला आहे. आधीच प्रशिक्षित मॉडेल क्रिएटिव्ह एमएल ओपनरेल-एम परवानग्या अंतर्गत खुले आहेत, जे व्यावसायिक वापरास परवानगी देतात. याव्यतिरिक्त, डेमो ऑनलाइन प्रतिमा जनरेटर उपलब्ध आहे.

स्थिर प्रसाराच्या नवीन आवृत्तीतील प्रमुख सुधारणा:

• मजकूर वर्णनावर आधारित प्रतिमा संश्लेषणासाठी एक नवीन मॉडेल — SD2.0-v — तयार केले गेले आहे, जे 768×768 च्या रिझोल्यूशनसह प्रतिमा तयार करण्यास समर्थन देते. नवीन मॉडेलला मजकूर वर्णनासह 5 अब्ज प्रतिमांचा LAION-5.85B संग्रह वापरून प्रशिक्षण देण्यात आले. मॉडेल स्टेबल डिफ्यूजन 1.5 मॉडेल प्रमाणेच पॅरामीटर्सचा संच वापरते, परंतु मूलभूतपणे भिन्न OpenCLIP-ViT/H एन्कोडर वापरण्याच्या संक्रमणामुळे भिन्न आहे, ज्यामुळे परिणामी प्रतिमांची गुणवत्ता लक्षणीयरीत्या सुधारणे शक्य झाले.
• एक सरलीकृत SD2.0-बेस आवृत्ती तयार केली गेली आहे, 256×256 प्रतिमांवर शास्त्रीय आवाज अंदाज मॉडेल वापरून प्रशिक्षित केले गेले आहे आणि 512×512 च्या रिझोल्यूशनसह प्रतिमा निर्मितीला समर्थन दिले आहे.
• स्पेसियल स्केलिंग आणि तपशीलांची पुनर्रचना करण्यासाठी अल्गोरिदम वापरून गुणवत्ता कमी न करता मूळ प्रतिमेचे रिझोल्यूशन वाढवण्यासाठी सुपरसॅम्पलिंग (सुपर रिझोल्यूशन) तंत्रज्ञान वापरण्याची शक्यता प्रदान केली जाते. प्रदान केलेले इमेज प्रोसेसिंग मॉडेल (SD20-upscaler) 2048x अपस्केलिंगला समर्थन देते, जे 2048×XNUMX च्या रिझोल्यूशनसह प्रतिमा तयार करू शकते.
• SD2.0-depth2img मॉडेल प्रस्तावित आहे, जे वस्तूंची खोली आणि अवकाशीय व्यवस्था विचारात घेते. MiDaS प्रणाली मोनोक्युलर डेप्थ अंदाजासाठी वापरली जाते. मॉडेल आपल्याला टेम्पलेट म्हणून दुसरी प्रतिमा वापरून नवीन प्रतिमा संश्लेषित करण्यास अनुमती देते, जे मूळपेक्षा पूर्णपणे भिन्न असू शकते, परंतु एकूण रचना आणि खोली राखून ठेवते. उदाहरणार्थ, तुम्ही फोटोमधील एखाद्या व्यक्तीची पोझ वापरून त्याच पोझमध्ये दुसरे पात्र बनवू शकता.
• प्रतिमा सुधारित करण्यासाठी मॉडेल अद्यतनित केले गेले आहे - SD 2.0-inpainting, जे तुम्हाला मजकूर प्रॉम्प्ट वापरून प्रतिमेचे भाग बदलण्याची आणि बदलण्याची परवानगी देते.
• एका GPU सह पारंपारिक सिस्टीमवर वापरण्यासाठी मॉडेल्स ऑप्टिमाइझ केले गेले आहेत.

स्त्रोत: opennet.ru