नैसर्गिक भाषेतील मजकुराच्या वर्णनावर आधारित प्रतिमांचे संश्लेषण करणाऱ्या स्थिर प्रसार मशीन शिक्षण प्रणालीशी संबंधित विकास शोधण्यात आला आहे. हा प्रकल्प स्टॅबिलिटी AI आणि रनवे, Eleuther AI आणि LAION समुदाय आणि CompVis लॅब ग्रुप (म्युनिक विद्यापीठातील कॉम्प्युटर व्हिजन आणि मशीन लर्निंग संशोधन प्रयोगशाळा) यांच्या संशोधकांनी संयुक्तपणे विकसित केला आहे. क्षमता आणि निकालाच्या गुणवत्तेच्या पातळीच्या बाबतीत, स्थिर प्रसार DALL-E 2 प्रकल्पासारखे आहे, परंतु ते खुले आणि सार्वजनिकरित्या उपलब्ध म्हणून विकसित केले जात आहे. स्थिर प्रसाराची अंमलबजावणी पायथनमध्ये लिहिलेली आहे आणि MIT परवान्याअंतर्गत वितरित केली आहे.
तयार मॉडेल सध्या शैक्षणिक संस्था आणि स्वतंत्र संशोधकांना स्वतंत्र विनंती केल्यावर उपलब्ध आहेत, परंतु विकासक चाचणी पूर्ण झाल्यानंतर आणि पहिले प्रकाशन तयार झाल्यानंतर ते प्रत्येकासाठी उघडण्याचे आश्वासन देतात. प्रणालीला प्रशिक्षित करण्यासाठी, 4000 NVIDIA A100 Ezra-1 GPU चा क्लस्टर आणि LAION-5B संग्रह, मजकूर वर्णनासह 5.85 अब्ज प्रतिमांचा वापर करण्यात आला. प्रतिमा निर्मितीचे घटक वापरकर्ता सिस्टमवर कार्य करण्यासाठी पुरेसे हलके असल्याचे नोंदवले जाते; उदाहरणार्थ, 512x512 च्या रिझोल्यूशनसह प्रतिमा संश्लेषित करण्यासाठी, सिस्टममध्ये 10GB व्हिडिओ मेमरी असलेले GPU पुरेसे आहे.
मजकूर वर्णनावर आधारित प्रतिमांचे संश्लेषण करण्याव्यतिरिक्त, प्रतिमा सुधारण्यासाठी एक पर्याय ऑफर केला जातो, जो स्पष्टीकरण मजकूर प्रॉम्प्ट वापरून, योजनाबद्ध स्केचमधून चित्रे निर्माण करू शकतो, प्रतिमा संपादित आणि बदलू शकतो किंवा झूम इन करताना गमावलेले तपशील पुनर्संचयित करू शकतो. नैसर्गिक भाषेतील मजकूर आदेशांवर आधारित व्हिडिओ संपादनासाठी स्थिर प्रसार देखील विकसित होत आहे.
स्त्रोत: opennet.ru
