स्थिर वीडियो प्रसार वीडियो संश्लेषण प्रणाली शुरू की गई

स्टेबिलिटी एआई ने स्टेबल वीडियो डिफ्यूजन नामक एक मशीन लर्निंग मॉडल प्रकाशित किया है, जो छवियों से छोटे वीडियो बना सकता है। यह मॉडल स्टेबल डिफ्यूजन प्रोजेक्ट की क्षमताओं का विस्तार करता है, जो पहले स्थिर छवियों को संश्लेषित करने तक सीमित था। न्यूरल नेटवर्क को प्रशिक्षित करने और छवियों को बनाने के लिए उपकरणों का कोड PyTorch फ्रेमवर्क का उपयोग करके पायथन में लिखा गया है और MIT लाइसेंस के तहत प्रकाशित किया गया है। पहले से प्रशिक्षित मॉडल अनुमेय क्रिएटिव एमएल ओपनरेल-एम लाइसेंस के तहत खुले हैं, जो वाणिज्यिक उपयोग की अनुमति देता है।

डाउनलोड के लिए मॉडल के दो प्रकार उपलब्ध हैं: SVD (स्टेबल वीडियो डिफ्यूजन) जो किसी दिए गए स्थिर चित्र के आधार पर 14×576 के रिज़ॉल्यूशन के साथ 1024 फ़्रेम उत्पन्न करता है, और SVD-XT जो 25 फ़्रेम उत्पन्न करता है। बिना किसी हलचल के या बहुत धीमी कैमरा रोटेशन के साथ, 4 सेकंड से अधिक समय तक वीडियो उत्पन्न करना संभव है। प्राकृतिक भाषा में पाठ विवरण के आधार पर मॉडल का प्रत्यक्ष नियंत्रण अभी तक समर्थित नहीं है, लेकिन पुराने स्टेबल डिफ्यूजन 2.1 मॉडल का उपयोग करके पहले मूल छवि तैयार करना और फिर SVD मॉडल का उपयोग करके इसे वीडियो में परिवर्तित करना संभव है।

वीडियो की गुणवत्ता अभी तक आदर्श फोटोरियलिज्म और चेहरों और लोगों की सही रेंडरिंग की गारंटी नहीं देती है। प्रदर्शन के मामले में, प्रस्तावित ओपन मॉडल रनवे और पिका लैब्स के मालिकाना एनालॉग से आगे है। मॉडल को विभिन्न समस्याओं को हल करने के लिए आसानी से अनुकूलित किया जा सकता है, उदाहरण के लिए, इसका उपयोग वॉल्यूमेट्रिक आंकड़े बनाने के लिए किया जा सकता है।

इसके अतिरिक्त, वीडियो-LLaVA मशीन लर्निंग टूलकिट के प्रकाशन पर ध्यान देना ज़रूरी है, जो प्रशिक्षण के दौरान वस्तुओं की तस्वीरों और वीडियो रिकॉर्डिंग दोनों का उपयोग करके किसी वस्तु का एकल दृश्य प्रतिनिधित्व बनाने की अनुमति देता है। उदाहरण के लिए, सिस्टम का उपयोग छवियों और वीडियो में समान वस्तुओं की उपस्थिति को पहचानने के लिए किया जा सकता है। कोड पायथन में लिखा गया है और अपाचे 2.0 लाइसेंस के तहत वितरित किया गया है।

स्रोत: opennet.ru