स्थिर भिडियो प्रसार भिडियो संश्लेषण प्रणाली प्रस्तुत गरियो

स्टेबिलिटी एआईले मेसिन लर्निङ मोडेल, स्टेबल भिडियो डिफ्युजन प्रकाशित गरेको छ, जसले छविहरूबाट छोटो भिडियोहरू उत्पन्न गर्न सक्छ। यो मोडेलले स्टेबल डिफ्युजन परियोजनाको क्षमताहरू विस्तार गर्दछ, जुन पहिले स्थिर छविहरू संश्लेषण गर्न सीमित थियो। न्यूरल नेटवर्क प्रशिक्षण र छवि उत्पादन उपकरणहरूको लागि कोड पाइथोर्च फ्रेमवर्क प्रयोग गरेर पाइथनमा लेखिएको छ र MIT लाइसेन्स अन्तर्गत प्रकाशित गरिएको छ। प्रशिक्षित मोडेलहरू क्रिएटिभ ML OpenRAIL-M अनुमति लाइसेन्स अन्तर्गत खुला स्रोत हुन्, जसले व्यावसायिक प्रयोगलाई अनुमति दिन्छ।

डाउनलोडको लागि दुई मोडेल भेरियन्टहरू उपलब्ध छन्: SVD (स्थिर भिडियो प्रसार), जसले दिइएको स्थिर छविमा आधारित ५७६×१०२४ रिजोल्युसनमा १४ फ्रेमहरू उत्पन्न गर्दछ, र SVD-XT, जसले २५ फ्रेमहरू उत्पन्न गर्दछ। भिडियो उत्पादन सम्भव छ, या त गतिहीन वा धेरै ढिलो क्यामेरा रोटेशनको साथ, ४ सेकेन्ड भन्दा बढी टिक्दैन। प्राकृतिक भाषा पाठमा आधारित मोडेलको प्रत्यक्ष नियन्त्रण अझै समर्थित छैन, तर पहिले पुरानो स्थिर प्रसार २.१ मोडेल प्रयोग गरेर स्रोत छवि तयार गर्न र त्यसपछि SVD मोडेल प्रयोग गरेर भिडियोमा रूपान्तरण गर्न सम्भव छ।

भिडियो गुणस्तरले अझै पनि पूर्ण फोटोरियलिज्म वा अनुहार र मानिसहरूको सही रेन्डरिङको ग्यारेन्टी प्रदान गर्दैन। कार्यसम्पादनको हिसाबले, प्रस्तावित खुला स्रोत मोडेलले रनवे र पिका ल्याब्सका स्वामित्व एनालगहरूलाई पछाडि पार्छ। मोडेललाई त्रि-आयामिक आकृतिहरू सिर्जना गर्ने जस्ता विभिन्न कार्यहरूमा सजिलै अनुकूलित गर्न सकिन्छ।

भिडियो-LLaVA मेसिन लर्निङ टूलकिटको प्रकाशन पनि उल्लेखनीय छ, जसले तालिमको क्रममा वस्तुको तस्बिर र भिडियो रेकर्डिङ दुवै प्रयोग गरेर बनाइएको वस्तुको एकीकृत दृश्य प्रतिनिधित्व सिर्जना गर्न सक्षम बनाउँछ। यो प्रणाली प्रयोग गर्न सकिन्छ, उदाहरणका लागि, छवि र भिडियोहरूमा समान वस्तुहरूको उपस्थिति पहिचान गर्न। कोड पाइथनमा लेखिएको छ र Apache 2.0 लाइसेन्स अन्तर्गत वितरण गरिएको छ।

स्रोत: opennet.ru