نشرت Stability AI نموذجًا للتعلم الآلي يسمى Stable Video Diffusion والذي يمكنه إنشاء مقاطع فيديو قصيرة من الصور. يوسع النموذج قدرات مشروع Stable Diffusion، الذي كان يقتصر سابقًا على تركيب الصور الثابتة. تمت كتابة التعليمات البرمجية الخاصة بأدوات التدريب على الشبكات العصبية وإنشاء الصور بلغة Python باستخدام إطار عمل PyTorch وتم نشرها بموجب ترخيص MIT. النماذج المدربة بالفعل مفتوحة بموجب ترخيص Creative ML OpenRAIL-M المسموح به، مما يسمح بالاستخدام التجاري.
هناك خياران للنموذج متاحان للتنزيل: SVD (Stable Video Diffusion) لإنشاء 14 إطارًا بدقة 576x1024 استنادًا إلى صورة ثابتة معينة وSVD-XT لإنشاء 25 إطارًا. من الممكن إنشاء فيديو بدون حركة أو مع دوران بطيء جدًا للكاميرا، ولا يستمر أكثر من 4 ثوانٍ. التحكم المباشر في النموذج استنادًا إلى وصف النص باللغة الطبيعية غير مدعوم بعد، ولكن يمكنك أولاً إعداد الصورة الأصلية باستخدام نموذج Stable Diffusion 2.1 القديم ثم تحويلها إلى فيديو باستخدام نموذج SVD.
لا توفر جودة الفيديو بعد صورًا واقعية مثالية وتضمن العرض الصحيح للوجوه والأشخاص. من حيث الأداء، يتفوق النموذج المفتوح المقترح على نظائره المملوكة من Runway وPika Labs. يمكن تكييف النموذج بسهولة لحل المشكلات المختلفة، على سبيل المثال، يمكن استخدامه لتكوين أشكال ثلاثية الأبعاد.
بالإضافة إلى ذلك، يمكننا أن نلاحظ نشر مجموعة أدوات التعلم الآلي Video-LLaVA، والتي تتيح لك إنشاء تمثيل مرئي موحد لكائن ما، تم تشكيله بناءً على استخدام الصور الفوتوغرافية وتسجيلات الفيديو للكائنات في نفس الوقت أثناء التدريب. ويمكن استخدام النظام، على سبيل المثال، للتعرف على وجود نفس الكائنات في الصور ومقاطع الفيديو. الكود مكتوب بلغة Python ويتم توزيعه بموجب ترخيص Apache 2.0.
المصدر: opennet.ru
