დაინერგა სტაბილური ვიდეო დიფუზიის ვიდეო სინთეზის სისტემა

Stability AI-მ გამოაქვეყნა მანქანური სწავლების მოდელი, Stable Video Diffusion, რომელსაც შეუძლია სურათებიდან მოკლე ვიდეოების გენერირება. მოდელი აფართოებს Stable Diffusion პროექტის შესაძლებლობებს, რომელიც ადრე სტატიკური სურათების სინთეზირებით შემოიფარგლებოდა. ნეირონული ქსელის ტრენინგისა და სურათების გენერირების ინსტრუმენტების კოდი დაწერილია Python-ში PyTorch ჩარჩოს გამოყენებით და გამოქვეყნებულია MIT ლიცენზიით. გაწვრთნილი მოდელები ღია კოდითაა ხელმისაწვდომი Creative ML OpenRAIL-M ნებართვითი ლიცენზიით, რაც კომერციული გამოყენების საშუალებას იძლევა.

ჩამოსატვირთად ხელმისაწვდომია მოდელის ორი ვარიანტი: SVD (Stable Video Diffusion), რომელიც მოცემული სტატიკური გამოსახულების საფუძველზე წარმოქმნის 14 კადრს 576×1024 გარჩევადობით და SVD-XT, რომელიც წარმოქმნის 25 კადრს. ვიდეოს გენერირება შესაძლებელია როგორც უმოძრაოდ, ასევე კამერის ძალიან ნელი ბრუნვით, არაუმეტეს 4 წამისა. მოდელის პირდაპირი კონტროლი ბუნებრივი ენის ტექსტზე დაყრდნობით ჯერ არ არის მხარდაჭერილი, მაგრამ შესაძლებელია თავდაპირველად წყაროს გამოსახულების მომზადება ძველი Stable Diffusion 2.1 მოდელის გამოყენებით და შემდეგ მისი ვიდეოდ გარდაქმნა SVD მოდელის გამოყენებით.

ვიდეოს ხარისხი ჯერ კიდევ ვერ უზრუნველყოფს სრულყოფილ ფოტორეალიზმს ან სახეებისა და ადამიანების გარანტირებულ ზუსტ რენდერირებას. შესრულების თვალსაზრისით, შემოთავაზებული ღია კოდის მოდელი აღემატება Runway-სა და Pika Labs-ის საკუთრებაში არსებულ ანალოგებს. მოდელის ადაპტირება სხვადასხვა ამოცანებისთვის, მაგალითად, სამგანზომილებიანი ფიგურების შესაქმნელად, მარტივია.

ასევე აღსანიშნავია Video-LLaVA მანქანური სწავლების ინსტრუმენტარიუმის გამოქვეყნება, რომელიც საშუალებას იძლევა შეიქმნას ობიექტის ერთიანი ვიზუალური წარმოდგენა, რომელიც ჩამოყალიბებულია ობიექტის როგორც ფოტოების, ასევე ვიდეოჩანაწერების გამოყენებით ტრენინგის დროს. სისტემის გამოყენება შესაძლებელია, მაგალითად, სურათებსა და ვიდეოებში ერთი და იგივე ობიექტების არსებობის ამოსაცნობად. კოდი დაწერილია Python-ში და გავრცელებულია Apache 2.0 ლიცენზიით.

წყარო: opennet.ru