Stability AI a publicat un model de învățare automată numit Stable Video Diffusion, care poate genera videoclipuri scurte din imagini. Modelul extinde capacitățile proiectului Stable Diffusion, limitat anterior la sinteza imaginilor statice. Codul pentru instrumentele de formare a rețelei neuronale și de generare de imagini este scris în Python folosind cadrul PyTorch și publicat sub licența MIT. Modelele deja instruite sunt deschise sub licența permisivă Creative ML OpenRAIL-M, permițând utilizarea comercială.
Există două opțiuni de model disponibile pentru descărcare: SVD (Stable Video Diffusion) pentru generarea a 14 cadre cu o rezoluție de 576x1024 bazată pe o anumită imagine statică și SVD-XT pentru generarea a 25 de cadre. Este posibil să se genereze video fără mișcare sau cu rotirea foarte lentă a camerei, care nu durează mai mult de 4 secunde. Controlul direct al modelului bazat pe descrierea textului în limbaj natural nu este încă acceptat, dar puteți pregăti mai întâi imaginea originală folosind vechiul model Stable Diffusion 2.1 și apoi o puteți converti în video folosind modelul SVD.
Calitatea video nu oferă încă un fotorealism ideal și o redare corectă garantată a fețelor și a oamenilor. În ceea ce privește performanța, modelul deschis propus este înaintea analogilor de proprietate de la Runway și Pika Labs. Modelul poate fi adaptat cu ușurință pentru a rezolva diverse probleme, de exemplu, poate fi folosit pentru a forma figuri tridimensionale.
În plus, putem remarca publicarea setului de instrumente de învățare automată Video-LLaVA, care vă permite să creați o reprezentare vizuală unificată a unui obiect, formată pe baza utilizării simultane a fotografiilor și înregistrărilor video ale obiectelor în timpul antrenamentului. Sistemul poate fi folosit, de exemplu, pentru a recunoaște prezența acelorași obiecte în imagini și videoclipuri. Codul este scris în Python și distribuit sub licența Apache 2.0.
Sursa: opennet.ru
