Uzņēmums “Stability AI” ir publicējis mašīnmācīšanās modeli “Stable Video Diffusion”, kas var ģenerēt īsus video no attēliem. Modelis paplašina “Stable Diffusion” projekta iespējas, kas iepriekš aprobežojās ar statisku attēlu sintezēšanu. Neironu tīkla apmācības un attēlu ģenerēšanas rīku kods ir rakstīts Python valodā, izmantojot PyTorch ietvaru, un publicēts saskaņā ar MIT licenci. Apmācītie modeļi ir atvērtā koda saskaņā ar Creative ML OpenRAIL-M atļaujošo licenci, kas ļauj tos izmantot komerciāliem mērķiem.
Lejupielādei ir pieejami divi modeļa varianti: SVD (Stable Video Diffusion), kas ģenerē 14 kadrus ar izšķirtspēju 576×1024, pamatojoties uz doto statisko attēlu, un SVD-XT, kas ģenerē 25 kadrus. Ir iespējama video ģenerēšana gan nekustīgā, gan ar ļoti lēnu kameras rotāciju, kas ilgst ne vairāk kā 4 sekundes. Tieša modeļa vadība, pamatojoties uz dabiskās valodas tekstu, vēl netiek atbalstīta, taču ir iespējams vispirms sagatavot avota attēlu, izmantojot vecāku Stable Diffusion 2.1 modeli, un pēc tam konvertēt to uz video, izmantojot SVD modeli.
Video kvalitāte vēl nenodrošina perfektu fotoreālismu vai garantēti precīzu seju un cilvēku atveidojumu. Veiktspējas ziņā piedāvātais atvērtā pirmkoda modelis pārspēj patentētus analogus no Runway un Pika Labs. Modeli var viegli pielāgot dažādiem uzdevumiem, piemēram, trīsdimensiju figūru izveidei.
Jāatzīmē arī Video-LLaVA mašīnmācīšanās rīku komplekta publicēšana, kas ļauj izveidot vienotu objekta vizuālo attēlojumu, izmantojot gan objekta fotogrāfijas, gan videoierakstus apmācības laikā. Sistēmu var izmantot, piemēram, lai atpazītu to pašu objektu klātbūtni attēlos un video. Kods ir rakstīts Python valodā un izplatīts saskaņā ar Apache 2.0 licenci.
Avots: opennet.ru
