Stabiilsuse AI on avaldanud masinõppemudeli nimega Stable Video Diffusion, mis suudab luua piltidest lühikesi videoid. Mudel laiendab Stable Diffusion projekti võimalusi, mis varem piirdus staatiliste kujutiste sünteesiga. Närvivõrgu koolituse ja kujutiste genereerimise tööriistade kood on kirjutatud Pythonis, kasutades PyTorchi raamistikku ja avaldatud MIT litsentsi all. Juba koolitatud mudelid on avatud lubava Creative ML OpenRAIL-M litsentsi alusel, mis võimaldab ärilist kasutamist.
Allalaadimiseks on saadaval kaks mudelivalikut: SVD (Stable Video Diffusion) 14 kaadri genereerimiseks eraldusvõimega 576x1024 antud staatilise pildi alusel ja SVD-XT 25 kaadri genereerimiseks. Videot on võimalik genereerida ilma liikumiseta või kaamera väga aeglase pöörlemisega, mis ei kesta üle 4 sekundi. Loomuliku keele tekstikirjeldusel põhinevat mudeli otsejuhtimist veel ei toetata, kuid esmalt saate vana Stable Diffusion 2.1 mudeli abil originaalpildi ette valmistada ja seejärel SVD mudeli abil videoks teisendada.
Videokvaliteet ei taga veel ideaalset fotorealismi ning garanteeritud nägude ja inimeste korrektset renderdamist. Toimivuse osas edestab pakutud avatud mudel Runway ja Pika Labsi patenteeritud analooge. Mudelit on lihtne kohandada erinevate ülesannete lahendamiseks, näiteks saab sellest moodustada ruumilisi kujundeid.
Lisaks võib märkida Video-LLaVA masinõppe tööriistakomplekti avaldamist, mis võimaldab teil luua objektist ühtse visuaalse esituse, mis on moodustatud objektide fotode ja videosalvestiste üheaegse kasutamise põhjal koolituse ajal. Süsteemi saab kasutada näiteks samade objektide olemasolu tuvastamiseks piltidel ja videotes. Kood on kirjutatud Pythonis ja levitatakse Apache 2.0 litsentsi all.
Allikas: opennet.ru
