L-Istabbiltà AI ppubblikat mudell ta' tagħlim bil-magni msejjaħ Stable Video Diffusion li jista' jiġġenera vidjows qosra minn stampi. Il-mudell jespandi l-kapaċitajiet tal-proġett Stabbli Diffusion, li qabel kien limitat għas-sinteżi ta 'immaġini statiċi. Il-kodiċi għat-taħriġ tan-netwerk newrali u l-għodod tal-ġenerazzjoni tal-immaġni huwa miktub f'Python bl-użu tal-qafas PyTorch u ppubblikat taħt il-liċenzja MIT. Mudelli diġà mħarrġa huma miftuħa taħt il-liċenzja Creative ML OpenRAIL-M permissiva, li tippermetti użu kummerċjali.
Hemm żewġ għażliet ta’ mudell disponibbli biex jitniżżlu: SVD (Stable Video Diffusion) għall-ġenerazzjoni ta’ 14-il qafas b’riżoluzzjoni ta’ 576x1024 ibbażata fuq immaġni statika partikolari u SVD-XT għall-ġenerazzjoni ta’ 25 qafas. Huwa possibbli li tiġġenera vidjo mingħajr moviment jew b'rotazzjoni bil-mod ħafna tal-kamera, li ddum mhux aktar minn 4 sekondi. Il-kontroll dirett tal-mudell ibbażat fuq id-deskrizzjoni tat-test tal-lingwa naturali għadu mhux appoġġjat, iżda tista 'l-ewwel tipprepara l-immaġni oriġinali billi tuża l-mudell antik Stabbli Diffusion 2.1 u mbagħad jaqilbu għal vidjo billi tuża l-mudell SVD.
Il-kwalità tal-vidjo għadha ma tipprovdix fotorealiżmu ideali u iggarantit għoti korrett ta 'uċuħ u nies. F'termini ta 'prestazzjoni, il-mudell miftuħ propost huwa qabel l-analogi proprjetarji minn Runway u Pika Labs. Il-mudell jista 'jiġi adattat faċilment biex isolvi diversi problemi, pereżempju, jista' jintuża biex jifforma figuri tridimensjonali.
Barra minn hekk, nistgħu ninnotaw il-pubblikazzjoni ta 'l-għodda ta' tagħlim tal-magni Video-LLaVA, li jippermettilek toħloq rappreżentazzjoni viżiva unifikata ta 'oġġett, iffurmata bbażata fuq l-użu ta' simultanjament ritratti u reġistrazzjonijiet vidjo ta 'oġġetti waqt it-taħriġ. Is-sistema tista' tintuża, pereżempju, biex tagħraf il-preżenza tal-istess oġġetti f'immaġini u vidjows. Il-kodiċi huwa miktub f'Python u mqassam taħt il-liċenzja Apache 2.0.
Sors: opennet.ru
