Stability AI modelek fêrbûna makîneyê ya bi navê Stable Video Diffusion weşand ku dikare vîdyoyên kurt ji wêneyan çêbike. Model kapasîteyên projeya Stable Diffusion, ku berê bi senteza wêneyên statîk ve sînorkirî ye, berfireh dike. Koda perwerdehiya tora neuralî û amûrên hilberîna wêneyê di Python de bi karanîna çarçoveya PyTorch ve hatî nivîsandin û di bin lîsansa MIT-ê de tê weşandin. Modelên jixwe perwerdekirî di bin destûrnameya Creative ML OpenRAIL-M de vekirî ne, ku destûrê dide karanîna bazirganî.
Du vebijarkên modelê yên ji bo dakêşanê hene: SVD (Belavbûna Vîdyoyê ya Stable) ji bo çêkirina 14 çarçove bi çareseriya 576x1024 li ser bingeha wêneyek statîk a diyarkirî û SVD-XT ji bo çêkirina 25 çarçove. Mimkun e ku vîdyoyê bêyî tevger an bi zivirîna kamerayê pir hêdî were hilberandin, ku ji 4 çirkeyan zêdetir dom nake. Kontrola rasterast a modela ku li ser bingeha ravekirina nivîsê ya bi zimanê xwezayî ye, hîna nayê piştgirî kirin, lê hûn dikarin pêşî wêneya orîjînal bi karanîna modela kevn a Stable Diffusion 2.1 amade bikin û dûv re wê bi karanîna modela SVD veguherînin vîdyoyê.
Qalîteya vîdyoyê hîna fotorealîzma îdeal û garantîkirina rastkirina rû û mirovan peyda nake. Di warê performansê de, modela vekirî ya pêşniyarkirî li pêş analogên xwedan ên Runway û Pika Labs e. Model dikare bi hêsanî were adapte kirin ku pirsgirêkên cûrbecûr çareser bike, mînakî, ew dikare were bikar anîn da ku jimareyên sê-alî çêbike.
Wekî din, em dikarin weşana amûra fêrbûna makîneyê Video-LLaVA destnîşan bikin, ku destûrê dide te ku hûn nûneriyek dîtbarî ya yekbûyî ya tiştekê biafirînin, ku li ser bingeha karanîna hevdemî wêne û tomarên vîdyoyê yên tiştan di dema perwerdehiyê de pêk tê. Pergal dikare were bikar anîn, bo nimûne, ji bo naskirina hebûna heman tiştan di wêne û vîdyoyan de. Kod di Python de hatî nivîsandin û di bin lîsansa Apache 2.0 de tê belav kirin.
Source: opennet.ru
