Ua fa'asalalauina e le Stability AI se fa'ata'ita'iga a'oa'oga masini e ta'ua o le Stable Video Diffusion e mafai ona fa'atupuina ata pupuu mai ata. O le faʻataʻitaʻiga e faʻalauteleina ai le gafatia o le Stable Diffusion project, na faʻatapulaʻaina muamua i le tuʻufaʻatasia o ata faʻapitoa. O le tulafono mo aʻoaʻoga fesoʻotaʻiga neural ma meafaigaluega faʻatupu ata o loʻo tusia i le Python e faʻaaoga ai le PyTorch framework ma lolomiina i lalo ole laisene MIT. O fa'ata'ita'iga ua uma ona a'oa'oina o lo'o tatala i lalo ole laisene Creative ML OpenRAIL-M, fa'atagaina mo le fa'aoga faapisinisi.
E lua filifiliga fa'ata'ita'iga e avanoa mo le siiina mai: SVD (Stable Video Diffusion) mo le fa'atupuina o ata e 14 fa'atasi ai ma le fa'ai'uga o le 576x1024 fa'avae i luga o se ata tu'ufa'atasi ma le SVD-XT mo le fa'atupuina o ata e 25. E mafai ona fa'atupu vitiÅ e aunoa ma se gaio'i pe fa'agesegese le fa'asolo o meapueata, e le sili atu i le 4 sekone. E le'i lagolagoina le fa'atonuga fa'ata'ita'iga e fa'atatau i fa'amatalaga o le gagana fa'anatura, ae e mafai ona e saunia muamua le ata muamua e fa'aaoga ai le Stable Diffusion 2.1 fa'ata'ita'iga tuai ona fa'aliliu lea i le vitiÅ e fa'aaoga ai le ata SVD.
E le'i maua mai e uiga lelei o ata ata lelei ma fa'amaonia le fa'aali sa'o o foliga ma tagata. I le tulaga o le faʻatinoga, o le faʻataʻitaʻiga tatala faʻataʻitaʻiga o loʻo i luma o analogues faʻapitoa mai Runway ma Pika Labs. O le faʻataʻitaʻiga e mafai ona faigofie ona faʻafetaui e foia ai faʻafitauli eseese, mo se faʻataʻitaʻiga, e mafai ona faʻaaogaina e fausia ai ni faʻatusa tolu-dimensional.

E le gata i lea, e mafai ona matou maitauina le faʻasalalauga o le Video-LLaVA masini aʻoaʻoga meafaigaluega, lea e mafai ai ona e fatuina se faʻataʻitaʻiga vaʻaia o se mea, faʻavae i luga o le faʻaogaina o ata ma puʻeina vitio o mea i le taimi o aʻoaʻoga. E mafai ona faʻaogaina le faiga, mo se faʻataʻitaʻiga, e iloa ai le i ai o mea tutusa i ata ma vitio. O le code e tusia i le Python ma tufatufaina i lalo ole Apache 2.0 laisene.
puna: opennet.ru
