Stability AI waxay daabacday qaabka barashada mashiinka, Stable Video Diffusion, kaas oo ka soo saari kara muuqaallo gaagaaban. Qaabku waxa uu balaadhinayaa awoodaha mashruuca Stable Diffusion, kaas oo markii hore ku koobnaa soo saarista sawirada taagan. Koodhka tababbarka shabakada neerfaha iyo aaladaha soo saarista sawirka waxaa lagu qoray Python iyadoo la adeegsanayo qaab dhismeedka PyTorch waxaana lagu daabacay shatiga MIT. Moodooyinka la tababaray waxay ka furan yihiin shatiga Ogolaanshaha Hal-abuurka ML OpenRAIL-M, oo u oggolaanaya isticmaalka ganacsiga.
Laba nooc oo nooc ah ayaa diyaar u ah soo dejinta: SVD (Stable Video Diffusion), kaas oo soo saara 14 fareemo ah 576 Γ 1024 xallinta oo ku saleysan muuqaal taagan, iyo SVD-XT, kaas oo soo saara 25 fareemo. Jiilka fiidyowgu waa suurtogal, mid dhaqdhaqaaq la'aan ah ama iyadoo kamarad wareeg ah oo aad u gaabis ah, soconaysa wax aan ka badnayn 4 ilbiriqsi. Xakamaynta tooska ah ee qaabka ku salaysan qoraalka luqadda dabiiciga ah weli lama taageero, laakiin waxaa suurtogal ah in marka hore la diyaariyo sawirka isha iyadoo la adeegsanayo qaabka Stable Diffusion 2.1 ee da'da weyn ka dibna loo beddelo fiidiyowga iyadoo la adeegsanayo qaabka SVD.
Tayada fiidyowgu wali ma bixinayso sawir-qaadasho qumman ama dammaanad qaadka samaynta saxda ah ee wejiyada iyo dadka. Marka la eego waxqabadka, qaabka isha furan ee la soo jeediyay ayaa ka sarreeya analoogyada lahaanshaha ee Runway iyo Pika Labs. Qaabka ayaa si fudud loogu qabsan karaa hawlo kala duwan, sida abuurista tirooyin saddex-cabbir ah.
Waxa kale oo xusid mudan daabacaadda qalabka wax-barashada mishiinnada ee Video-LLaVA, kaas oo awood u siinaya abuurista muuqaal midaysan oo shay ah, kaas oo la sameeyay iyada oo la adeegsanayo sawirro iyo cajalado muuqaal ah oo shayga inta lagu jiro tababarka. Nidaamka waxaa loo isticmaali karaa, tusaale ahaan, si loo aqoonsado joogitaanka walxaha isku midka ah ee sawirada iyo fiidyaha. Nambarku wuxuu ku qoran yahay Python waxaana lagu qaybiyaa shatiga Apache 2.0.
Source: opennet.ru
