Stable Video Diffusion ဗီဒီယိုပေါင်းစပ်မှုစနစ်ကို မိတ်ဆက်ခဲ့သည်။

Stability AI သည် ရုပ်ပုံများမှ ဗီဒီယိုတိုများကို ထုတ်လုပ်နိုင်သည့် စက်သင်ယူမှုပုံစံ၊ Stable Video Diffusion ကို ထုတ်ဝေခဲ့သည်။ မော်ဒယ်သည် ယခင်က တည်ငြိမ်ပုံများကို ပေါင်းစပ်ခြင်းအတွက် ကန့်သတ်ထားသည့် Stable Diffusion ပရောဂျက်၏ စွမ်းရည်များကို ချဲ့ထွင်သည်။ အာရုံကြောကွန်ရက်လေ့ကျင့်ရေးနှင့် ရုပ်ပုံထုတ်လုပ်ရေးကိရိယာများအတွက် ကုဒ်ကို PyTorch မူဘောင်ကို အသုံးပြု၍ Python တွင် ရေးသားထားပြီး MIT လိုင်စင်အောက်တွင် ထုတ်ဝေထားသည်။ လေ့ကျင့်သင်ကြားထားသော မော်ဒယ်များသည် စီးပွားဖြစ်အသုံးပြုမှုကို ခွင့်ပြုသည့် Creative ML OpenRAIL-M ခွင့်ပြုချက်လိုင်စင်အောက်တွင် အရင်းအမြစ်များ မှ အရင်းအမြစ်များဖြစ်သည်။

မော်ဒယ်နှစ်မျိုးကို ဒေါင်းလုဒ်လုပ်ရန် ရနိုင်သည်- SVD (တည်ငြိမ်သော ဗီဒီယိုပျံ့နှံ့မှု)၊ ပေးထားသည့် ပုံသဏ္ဍာန်ပုံတစ်ပုံအပေါ်အခြေခံ၍ 576×1024 ကြည်လင်ပြတ်သားမှု 14 ဖရမ်များထုတ်ပေးသည့် SVD (တည်ငြိမ်သောဗီဒီယိုပျံ့နှံ့မှု)၊ နှင့် SVD-XT၊ ဗီဒီယို ထုတ်လုပ်မှုသည် မလှုပ်မယှက် သို့မဟုတ် အလွန်နှေးကွေးသော ကင်မရာလည်ပတ်မှုဖြင့် ဖြစ်နိုင်ပြီး 4 စက္ကန့်ထက် မပိုစေရ။ သဘာဝဘာသာစကားစာသားအပေါ်အခြေခံသည့် မော်ဒယ်၏တိုက်ရိုက်ထိန်းချုပ်မှုကို ပံ့ပိုးမထားပါ။ သို့သော် အဟောင်းကြီး Stable Diffusion 2.1 မော်ဒယ်ကို အသုံးပြု၍ မူရင်းပုံကို ပြင်ဆင်ပြီးနောက် SVD မော်ဒယ်ကို အသုံးပြု၍ ဗီဒီယိုအဖြစ်သို့ ပြောင်းရန် ဖြစ်နိုင်သည်။

ဗီဒီယိုအရည်အသွေးသည် ပြီးပြည့်စုံသော ဓာတ်ပုံအစစ်အမှန် သို့မဟုတ် မျက်နှာနှင့် လူများကို တိကျမှန်ကန်သော တင်ဆက်မှုကို အာမခံချက်မပေးသေးပါ။ စွမ်းဆောင်ရည်အရ၊ အဆိုပြုထားသော open-source model သည် Runway နှင့် Pika Labs တို့မှ မူပိုင် analog များကို သာလွန်ကောင်းမွန်ပါသည်။ မော်ဒယ်ကို သုံးဖက်မြင်ရုပ်ပုံများဖန်တီးခြင်းကဲ့သို့သော လုပ်ငန်းအမျိုးမျိုးအတွက် အလွယ်တကူ လိုက်လျောညီထွေဖြစ်စေနိုင်သည်။

ထို့အပြင် မှတ်သားစရာမှာ လေ့ကျင့်နေစဉ်အတွင်း အရာဝတ္တု၏ ဓာတ်ပုံနှင့် ဗီဒီယိုမှတ်တမ်းများကို အသုံးပြု၍ အရာဝတ္ထုတစ်ခု၏ ပေါင်းစပ်မြင်သာမှုကို ကိုယ်စားပြုဖန်တီးနိုင်စေသည့် Video-LLaVA စက်သင်ယူမှုကိရိယာအစုံ၏ ထုတ်ဝေမှုလည်း မှတ်သားဖွယ်ဖြစ်သည်။ ဥပမာအားဖြင့်၊ ရုပ်ပုံများနှင့် ဗီဒီယိုများတွင် တူညီသော အရာဝတ္ထုများ ရှိနေကြောင်း အသိအမှတ်ပြုရန် စနစ်အား အသုံးပြုနိုင်သည်။ ကုဒ်ကို Python ဖြင့်ရေးသားထားပြီး Apache 2.0 လိုင်စင်အောက်တွင် ဖြန့်ဝေထားသည်။

source: opennet.ru