സ്റ്റേബിൾ വീഡിയോ ഡിഫ്യൂഷൻ വീഡിയോ സിന്തസിസ് സിസ്റ്റം അവതരിപ്പിച്ചു

ചിത്രങ്ങളിൽ നിന്ന് ഹ്രസ്വ വീഡിയോകൾ സൃഷ്ടിക്കാൻ കഴിയുന്ന സ്റ്റേബിൾ വീഡിയോ ഡിഫ്യൂഷൻ എന്ന മെഷീൻ ലേണിംഗ് മോഡൽ സ്റ്റെബിലിറ്റി AI പ്രസിദ്ധീകരിച്ചു. മോഡൽ സ്റ്റേബിൾ ഡിഫ്യൂഷൻ പ്രോജക്റ്റിന്റെ കഴിവുകൾ വികസിപ്പിക്കുന്നു, മുമ്പ് സ്റ്റാറ്റിക് ഇമേജുകളുടെ സമന്വയത്തിലേക്ക് പരിമിതപ്പെടുത്തിയിരുന്നു. ന്യൂറൽ നെറ്റ്‌വർക്ക് പരിശീലനത്തിനും ഇമേജ് ജനറേഷൻ ടൂളുകൾക്കുമുള്ള കോഡ് PyTorch ഫ്രെയിംവർക്ക് ഉപയോഗിച്ച് പൈത്തണിൽ എഴുതുകയും MIT ലൈസൻസിന് കീഴിൽ പ്രസിദ്ധീകരിക്കുകയും ചെയ്യുന്നു. ഇതിനകം പരിശീലനം ലഭിച്ച മോഡലുകൾ അനുവദനീയമായ ക്രിയേറ്റീവ് ML OpenRAIL-M ലൈസൻസിന് കീഴിൽ തുറന്നിരിക്കുന്നു, ഇത് വാണിജ്യപരമായ ഉപയോഗത്തിന് അനുവദിക്കുന്നു.

ഡൗൺലോഡ് ചെയ്യാൻ രണ്ട് മോഡൽ ഓപ്ഷനുകൾ ലഭ്യമാണ്: നൽകിയിരിക്കുന്ന സ്റ്റാറ്റിക് ഇമേജിനെ അടിസ്ഥാനമാക്കി 14x576 റെസല്യൂഷനുള്ള 1024 ഫ്രെയിമുകൾ സൃഷ്ടിക്കുന്നതിന് SVD (സ്റ്റേബിൾ വീഡിയോ ഡിഫ്യൂഷൻ), 25 ഫ്രെയിമുകൾ സൃഷ്ടിക്കുന്നതിന് SVD-XT. ചലനമില്ലാതെ അല്ലെങ്കിൽ വളരെ സാവധാനത്തിലുള്ള ക്യാമറ റൊട്ടേഷൻ ഉപയോഗിച്ച് വീഡിയോ സൃഷ്ടിക്കാൻ കഴിയും, 4 സെക്കൻഡിൽ കൂടുതൽ നീണ്ടുനിൽക്കില്ല. സ്വാഭാവിക ഭാഷാ വാചക വിവരണത്തെ അടിസ്ഥാനമാക്കിയുള്ള ഡയറക്ട് മോഡൽ നിയന്ത്രണം ഇതുവരെ പിന്തുണയ്‌ക്കുന്നില്ല, എന്നാൽ നിങ്ങൾക്ക് ആദ്യം പഴയ സ്റ്റേബിൾ ഡിഫ്യൂഷൻ 2.1 മോഡൽ ഉപയോഗിച്ച് യഥാർത്ഥ ചിത്രം തയ്യാറാക്കാം, തുടർന്ന് SVD മോഡൽ ഉപയോഗിച്ച് വീഡിയോയിലേക്ക് പരിവർത്തനം ചെയ്യാം.

വീഡിയോ നിലവാരം ഇതുവരെ അനുയോജ്യമായ ഫോട്ടോറിയലിസവും മുഖത്തിന്റെയും ആളുകളുടെയും ശരിയായ റെൻഡറിംഗും നൽകുന്നില്ല. പ്രകടനത്തിന്റെ കാര്യത്തിൽ, നിർദ്ദിഷ്ട ഓപ്പൺ മോഡൽ റൺവേയിൽ നിന്നും പിക്ക ലാബിൽ നിന്നുമുള്ള കുത്തക അനലോഗുകളെക്കാൾ മുന്നിലാണ്. വിവിധ പ്രശ്നങ്ങൾ പരിഹരിക്കാൻ മോഡൽ എളുപ്പത്തിൽ പൊരുത്തപ്പെടുത്താൻ കഴിയും, ഉദാഹരണത്തിന്, ത്രിമാന രൂപങ്ങൾ രൂപപ്പെടുത്താൻ ഇത് ഉപയോഗിക്കാം.

കൂടാതെ, പരിശീലന വേളയിൽ ഒരേസമയം ഫോട്ടോഗ്രാഫുകളുടെയും വീഡിയോ റെക്കോർഡിംഗുകളുടെയും ഉപയോഗത്തെ അടിസ്ഥാനമാക്കി രൂപീകരിച്ച ഒരു വസ്തുവിന്റെ ഏകീകൃത വിഷ്വൽ പ്രാതിനിധ്യം സൃഷ്ടിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന Video-LLaVA മെഷീൻ ലേണിംഗ് ടൂൾകിറ്റിന്റെ പ്രസിദ്ധീകരണം ഞങ്ങൾക്ക് ശ്രദ്ധിക്കാം. ഉദാഹരണത്തിന്, ചിത്രങ്ങളിലും വീഡിയോകളിലും ഒരേ വസ്തുക്കളുടെ സാന്നിധ്യം തിരിച്ചറിയാൻ സിസ്റ്റം ഉപയോഗിക്കാം. കോഡ് പൈത്തണിൽ എഴുതുകയും അപ്പാച്ചെ 2.0 ലൈസൻസിന് കീഴിൽ വിതരണം ചെയ്യുകയും ചെയ്യുന്നു.

അവലംബം: opennet.ru