സ്റ്റേബിൾ ഡിഫ്യൂഷൻ 2.0 ഇമേജ് സിന്തസിസ് സിസ്റ്റം അവതരിപ്പിച്ചു

സ്റ്റെബിലിറ്റി AI, സ്റ്റേബിൾ ഡിഫ്യൂഷൻ മെഷീൻ ലേണിംഗ് സിസ്റ്റത്തിന്റെ രണ്ടാം പതിപ്പ് പ്രസിദ്ധീകരിച്ചു, ഇത് നിർദ്ദേശിച്ച ടെംപ്ലേറ്റിന്റെയോ സ്വാഭാവിക ഭാഷാ വാചക വിവരണത്തെയോ അടിസ്ഥാനമാക്കി ചിത്രങ്ങൾ സമന്വയിപ്പിക്കാനും പരിഷ്കരിക്കാനും പ്രാപ്തമാണ്. ന്യൂറൽ നെറ്റ്‌വർക്ക് പരിശീലനത്തിനും ഇമേജ് ജനറേഷനുമുള്ള ടൂളുകളുടെ കോഡ് PyTorch ഫ്രെയിംവർക്ക് ഉപയോഗിച്ച് പൈത്തണിൽ എഴുതുകയും MIT ലൈസൻസിന് കീഴിൽ പ്രസിദ്ധീകരിക്കുകയും ചെയ്യുന്നു. വാണിജ്യപരമായ ഉപയോഗം അനുവദിക്കുന്ന ക്രിയേറ്റീവ് ML OpenRAIL-M പെർമിസീവ് ലൈസൻസിന് കീഴിൽ ഇതിനകം പരിശീലനം ലഭിച്ച മോഡലുകൾ തുറന്നിരിക്കുന്നു. കൂടാതെ, ഒരു ഡെമോ ഓൺലൈൻ ഇമേജ് ജനറേറ്റർ ലഭ്യമാണ്.

സ്റ്റേബിൾ ഡിഫ്യൂഷന്റെ പുതിയ പതിപ്പിലെ പ്രധാന മെച്ചപ്പെടുത്തലുകൾ:

• ടെക്സ്റ്റ് വിവരണത്തെ അടിസ്ഥാനമാക്കിയുള്ള ഇമേജ് സിന്തസിസിനായുള്ള ഒരു പുതിയ മോഡൽ - SD2.0-v - സൃഷ്ടിച്ചു, ഇത് 768×768 റെസല്യൂഷനുള്ള ഇമേജുകളുടെ ജനറേഷൻ പിന്തുണയ്ക്കുന്നു. ടെക്സ്റ്റ് വിവരണങ്ങളുള്ള 5 ബില്യൺ ചിത്രങ്ങളുടെ LAION-5.85B ശേഖരം ഉപയോഗിച്ചാണ് പുതിയ മോഡൽ പരിശീലിപ്പിച്ചത്. സ്റ്റേബിൾ ഡിഫ്യൂഷൻ 1.5 മോഡലിന്റെ അതേ സെറ്റ് പാരാമീറ്ററുകൾ ഈ മോഡൽ ഉപയോഗിക്കുന്നു, എന്നാൽ അടിസ്ഥാനപരമായി വ്യത്യസ്തമായ OpenCLIP-ViT/H എൻകോഡർ ഉപയോഗിക്കുന്നതിലേക്കുള്ള പരിവർത്തനത്താൽ വ്യത്യാസപ്പെട്ടിരിക്കുന്നു, തത്ഫലമായുണ്ടാകുന്ന ചിത്രങ്ങളുടെ ഗുണനിലവാരം ഗണ്യമായി മെച്ചപ്പെടുത്താൻ ഇത് സാധ്യമാക്കി.
• ഒരു ലളിതമായ SD2.0-ബേസ് പതിപ്പ് തയ്യാറാക്കിയിട്ടുണ്ട്, ക്ലാസിക്കൽ നോയ്സ് പ്രെഡിക്ഷൻ മോഡൽ ഉപയോഗിച്ച് 256×256 ചിത്രങ്ങളിൽ പരിശീലിപ്പിക്കുകയും 512×512 റെസല്യൂഷനുള്ള ഇമേജ് ജനറേഷൻ പിന്തുണയ്ക്കുകയും ചെയ്യുന്നു.
• സൂപ്പർസാംപ്ലിംഗ് (സൂപ്പർ റെസല്യൂഷൻ) സാങ്കേതികവിദ്യ ഉപയോഗിക്കുന്നതിനുള്ള സാധ്യത, യഥാർത്ഥ ചിത്രത്തിന്റെ ഗുണനിലവാരം കുറയ്ക്കാതെ തന്നെ റെസല്യൂഷൻ വർദ്ധിപ്പിക്കുന്നതിനും, സ്പേഷ്യൽ സ്കെയിലിംഗിനും വിശദാംശങ്ങളുടെ പുനർനിർമ്മാണത്തിനും അൽഗോരിതങ്ങൾ ഉപയോഗിക്കുന്നു. നൽകിയിരിക്കുന്ന ഇമേജ് പ്രോസസ്സിംഗ് മോഡൽ (SD20-upscaler) 2048×2048 റെസല്യൂഷനിൽ ഇമേജുകൾ സൃഷ്ടിക്കാൻ കഴിയുന്ന XNUMXx അപ്‌സ്‌കേലിംഗിനെ പിന്തുണയ്ക്കുന്നു.
• SD2.0-depth2img മോഡൽ നിർദ്ദേശിക്കപ്പെട്ടിരിക്കുന്നു, ഇത് വസ്തുക്കളുടെ ആഴവും സ്പേഷ്യൽ ക്രമീകരണവും കണക്കിലെടുക്കുന്നു. MiDaS സിസ്റ്റം മോണോകുലാർ ഡെപ്ത് കണക്കാക്കാൻ ഉപയോഗിക്കുന്നു. ഒരു ടെംപ്ലേറ്റായി മറ്റൊരു ഇമേജ് ഉപയോഗിച്ച് പുതിയ ഇമേജുകൾ സമന്വയിപ്പിക്കാൻ മോഡൽ നിങ്ങളെ അനുവദിക്കുന്നു, അത് ഒറിജിനലിൽ നിന്ന് തികച്ചും വ്യത്യസ്തമായിരിക്കും, എന്നാൽ മൊത്തത്തിലുള്ള ഘടനയും ആഴവും നിലനിർത്തുന്നു. ഉദാഹരണത്തിന്, ഒരു ഫോട്ടോയിലെ ഒരു വ്യക്തിയുടെ പോസ് അതേ പോസിൽ മറ്റൊരു കഥാപാത്രം രൂപപ്പെടുത്താൻ നിങ്ങൾക്ക് ഉപയോഗിക്കാം.
• ഇമേജുകൾ പരിഷ്‌ക്കരിക്കുന്നതിനുള്ള മോഡൽ അപ്‌ഡേറ്റ് ചെയ്‌തു - SD 2.0-inpainting, ഇത് ടെക്‌സ്‌റ്റ് പ്രോംപ്റ്റുകൾ ഉപയോഗിച്ച് ഒരു ചിത്രത്തിന്റെ ഭാഗങ്ങൾ മാറ്റിസ്ഥാപിക്കാനും മാറ്റാനും നിങ്ങളെ അനുവദിക്കുന്നു.
• ഒരു ജിപിയു ഉള്ള പരമ്പരാഗത സിസ്റ്റങ്ങളിൽ ഉപയോഗിക്കുന്നതിന് മോഡലുകൾ ഒപ്റ്റിമൈസ് ചെയ്തിട്ടുണ്ട്.

അവലംബം: opennet.ru