പുതിയ ഓപ്പൺ സോഴ്‌സ് ഇമേജ് സിന്തസിസ് സിസ്റ്റം സ്റ്റേബിൾ ഡിഫ്യൂഷൻ അവതരിപ്പിച്ചു

സ്വാഭാവിക ഭാഷയിൽ ഒരു ടെക്സ്റ്റ് വിവരണത്തെ അടിസ്ഥാനമാക്കി ചിത്രങ്ങൾ സമന്വയിപ്പിക്കുന്ന സ്റ്റേബിൾ ഡിഫ്യൂഷൻ മെഷീൻ ലേണിംഗ് സിസ്റ്റവുമായി ബന്ധപ്പെട്ട വികസനങ്ങൾ കണ്ടെത്തി. സ്റ്റെബിലിറ്റി AI, റൺവേ, Eleuther AI, LAION കമ്മ്യൂണിറ്റികൾ, CompVis ലാബ് ഗ്രൂപ്പ് (മ്യൂണിക്ക് യൂണിവേഴ്സിറ്റിയിലെ കമ്പ്യൂട്ടർ വിഷൻ ആൻഡ് മെഷീൻ ലേണിംഗ് റിസർച്ച് ലബോറട്ടറി) എന്നിവയിൽ നിന്നുള്ള ഗവേഷകർ സംയുക്തമായാണ് പദ്ധതി വികസിപ്പിക്കുന്നത്. ഫലത്തിന്റെ കഴിവുകളുടെയും നിലവാരത്തിന്റെയും കാര്യത്തിൽ, സ്റ്റേബിൾ ഡിഫ്യൂഷൻ DALL-E 2 പ്രോജക്റ്റിനോട് സാമ്യമുള്ളതാണ്, പക്ഷേ തുറന്നതും പൊതുവായി ലഭ്യവുമാണ്. സ്റ്റേബിൾ ഡിഫ്യൂഷൻ നടപ്പിലാക്കുന്നത് പൈത്തണിൽ എഴുതുകയും എംഐടി ലൈസൻസിന് കീഴിൽ വിതരണം ചെയ്യുകയും ചെയ്യുന്നു.

വിദ്യാഭ്യാസ സ്ഥാപനങ്ങൾക്കും സ്വതന്ത്ര ഗവേഷകർക്കും പ്രത്യേക അഭ്യർത്ഥന പ്രകാരം റെഡിമെയ്ഡ് മോഡലുകൾ നിലവിൽ ലഭ്യമാണ്, എന്നാൽ പരിശോധന പൂർത്തിയാക്കി ആദ്യ പതിപ്പ് തയ്യാറായതിന് ശേഷം എല്ലാവർക്കുമായി അവ തുറക്കുമെന്ന് ഡവലപ്പർമാർ വാഗ്ദാനം ചെയ്യുന്നു. സിസ്റ്റത്തെ പരിശീലിപ്പിക്കാൻ, 4000 NVIDIA A100 Ezra-1 GPU-കളുടെ ഒരു ക്ലസ്റ്ററും ടെക്‌സ്‌റ്റ് വിവരണങ്ങളുള്ള 5 ബില്യൺ ചിത്രങ്ങൾ ഉൾപ്പെടെ ഒരു LAION-5.85B ശേഖരവും ഉപയോഗിച്ചു. ഇമേജ് സൃഷ്ടിക്കുന്നതിനുള്ള ഘടകങ്ങൾ ഉപയോക്തൃ സിസ്റ്റങ്ങളിൽ പ്രവർത്തിക്കാൻ പര്യാപ്തമാണ്, ഉദാഹരണത്തിന്, 512x512 റെസല്യൂഷനുള്ള ഇമേജുകൾ സമന്വയിപ്പിക്കുന്നതിന്, സിസ്റ്റത്തിൽ 10GB വീഡിയോ മെമ്മറിയുള്ള ഒരു GPU മതിയാകും.

ടെക്സ്റ്റ് വിവരണങ്ങളെ അടിസ്ഥാനമാക്കി ഇമേജുകൾ സമന്വയിപ്പിക്കുന്നതിനു പുറമേ, ഇമേജുകൾ പരിഷ്കരിക്കുന്നതിനുള്ള ഒരു ഓപ്ഷൻ വാഗ്ദാനം ചെയ്യുന്നു, അത് വ്യക്തമാക്കുന്ന ടെക്സ്റ്റ് പ്രോംപ്റ്റുകൾ ഉപയോഗിച്ച്, സ്കീമാറ്റിക് സ്കെച്ചുകളിൽ നിന്ന് ചിത്രങ്ങൾ സൃഷ്ടിക്കാനും ഇമേജുകൾ എഡിറ്റ് ചെയ്യാനും മാറ്റാനും അല്ലെങ്കിൽ സൂം ഇൻ ചെയ്യുമ്പോൾ നഷ്ടപ്പെട്ട വിശദാംശങ്ങൾ പുനഃസ്ഥാപിക്കാനും കഴിയും. സ്വാഭാവിക ഭാഷാ ടെക്സ്റ്റ് കമാൻഡുകൾ അടിസ്ഥാനമാക്കിയുള്ള വീഡിയോ എഡിറ്റിംഗിനുള്ള സ്റ്റേബിൾ ഡിഫ്യൂഷനും വികസിപ്പിച്ചുകൊണ്ടിരിക്കുന്നു.

അവലംബം: opennet.ru