ടെക്സ്റ്റ് വിവരണത്തെ അടിസ്ഥാനമാക്കി ഇമേജ് സിന്തസിസിനായി ഒരു മെഷീൻ ലേണിംഗ് സിസ്റ്റം നടപ്പിലാക്കൽ

OpenAI നിർദ്ദേശിച്ച മെഷീൻ ലേണിംഗ് സിസ്റ്റമായ DALL-E 2 ൻ്റെ ഒരു തുറന്ന നിർവ്വഹണം പ്രസിദ്ധീകരിച്ചു, കൂടാതെ സ്വാഭാവിക ഭാഷയിലെ ഒരു വാചക വിവരണത്തെ അടിസ്ഥാനമാക്കി റിയലിസ്റ്റിക് ചിത്രങ്ങളും പെയിൻ്റിംഗുകളും സമന്വയിപ്പിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു, അതുപോലെ ചിത്രങ്ങൾ എഡിറ്റുചെയ്യുന്നതിന് സ്വാഭാവിക ഭാഷയിൽ കമാൻഡുകൾ പ്രയോഗിക്കുക ( ഉദാഹരണത്തിന്, ചിത്രത്തിൽ ഒബ്ജക്റ്റുകൾ ചേർക്കുക, ഇല്ലാതാക്കുക അല്ലെങ്കിൽ നീക്കുക ). OpenAI-യുടെ യഥാർത്ഥ DALL-E 2 മോഡലുകൾ പ്രസിദ്ധീകരിച്ചിട്ടില്ല, എന്നാൽ രീതി വിശദീകരിക്കുന്ന ഒരു പേപ്പർ ലഭ്യമാണ്. നിലവിലുള്ള വിവരണത്തെ അടിസ്ഥാനമാക്കി, സ്വതന്ത്ര ഗവേഷകർ പൈത്തണിൽ എഴുതിയ ഒരു ബദൽ നടപ്പിലാക്കൽ തയ്യാറാക്കി, പൈറ്റോർച്ച് ചട്ടക്കൂട് ഉപയോഗിച്ച് എംഐടി ലൈസൻസിന് കീഴിൽ വിതരണം ചെയ്തു.

DALL-E-യുടെ ആദ്യ തലമുറയുടെ മുമ്പ് പ്രസിദ്ധീകരിച്ച നിർവ്വഹണവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, പുതിയ പതിപ്പ് വിവരണവുമായി ചിത്രത്തിൻ്റെ കൂടുതൽ കൃത്യമായ പൊരുത്തം നൽകുന്നു, കൂടുതൽ ഫോട്ടോറിയലിസം അനുവദിക്കുകയും ഉയർന്ന റെസല്യൂഷനിൽ ചിത്രങ്ങൾ സൃഷ്ടിക്കുന്നത് സാധ്യമാക്കുകയും ചെയ്യുന്നു. മോഡലിനെ പരിശീലിപ്പിക്കാൻ സിസ്റ്റത്തിന് വലിയ വിഭവങ്ങൾ ആവശ്യമാണ്, ഉദാഹരണത്തിന്, DALL-E 2 ൻ്റെ യഥാർത്ഥ പതിപ്പ് പരിശീലിപ്പിക്കുന്നതിന് GPU-ൽ 100-200 ആയിരം മണിക്കൂർ കമ്പ്യൂട്ടിംഗ് ആവശ്യമാണ്, അതായത്. 2 NVIDIA Tesla V4 GPU-കൾ ഉപയോഗിച്ച് ഏകദേശം 256-100 ആഴ്ച കണക്കുകൂട്ടലുകൾ.

അതേ രചയിതാവ് ഒരു വിപുലീകൃത പതിപ്പും വികസിപ്പിക്കാൻ തുടങ്ങി - DALLE2 വീഡിയോ, ഒരു ടെക്സ്റ്റ് വിവരണത്തിൽ നിന്ന് വീഡിയോ സമന്വയിപ്പിക്കാൻ ലക്ഷ്യമിടുന്നു. റഷ്യൻ ഭാഷയിലുള്ള വിവരണങ്ങൾ തിരിച്ചറിയുന്നതിനായി രൂപപ്പെടുത്തിയ ആദ്യ തലമുറ DALL-E യുടെ തുറന്ന നിർവ്വഹണത്തോടെ Sberbank വികസിപ്പിച്ച ru-dalle പ്രോജക്റ്റ് നമുക്ക് പ്രത്യേകം ശ്രദ്ധിക്കാം.

അവലംബം: opennet.ru