രാത്രി ഫോട്ടോകളിൽ ഇമേജ് സിന്തസിസിനും ശബ്ദം കുറയ്ക്കുന്നതിനുമുള്ള മെഷീൻ ലേണിംഗ് സിസ്റ്റങ്ങൾ

സ്റ്റെബിലിറ്റി AI, സ്റ്റേബിൾ ഡിഫ്യൂഷൻ മെഷീൻ ലേണിംഗ് സിസ്റ്റത്തിനായി റെഡിമെയ്ഡ് മോഡലുകൾ പ്രസിദ്ധീകരിച്ചു, സ്വാഭാവിക ഭാഷയിലെ ഒരു ടെക്സ്റ്റ് വിവരണത്തെ അടിസ്ഥാനമാക്കി ഇമേജുകൾ സമന്വയിപ്പിക്കാനും പരിഷ്കരിക്കാനും കഴിയും. വാണിജ്യ ഉപയോഗത്തിനായി അനുവദനീയമായ ക്രിയേറ്റീവ് ML OpenRAIL-M ലൈസൻസിന് കീഴിലാണ് മോഡലുകൾക്ക് ലൈസൻസ് നൽകിയിരിക്കുന്നത്. സിസ്റ്റത്തെ പരിശീലിപ്പിക്കാൻ, 4000 NVIDIA A100 Ezra-1 GPU-കളുടെ ഒരു ക്ലസ്റ്ററും ടെക്‌സ്‌റ്റ് വിവരണങ്ങളുള്ള 5 ബില്യൺ ചിത്രങ്ങൾ ഉൾപ്പെടെ ഒരു LAION-5.85B ശേഖരവും ഉപയോഗിച്ചു. മുമ്പ്, ഒരു ന്യൂറൽ നെറ്റ്‌വർക്ക് പരിശീലിപ്പിക്കുന്നതിനും ഇമേജുകൾ സൃഷ്ടിക്കുന്നതിനുമുള്ള ടൂളുകൾക്കുള്ള കോഡ് എംഐടി ലൈസൻസിന് കീഴിൽ ഓപ്പൺ സോഴ്‌സ് ചെയ്‌തിരുന്നു.

ഒരു റെഡിമെയ്ഡ് മോഡലിന്റെ ലഭ്യതയും സാധാരണ ജിപിയു ഉള്ള ഒരു പിസിയിൽ പരീക്ഷണങ്ങൾ ആരംഭിക്കാൻ അനുവദിക്കുന്ന സാമാന്യം മിതമായ സിസ്റ്റം ആവശ്യകതകളും നിരവധി അനുബന്ധ പ്രോജക്ടുകളുടെ ആവിർഭാവത്തിലേക്ക് നയിച്ചു:

• ടെക്‌സ്‌ച്വൽ-ഇൻവേർഷൻ (കോഡ്) - തന്നിരിക്കുന്ന പ്രതീകം, ഒബ്‌ജക്റ്റ് അല്ലെങ്കിൽ ശൈലി ഉപയോഗിച്ച് ചിത്രങ്ങൾ സമന്വയിപ്പിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന ഒരു ആഡ്-ഓൺ. യഥാർത്ഥ സ്റ്റേബിൾ ഡിഫ്യൂഷനിൽ, സിന്തസൈസ് ചെയ്ത ചിത്രങ്ങളിലെ വസ്തുക്കൾ ക്രമരഹിതവും അനിയന്ത്രിതവുമാണ്. നിർദ്ദിഷ്ട ആഡ്-ഓൺ നിങ്ങളുടെ സ്വന്തം വിഷ്വൽ ഒബ്‌ജക്റ്റുകൾ ചേർക്കാനും അവയെ കീവേഡുകളിലേക്ക് ബന്ധിപ്പിക്കാനും സമന്വയത്തിൽ ഉപയോഗിക്കാനും നിങ്ങളെ അനുവദിക്കുന്നു.

  ഉദാഹരണത്തിന്, സാധാരണ സ്റ്റേബിൾ ഡിഫ്യൂഷനിൽ "ഒരു ബോട്ടിലെ പൂച്ച" ഉപയോഗിച്ച് ഒരു ഇമേജ് സൃഷ്ടിക്കാൻ നിങ്ങൾക്ക് സിസ്റ്റത്തോട് ആവശ്യപ്പെടാം. കൂടാതെ, പൂച്ചയുടെയും ബോട്ടിന്റെയും സവിശേഷതകൾ നിങ്ങൾക്ക് വ്യക്തമാക്കാൻ കഴിയും, എന്നാൽ ഏത് പൂച്ചയും ബോട്ടും സമന്വയിപ്പിക്കുമെന്ന് പ്രവചനാതീതമാണ്. നിങ്ങളുടെ പൂച്ചയുടെയോ ബോട്ടിന്റെയോ ഇമേജിൽ സിസ്റ്റത്തെ പരിശീലിപ്പിക്കാനും ഒരു പ്രത്യേക പൂച്ച അല്ലെങ്കിൽ ബോട്ട് ഉപയോഗിച്ച് ചിത്രം സമന്വയിപ്പിക്കാനും ടെക്‌സ്‌ച്വൽ-ഇൻവേർഷൻ നിങ്ങളെ അനുവദിക്കുന്നു. സമാനമായ രീതിയിൽ, ഇതിന് ഇമേജ് ഘടകങ്ങളെ ചില ഒബ്‌ജക്റ്റുകൾ ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കാനും സിന്തസിസിനായി ഒരു വിഷ്വൽ ശൈലിക്ക് ഒരു ഉദാഹരണം നൽകാനും ആശയങ്ങൾ വ്യക്തമാക്കാനും കഴിയും (ഉദാഹരണത്തിന്, മുഴുവൻ വൈവിധ്യമാർന്ന ഡോക്ടർമാരിൽ നിന്നും, നിങ്ങൾക്ക് കൂടുതൽ കൃത്യവും ഉയർന്ന നിലവാരമുള്ളതുമായ തിരഞ്ഞെടുപ്പ് ഉപയോഗിക്കാം. ആവശ്യമുള്ള ശൈലിയിൽ).

  

• സ്റ്റേബിൾ-ഡിഫ്യൂഷൻ-ആനിമേഷൻ - സ്റ്റേബിൾ ഡിഫ്യൂഷനിൽ സൃഷ്ടിക്കുന്ന ചിത്രങ്ങൾ തമ്മിലുള്ള ഇന്റർപോളേഷന്റെ അടിസ്ഥാനത്തിൽ ആനിമേറ്റഡ് (ചലിക്കുന്ന) ചിത്രങ്ങളുടെ സൃഷ്ടി.
• stable_diffusion.openvino (കോഡ്) - സ്റ്റേബിൾ ഡിഫ്യൂഷന്റെ ഒരു പോർട്ട്, ഇത് കണക്കുകൂട്ടലുകൾക്കായി CPU മാത്രം ഉപയോഗിക്കുന്നു, ഇത് ശക്തമായ GPU-കളില്ലാത്ത സിസ്റ്റങ്ങളിൽ പരീക്ഷണം നടത്താൻ അനുവദിക്കുന്നു. OpenVINO ലൈബ്രറിയിൽ പിന്തുണയ്ക്കുന്ന ഒരു പ്രോസസ്സർ ആവശ്യമാണ്. ഔദ്യോഗികമായി, OpenVINO, AVX2, AVX-512, AVX512_BF16, SSE വിപുലീകരണങ്ങളുള്ള ഇന്റൽ പ്രോസസറുകൾക്കും Raspberry Pi 4 Model B, Apple Mac mini, NVIDIA Jetson Nano ബോർഡുകൾക്കും പ്ലഗിനുകൾ നൽകുന്നു. അനൗദ്യോഗികമായി, എഎംഡി റൈസൺ പ്രോസസറുകളിൽ OpenVINO ഉപയോഗിക്കാൻ സാധിക്കും.
• എഎംഡി ജിപിയുവിനുള്ള ഒരു പോർട്ട് ആണ് sdamd.
• വീഡിയോ സിന്തസിസിന്റെ പ്രാരംഭ നടപ്പാക്കൽ.
• stable-diffusion-gui, stable-diffusion-ui, Artbreeder കൊളാഷ്, ഡിഫ്യൂസ്-ദി-റെസ്റ്റ് - സ്റ്റേബിൾ ഡിഫ്യൂഷൻ ഉപയോഗിച്ച് ഇമേജുകൾ സൃഷ്ടിക്കുന്നതിനുള്ള ഗ്രാഫിക്കൽ ഇന്റർഫേസുകൾ.
• beta.dreamstudio.ai, ഹഗ്ഗിംഗ് ഫേസ് സ്പേസുകൾ, hlky സ്റ്റേബിൾ ഡിഫ്യൂഷൻ WebUI - സ്റ്റേബിൾ ഡിഫ്യൂഷൻ ഉപയോഗിച്ച് ഇമേജ് സിന്തസിസിനായുള്ള വെബ് ഇന്റർഫേസുകൾ.
• GIMP, Figma, Blender, Photoshop എന്നിവയുമായി സ്ഥിരതയുള്ള ഡിഫ്യൂഷൻ സംയോജിപ്പിക്കുന്നതിനുള്ള പ്ലഗിനുകൾ.

കൂടാതെ, നിരവധി റോ ചിത്രങ്ങളിൽ നിന്നുള്ള ഡാറ്റയെ അടിസ്ഥാനമാക്കി, ഇരുട്ടിലും അകത്തും എടുക്കുന്ന ഉയർന്ന ശബ്ദമുള്ള ചിത്രങ്ങളുടെ ഗുണനിലവാരം മെച്ചപ്പെടുത്താൻ അനുവദിക്കുന്ന, RawNeRF (RAW ന്യൂറൽ റേഡിയൻസ് ഫീൽഡ്സ്) മെഷീൻ ലേണിംഗ് സിസ്റ്റത്തിന്റെ കോഡിന്റെ Google പ്രസിദ്ധീകരണം നമുക്ക് ശ്രദ്ധിക്കാം. മോശം ലൈറ്റിംഗ്. ശബ്‌ദം ഇല്ലാതാക്കുന്നതിനു പുറമേ, പ്രോജക്റ്റ് വികസിപ്പിച്ച ഉപകരണങ്ങൾ വിശദാംശങ്ങൾ വർദ്ധിപ്പിക്കാനും തിളക്കം ഇല്ലാതാക്കാനും എച്ച്‌ഡിആർ സമന്വയിപ്പിക്കാനും ഫോട്ടോഗ്രാഫുകളിലെ മൊത്തത്തിലുള്ള ലൈറ്റിംഗ് മാറ്റാനും വിവിധ കോണുകളിൽ നിന്നുള്ള നിരവധി ഫോട്ടോഗ്രാഫുകൾ ഉപയോഗിച്ച് വസ്തുക്കളുടെ ത്രിമാന സ്ഥാനം പുനർനിർമ്മിക്കാനും സാധ്യമാക്കുന്നു. കാഴ്ചപ്പാട് മാറ്റുക, ഫോക്കസ് കൈകാര്യം ചെയ്യുക, ചലിക്കുന്ന ചിത്രങ്ങൾ സൃഷ്ടിക്കുക.

അവലംബം: opennet.ru