സംഗീത സമന്വയത്തിന് അനുയോജ്യമായ സ്റ്റേബിൾ ഡിഫ്യൂഷൻ മെഷീൻ ലേണിംഗ് സിസ്റ്റം

മെഷീൻ ലേണിംഗ് സിസ്റ്റമായ സ്റ്റേബിൾ ഡിഫ്യൂഷന്റെ ഒരു പതിപ്പ് റിഫ്യൂഷൻ പ്രോജക്റ്റ് വികസിപ്പിച്ചെടുക്കുന്നു, ചിത്രങ്ങൾക്ക് പകരം സംഗീതം സൃഷ്ടിക്കാൻ ഇത് അനുയോജ്യമാണ്. സ്വാഭാവിക ഭാഷയിലുള്ള ഒരു വാചക വിവരണത്തിൽ നിന്നോ നിർദ്ദേശിച്ച ടെംപ്ലേറ്റിനെ അടിസ്ഥാനമാക്കിയോ സംഗീതം സമന്വയിപ്പിക്കാൻ കഴിയും. PyTorch ചട്ടക്കൂട് ഉപയോഗിച്ച് പൈത്തണിൽ എഴുതിയ സംഗീത സമന്വയ ഘടകങ്ങൾ MIT ലൈസൻസിന് കീഴിൽ ലഭ്യമാണ്. ഇന്റർഫേസ് ബൈൻഡിംഗ് ടൈപ്പ്സ്ക്രിപ്റ്റിൽ നടപ്പിലാക്കുകയും എംഐടി ലൈസൻസിന് കീഴിലും വിതരണം ചെയ്യുകയും ചെയ്യുന്നു. പരിശീലനം ലഭിച്ച മോഡലുകൾക്ക് വാണിജ്യപരമായ ഉപയോഗത്തിനായി അനുവദനീയമായ ക്രിയേറ്റീവ് ML OpenRAIL-M ലൈസൻസിന് കീഴിൽ ലൈസൻസ് നൽകിയിട്ടുണ്ട്.

സംഗീതം സൃഷ്ടിക്കുന്നതിന് "ടെക്സ്റ്റ്-ടു-ഇമേജ്", "ഇമേജ്-ടു-ഇമേജ്" എന്നീ മോഡലുകൾ ഉപയോഗിക്കുന്നത് തുടരുന്നു, എന്നാൽ ചിത്രങ്ങളായി സ്പെക്ട്രോഗ്രാമുകൾ കൈകാര്യം ചെയ്യുന്നതാണ് പദ്ധതി രസകരം. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, ക്ലാസിക് സ്റ്റേബിൾ ഡിഫ്യൂഷൻ പരിശീലിപ്പിക്കുന്നത് ഫോട്ടോഗ്രാഫുകളിലും ചിത്രങ്ങളിലും അല്ല, മറിച്ച് ഒരു ശബ്ദ തരംഗത്തിന്റെ ആവൃത്തിയിലും വ്യാപ്തിയിലും വരുന്ന മാറ്റങ്ങളെ പ്രതിഫലിപ്പിക്കുന്ന സ്പെക്ട്രോഗ്രാമുകളുടെ ചിത്രങ്ങളിലാണ്. അതനുസരിച്ച്, ഔട്ട്പുട്ടിൽ ഒരു സ്പെക്ട്രോഗ്രാം രൂപീകരിക്കപ്പെടുന്നു, അത് ഒരു ഓഡിയോ പ്രാതിനിധ്യമായി പരിവർത്തനം ചെയ്യപ്പെടുന്നു.

സ്റ്റേബിൾ ഡിഫ്യൂഷനിലെ ഇമേജ് പരിഷ്‌ക്കരണത്തിന് സമാനമായി നിലവിലുള്ള ശബ്‌ദ കോമ്പോസിഷനുകൾ പരിഷ്‌ക്കരിക്കുന്നതിനും ഒരു സാമ്പിളിൽ നിന്ന് സംഗീതം സമന്വയിപ്പിക്കുന്നതിനും ഈ രീതി ഉപയോഗിക്കാം. ഉദാഹരണത്തിന്, തലമുറയ്ക്ക് ഒരു റഫറൻസ് ശൈലി ഉപയോഗിച്ച് സ്പെക്ട്രോഗ്രാമുകൾ സാമ്പിൾ ചെയ്യാം, വ്യത്യസ്ത ശൈലികൾ സംയോജിപ്പിക്കാം, ഒരു ശൈലിയിൽ നിന്ന് മറ്റൊന്നിലേക്ക് സുഗമമായ പരിവർത്തനം നടത്താം, അല്ലെങ്കിൽ വ്യക്തിഗത ഉപകരണങ്ങളുടെ ശബ്ദം വർദ്ധിപ്പിക്കുക, താളം മാറ്റുക, മാറ്റുക തുടങ്ങിയ പ്രശ്നങ്ങൾ പരിഹരിക്കുന്നതിന് നിലവിലുള്ള ശബ്ദത്തിൽ മാറ്റങ്ങൾ വരുത്താം. ഉപകരണങ്ങൾ. സാമ്പിളുകൾ, കാലക്രമേണ നേരിയ വ്യത്യാസം വരുന്ന, അടുത്തടുത്തുള്ള ഭാഗങ്ങളുടെ ഒരു ശ്രേണിയിൽ ചേർന്ന് ദീർഘനേരം പ്ലേ ചെയ്യുന്ന കോമ്പോസിഷനുകൾ സൃഷ്ടിക്കുന്നതിനും ഉപയോഗിക്കുന്നു. മോഡലിന്റെ ആന്തരിക പാരാമീറ്ററുകളുടെ ഇന്റർപോളേഷൻ ഉപയോഗിച്ച് പ്രത്യേകം ജനറേറ്റുചെയ്‌ത ഭാഗങ്ങൾ തുടർച്ചയായ സ്ട്രീമിലേക്ക് സംയോജിപ്പിച്ചിരിക്കുന്നു.

ശബ്ദത്തിൽ നിന്ന് ഒരു സ്പെക്ട്രോഗ്രാം സൃഷ്ടിക്കാൻ ഒരു ജാലകമുള്ള ഫോറിയർ രൂപാന്തരം ഉപയോഗിക്കുന്നു. ഒരു സ്പെക്ട്രോഗ്രാമിൽ നിന്ന് ശബ്ദം പുനർനിർമ്മിക്കുമ്പോൾ, ഘട്ടം നിർണ്ണയിക്കുന്നതിൽ ഒരു പ്രശ്നം ഉണ്ടാകുന്നു (സ്പെക്ട്രോഗ്രാമിൽ ആവൃത്തിയും ആംപ്ലിറ്റ്യൂഡും മാത്രമേ ഉള്ളൂ), അതിന്റെ പുനർനിർമ്മാണത്തിനായി ഗ്രിഫിൻ-ലിം ഏകദേശ അൽഗോരിതം ഉപയോഗിക്കുന്നു.

അവലംബം: opennet.ru