Riffusion ව්‍යාපෘතිය රූප වෙනුවට සංගීතය ජනනය කිරීමට අනුවර්තනය කරන ලද ස්ථායී විසරණ යන්ත්‍ර ඉගෙනුම් පද්ධතියේ ප්‍රභේදයක් සංවර්ධනය කරයි. සංගීතය ස්වභාවික භාෂාවෙන් පාඨමය විස්තරයකින් හෝ යෝජිත අච්චුවක් මත පදනම්ව සංස්ලේෂණය කළ හැක. සංගීත සංශ්ලේෂණ සංරචක PyTorch රාමුව භාවිතයෙන් Python හි ලියා ඇති අතර MIT බලපත්‍රය යටතේ ලබා ගත හැකිය. අතුරු මුහුණත සමඟ බැඳීම TypeScript භාෂාවෙන් ක්‍රියාත්මක වන අතර MIT බලපත්‍රය යටතේද බෙදා හරිනු ලැබේ. පුහුණු කරන ලද ආකෘති වාණිජමය භාවිතය සඳහා Creative ML OpenRAIL-M අවසර බලපත්‍රය යටතේ නිකුත් කෙරේ.
මෙම ව්‍යාපෘතිය සිත්ගන්නාසුළු වන්නේ එය සංගීත උත්පාදනය සඳහා “පෙළ-පින්තූරය” සහ “පින්තූරයෙන් රූපය” ආකෘති දිගටම භාවිතා කරන නමුත් වර්ණාවලීක්ෂ රූප ලෙස හැසිරවීමයි. වෙනත් වචන වලින් කිවහොත්, සම්භාව්‍ය ස්ථායී විසරණය පුහුණු කරනු ලබන්නේ ඡායාරූප සහ පින්තූර මත නොව, කාලයත් සමඟ ශබ්ද තරංගයේ සංඛ්‍යාතය සහ විස්තාරය වෙනස් කිරීම පිළිබිඹු කරන වර්ණාවලි රූප මත ය. ඒ අනුව, ප්‍රතිදානයේදී වර්ණාවලීක්ෂයක් ද සාදනු ලබන අතර එය ශ්‍රව්‍ය නිරූපණයක් බවට පරිවර්තනය වේ.
ස්ථායී විසරණයේදී රූප වෙනස් කිරීම හා සමානව පවතින ශබ්ද සංයුති සහ නියැදි සංගීත සංස්ලේෂණය වෙනස් කිරීමට ද ක්‍රමය භාවිතා කළ හැක. උදාහරණයක් ලෙස, පරම්පරාවට යොමු විලාසයක් සමඟ නියැදි වර්ණාවලීක්ෂ සැකසීමට, විවිධ මෝස්තර ඒකාබද්ධ කිරීමට, එක් ශෛලියකින් තවත් ශෛලියකට සුමට සංක්‍රමණයක් සිදු කිරීමට හෝ තනි උපකරණවල පරිමාව වැඩි කිරීම, රිද්මය වෙනස් කිරීම වැනි ගැටළු විසඳීම සඳහා පවතින ශබ්දයකට වෙනස්කම් කළ හැකිය. උපකරණ වෙනුවට. කාලයත් සමඟ මදක් වෙනස් වන, එකිනෙකට සමීප ඡේද මාලාවකින් සමන්විත දිගු වාදන සංයුති ජනනය කිරීමට ද රටා භාවිතා වේ. වෙන වෙනම ජනනය කරන ලද කොටස්, ආකෘතියේ අභ්‍යන්තර පරාමිති අන්තර් සම්බන්ධිත කිරීමෙන් අඛණ්ඩ ප්‍රවාහයකට ඒකාබද්ධ වේ.
ශබ්දයෙන් වර්ණාවලීක්ෂයක් නිර්මාණය කිරීම සඳහා, කවුළු සහිත ෆූරියර් පරිවර්තනයක් භාවිතා කරයි. වර්ණාවලීක්ෂයකින් ශබ්දය ප්‍රතිනිර්මාණය කිරීමේදී, අදියර තීරණය කිරීමේ ගැටලුවක් ඇත (වර්‍යාලේඛනයේ සංඛ්‍යාතය සහ විස්තාරය පමණක් පවතී), ප්‍රතිනිර්මාණය සඳහා Griffin-Lim ආසන්න ඇල්ගොරිතම භාවිතා වේ.
මූලාශ්රය: opennet.ru