संगीत संश्लेषण के लिए अनुकूलित स्थिर प्रसार मशीन लर्निंग सिस्टम

रिफ्यूजन प्रोजेक्ट छवियों के बजाय संगीत उत्पन्न करने के लिए अनुकूलित स्थिर डिफ्यूजन मशीन लर्निंग सिस्टम का एक प्रकार विकसित करता है। संगीत को प्राकृतिक भाषा में पाठ्य विवरण द्वारा या सुझाए गए टेम्पलेट के आधार पर संश्लेषित किया जा सकता है। संगीत संश्लेषण घटक PyTorch ढांचे का उपयोग करके पायथन में लिखे गए हैं और MIT लाइसेंस के तहत उपलब्ध हैं। इंटरफ़ेस के साथ बाइंडिंग टाइपस्क्रिप्ट भाषा में कार्यान्वित की जाती है और इसे MIT लाइसेंस के तहत वितरित भी किया जाता है। व्यावसायिक उपयोग के लिए क्रिएटिव एमएल ओपनरेल-एम अनुमेय लाइसेंस के तहत प्रशिक्षित मॉडल जारी किए गए हैं।

यह परियोजना दिलचस्प है क्योंकि यह संगीत निर्माण के लिए "टेक्स्ट-टू-इमेज" और "इमेज-टू-इमेज" मॉडल का उपयोग करना जारी रखती है, लेकिन छवियों के रूप में स्पेक्ट्रोग्राम में हेरफेर करती है। दूसरे शब्दों में, क्लासिक स्थिर प्रसार को तस्वीरों और चित्रों पर नहीं, बल्कि स्पेक्ट्रोग्राम की छवियों पर प्रशिक्षित किया जाता है जो समय के साथ ध्वनि तरंग की आवृत्ति और आयाम में परिवर्तन को दर्शाते हैं। तदनुसार, आउटपुट पर एक स्पेक्ट्रोग्राम भी बनता है, जिसे बाद में ऑडियो प्रतिनिधित्व में परिवर्तित किया जाता है।

स्थिर प्रसार में छवि संशोधन के समान मौजूदा ध्वनि रचनाओं और नमूना संगीत संश्लेषण को संशोधित करने के लिए विधि का भी उपयोग किया जा सकता है। उदाहरण के लिए, पीढ़ी एक संदर्भ शैली के साथ नमूना स्पेक्ट्रोग्राम सेट कर सकती है, विभिन्न शैलियों को जोड़ सकती है, एक शैली से दूसरी शैली में एक सहज संक्रमण कर सकती है, या समस्याओं को हल करने के लिए मौजूदा ध्वनि में परिवर्तन कर सकती है जैसे कि व्यक्तिगत उपकरणों की मात्रा बढ़ाना, ताल बदलना और उपकरणों की जगह। पैटर्न का उपयोग लंबे समय तक चलने वाली रचनाओं को उत्पन्न करने के लिए भी किया जाता है, जो एक दूसरे के करीब होने वाले मार्गों की एक श्रृंखला से बना है, जो समय के साथ थोड़ा भिन्न होता है। मॉडल के आंतरिक मापदंडों को प्रक्षेपित करके अलग-अलग उत्पन्न अंशों को एक सतत प्रवाह में जोड़ा जाता है।

ध्वनि से एक स्पेक्ट्रोग्राम बनाने के लिए, एक विंडो फूरियर रूपांतरण का उपयोग किया जाता है। एक स्पेक्ट्रोग्राम से ध्वनि को फिर से बनाते समय, चरण का निर्धारण करने में समस्या होती है (स्पेक्ट्रोग्राम पर केवल आवृत्ति और आयाम मौजूद होते हैं), जिसके पुनर्निर्माण के लिए ग्रिफिन-लिम सन्निकटन एल्गोरिथ्म का उपयोग किया जाता है।

स्रोत: opennet.ru