संगीत संश्लेषणको लागि अनुकूलित स्थिर प्रसार मेसिन लर्निंग प्रणाली

रिफ्युजन प्रोजेक्टले मेसिन लर्निङ सिस्टम स्टेबल डिफ्युजनको संस्करण विकास गर्दैछ, छविहरूको सट्टा संगीत उत्पन्न गर्न अनुकूलित। संगीत प्राकृतिक भाषामा वा प्रस्तावित टेम्प्लेटमा आधारित पाठ विवरणबाट संश्लेषित गर्न सकिन्छ। संगीत संश्लेषण कम्पोनेन्टहरू PyTorch फ्रेमवर्क प्रयोग गरेर Python मा लेखिएका छन् र MIT लाइसेन्स अन्तर्गत उपलब्ध छन्। इन्टरफेस बाइन्डिङ टाइपस्क्रिप्टमा लागू गरिएको छ र MIT लाइसेन्स अन्तर्गत पनि वितरण गरिएको छ। प्रशिक्षित मोडेलहरू व्यावसायिक प्रयोगको लागि अनुमति प्राप्त क्रिएटिभ ML OpenRAIL-M लाइसेन्स अन्तर्गत इजाजतपत्र प्राप्त गरिन्छ।

यो परियोजना रोचक छ कि यसले संगीत उत्पन्न गर्न "टेक्स्ट-टु-इमेज" र "छवि-देखि-छवि" मोडेलहरू प्रयोग गर्न जारी राख्छ, तर स्पेक्ट्रोग्रामहरूलाई छविहरूको रूपमा हेरफेर गर्दछ। अर्को शब्दमा भन्नुपर्दा, क्लासिक स्टेबल डिफ्युजनलाई तस्बिर र तस्विरहरूमा होइन, तर स्पेक्ट्रोग्रामका छविहरूमा तालिम दिइन्छ जसले समयसँगै ध्वनि तरंगको आवृत्ति र आयाममा परिवर्तनहरू प्रतिबिम्बित गर्दछ। तदनुसार, आउटपुटमा स्पेक्ट्रोग्राम पनि बनाइन्छ, जुन त्यसपछि अडियो प्रतिनिधित्वमा रूपान्तरण हुन्छ।

यो विधि अवस्थित ध्वनि रचनाहरू परिमार्जन गर्न र नमूनाबाट संगीत संश्लेषण गर्न प्रयोग गर्न सकिन्छ, स्थिर प्रसारमा छवि परिमार्जन जस्तै। उदाहरणका लागि, जेनरेशनले सन्दर्भ शैलीको साथ स्पेक्ट्रोग्रामहरू नमूना गर्न सक्छ, विभिन्न शैलीहरू संयोजन गर्न सक्छ, एक शैलीबाट अर्कोमा सहज संक्रमणहरू बनाउन सक्छ, वा अवस्थित ध्वनिमा परिवर्तनहरू गर्न सक्छ जस्तै व्यक्तिगत वाद्ययन्त्रहरूको आवाज बढाउने, ताल परिवर्तन गर्ने, र परिवर्तन गर्ने जस्ता समस्याहरू समाधान गर्न। उपकरणहरू। नमूनाहरू लामो-खेल्ने रचनाहरू उत्पन्न गर्न पनि प्रयोग गरिन्छ, जुन समयसँगै थोरै फरक हुने नजिकको दूरीमा भएका खण्डहरूको श्रृंखलाबाट बनेको हुन्छ। मोडेलको आन्तरिक मापदण्डहरूको इन्टरपोलेसन प्रयोग गरेर अलग-अलग उत्पन्न परिच्छेदहरूलाई निरन्तर प्रवाहमा जोडिन्छ।

झ्यालयुक्त फोरियर ट्रान्सफर्म ध्वनिबाट स्पेक्ट्रोग्राम बनाउन प्रयोग गरिन्छ। स्पेक्ट्रोग्रामबाट ध्वनि पुन: सिर्जना गर्दा, चरण निर्धारण गर्न समस्या उत्पन्न हुन्छ (स्पेक्ट्रोग्राममा मात्र आवृत्ति र आयामहरू अवस्थित छन्), जसको पुनर्निर्माणको लागि ग्रिफिन-लिम अनुमानित एल्गोरिथ्म प्रयोग गरिन्छ।

स्रोत: opennet.ru