संगीत संश्लेषणासाठी अनुकूल केलेली स्थिर प्रसार मशीन शिक्षण प्रणाली

रिफ्यूजन प्रकल्प मशिन लर्निंग सिस्टीम स्थिर प्रसाराची आवृत्ती विकसित करत आहे, जी प्रतिमांऐवजी संगीत निर्माण करण्यासाठी अनुकूल आहे. नैसर्गिक भाषेतील मजकूर वर्णनातून किंवा प्रस्तावित टेम्पलेटवर आधारित संगीत संश्लेषित केले जाऊ शकते. संगीत संश्लेषण घटक PyTorch फ्रेमवर्क वापरून Python मध्ये लिहिलेले आहेत आणि MIT परवान्याअंतर्गत उपलब्ध आहेत. इंटरफेस बाइंडिंग TypeScript मध्ये लागू केले जाते आणि MIT परवान्या अंतर्गत देखील वितरित केले जाते. प्रशिक्षित मॉडेल्सना व्यावसायिक वापरासाठी परवानगी असलेल्या क्रिएटिव्ह एमएल ओपनरेल-एम परवान्याअंतर्गत परवाना दिला जातो.

हा प्रकल्प मनोरंजक आहे कारण तो संगीत तयार करण्यासाठी “टेक्स्ट-टू-इमेज” आणि “इमेज-टू-इमेज” मॉडेल्सचा वापर करत आहे, परंतु स्पेक्ट्रोग्राम प्रतिमा म्हणून हाताळतो. दुस-या शब्दात सांगायचे तर, क्लासिक स्टेबल डिफ्यूजन छायाचित्रे आणि चित्रांवर नव्हे तर स्पेक्ट्रोग्रामच्या प्रतिमांवर प्रशिक्षित केले जाते जे कालांतराने ध्वनी लहरीची वारंवारता आणि मोठेपणामध्ये बदल दर्शवतात. त्यानुसार, आउटपुटवर एक स्पेक्ट्रोग्राम देखील तयार केला जातो, जो नंतर ऑडिओ प्रस्तुतीकरणात रूपांतरित होतो.

या पद्धतीचा वापर विद्यमान ध्वनी रचना सुधारण्यासाठी आणि नमुन्यातून संगीत संश्लेषित करण्यासाठी देखील केला जाऊ शकतो, स्थिर प्रसार मधील प्रतिमा बदलाप्रमाणे. उदाहरणार्थ, पिढी संदर्भ शैलीसह स्पेक्ट्रोग्रामचे नमुने घेऊ शकते, भिन्न शैली एकत्र करू शकते, एका शैलीतून दुसर्‍या शैलीत गुळगुळीत संक्रमण करू शकते किंवा वैयक्तिक वाद्यांचा आवाज वाढवणे, ताल बदलणे आणि बदलणे यासारख्या समस्यांचे निराकरण करण्यासाठी विद्यमान आवाजात बदल करू शकतात. साधने नमुने दीर्घ-खेळणाऱ्या रचना तयार करण्यासाठी देखील वापरले जातात, ज्यामध्ये जवळून अंतर असलेल्या पॅसेजच्या मालिकेने बनलेले असते जे कालांतराने थोडेसे बदलतात. मॉडेलच्या अंतर्गत पॅरामीटर्सच्या इंटरपोलेशनचा वापर करून स्वतंत्रपणे व्युत्पन्न केलेले पॅसेज सतत प्रवाहात एकत्र केले जातात.

ध्वनीपासून स्पेक्ट्रोग्राम तयार करण्यासाठी विंडोड फूरियर ट्रान्सफॉर्मचा वापर केला जातो. स्पेक्ट्रोग्राममधून ध्वनी पुन्हा तयार करताना, टप्पा निश्चित करण्यात समस्या उद्भवते (स्पेक्ट्रोग्रामवर केवळ वारंवारता आणि मोठेपणा उपस्थित असतात), ज्याच्या पुनर्रचनासाठी ग्रिफिन-लिम अंदाजे अल्गोरिदम वापरला जातो.

स्त्रोत: opennet.ru