स्प्लिटर के लिए खुला स्रोत, संगीत और आवाज को अलग करने की एक प्रणाली

स्ट्रीमिंग प्रदाता डीज़र मैं खोला प्रायोगिक परियोजना स्प्लिटर का स्रोत पाठ, जो जटिल ऑडियो रचनाओं से ध्वनि स्रोतों को अलग करने के लिए एक मशीन लर्निंग सिस्टम विकसित करता है। कार्यक्रम आपको किसी रचना से स्वर हटाने और केवल संगीत संगत छोड़ने, अलग-अलग वाद्ययंत्रों की ध्वनि में हेरफेर करने, या संगीत को त्यागने और आवाज को किसी अन्य ध्वनि श्रृंखला के साथ ओवरले करने, मिश्रण बनाने, कराओके या ट्रांसक्रिप्शन बनाने की अनुमति देता है। प्रोजेक्ट कोड Tensorflow इंजन का उपयोग करके Python में लिखा गया है द्वारा वितरित एमआईटी लाइसेंस के तहत।

लोडिंग के लिए पेशकश कर रहे हैं स्वरों (एक स्वर) को संगत से अलग करने के साथ-साथ स्वर, ड्रम, बास, पियानो और शेष ध्वनि सहित 4 और 5 धाराओं में विभाजित करने के लिए पहले से ही प्रशिक्षित मॉडल। स्प्लीटर का उपयोग पायथन लाइब्रेरी और स्टैंडअलोन कमांड लाइन उपयोगिता दोनों के रूप में किया जा सकता है। सबसे सरल मामले में, स्रोत फ़ाइल के आधार पर बनाया जाता है आवाज और संगत घटकों के साथ दो, चार या पांच फ़ाइलें (स्वर.wav, ड्रम.wav, बास.wav, पियानो.wav, अन्य.wav)।

2 और 4 थ्रेड में विभाजित होने पर, स्प्लिटर बहुत उच्च प्रदर्शन प्रदान करता है, उदाहरण के लिए, GPU का उपयोग करते समय, एक ऑडियो फ़ाइल को 4 थ्रेड में विभाजित करने में मूल रचना की अवधि की तुलना में 100 गुना कम समय लगता है। NVIDIA GeForce GTX 1080 GPU और 32-कोर Intel Xeon Gold 6134 CPU वाले सिस्टम पर, musDB परीक्षण संग्रह, जो तीन घंटे और 27 मिनट तक चला, 90 सेकंड में संसाधित किया गया था।

ओपन सोर्स प्रोजेक्ट जैसे ऑडियो पृथक्करण के क्षेत्र में अन्य विकासों की तुलना में स्प्लीटर के फायदों में से एक है ओपन-अनमिक्स, ध्वनि फ़ाइलों के व्यापक संग्रह से निर्मित उच्च गुणवत्ता वाले मॉडल के उपयोग का उल्लेख करता है। कॉपीराइट प्रतिबंधों के कारण, मशीन लर्निंग शोधकर्ता संगीत फ़ाइलों के काफी विरल सार्वजनिक संग्रह तक पहुंच तक सीमित हैं, जबकि स्प्लीटर के मॉडल डीज़र के विशाल संगीत कैटलॉग के डेटा का उपयोग करके बनाए गए थे।

पर तुलना करके ओपन-अनमिक्स के साथ, स्प्लीटर का सेपरेशन टूल सीपीयू पर परीक्षण करने पर लगभग 35% तेज होता है, एमपी3 फाइलों का समर्थन करता है, और उल्लेखनीय रूप से बेहतर परिणाम उत्पन्न करता है (ओपन-अनमिक्स में एकल आवाजें कुछ टूल के निशान छोड़ देती हैं, जो संभवतः इस तथ्य के कारण है कि मॉडल ओपन-अनमिक्स को केवल 150 रचनाओं के संग्रह पर प्रशिक्षित किया जाता है)।

स्रोत: opennet.ru