Müzik ve sesi ayıran bir sistem olan Spleeter için açık kaynak

Yayın sağlayıcısı Deezer açıldı Ses kaynaklarını karmaşık ses kompozisyonlarından ayırmak için bir makine öğrenme sistemi geliştiren Spleeter deneysel projesinin kaynak metinleri. Program, bir kompozisyondan vokalleri çıkarmanıza ve yalnızca müzik eşliğini bırakmanıza, bireysel enstrümanların sesini değiştirmenize veya müziği atmanıza ve sesi başka bir ses serisiyle kaplamak, miksler, karaoke veya transkripsiyon oluşturmak için bırakmanıza olanak tanır. Proje kodu Python'da Tensorflow motoru kullanılarak yazılmıştır ve tarafından dağıtıldı MIT lisansı altında.

Yükleme için teklif edilir Vokalleri (tek ses) eşlikten ayırmak ve ayrıca vokaller, davullar, bas, piyano ve sesin geri kalanı dahil olmak üzere 4 ve 5 akışa bölmek için halihazırda eğitilmiş modeller. Spleeter hem Python kütüphanesi hem de bağımsız bir komut satırı yardımcı programı olarak kullanılabilir. En basit durumda, kaynak dosyaya dayalı olarak yaratıldı ses ve eşlik bileşenleri içeren iki, dört veya beş dosya (vocals.wav, Drums.wav, bass.wav, piyano.wav, other.wav).

Spleeter, 2 ve 4 iş parçacığına bölerken çok yüksek performans sağlar; örneğin GPU kullanıldığında, bir ses dosyasını 4 iş parçacığına bölmek, orijinal kompozisyonun süresinden 100 kat daha az zaman alır. NVIDIA GeForce GTX 1080 GPU ve 32 çekirdekli Intel Xeon Gold 6134 CPU'ya sahip bir sistemde, üç saat 27 dakika süren musDB test koleksiyonu 90 saniyede işlendi.

Açık kaynak projesi gibi ses ayırma alanındaki diğer gelişmelerle karşılaştırıldığında Spleeter'in avantajları arasında Açık-Unmix, geniş bir ses dosyası koleksiyonundan oluşturulan daha yüksek kaliteli modellerin kullanımından bahseder. Telif hakkı kısıtlamaları nedeniyle, makine öğrenimi araştırmacılarının halka açık müzik dosyası koleksiyonlarına erişimi oldukça sınırlıdır; Spleeter'ın modelleri ise Deezer'in geniş müzik kataloğundaki veriler kullanılarak oluşturulmuştur.

Üzerinde karşılaştırma Spleeter'in ayırma aracı, Open-Unmix ile CPU üzerinde test edildiğinde yaklaşık %35 daha hızlıdır, MP3 dosyalarını destekler ve gözle görülür derecede daha iyi sonuçlar üretir (Open-Unmix'te seslerin tekilleştirilmesi bazı araçların izlerini bırakır; bu muhtemelen, Open-Unmix'in Open-Unmix modelleri yalnızca 150 kompozisyondan oluşan bir koleksiyonla eğitilmiştir).

Kaynak: opennet.ru