Sumber terbuka untuk Spleeter, sistem untuk memisahkan muzik dan suara

Pembekal penstriman Deezer dibuka Teks sumber projek percubaan Spleeter, yang membangunkan sistem pembelajaran mesin untuk mengasingkan sumber bunyi daripada gubahan audio yang kompleks. Program ini membolehkan anda mengeluarkan vokal daripada gubahan dan meninggalkan hanya iringan muzik, memanipulasi bunyi instrumen individu, atau membuang muzik dan biarkan suara untuk tindanan dengan siri bunyi lain, mencipta campuran, karaoke atau transkripsi. Kod projek ditulis dalam Python menggunakan enjin Tensorflow dan diedarkan oleh di bawah lesen MIT.

Untuk memuatkan ditawarkan model yang sudah terlatih untuk memisahkan vokal (satu suara) daripada iringan, serta untuk membahagikan kepada 4 dan 5 aliran, termasuk vokal, dram, bes, piano dan bunyi yang lain. Spleeter boleh digunakan sebagai perpustakaan Python dan sebagai utiliti baris arahan kendiri. Dalam kes paling mudah, berdasarkan fail sumber dicipta dua, empat atau lima fail dengan komponen suara dan iringan (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).

Apabila dipecahkan kepada 2 dan 4 strim, Spleeter memberikan prestasi yang sangat tinggi, contohnya, apabila menggunakan GPU, membelah fail audio kepada 4 strim mengambil masa 100 kali lebih singkat daripada tempoh komposisi asal. Pada sistem dengan GPU NVIDIA GeForce GTX 1080 dan CPU Intel Xeon Gold 32 6134-teras, koleksi ujian musDB, yang berlangsung selama tiga jam dan 27 minit, telah diproses dalam 90 saat.

Antara kelebihan Spleeter, berbanding perkembangan lain dalam bidang pemisahan audio, seperti projek sumber terbuka Buka-Nyahcampur, menyebut penggunaan model berkualiti tinggi yang dibina daripada koleksi fail bunyi yang banyak. Disebabkan oleh sekatan hak cipta, penyelidik pembelajaran mesin terhad kepada akses kepada koleksi fail muzik awam yang agak jarang, manakala model Spleeter dibina menggunakan data daripada katalog muzik Deezer yang luas.

Pada perbandingan dengan Open-Unmix, alat pemisah Spleeter adalah kira-kira 35% lebih pantas apabila diuji pada CPU, menyokong fail MP3 dan menjana hasil yang lebih baik (suara tunggal dalam Open-Unmix meninggalkan kesan beberapa alat, yang mungkin disebabkan oleh fakta bahawa model Open-Unmix dilatih pada koleksi hanya 150 gubahan).

Sumber: opennet.ru