Penyedia streaming Deezer Teks sumber dari proyek eksperimental Spleeter, yang mengembangkan sistem pembelajaran mesin untuk memisahkan sumber suara dari komposisi audio yang kompleks. Program ini memungkinkan Anda untuk menghapus vokal dari suatu komposisi dan hanya menyisakan musik pengiringnya, memanipulasi suara masing-masing instrumen, atau membuang musik dan membiarkan suaranya untuk dilapis dengan rangkaian suara lain, membuat campuran, karaoke, atau transkripsi. Kode proyek ditulis dengan Python menggunakan mesin Tensorflow dan di bawah lisensi MIT.
Untuk memuat model yang sudah terlatih untuk memisahkan vokal (satu suara) dari pengiring, serta untuk membagi menjadi 4 dan 5 aliran, termasuk vokal, drum, bass, piano, dan suara lainnya. Spleeter dapat digunakan baik sebagai perpustakaan Python dan sebagai utilitas baris perintah yang berdiri sendiri. Dalam kasus paling sederhana, berdasarkan file sumber dua, empat atau lima file dengan komponen suara dan pengiring (vocals.wav, drums.wav, bass.wav, piano.wav, other.wav).
Saat dipecah menjadi 2 dan 4 thread, Sleeter memberikan performa yang sangat tinggi, misalnya saat menggunakan GPU, membagi file audio menjadi 4 thread membutuhkan waktu 100 kali lebih cepat dibandingkan durasi komposisi aslinya. Pada sistem dengan GPU NVIDIA GeForce GTX 1080 dan CPU Intel Xeon Gold 32 6134-core, kumpulan pengujian musDB, yang berlangsung selama tiga jam 27 menit, diproses dalam 90 detik.
Di antara kelebihan Sleeter dibandingkan dengan pengembangan lain di bidang pemisahan audio, seperti proyek open source Buka-Buka Campuran, menyebutkan penggunaan model berkualitas lebih tinggi yang dibuat dari banyak koleksi file suara. Karena pembatasan hak cipta, peneliti pembelajaran mesin dibatasi aksesnya ke koleksi file musik publik yang cukup sedikit, sementara model Sleeter dibuat menggunakan data dari katalog musik Deezer yang sangat banyak.
Pada dengan Open-Unmix, alat pemisahan Sleeter sekitar 35% lebih cepat saat diuji pada CPU, mendukung file MP3, dan memberikan hasil yang jauh lebih baik (suara tunggal di Open-Unmix meninggalkan jejak beberapa alat, yang mungkin disebabkan oleh fakta bahwa model Open-Unmix dilatih pada koleksi hanya 150 komposisi).
Sumber: opennet.ru