ผู้ให้บริการสตรีมมิ่ง Deezer ข้อความต้นฉบับของโครงการทดลอง Spleeter ซึ่งพัฒนาระบบการเรียนรู้ของเครื่องสำหรับแยกแหล่งกำเนิดเสียงออกจากการเรียบเรียงเสียงที่ซับซ้อน โปรแกรมนี้ช่วยให้คุณสามารถลบเสียงร้องออกจากการเรียบเรียงและเหลือไว้เพียงดนตรีประกอบ ปรับแต่งเสียงของเครื่องดนตรีแต่ละชิ้น หรือละทิ้งเพลงและปล่อยเสียงไว้เพื่อซ้อนทับกับซีรีส์เสียงอื่น สร้างมิกซ์ คาราโอเกะ หรือการถอดเสียง รหัสโครงการเขียนด้วยภาษา Python โดยใช้เอ็นจิ้น Tensorflow และ ภายใต้ใบอนุญาต MIT
สำหรับการโหลด ฝึกโมเดลการแยกเสียงร้อง (เสียงเดียว) ออกจากดนตรีประกอบ รวมทั้งแยกออกเป็น 4 และ 5 สตรีม รวมทั้งเสียงร้อง กลอง เบส เปียโน และเสียงที่เหลือ Spleeter สามารถใช้ได้ทั้งเป็นไลบรารี Python และเป็นยูทิลิตีบรรทัดคำสั่งแบบสแตนด์อโลน ในกรณีที่ง่ายที่สุด ขึ้นอยู่กับไฟล์ต้นฉบับ ไฟล์สอง, สี่หรือห้าไฟล์ที่มีส่วนประกอบเสียงพูดและดนตรีประกอบ (vocals.wav, drums.wav, bass.wav, Piano.wav, other.wav)
เมื่อแยกออกเป็น 2 และ 4 เธรด Spleeter จะให้ประสิทธิภาพสูงมาก เช่น เมื่อใช้ GPU การแยกไฟล์เสียงออกเป็น 4 เธรดจะใช้เวลาน้อยกว่าระยะเวลาของการเรียบเรียงต้นฉบับถึง 100 เท่า บนระบบที่มี GPU NVIDIA GeForce GTX 1080 และ CPU Intel Xeon Gold 32 แบบ 6134 คอร์ คอลเลกชันการทดสอบ musDB ซึ่งใช้เวลาสามชั่วโมง 27 นาทีได้รับการประมวลผลใน 90 วินาที
ข้อดีของ Spleeter เมื่อเปรียบเทียบกับการพัฒนาอื่นๆ ในด้านการแยกเสียง เช่น โครงการโอเพ่นซอร์ส เปิด-Unmixกล่าวถึงการใช้โมเดลคุณภาพสูงกว่าที่สร้างจากคอลเลกชันไฟล์เสียงที่กว้างขวาง เนื่องจากข้อจำกัดด้านลิขสิทธิ์ นักวิจัยด้านการเรียนรู้ของเครื่องจึงถูกจำกัดให้เข้าถึงคอลเลกชันไฟล์เพลงสาธารณะที่ค่อนข้างกระจัดกระจาย ในขณะที่แบบจำลองของ Spleeter ถูกสร้างขึ้นโดยใช้ข้อมูลจากแคตตาล็อกเพลงอันกว้างขวางของ Deezer
บน ด้วย Open-Unmix เครื่องมือแยกของ Spleeter จะเร็วขึ้นประมาณ 35% เมื่อทดสอบบน CPU รองรับไฟล์ MP3 และสร้างผลลัพธ์ที่ดีขึ้นอย่างเห็นได้ชัด (เสียงเดี่ยวใน Open-Unmix ทิ้งร่องรอยของเครื่องมือบางอย่าง ซึ่งอาจเป็นเพราะความจริงที่ว่า รุ่น Open-Unmix ได้รับการฝึกฝนในคอลเลกชั่นการเรียบเรียงเพียง 150 รายการ)
ที่มา: opennet.ru