음악과 음성을 분리하는 시스템인 Sleeter의 오픈 소스

스트리밍 제공업체 Deezer 열린 복잡한 오디오 작곡에서 음원을 분리하기 위한 기계 학습 시스템을 개발하는 실험 프로젝트 Spleeter의 소스 텍스트입니다. 이 프로그램을 사용하면 작곡에서 보컬을 제거하고 반주만 남기거나, 개별 악기의 사운드를 조작하거나, 음악을 버리고 다른 사운드 시리즈와 오버레이하기 위해 목소리를 남겨 믹스, 노래방 또는 필사본을 만들 수 있습니다. 프로젝트 코드는 Tensorflow 엔진을 사용하여 Python으로 작성되었으며 배포자 MIT 라이센스에 따라.

로딩용 제공 반주에서 보컬(4개 음성)을 분리하고 보컬, 드럼, 베이스, 피아노 및 나머지 사운드를 포함하여 5개 및 XNUMX개 스트림으로 분할하기 위해 이미 훈련된 모델입니다. Sleeter는 Python 라이브러리와 독립 실행형 명령줄 유틸리티로 모두 사용할 수 있습니다. 가장 간단한 경우에는 소스 파일을 기반으로 생성됨 음성 및 반주 구성 요소가 포함된 XNUMX개, XNUMX개 또는 XNUMX개의 파일(vocals.wav, Drums.wav, bass.wav, Piano.wav, other.wav)

2개 및 4개 스레드로 분할할 때 Sleeter는 매우 높은 성능을 제공합니다. 예를 들어 GPU를 사용할 때 오디오 파일을 4개 스레드로 분할하는 데는 원본 구성 기간보다 100배 적은 시간이 걸립니다. NVIDIA GeForce GTX 1080 GPU와 32코어 Intel Xeon Gold 6134 CPU를 탑재한 시스템에서 27시간 90분 동안 지속된 musDB 테스트 수집이 XNUMX초 만에 처리되었습니다.

오픈 소스 프로젝트와 같은 오디오 분리 분야의 다른 개발과 비교하여 Spleeter의 장점 중 하나 오픈-언믹스에서는 광범위한 사운드 파일 컬렉션으로 구축된 고품질 모델의 사용을 언급합니다. 저작권 제한으로 인해 기계 학습 연구자는 상당히 희박한 공개 음악 파일 컬렉션에 액세스할 수 있는 것으로 제한되어 있는 반면, Spleeter의 모델은 Deezer의 방대한 음악 카탈로그의 데이터를 사용하여 구축되었습니다.

에 비교 Open-Unmix를 사용하면 Spleeter의 분리 도구는 CPU에서 테스트할 때 약 35% 더 빠르고 MP3 파일을 지원하며 눈에 띄게 더 나은 결과를 생성합니다(Open-Unmix에서 노래하는 음성은 일부 도구의 흔적을 남깁니다. 이는 아마도 모델 Open-Unmix는 150개의 컴포지션 컬렉션에 대해서만 학습되었습니다.

출처 : opennet.ru