음악 합성에 적합한 안정적인 확산 기계 학습 시스템

Riffusion 프로젝트는 이미지 대신 음악을 생성하는 데 적합한 기계 학습 시스템 Stable Diffusion 버전을 개발하고 있습니다. 음악은 자연어로 된 텍스트 설명이나 제안된 템플릿을 기반으로 합성될 수 있습니다. 음악 합성 구성 요소는 PyTorch 프레임워크를 사용하여 Python으로 작성되었으며 MIT 라이선스에 따라 사용할 수 있습니다. 인터페이스 바인딩은 TypeScript로 구현되며 MIT 라이선스에 따라 배포됩니다. 훈련된 모델은 상업적 용도로 허용되는 Creative ML OpenRAIL-M 라이선스에 따라 라이선스가 부여됩니다.

이 프로젝트는 음악을 생성하기 위해 "텍스트-이미지" 및 "이미지-이미지" 모델을 계속 사용하지만 스펙트로그램을 이미지로 조작한다는 점에서 흥미롭습니다. 즉, 고전적인 Stable Diffusion은 사진이나 그림이 아닌 시간에 따른 음파의 주파수와 진폭 변화를 반영하는 스펙트로그램 이미지를 통해 학습됩니다. 따라서 스펙트로그램도 출력에 형성되어 오디오 표현으로 변환됩니다.

이 방법은 Stable Diffusion의 이미지 수정과 유사하게 기존 사운드 구성을 수정하고 샘플에서 음악을 합성하는 데에도 사용할 수 있습니다. 예를 들어 생성은 참조 스타일로 스펙트로그램을 샘플링하고, 다양한 스타일을 결합하고, 한 스타일에서 다른 스타일로 부드럽게 전환하거나, 기존 사운드를 변경하여 개별 악기의 볼륨을 높이거나, 리듬을 변경하고, 변경하는 등의 문제를 해결할 수 있습니다. 악기. 샘플은 시간이 지남에 따라 약간씩 변하는 일련의 촘촘한 간격의 악절로 구성된 장시간 연주 구성을 생성하는 데에도 사용됩니다. 별도로 생성된 통로는 모델의 내부 매개변수 보간을 사용하여 연속 스트림으로 결합됩니다.

윈도우 푸리에 변환은 소리로부터 스펙트로그램을 생성하는 데 사용됩니다. 스펙트로그램에서 사운드를 재현할 때 Griffin-Lim 근사 알고리즘이 사용되는 재구성을 위해 위상을 결정하는 데 문제가 발생합니다(스펙트로그램에는 주파수와 진폭만 존재함).

출처 : opennet.ru