Whisper 음성 인식 및 번역 시스템의 코드가 공개되었습니다.

인공지능 분야 공공 프로젝트를 개발하는 오픈AI(OpenAI) 프로젝트가 위스퍼(Whisper) 음성 인식 시스템과 관련된 개발 내용을 공개했다. 영어 음성의 경우 시스템은 인간 인식에 가까운 자동 인식의 신뢰성과 정확성 수준을 제공한다고 주장됩니다. PyTorch 프레임워크와 이미 훈련된 모델 세트를 기반으로 한 참조 구현을 위한 코드가 공개되었습니다. 코드는 MIT 라이센스에 따라 공개됩니다.

모델을 훈련시키기 위해 다양한 언어와 주제 영역을 다루는 여러 컬렉션에서 수집된 680만 시간의 음성 데이터가 사용되었습니다. 훈련에 포함된 음성 데이터의 약 1/3은 영어 이외의 언어로 되어 있습니다. 제안된 시스템은 악센트가 있는 발음, 배경 소음, 전문 용어 사용 등의 상황을 올바르게 처리합니다. 음성을 텍스트로 변환하는 것 외에도 시스템은 모든 언어의 음성을 영어로 번역하고 오디오 스트림에서 음성의 모양을 감지할 수도 있습니다.

모델은 영어용 모델과 러시아어, 우크라이나어, 벨로루시어를 지원하는 다국어 모델이라는 두 가지 표현으로 구성됩니다. 결과적으로, 각 표현은 모델에서 다루는 매개변수의 크기와 수가 다른 5가지 옵션으로 나뉩니다. 크기가 클수록 인식 정확도와 품질은 높아지지만 GPU 비디오 메모리 크기에 대한 요구 사항이 높아지고 성능이 저하됩니다. 예를 들어 최소 옵션에는 39만 개의 매개변수가 포함되고 1GB의 비디오 메모리가 필요하며, 최대 옵션에는 1550억 10천만 개의 매개변수가 포함되고 32GB의 비디오 메모리가 필요합니다. 최소 옵션은 최대 옵션보다 XNUMX배 빠릅니다.

이 시스템은 서로 상호 작용하는 인코더와 디코더를 포함하는 Transformer 신경망 아키텍처를 사용합니다. 오디오는 30초 단위로 분할되어 Log-Mel 스펙트로그램으로 변환되어 인코더로 전송됩니다. 인코더의 출력은 디코더로 전송되며, 디코더는 특수 토큰과 혼합된 텍스트 표현을 예측하여 하나의 일반 모델에서 언어 감지, 구문 발음의 연대기 계산, 음성 전사와 같은 문제를 해결할 수 있습니다. 다른 언어, 영어로 번역.

출처 : opennet.ru