Отворен код на системата за разпознаване и превод на реч Whisper

Проект OpenAI, който се занимава с развитието на обществени проекти в областта на изкуствения интелект, публикува новини, свързани с системата за разпознаване на реч Whisper. Утвърд480673 оборува, че за английски език системата предлага нива на надеждност и точност на автоматичното разпознаване, близки до тези на човешкото разпознаване. Кодът на еталонната реализация, базирана на фреймворка PyTorch, е отворен, заедно с пакет от вече обучени модели, готови за използване. Кодът е достъпен под лицензия MIT.

За обучението на модела са използвани 680 хиляди часа речеви данни, събрани от различни колекции, обхващащи различни езици и тематични области. Приблизително 1/3 от използваните речеви данни произхождат от езици, различни от английския. Предложената система обработва коректно случаи като проява на акцент, наличие на фонов шум и използване на технически жаргон. Освен транскрипцията на реч в текст, системата също може да превежда реч от произволен език на английски и да идентифицира появата на реч в звуковия поток.

Моделите са оформени в две представяния: модел за английския език и многоезичен модел, който поддържа включително руски, украински и беларуски езици. Всяко представяне се дели на 5 варианта, които се различават по размер и брой на параметрите, обхванати в модела. Колкото по-голям е размерът, толкова по-висока е точността и качеството на разпознаване, но изискванията към обема на видеопаметта на GPU са по-високи и производителността е по-ниска. Например, минималният вариант включва 39 млн. параметри и изисква 1 ГБ видеопамет, а максималният включва 1550 млн. параметри и изисква 10 ГБ видеопамет. Минималният вариант е 32 пъти по-бърз от максималния.

В системата се използва архитектура на невронна мрежа „Transformer“, която включва взаимодействие между кодер и декодер. Звукът се разбива на 30-секундни откъси, които се преобразуват в log-Mel спектрограма и се предават на кодера. Резултатът от работата на кодера се изпраща на декодера, който прогнозира текстовото представяне, смесено със специални токени, позволяващи решаването на задачи като определяне на езика, отчитане на хронологията на произношението на фрази, транскрипция на речта на различни езици и превод на английски език.

Източник: opennet.ru