Проектът OpenAI, занимаващ се с развитието на публични проекти в областта на изкуствения интелект, публикува разработки, свързани с системата за разпознаване на реч Whisper. Утвърдена е, че за реч на английския език системата осигурява нива на надеждност и точност на автоматичното разпознаване, близки до разпознаването от човек. Кодът на еталонната реализация, базиран на рамката PyTorch, и набор от предварително обучени модели, готови за използване, са отворени. Кодът е под лиценза MIT.
За обучението на модела са използвани 680 хиляди часа речеви данни, събрани от няколко колекции, обхващащи различни езици и тематични области. Около 1/3 от използваните речеви данни при обучението са на езици, различни от английския. Предложената система коректно обработва ситуации като акцент при произношението, фонов шум и използване на технически жаргон. Освен транскрипция на речта в текст, системата може също да превежда реч от произволен език на английски и да определя появата на реч в звуковия поток.
Моделите са оформени в две представяния: модел за английския език и многоезичен модел, който поддържа включително руски, украински и белоруски езици. В свою очередь, всяко представяне е разделено на 5 варианта, които се различават по размер и брой на параметрите, обхванати в модела. Колкото по-голям е размерът, толкова по-висока е точността и качеството на разпознаването, но и по-високи са изискванията към размера на видеопаметта на GPU и по-ниска е производителността. Например, минималният вариант включва 39 млн. параметри и изисква 1 ГБ видеопамет, докато максималният включва 1550 млн. параметри и изисква 10 ГБ видеопамет. Минималният вариант е 32 пъти по-бърз от максималния.
В системата се използва архитектура на невропрограмата „Transformer“, включваща взаимодействие между кодер и декодер. Звукът се разделя на 30-секундни фрагменти, които се преобразуват в log-Mel спектрограма и се предават на кодера. Резултатът от работата на кодера се изпраща на декодера, който предсказва текстовото представяне, смесено със специални токени, позволяващи в една обща модел да се решават задачи като определяне на езика, отчитане на хронологията на произношението на фрази, транскрипция на реч на различни езици и превод на английски.
Източник: opennet.ru
