Компаниите NVIDIA и Mozilla представиха обновление на наборите с гласови данни, събрани в резултат на инициативата Common Voice, включващи примери за произношение на 182 хиляди души, което е с 25% повече отколкото преди 6 месеца. Данните са публикувани като обществено достояние (CC0). Предложените набори могат да се използват в системи за машинно обучение за изграждане на модели за разпознаване и синтез на реч.
В сравнение с предишното обновление, размерът на речевия материал в колекцията нарасна от 9 на 13.9 хиляди часа реч. Броят на поддържаните езици нарасна от 60 на 76, като за първи път бе добавена поддръжка на белоруски, казахски, узбекски, български, арменски, азербайджански и башкирски езици. Наборът за руски език обхваща 2136 участници и 173 часа речеви материали (беше 1412 участници и 111 часа), а за украински език — 615 участници и 66 часа (беше 459 участници и 30 часа).
В подготовката на материали на английски език участваха над 75 хиляди души, които диктуваха 2637 часа потвърдена реч (беше 66 хиляди участници и 1686 часа). Интересно е, че на второ място по размер на събраните данни е езикът руанда, за който са събрани 2260 часа. Следват немски (1040), каталонски (920) и есперанто (840). Сред най-бързо нарастващите езици по обем на гласовите данни са тайландският език (нарастване на базата с 20 пъти, от 12 на 250 часа), луганда (от 8 на 80 часа), есперанто (от 100 на 840 часа) и тамилският език (от 24 на 220 часа).
В рамките на своето участие в проекта Common Voice компанията NVIDIA подготви на базата на събраните данни готови обучени модели за системи за машинно обучение (поддържа се PyTorch). Моделите се разпространяват в състава на безплатния и отворен инструментариум NVIDIA NeMo, който, например, вече се използва в автоматизирани гласови услуги на МТС и Сбербанк. Моделите са насочени към използване в системи за разпознаване на реч, синтез на реч и обработка на информация на естествен език и могат да бъдат полезни за изследователи, които се занимават със създаването на гласови диалогови системи, платформи за транскрипция и автоматизирани кол-центрове. За разлика от предишните налични проекти, публикуваните модели не са ограничени до разпознаване на английски език и обхващат различни езици, акценти и форми на реч.
Да напомним, че проектът Common Voice е насочен към организиране на съвместна работа за натрупване на база гласови шаблони, отразяваща цялото разнообразие от гласове и начини на реч. На потребителите се предлага да озвучат изведените на екран фрази или да оценят качеството на данните, добавени от други потребители. Събраната база данни с записи на различни произношения на типични фрази на човешкия глас без ограничения може да се използва в системи за машинно обучение и в изследователски проекти.
Според автора на библиотеката за разпознаване на свързана реч Vosk, недостатъците на набора Common Voice са едностранчивостта на гласовия материал (преобладаване на мъже на възраст 20-30 години и липса на материали с гласове на жени, деца и възрастни хора), отсъствието на вариативност в речника (повторение на едни и същи фрази) и разпространението на записи в формат MP3, който внася из distortions.
Източник: opennet.ru
