пускането на развиваната от компания Mozilla движеща за разпознаване на реч , която реализира едноименната архитектура за разпознаване на реч, от изследователи от компания Baidu. Реализацията е написана на Python, използвайки платформата за машинно обучение TensorFlow и под свободната лицензия MPL 2.0. Поддържа работа в Linux, Android, macOS и Windows. Производителността е достатъчна за използването на движението на платките LePotato, Raspberry Pi 3 и Raspberry Pi 4.
В комплекта също обучени модели, за звукови файлове и инструменти за разпознаване от командния ред. За вграждане на функция за разпознаване на реч в собствени програми са предложени готови за употреба модули за Python, NodeJS, C++ и .NET (отделни разработчици са подготвили модули за и ). Готовият модел се предлага само на английски език, но за други езици по може да се обучи системата самостоятелно, използвайки , събрани от проекта Common Voice.
DeepSpeech е значително по-просто от традиционните системи и осигурява по-високо качество на разпознаване при наличие на външен шум. В разработката не се използват традиционни акустични модели и концепцията за фонеми, вместо това се прилага добре оптимизирана система за машинно обучение на базата на невронна мрежа, която позволява да се заобиколят разработването на отделни компоненти за моделиране на различни отклонения, като шум, ехо и особености на речта.
Обратната страна на подобен подход е, че за постигане на качествено разпознаване и обучение на невронната мрежа, движението DeepSpeech изисква голям обем разнообразни данни, диктувани в реални условия от различни гласове и при наличие на естествени шумове.
Събирането на подобни данни се извършва от създадения в Mozilla проект , който предоставя проверен набор от данни с 780 часа на , 325 на немски, 173 на френски и 27 часа на руски.
Крайната цел на проекта Common Voice е да се съберат 10 хиляди часа записи с различно произношение на стандартни фрази на човешкия език, което ще позволи да се постигне приемливо ниво на грешки при разпознаване. В сегашния му вид участниците в проекта вече са диктували общо 4.3 хиляди часа, от които 3.5 хиляди са преминали проверка. При обучението на финалния модел на английския език за DeepSpeech са използвани 3816 часа реч, освен Common Voice, обхващаща данни от проектите LibriSpeech, Fisher и Switchboard, както и около 1700 часа транскрибирани записи от радиопредавания.
При използването на предложената за сваляне готова модел на английския език, нивото на грешки при разпознаване в DeepSpeech е 7.5% при оценка с тестов набор. . За сравнение, нивото на грешките при разпознаване от човек на 5.83%.
DeepSpeech се състои от две подсистеми — акустичен модел и декодер. Акустичният модел използва методи за дълбочинно машинно обучение, за да изчисли вероятността за наличие на определени символи в подавания звуков сигнал. Декодерът прилага алгоритъм за търсене на най-добрия маршрут за преобразуване на данните за вероятността на символите в текстово представяне.
Основни DeepSpeech 0.6 (клон 0.6 не е съвместим с предишни издания и изисква актуализация на кода и моделите):
- Предложен е нов потоков декодер, който осигурява по-висока отзивчивост и не зависи от размера на обработваните звукови данни. В резултат на това, в новата версия DeepSpeech е постигнато намаляване на закъснението при разпознаване до 260 мс, което е с 73% по-бързо от преди и позволява прилагането на DeepSpeech в решения за разпознаване на реч в реално време.
- Направени са промени в API и е извършена работа по унификация на имената на функциите. Добавени са функции за получаване на допълнителни метаданни за синхронизация, които позволяват не само получаване на текстово представяне на изхода, но и проследяване на привязката на отделните символи и изречения към позицията в звуковия поток.
- В инструментария за обучение на модули е добавена поддръжка за използването на библиотеката за оптимизация на работата с рекурсивни невронни мрежи (RNN), което доведе до значително (приблизително два пъти) увеличаване на производителността при обучението на модела, но изискваше промени в кода, нарушаващи съвместимостта с по-рано подготвените модели.
- Минималните изисквания за версията на TensorFlow са повишени от 1.13.1 до 1.14.0. Добавена е поддръжка за леката версия TensorFlow Lite, при използването на която размерът на пакета DeepSpeech е намален от 98 MB до 3.7 MB. За използване на вградени и мобилни устройства, размерът на опакования файл с модела също е свит от 188 MB до 47 MB (методът за квантоване след завършване на обучението на модела е използван за компресия).
- Езиковият модел е преобразуван в друг формат на структурни данни, позволяващ мапиране на файлове в паметта при зареждане. Поддръжката на стария формат е прекратена.
- Режимът на зареждане на файла с езиковия модел е променен, което доведе до намалено потребление на памет и намалени забавяния при обработката на първото запитване след създаването на модела. В процеса на работа DeepSpeech сега консумира 22 пъти по-малко памет и стартира 500 пъти по-бързо.
- Извършена е филтрация на редките думи в езиковия модел. Общият брой на думите е намален до 500 хиляди най-популярни думи, срещащи се в текста, използван за обучение на модела. Проведената чистка позволи намаляване на размера на езиковия модел от 1800MB до 900MB, без да се повлияят значително показателите за точност на разпознаване.
- Добавена е поддръжка за различни за създаване на допълнителни вариации (augmentation) на звуковите данни, използвани при обучението (например добавяне на варианти с изкривявания или шум).
- Добавена е библиотека с биндинги за интеграция с приложения на платформа .NET.
- Преработена е документацията, която сега е събрана на отделен сайт .
Източник: opennet.ru
