Canonical представи Myna, локална система за преобразуване на реч в текст. Ubuntu работен плот

Canonical представи проекта Мина - нова система за преобразуване на реч в текст за Ubuntu Десктоп. Проектът има за цел да осигури интегрирано диктовка: потребителят натиска клавишна комбинация, говори и разпознатият текст се появява в активното приложение. В съобщението се подчертава, че Myna трябва да се усеща като естествена част от работния плот. Ubuntu и същевременно работят, като се отчитат поверителността на потребителя. Списъкът с поддържаните езици за въвеждане не беше обявен към момента на публикуване.

Първата цел на проекта е Ubuntu 26.10На този етап Canonical не се опитва да разработи пълноценен гласов асистент или система за управление на работния плот, базирана на глас. Разработчиците умишлено са ограничили обхвата на първата версия до основно, надеждно диктовка: натискане на клавишна комбинация, изговаряне на текст и получаване на резултата в текущото поле за въвеждане. Основната среда, която се тества, е Ubuntu Десктоп на Wayland с GNOME, но е планирано архитектурата да остане достатъчно отворена, за да поддържа други среди в бъдеще.

Myna е проектирана за локално разпознаване на реч. След като необходимите модели са инсталирани, диктовката не изисква интернет връзка. Микрофонът трябва да се използва само след изрично активиране от потребителя. Аудиото се обработва в паметта и след това се изтрива, а записите не се изпращат към външни услуги. Спецификацията на дизайна също така уточнява, че решението трябва да избягва съхраняването на аудио по подразбиране и не трябва безпроблемно да превключва към облачна услуга.

Кодът и документацията на Myna са публикувани в хранилището на Canonical на адрес GitHubПроектът е описан като леко приложение за преобразуване на реч в текст за Ubuntu Desktop и се разпространява под лиценз GPL-3.0. Проектът обаче е в ранен етап: все още няма публикувани версии в хранилището, а архитектурната спецификация е посочена като предложена.

Основни характеристики и функции на Myna

• Диктовка с натискане и говорене. Потребителят задържа конфигурируема гореща клавишна комбинация, говори и системата вмъква разпознатия текст в избраното поле за въвеждане. Диктуването приключва, когато клавишът бъде отпуснат.

• Локално разпознаване на реч. Разпознаването се извършва на машината на потребителя чрез локален стек за извод. Това намалява зависимостта от облака и позволява офлайн работа след инсталиране на модела.

• Частна аудио обработка. Микрофонът се активира само по време на сесия на диктовка на потребителя. Аудиото не се записва на диск по подразбиране; използва се ограничен буфер памет, който се изчиства след края на сесията.

• Индикатор за визуална активност. По време на запис и транскрипция, потребителят трябва да вижда ясен индикатор за състоянието. Спецификацията споменава състояния като Запис, Транскрипция, Финализиране и Грешка.

• Вмъквайте само стабилен текст. При първата имплементация, междинните хипотези за разпознаване не трябва да се въвеждат директно в приложението. Само потвърденият краен текст се изпраща към целевото поле.

• Последваща обработка на текст. Суровият препис може да претърпи нормализиране, пунктуация, главни букви, форматиране и преобразуване на говорими форми в писмени, като например „двадесет и две“ → „22“.

• Избор на език за диктовка. Системата трябва да поддържа персонализируем език за диктовка, като по подразбиране се използва езикът на потребителския интерфейс, ако е наличен подходящ модел за него.

• Профили на качеството на модела. Спецификацията включва различни профили на моделите: лека версия с по-ниска консумация на ресурси, балансиран профил по подразбиране и по-висококачествена, но по-тежка версия.

• Безопасна работа с фокус върху входните данни. Целта за вмъкване на текст се избира в началото на сесията. Ако фокусът на прозореца се промени по време на диктовка, системата не трябва да изпраща текста безшумно към друго приложение.

• Блокиране в защитени полета. Диктуването трябва да бъде блокирано в полета за парола, прозорци за удостоверяване и други защитени области, ако приложението или инструментариумът позволяват това да бъде определено.

• Интеграция с Wayland/GNOME. Първата версия е насочена към Wayland и GNOME. IBus се разглежда за първоначално вмъкване на текст, а за в бъдеще се планира по-оригинален Wayland подход чрез протоколите за метод на въвеждане/въвеждане на текст.

• Потребителски настройки. Планираният интерфейс за настройки трябва да включва активиране/деактивиране на STT, избор на клавишна комбинация, език за диктовка, микрофон, профил на модела, параметри за последваща обработка и индикатор за активност.

Първата итерация на проекта пропуска събуждането при ключова фраза, постоянното слушане във фонов режим, разпознаването на облак, гласовия асистент, гласовите команди, управлението на работния плот, превода на реч, разпознаването на говорещ, автоматичното разпознаване на език и историята на диктовките. С други думи, Canonical започва не с „AI асистент“, а с по-практична функция: локално гласово въвеждане на текст в обикновени приложения. Ubuntu.

Източник: linux.org.ru