Canonical tutvustas Myna't — kohaliku kõne tekstiks muutmise süsteemi Ubuntu Desktopile

Canonical tutvustas projekti Myna — uut kõne tekstiks muundamise süsteemi Ubuntu Desktopile. Projekt keskendub sisseehitatud dikteerimisele: kasutaja vajutab kiirkombinatsiooni, räägib ja tuvastatud tekst ilmub aktiivses rakenduses. Ametikõnes rõhutatakse, et Myna peab olema loomulik osa Ubuntu töölauast ja samal ajal arvestama kasutaja privaatsusega. Toetatud sisestuskeelte nimekiri ei ole uudise avaldamise ajal teatavaks tehtud.

Projekti esmane eesmärk on Ubuntu 26.10. Sel etapil ei püüa Canonical luua täieõiguslikku häälassistent või kõnega töölaua haldamise süsteemi. Arendajad on teadlikult piiranud esimeses versioonis põhjaliku, usaldusväärse dikteerimisega: vajuta klahvikombinatsiooni, ütle tekst ja saa tulemus praeguses sisendiväljas. Esialgne testimiskeskkond on Ubuntu Desktop Waylandiga koos GNOME'iga, kuid arhitektuur plaanitakse jätta piisavalt avatuks, et toetada tulevikus teisi keskkondi.

Myna on loodud kohaliku kõnetuvastuse jaoks. Pärast vajalike mudelite installimist pole dikteerimiseks internetiühendust vaja, mikrofon tuleb kasutada ainult pärast kasutaja selget aktiveerimist, heli töödeldakse mälu sees ja seejärel visatakse minema, ega salvestised ei saadeta välistele teenustele. Projekti spetsifikatsioonis on samuti kirjas, et lahendus peaks vaikimisi vältima heli salvestamist ning ei tohi vaikselt üle minna pilveteenusele.

Myna kood ja dokumentatsioon on avaldatud Canonicali registris aadressil GitHub. Projekt on kirjeldatud kui kerge speech-to-text rakendus Ubuntu Desktopile ning see levitakse GPL-3.0 litsentsi alusel. Samuti on projekt varajases staadiumis: registris pole veel avaldatud väljalase ning arhitektuuri spetsifikatsioon on statuse 'Proposed' all.

Myna põhifunktsioonid ja omadused

• Push-to-talk dikteerimine. Kasutaja hoiab all kohandatud kuuma klahvi, räägib ja süsteem sisestab tuvastatud teksti valitud sisestusvälja. Dikteerimine lõpeb pärast klahvi vabastamist.

• Kohalik kõnetuvastus. Tuvastamine toimub kasutaja masinas kohaliku järelduskomplekti kaudu. See vähendab sõltuvust pilvest ja võimaldab pärast mudelite installimist töötada ilma võrguta.

• Isiklik helitöötlus. Mikrofon aktiveeritakse ainult kasutaja dikteerimise seansi ajal. Helifaili ei tohiks vaikimisi salvestada, kasutatakse piiratud mälu puhversalvestust, mis kustutatakse seansi lõppedes.

• Visuaalne aktiivsuse indikaator. Salvestamise ja transkribeerimise ajal peab kasutaja nägema arusaadavat olekuindikaatorit. Spetsifikatsioonis mainitakse olekuid nagu Salvestamine, Transkribeerimine, Lõpetamine ja Viga.

• Ainult stabiilse teksti sisestamine. Esimeses teostuses ei tohi vahepealsed tuvastushüpoteesid otse rakendusse sisestada. Sihtväljadele saadetakse ainult kinnitatud lõplik tekst.

• Teksti järeltöötlus. Toores transkriptsioon võib läbida normaliseerimise, kirjavahemärkide paigutamise, suur- ja väiketähed, vormindamise ning suuliste vormide kirjutatud vormideks muundamise, näiteks "twenty two" → "22".

• Dikteerimise keele valimine. Süsteem peab toetama kohandatavat dikteerimise keelt, lähtudes vaikimisi kasutajaliidese keelest, kui sellele on saadaval sobiv mudel.

• Mudeliprofiilid. Spetsifikatsioon sisaldab erinevaid mudeliprofiile: kerge variant, mis tarbib vähem ressursse, vaikimisi tasakaalustatud profiil ning kvaliteetsem, kuid raskem variant.

• Ohutu töö sisendifookusega. Teksti sisestamise eesmärk valitakse seansi alguses. Kui akna fookus muutub dikteerimise ajal, ei tohiks süsteem vaikselt saata teksti teise rakendusse.

• Kaitstud väljade lukustamine. Dikteerimine peaks olema lukustatud parooli- ja autentimistegevustes ning muudes kaitstud kohtades, kui rakendus või tööriistakomplekt võimaldab seda tuvastada.

• Integreerimine Waylandiga/GNOMEiga. Esimene versioon on suunatud Waylandile ja GNOMEile. Teksti algne sisestamine toimub IBus'i kaudu ning tulevikus on plaanis rohkem natiivset Waylandi teed läbi input-method/text-input protokollide.

• Kasutaja seaded. Planeeritud seadete liideses peaks olema STT sisse- ja väljalülitamine, kuumklahvi valik, dikteerimiskeel, mikrofoni valik, mudeli profiil, järeltöötlusvalikud ja aktiivsuse indikaator.

Esimeses iteratsioonis jäävad projekti raamidest välja äratamine märksõna kaudu, pidev taustakuulamine, pilves äratundmine, hääleassistent, häälekäsklused, töölaua juhtimine, kõne tõlkimine, kõneleja tuvastamine, keele automaatne määramine ja dikteerimiste ajalugu. Teisisõnu, Canonical ei alusta 'AI-assistentuga', vaid maapealsema funktsiooniga: kohaliku häälsisendi sisselülitamine tekstiks tavalistes Ubuntu rakendustes.

Allikas: linux.org.ru