Canonical tutvustas Myna — kohaliku häält tekstiks muutmise süsteemi Ubuntu Desktopile

Canonical tutvustas projekti Myna — uut kõne tekstiks muundamise süsteemi Ubuntu Desktopile. Projekt on suunatud sisseehitatud dikteerimisele: kasutaja vajutab kiirklahvi, räägib, ja tuvastatud tekst kuvatakse aktiivses rakenduses. Teates rõhutatakse, et Myna peaks olema nagu loomulik osa Ubuntu töölauast ja töötama samas kasutaja privaatsust arvesse võttes. Toetatud sisestuskeelte nimekiri pole uudise avaldamise ajal avalikustatud.

Projekti esimene siht on Ubuntu 26.10. Sel etapil ei püüa Canonical luua täielikku häälassistenti või töölauahalduse süsteemi häälega. Arendajad on sihilikult piiranud esimese versiooni ulatust põhilise, usaldusväärse dikteerimisega: vajuta klahvikombinatsiooni, ütle tekst ja saad tulemi praeguses sisestusväljas. Esialgne testimiskeskkond on Ubuntu Desktop Waylandiga GNOME'is, kuid arhitektuuri plaanivad nad jätta piisavalt avatud tulevase toe jaoks teistele keskkondadele.

Myna on loodud kohaliku kõnetuvastuse jaoks. Pärast vajalike mudelite installimist ei ole internetiühendust dikteerimise töötamiseks vaja, mikrofon peaks olema kasutuses vaid pärast kasutaja selget aktiveerimist, heli töödeldakse mälus ja seejärel visatakse ära, ning salvestusi ei saadeta välistele teenustele. Projektis spetsifikatsioonis on samuti märgitud, et lahendus peaks vaikimisi vältima heli salvestamist ja ei tohiks märkamatult üle minna pilveteenusele.

Myna kood ja dokumentatsioon on avaldatud Canonicali hoidlas GitHub. Projekt on kirjeldatud kui kerget speech-to-text rakendust Ubuntu Desktopile ja seda levitatakse GPL-3.0 litsentsi all. Samas on projekt varases etapis: hoidlas pole veel avaldatud versioone ja arhitektuuri spetsifikatsioon on statut Propose.

Myna peamised funktsioonid ja omadused

• Push-to-talk dikteerimine. Kasutaja peab allhoidma kohandatavat kiirklahvi, räägib ja süsteem sisestab tuvastatud teksti valitud sisestusvälja. Dikteerimine lõpeb klahvi vabastamisega.

• Kohalik kõnetuvastus. Tuvastus toimub kasutaja masinas kohaliku inference-stack'i kaudu. See vähendab sõltuvust pilvest ja võimaldab töötada ilma võrguta pärast mudelite installimist.

• Privaatsus helitöötlemises. Mikrofon aktiveeritakse ainult kasutaja dikteerimise seansi ajal. Alguses ei tohi heli kettale salvestuda, kasutatakse piiratud mäluvahemikku, mis tühjendatakse seansi lõpus.

• Visuaalne aktiivsuse indikaator. Salvestamise ja transkribeerimise ajal peab kasutaja nägema selget oleku indikaatorit. Spetsifikatsioonis mainitakse olekuid nagu Salvestamine, Transkribeerimine, Lõpetamine ja Viga.

• Ainult stabiilse teksti sisestamine. Esimese teostuse puhul ei tohi vahepealsed tuvastamise hüpoteesid rakendusse otse sisestada. Sihtvälja saadetakse ainult kinnitatud lõplik tekst.

• Teksti järeltoo. Toores transkribeerimine võib läbida normaliseerimise, kirjavahemärkide seadmise, kapitaliseerimise, vormindamise ja suuliste vormide muutmise kirjalikeks, näiteks 'twenty two' → '22'.

• Dikteerimiskeele valik. Süsteem peab toetama kohandatavat dikteerimiskeelt, lähtudes vaikimisi kasutajaliidese keelest, kui selle jaoks on saadaval sobiv mudel.

• Mudeli kvaliteedi profiilid. Spetsifikatsioonis on ette nähtud erinevad mudeli profiilid: kerge variant, millel on väiksem ressursikasutus, tasakaalustatud vaikeprofiil ja kvaliteetsem, kuid nõudlikum variant.

• Turvaline sisestamise fookuse kasutamine. Teksti sisestamise sihtmärk valitakse seansi alguses. Kui akna fookus muutub dikteerimise ajal, ei tohi süsteem vaikides saata teksti teise rakendusse.

• Lukustamine kaitstud väljadega. Dikteerimine peab olema lukustatud parooliväljade, autentimise akende ja muude kaitstud kohtade puhul, kui rakendus või tööriistakomplekt suudab seda tuvastada.

• Integreerimine Wayland/GNOME. Esimene versioon on suunatud Waylandile ja GNOME-ile. Esialgseks teksti sisestamiseks kaalutakse IBus'i, tulevikus on plaanis rohkem natiivset Waylandi teed läbi sisendimeetodi/teksti sisestamise protokollide.

• Kasutaja seaded. Planeeritud seadete liideses peaks olema STT sisse- ja väljalülitamise võimalus, kuumklahvi valik, dikteerimiskeele, mikrofon, mudeli profiili, järeltootmise valikute ja aktiivsuse indikaatori valik.

Esimese iteratsiooni raames jäävad projekti väliselt välja ärkamine võtme fraasi järgi, pidev taustakuulamine, pilvepõhine tuvastamine, hääleassistent, häälkäsklused, töölaua haldamine, kõne tõlkimine, kõneleja tuvastamine, automaatne keele tuvastamine ja dikteerimisajalugu. Teisisõnu, Canonical alustab mitte "AI-assistendiga", vaid maapinna lähedase funktsiooniga: kohaliku hääle sisendi tekstiks muutmine tavapärastesse Ubuntu rakendustesse.

Allikas: linux.org.ru