Google esitles uut audiokodekit Lyra, mis on optimeeritud maksimaalse häälekvaliteedi saavutamiseks isegi väga aeglaste sidekanalite kasutamisel. Lyra teostuse kood on kirjutatud C++-s ja on avatud Apache 2.0 litsentsi all, kuid selle toimimiseks vajalikud sõltuvused sisaldavad ka patenteeritud teeki libsparse_inference.so, mis sisaldab tuuma matemaatiliste arvutuste jaoks. Teatatakse, et patenteeritud teek on ajutine — tulevikus lubab Google välja töötada avatud asenduse ja toetada erinevaid platvorme.
Hääljandmete kvaliteedilt madalatel kiirusel ületab Lyra oluliselt traditsioonilisi kodekeid, mis kasutavad digitaalse signaalitöötluse meetodeid. Kõrge häälekvaliteedi saavutamiseks piiratud andmehulgaga koos tavapäraste helisurve meetodite ja signaalide muundamisega rakendab Lyra masinõppel põhinevat kõnemudelit, mis võimaldab puuduvat teavet luua kõne tüüpiliste omaduste põhjal. Heligeneratsiooni mudel on koolitatud mitme tuhande tunni jooksul, kasutades üle 70 keele häälemeistreid.
Kodek sisaldab kodeerijat ja dekodeerijat. Kodeerija toimimisalgoritm hõlmab hääljandmete parameetrite ekstraheerimist iga 40 millisekundi järel, nende pakkimist ja saatmist vastuvõtjale üle võrgu. Andmete edastamiseks on piisav sidekanal kiirusel 3 kilobitti sekundis. Ekstraheeritud heliparameetrid hõlmavad logaritmilisi mel-spektriogramme, mis arvestavad kõne energiaomadusi erinevates sagedusvahemikes ja on ette valmistatud arvestades inimkõrva kuulmisvõimet.
Dekooder kasutab generatiivset mudelit, mis rekonstrueerib antud heli parameetrite põhjal kõnesignaali. Arvutuskompleksuse vähendamiseks on kasutusele võetud kerge mudel, mis põhineb rekurentsel närvivõrgul, olles variant sõnamudeli WaveRNN mudelist, milles kasutatakse madalamat proovimise sagedust, kuid genereeritakse samaaegselt mitu signaali erinevates sagedusvahemikes. Saadud signaalid liidetakse seejärel, et saada ainus väljundsignaal, mis vastab soovitud diskreetimise sagedusele.
Kiirendamiseks on rakendatud ka spetsialiseeritud protsessorijuhiseid, mis on saadaval 64-bitistes ARM-protsessorites. Selle tulemusena suudab Lyra koodek, hoolimata masinõppe kasutamisest, kodeerida ja dekodeerida kõnet reaalajas keskmise hinnaklassi nutitelefonides, näidates signaali edastamise hilinemist 90 millisekundi tasemel.
Allikas: opennet.ru
