Google avalikustas avatud audiokodeki Lyra V2

Google tutvustas audikodeki Lyra V2, mis kasutab masinõppe meetodeid, et saavutada maksimaalne häälekvaliteet väga aeglaste sideteede korral. Uus versioon toob kaasa ülemineku uuele närvivõrgu arhitektuurile, täiendavate platvormide toe, laiendatud bitikiiruset juhtimisvõimalused, jõudluse suurendamise ja kõrgema helikvaliteedi saavutamise. Koodi referentimplementatsioon on kirjutatud C++ keeles ja levitatakse Apache 2.0 litsentsi alusel.

Edastatud hääldata kvaliteedi osas aeglastel kiirusel ületab Lyra oluliselt traditsioonilisi kodekeid, mis kasutavad digitaalsete signaalide töötlemise meetodeid. Kõrge häälekvaliteedi saavutamiseks piiratud edastatava teabe tingimustes, peale tavaliste heli mahutamise ja signaalide töötlemise meetodite, kasutab Lyra kõnemudelit, mis põhineb masinõppesüsteemidel, võimaldades taastada puuduvat teavet kõne tüüpiliste omaduste põhjal.

Kodek sisaldab kodeerijat ja dekodeerijat. Kodeerija tööalgoritm seisneb häälandusandmete parameetrite väljatoomises iga 20 millisekundi järel, nende kokkusurumises ja edastamises vastuvõtjale võrgus bitikiirusel vahemikus 3,2 kbps kuni 9,2 kbps. Vastuvõtja pool dekodeerija kasutab genereerivat mudelit, et taastada algne hääl signaalid edastatud heliparameetrite põhjal, mis sisaldavad logaritmilisi mel-spektrogramme, arvestades häälenergiat erinevates sagedusvahemikes ja valmistasid seoses inimese kuulmissüsteemi mudeliga.

Lyra V2-s on rakendatud uus genereeriv mudel, mis põhineb konvolutsioonilisel närvivõrgul SoundStream, millel on madalad arvutusressursi nõudmised, mis võimaldab reaalajas dekodeerimist isegi madala võimsusega süsteemides. Heligeneratsiooniks kasutatav mudel on koolitatud mitme tuhande tunni jooksul kõne salvestustega enam kui 90 keeles. Mudeli täitmiseks kasutatakse TensorFlow Lite'i. Pakutava rakenduse jõudlus on piisav, et kodeerida ja dekodeerida kõnet madala hinnaga nutitelefonides.

Uue versiooni märkimisväärne omadus on ka RVQ (Residual Vector Quantizer) kvantimisseadmestiku integreerimine, mis toimub andmete edastamise eel saatja poolel ja vastuvõtja poolel andmete vastuvõtmise järel. Kvantija muundab kodeeri poolt genereeritud parameetrid paketihulkadeks, kodeerides teavet valitud bitikiiruseni. Erinevate kvaliteeditaseme tagamiseks on ette nähtud kvantijad kolmele bitimäärale (3,2 kps, 6 kbps ja 9,2 kbps); mida kõrgem on bitikiirus, seda parem on kvaliteet, kuid ka suuremad ribalaiuse nõudmised.

Uus arhitektuur on võimaldanud vähendada signaali edastuslatentsust 100 millisekundilt 20 millisekundile. Võrdluseks demonstreeris Opus kodek WebRTC-ga testitud bitimäärade juures latentsusi 26,5 ms, 46,5 ms ja 66,5 ms. Samuti on oluliselt paranenud kodeerija ja dekodeerija jõudlus — võrreldes eelmine versiooniga on täheldatud kiirus kuni 5 korda. Näiteks Pixel 6 Pro nutitelefonis suudab uus kodek kodeerida ja dekodeerida 20 millisekundilise valimi 0,57 ms, mis on 35 korda kiirem kui reaalajas edastamiseks vajalik.

Lisaks jõudlusele on saavutatud ka helikvaliteedi parendamine — MUSHRA skaalal vastavad 3,2 kbps, 6 kbps ja 9,2 kbps bitimäärad Lyra V2 kodeki kasutamisel Opuse kodeki kasutamise 10 kbps, 13 kbps ja 14 kbps bitimääradele.

Allikas: opennet.ru