Google esitles audio koodekit Lyra V2, mis kasutab masinõppe meetodeid, et saavutada kõrgeim kõne edastamise kvaliteet väga aeglaste sidekanalite puhul. Uus versioon toob endaga kaasa ülemineku uuele närvivõrgu arhitektuurile, toetades täiendavaid platvorme, laiemat bitikiirusetöötluse funktsionaalsust, suurenenud jõudlust ja kõrgemat helikvaliteeti. Standardne kooditeostus on kirjutatud C++ keeles ja levitatakse Apache 2.0 litsentsi alusel.
Edastatavate hääldata andmete kvaliteedis madalatel kiirusel ületab Lyra oluliselt traditsioonilisi koodekeid, mis kasutavad digitaalsete signaalide töötlemise meetodeid. Kõrge hääle edastamise kvaliteedi saavutamiseks piiratud edastatava teabe mahus rakendab Lyra, lisaks tavapärastele helikoonduse ja signaalimuutuse meetoditele, masinõppele tuginevat kõnemudelit, mis võimaldab taastada puuduva teabe tüüpiliste kõneomaduste põhjal.
Kodek sisaldab kodeerijat ja dekodeerijat. Kodeerija töö algoritm seisneb igal 20 millisekundil helidǫhenduse parameetrite väljavõtmises, nende kokkusurves ja edastamises vastuvõtjale võrgu kaudu, bitikiirusena 3,2kbps kuni 9,2kbps. Vastuvõtja poolel kasutab dekodeerija genereerivat mudelit, et taastada algne kõnesignaal edastatud heliparametrite põhjal, mis hõlmavad logaritmilisi mel-spektrogramme, mis arvestavad kõne energiat erinevates sagedusvahemikes ja on koostatud inimkuulmise mudelit arvesse võttes.
Lyra V2-s on kasutatud uut generatiivset mudelit, mis põhineb konvolutsioonilisel närvivõrgul SoundStream, millel on madalad nõudmised arvutusressursside osas, võimaldades dekodeerimist reaalajas isegi madala jõudlusega süsteemides. Heligeneratsiooni mudel on koolitatud mitme tuhande tunni jooksul salvestustega üle 90 keele. Mudeli käitamiseks kasutatakse TensorFlow Lite'i. Pakutud rakenduse suutlikkus on piisav kõne kodeerimiseks ja dekodeerimiseks madala hinnaklassi nutitelefonides.
Uue versiooni oluline omadus on samal ajal erineva generatiivse mudeli kasutamine ja arhitektuuri lisamine RVQ (Residual Vector Quantizer) kvantiseerijatega, mis teostatakse saatja poolel enne andmete edastamist ning vastuvõtja poolel pärast andmete vastuvõtmist. Kvantiseerija muudab koodeki väljundparameetrid pakettide kogumiteks, kodeerides teavet valitud bitimäära alusel. Erineva kvaliteeditaseme tagamiseks on ette nähtud kvantiseerijad kolmele bitimäärale (3.2 kps, 6 kbps ja 9.2 kbps): mida kõrgem on bitimäär, seda parem on kvaliteet, kuid kõrgemad nõuded ribalaiusele.
Uus arhitektuur on võimaldanud vähendada signaali edastusviivitust 100 millisekundilt 20 millisekundile. Võrdluseks näitas WebRTC koodik Opus testitud bitikiirusel viivitusi 26.5 ms, 46.5 ms ja 66.5 ms. Samuti on märkimisväärselt kasvanud kodeerija ja dekodeerija jõudlus — võrreldes eelmise versiooniga on kiirus tõusnud kuni 5 korda. Näiteks nutitelefonil Pixel 6 Pro suudab uus kodek kodeerida ja dekodeerida 20 millisekundi proovide jaoks vaid 0.57 ms, mis on 35 korda kiiremini, kui reaalajas edastamiseks vajalik.
Lisaks jõudluse parandamisele on suudetud saavutada ka kvaliteedi paranemine helide taastamisel — MUSHRA skaalal vastab 3.2 kbps, 6 kbps ja 9.2 kbps bitrate'ide puhul Lyra V2 kodeki kasutamisel helikvaliteet Opuse kodekiga 10 kbps, 13 kbps ja 14 kbps bitrates.
Allikas: opennet.ru
