Kompania Google paraqiti kodekun e audios Lyra V2, i cili përdor metoda të mësimit të makinerive për të arritur cilësinë maksimale të transmetimit të zërit edhe në kanale shumë të ngadalta. Versioni i ri përfshin kalimin në një arkitekturë të re të rrjetit nervor, mbështetje për platforms të tjera, mundësi të zgjeruara për menaxhimin e bitrate-it, rritje të performancës dhe arritjen e cilësisë më të lartë të tingullit. Implementimi referencë i kodit është shkruar në C++ dhe shpërndahet nën licencën Apache 2.0.
Sa i përket cilësisë së të dhënave të zërit të transmetuara në shpejtësi të ulëta, Lyra tejkalon ndjeshëm kodekët tradicionale, të cilët përdorin metoda të përpunimit digjital të sinjaleve. Për të arritur cilësinë e lartë të transmetimit të zërit në kushte kufizuese të volumit të të dhënave të transmetuara, përveç metodave të zakonshme të kompresimit të zërit dhe transformimit të sinjaleve, në Lyra aplikohet një model zëri i bazuar në sistemin e mësimit të makinerive, i cili lejon rikonstruksionin e informacionit të humbur mbi baza të karakteristikave tipike të zërit.
Kodeku përfshin një kodues dhe një dekodues. Algoritmi i funksionit të koduesit përfshin nxjerrjen e parametrave të të dhënave të zërit çdo 20 milisekonda, kompresimin e tyre dhe transmetimin tek prijësi nëpër rrjet me bitrate nga 3.2kbps deri në 9.2kbps. Në anën e pranuesit, dekoduesi përdor një model gjenerativ për të rikthyer sinjalin origjinal të zërit mbi baza të parametrave të transmetuar të zërit, të cilët përfshijnë spektrogramet mel-logaritmike, duke marrë parasysh karakteristikat e energjisë së zërit në gamë të ndryshme frekuencash dhe të përgatitura në përputhje me modelin e perceptimit të dëgjimit të njeriut.
Në Lyra V2 është përdorur një model i ri gjenerativ i bazuar në një rrjet nervor konvencional SoundStream, i cili shfaq kërkesa të ulta për burime kompjuterike, duke lejuar kështu dekodimin në kohë reale edhe në sisteme të dobëta. Modeli i angazhuar për gjenerimin e zërit është trajnuar duke përdorur disa mijëra orë me regjistrime zërash në më shumë se 90 gjuhë. Për ekzekutimin e modelit përdoret TensorFlow Lite. Performanca e implementimit të propozuar është mjaft e mirë për kodimin dhe dekodimin e të folurit në smartphone të kategori të ulët të çmimit.
Përveç përdorimit të një modeli gjenerativ të ndryshëm, versioni i ri gjithashtu shquhet për përfshirjen në arkitekturën e kodekës lidhjesh me kuantizatorin RVQ (Residual Vector Quantizer), i realizuar nga ana e dërguesit para transferimit të të dhënave, ndërsa nga ana e marrësit pas pranimimit të të dhënave. Kuantizatori konverton parametrat e dhënë nga kodeku në grupe paketash, duke koduar informacionin në lidhje me bitratin e zgjedhur. Për të siguruar nivele të ndryshme të cilësisë, janë parashikuar kuantizatorë për tre bitratet (3.2 kps, 6 kbps dhe 9.2 kbps); sa më i lartë bitrati, aq më e mirë cilësia, por kërkesa për bandë më të lartë.
Arkitektura e re ka lejuar uljen e vonesave tĂ« transmetimit tĂ« sinjalit nga 100 deri nĂ« 20 milisekonda. PĂ«r tĂ« bĂ«rĂ« njĂ« krahasim, kodeku Opus pĂ«r WebRTC ka demonstruar vonesa nĂ« bitratet e testuara prej 26.5ms, 46.5ms dhe 66.5ms. Gjithashtu, performanca e koduesit dhe dekoduesit ka parĂ« njĂ« rritje tĂ« ndjeshme â krahasuar me versionin e kaluar, Ă«shtĂ« vĂ«rejtur njĂ« pĂ«rshpejtim deri nĂ« 5 herĂ«. PĂ«r shembull, nĂ« smartphone-n Pixel 6 Pro, kodeku i ri kryen kodimin dhe dekodimin e njĂ« mostre 20-milisekondĂ«she pĂ«r 0.57 ms, qĂ« Ă«shtĂ« 35 herĂ« mĂ« shpejt se sa kĂ«rkohet pĂ«r transmetim nĂ« kohĂ« reale.
PĂ«rveç performancĂ«s, Ă«shtĂ« arritur gjithashtu njĂ« pĂ«rmirĂ«sim i cilĂ«sisĂ« sĂ« rikthimit tĂ« zĂ«rit â sipas shkallĂ«s MUSHRA, cilĂ«sia e zĂ«rit nĂ« bitratet 3.2 kbps, 6 kbps dhe 9.2 kbps me pĂ«rdorimin e kodekut Lyra V2 pĂ«rputhet me bitratet 10 kbps, 13 kbps dhe 14 kbps me pĂ«rdorimin e kodekut Opus.
Burimi: opennet.ru
