Kompania Google prezantoi kodekun audio Lyra V2, i cili përdor metoda të mësimit të makinerisë për të arritur cilësinë maksimale të transmetimit të zërit duke përdorur kanale të ngadalta komunikimi. Versioni i ri karakterizohet nga kalimi në një arkitekturë të re të rrjetit nervor, mbështetje për platforma shtesë, mundësi të zgjeruara për menaxhimin e bitrate, rritje të performancës dhe arritje të një cilësie më të lartë të tingullit. Implementimi referencë i kodit është i shkruar në C++ dhe shpërndahet nën licencën Apache 2.0.
Sa i përket cilësisë së të dhënave të zërit të transmetuara në shpejtësi të ulëta, Lyra tejkalon ndjeshëm kodekët tradicionalë që përdorin metoda të përpunimit dixhital të sinjalit. Për të arritur cilësinë e lartë të transmetimit të zërit në kushte të informacionit të kufizuar, përveç metodave të zakonshme të kompresimit të zërit dhe shndërrimit të sinjaleve, në Lyra aplikohet një model zëri me bazë në sistemin e mësimit të makinerisë, i cili lejon ripërtritjen e informacionit të munguar në bazë të karakteristikave tipike të zërit.
Kodeku përfshin një kodues dhe një dekodues. Algoritmi i punës së koduesit konsiston në nxjerrjen e parametrave të të dhënave të zërit çdo 20 milisekonda, kompresimin e tyre dhe dërgimin e tyre te marrësi përmes rrjetit me një bit rate nga 3.2kbps deri në 9.2kbps. Në anën e marrësit, dekoduesi përdor një model gjenerativ për të riprodhuar sinjalin origjinal të zërit bazuar në parametrat e zërit të dërguar, të cilët përfshijnë spektrat logaritmikë mel, që marrin parasysh karakteristikat e energjisë së zërit në frekuenca të ndryshme dhe janë përgatitur në përputhje me modelin e perceptimit të dëgjimit të njeriut.
Në Lyra V2 është përdorur një model i ri gjenerativ i bazuar në rrjetin e neuroneve konvencionale SoundStream, i cili dallon për kërkesat e ulëta për burime kompjuterike, duke mundësuar kështu dekodimin në kohë reale edhe në sisteme me performancë të ulët. Modeli i përdorur për gjenerimin e zërit është trajnuar duke përdorur disa mijëra orë regjistrimesh të zëra në më shumë se 90 gjuhë. Për realizimin e modelit përdoret TensorFlow Lite. Performanca e zgjidhjes së propozuar është e mjaftueshme për kodimin dhe dekodimin e zërit në smartphone të gamës së ulët.
Përveç përdorimit të një modeli tjetër gjenerativ, versioni i ri është veçanërisht i njohur për përfshirjen në arkitekturën e kodekëve të lidhjeve me kvantizuesin RVQ (Residual Vector Quantizer), i cili kryhet në anën e dërguesit para dërgimit të të dhënave dhe në anën e pranuesit pas marrjes së të dhënave. Kvantizuesi kthen parametrat e dhënë nga kodeku në grupe paketeshe, duke koduar informacionin në lidhje me bitratin e zgjedhur. Për të siguruar nivele të ndryshme cilësie, janë parashikuar kvantizues për tre bitrate (3.2 kps, 6 kbps dhe 9.2 kbps); sa më i lartë të jetë bitrate, aq më e mirë është cilësia, por kërkesa për bandë është më e lartë.
Arkhitektura e re lehtĂ«soi zvogĂ«limin e vonesave tĂ« transmetimit tĂ« sinjalit nga 100 nĂ« 20 milisekonda. PĂ«r krahasim, kodeku Opus pĂ«r WebRTC tregoi vonesa nĂ« bitrate tĂ« testuara prej 26.5ms, 46.5ms dhe 66.5ms. Po ashtu, performanca e koduesit dhe dekoduesit Ă«shtĂ« rritur ndjeshĂ«m â krahasuar me versionin e kaluar, Ă«shtĂ« vĂ«rejtur njĂ« pĂ«rshpejtim deri nĂ« 5 herĂ«. PĂ«r shembull, nĂ« smartphone-in Pixel 6 Pro, kodeku i ri kryen kodimin dhe dekodimin e njĂ« mostre prej 20 milisekondash pĂ«r 0.57 ms, qĂ« Ă«shtĂ« 35 herĂ« mĂ« shpejt se ajo qĂ« nevojitet pĂ«r transmetim nĂ« kohĂ« reale.
PĂ«rveç performancĂ«s, Ă«shtĂ« arritur gjithashtu njĂ« pĂ«rmirĂ«sim nĂ« cilĂ«sinĂ« e rikthimit tĂ« zĂ«rit â sipas shkallĂ«s MUSHRA, cilĂ«sia e fjalĂ«s nĂ« bitrate prej 3.2 kbps, 6 kbps dhe 9.2 kbps duke pĂ«rdorur kodekun Lyra V2 pĂ«rputhet me bitrate prej 10 kbps, 13 kbps dhe 14 kbps duke pĂ«rdorur kodekun Opus.
Burimi: opennet.ru
