Google prezante kodèk odyo Lyra V2, ki sèvi ak teknik aprantisaj machin pou reyalize maksimòm kalite vwa sou chanèl kominikasyon trè dousman. Nouvo vèsyon an prezante yon tranzisyon nan yon nouvo achitekti rezo neral, sipò pou platfòm adisyonèl, kapasite kontwòl bitrate elaji, pèfòmans amelyore ak pi wo kalite odyo. Aplikasyon kòd referans ekri nan C++ epi distribye anba lisans Apache 2.0.
An tèm de bon jan kalite a nan done vwa transmèt nan vitès ki ba, Lyra se siyifikativman siperyè kodèk tradisyonèl ki itilize metòd pwosesis siyal dijital. Pou reyalize bon jan kalite transmisyon vwa nan kondisyon yon kantite limite enfòmasyon transmèt, anplis metòd konvansyonèl konpresyon odyo ak konvèsyon siyal, Lyra sèvi ak yon modèl lapawòl ki baze sou yon sistèm aprantisaj machin, ki pèmèt ou rkree enfòmasyon ki manke yo ki baze sou karakteristik lapawòl tipik.
Codec a gen ladann yon ankode ak yon dekodeur. Algorithm ankode a se pou ekstrè done paramèt vwa chak 20 milisgond, konpresyon yo epi transmèt yo bay moun k ap resevwa a sou yon rezo ak yon pousantaj de 3.2kbps a 9.2kbps. Nan fen reseptè a, dekodè a sèvi ak yon modèl jeneratif pou rekonstwi siyal lapawòl orijinal la ki baze sou paramèt odyo transmèt yo, ki gen ladan espektrogram lakre logaritmik ki pran an kont karakteristik enèji lapawòl nan diferan ranje frekans epi yo prepare pran an kont modèl pèsepsyon oditif moun.
Lyra V2 sèvi ak yon nouvo modèl jeneratif ki baze sou rezo neral konvolusyonèl SoundStream, ki gen kondisyon enfòmatik ki ba, sa ki pèmèt dekodaj an tan reyèl menm sou sistèm ki ba pouvwa. Modèl yo te itilize pou jenere son an te fòme lè l sèvi avèk plizyè mil èdtan nan anrejistreman vwa nan plis pase 90 lang. Yo itilize TensorFlow Lite pou egzekite modèl la. Pèfòmans aplikasyon yo pwopoze a ase pou kodaj lapawòl ak dekodaj sou smartphones nan seri pri ki pi ba yo.
Anplis de sa nan sèvi ak yon modèl jeneratif diferan, nouvo vèsyon an tou remakab pou enklizyon nan achitekti codec nan lyen ak RVQ (Residual Vector Quantizer) quantizer, ki egzekite sou bò moun k la anvan transmèt done, ak sou bò reseptè a. apre yo fin resevwa done yo. Quantizer a konvèti paramèt ki te pwodwi pa kodèk la nan seri pake, kode enfòmasyon an relasyon ak pousantaj la chwazi. Pou bay diferan nivo bon jan kalite, yo bay quantizers pou twa bitrates (3.2 kps, 6 kbps ak 9.2 kbps), pi gwo vitès la, pi bon kalite a, men pi wo kondisyon yo.
Nouvo achitekti a redwi reta transmisyon siyal soti nan 100 a 20 milisgond. Pou konparezon, kodèk Opus pou WebRTC demontre latans 26.5ms, 46.5ms ak 66.5ms nan debi tès yo. Pèfòmans ankode a ak dekodeur te ogmante tou siyifikativman - jiska 5 fwa pi vit konpare ak vèsyon anvan an. Pou egzanp, sou smartphone Pixel 6 Pro a, nouvo kodèk la kode ak dekode yon echantiyon 20-ms nan 0.57 ms, ki se 35 fwa pi vit pase sa nesesè pou transmisyon an tan reyèl.
Anplis de pèfòmans, li te posib tou pou amelyore kalite restorasyon son - dapre echèl MUSHRA a, bon jan kalite lapawòl nan vitès 3.2 kbps, 6 kbps ak 9.2 kbps lè w ap itilize kodèk Lyra V2 la koresponn ak vitès 10 kbps, 13. kbps ak 14 kbps lè w ap itilize codec Opus la.
Sous: opennet.ru