Google introduċiet codec awdjo ġdid, Lyra, ottimizzat biex tikseb kwalità massima tal-vuċi anke meta tuża kanali ta 'komunikazzjoni bil-mod ħafna. Il-kodiċi ta 'implimentazzjoni Lyra huwa miktub f'C++ u miftuħ taħt il-liċenzja Apache 2.0, iżda fost id-dipendenzi meħtieġa għat-tħaddim hemm librerija proprjetarja libsparse_inference.so b'implimentazzjoni tal-kernel għal kalkoli matematiċi. Huwa nnutat li l-librerija proprjetarja hija temporanja - fil-futur Google twiegħed li tiżviluppa sostituzzjoni miftuħa u tipprovdi appoġġ għal diversi pjattaformi.
F'termini tal-kwalità tad-dejta tal-vuċi trażmessa b'veloċitajiet baxxi, Lyra hija superjuri b'mod sinifikanti għal codecs tradizzjonali li jużaw metodi ta 'proċessar ta' sinjal diġitali. Biex tikseb trasmissjoni ta 'vuċi ta' kwalità għolja f'kundizzjonijiet ta 'ammont limitat ta' informazzjoni trażmessa, minbarra metodi konvenzjonali ta 'kompressjoni tal-awdjo u konverżjoni tas-sinjali, Lyra tuża mudell ta' diskors ibbażat fuq sistema ta 'tagħlim bil-magni, li jippermettilek li terġa' toħloq l-informazzjoni nieqsa bbażata fuq karatteristiċi tipiċi tad-diskors. Il-mudell użat biex jiġġenera l-ħoss ġie mħarreġ bl-użu ta 'diversi eluf ta' sigħat ta 'reġistrazzjonijiet tal-vuċi f'aktar minn 70 lingwa.
Il-codec jinkludi encoder u decoder. L-algoritmu tal-kodifikatur jeħodha biex jiġbed parametri tad-dejta tal-vuċi kull 40 millisekondi, jikkompressahom, u jittrasmettihom lir-riċevitur fuq in-netwerk. Kanal ta 'komunikazzjoni b'veloċità ta' 3 kilobits kull sekonda huwa biżżejjed għat-trażmissjoni tad-dejta. Il-parametri tal-awdjo estratti jinkludu spettrogrammi mel logaritmiċi li jqisu l-karatteristiċi tal-enerġija tad-diskors f'meded ta 'frekwenza differenti u huma ppreparati b'kont meħud tal-mudell tal-perċezzjoni tas-smigħ tal-bniedem.
Id-decoder juża mudell ġenerattiv li, ibbażat fuq il-parametri tal-awdjo trażmessi, jirrikrea s-sinjal tad-diskors. Biex titnaqqas il-kumplessità tal-kalkoli, intuża mudell ħafif ibbażat fuq netwerk newrali rikorrenti, li huwa varjant tal-mudell ta 'sintesi tad-diskors WaveRNN, li juża frekwenza ta' kampjunar aktar baxxa, iżda jiġġenera diversi sinjali b'mod parallel f'meded ta 'frekwenza differenti. Is-sinjali li jirriżultaw huma mbagħad superimposti biex jipproduċu sinjal ta 'output wieħed li jikkorrispondi għar-rata ta' kampjunar speċifikata.
Istruzzjonijiet speċjalizzati tal-proċessuri disponibbli f'proċessuri ARM 64-bit huma wkoll użati għall-aċċelerazzjoni. Bħala riżultat, minkejja l-użu tat-tagħlim tal-magni, il-codec Lyra jista 'jintuża għal kodifikazzjoni u dekodifikazzjoni tad-diskors f'ħin reali fuq smartphones ta' medda medja, li juri latenza tat-trażmissjoni tas-sinjal ta '90 millisekondi.
Sors: opennet.ru