Google huet en neien Audio Codec agefouert, Lyra, optimiséiert fir maximal Stëmmqualitéit z'erreechen, och wann Dir ganz lues Kommunikatiounskanäl benotzt. De Lyra Implementatiounscode ass an C++ geschriwwe ginn an ënner der Apache 2.0 Lizenz opgemaach, awer ënner den Ofhängegkeeten, déi fir Operatioun erfuerderlech sinn, gëtt et eng propriétaire Bibliothéik libsparse_inference.so mat enger Kernelimplementatioun fir mathematesch Berechnungen. Et gëtt bemierkt datt d'propriétaire Bibliothéik temporär ass - an Zukunft versprécht Google en oppene Ersatz z'entwéckelen an Ënnerstëtzung fir verschidde Plattformen ze bidden.
Wat d'Qualitéit vun iwwerdroe Stëmmdaten bei niddrege Geschwindegkeet ugeet, ass Lyra wesentlech besser wéi traditionell Codecs déi digital Signalveraarbechtungsmethoden benotzen. Fir héichqualitativ Stëmmiwwerdroung a Bedéngungen vun enger limitéierter Quantitéit vun iwwerdroenen Informatioun z'erreechen, zousätzlech zu konventionelle Methoden fir Audiokompressioun a Signalkonversioun, benotzt Lyra e Riedmodell baséiert op engem Maschinnléieresystem, deen Iech erlaabt déi fehlend Informatioun op Basis vun typesch Ried Charakteristiken. De Modell benotzt fir den Toun ze generéieren gouf mat e puer dausend Stonne Stëmmopnamen a méi wéi 70 Sproochen trainéiert.
De Codec enthält en Encoder an en Decoder. Den Algorithmus vum Encoder geet erof fir d'Stëmmdatenparameter all 40 Millisekonnen ze extrahieren, se ze kompriméieren an ze iwwerdroen un den Empfänger iwwer d'Netz. E Kommunikatiounskanal mat enger Geschwindegkeet vun 3 Kilobit pro Sekonn ass genuch fir Dateniwwerdroung. Déi extrahéiert Audioparameter enthalen logarithmesch Mel-Spektrogrammen, déi d'Energiecharakteristike vun der Ried a verschiddene Frequenzberäicher berücksichtegen a virbereet ginn, andeems de Modell vun der mënschlecher Gehörperceptioun berücksichtegt gëtt.
Den Decoder benotzt e generativen Modell deen, baséiert op den iwwerdroenen Audioparameter, d'Riedsignal nei erstellt. Fir d'Komplexitéit vun de Berechnungen ze reduzéieren, gouf e liichte Modell baséiert op engem widderhuelende neuralen Netzwierk benotzt, wat eng Variant vum WaveRNN Riedsynthesemodell ass, deen eng méi niddereg Samplingfrequenz benotzt, awer verschidde Signaler parallel a verschiddene Frequenzbereich generéiert. Déi resultéierend Signaler ginn dann iwwerlagert fir en eenzegt Ausgangssignal ze produzéieren entsprécht dem spezifizéierte Samplingsrate.
Spezialiséiert Prozessorinstruktioune verfügbar a 64-Bit ARM Prozessoren ginn och fir Beschleunegung benotzt. Als Resultat, trotz der Benotzung vu Maschinnléieren, kann de Lyra Codec fir Echtzäit Riedkodéierung an Dekodéierung op Mid-Range Smartphones benotzt ginn, wat d'Signaliwwerdroungslatenz vun 90 Millisekonnen demonstréiert.
Source: opennet.ru