{"id":105223,"date":"2022-10-01T09:36:41","date_gmt":"2022-10-01T07:36:42","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/google-opublikoval-otkrytyj-audiokodek-lyra-v2"},"modified":"2022-10-01T09:36:41","modified_gmt":"2022-10-01T07:36:42","slug":"google-opublikoval-otkrytyj-audiokodek-lyra-v2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/news\/google-opublikoval-otkrytyj-audiokodek-lyra-v2","title":{"rendered":"Google hat den offenen Audiocodec Lyra V2 ver\u00f6ffentlicht","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Das Unternehmen Google hat den Audiocodec Lyra V2 vorgestellt, der Methoden des maschinellen Lernens nutzt, um die Sprach\u00fcbertragung bei sehr langsamen Kommunikationskan\u00e4len von h\u00f6chster Qualit\u00e4t zu erreichen. Die neue Version zeichnet sich durch den Umstieg auf eine neue Architektur des neuronalen Netzwerks, die Unterst\u00fctzung zus\u00e4tzlicher Plattformen, erweiterte M\u00f6glichkeiten zur Bitratesteuerung, eine verbesserte Leistung und eine h\u00f6here Audioqualit\u00e4t aus. Die Referenzimplementierung des Codes ist in C++ geschrieben und steht unter der Lizenz Apache 2.0. <\/p>\n
In Bezug auf die Qualit\u00e4t der \u00fcbermittelten Sprachdaten bei niedrigen Geschwindigkeiten \u00fcbertrifft Lyra traditionell Kodierer, die Methoden der digitalen Signalverarbeitung verwenden, erheblich. Um eine hohe Sprach\u00fcbertragungsqualit\u00e4t unter Bedingungen eines begrenzten Informationsvolumens zu erreichen, wird zus\u00e4tzlich zu den herk\u00f6mmlichen Methoden der Audiokompression und der Signalumwandlung in Lyra ein Sprachmodell auf Basis eines maschinellen Lernsystems verwendet, das es erm\u00f6glicht, fehlende Informationen basierend auf typischen Sprachmerkmalen zu rekonstruieren. <\/p>\n
Der Codec umfasst einen Encoder und einen Decoder. Der Algorithmus des Encoders besteht darin, Sprachdatenparameter alle 20 Millisekunden zu extrahieren, sie zu komprimieren und \u00fcber das Netzwerk mit einer Bitrate von 3,2 kbps bis 9,2 kbps an den Empf\u00e4nger zu \u00fcbertragen. Auf der Empf\u00e4ngerseite verwendet der Decoder ein generatives Modell, um das urspr\u00fcngliche Sprachsignal basierend auf den \u00fcbermittelten Klangparametern, die logarithmische Mel-Spektrogramme umfassen, die die Energiecharakteristika der Sprache in verschiedenen Frequenzbereichen ber\u00fccksichtigen und unter Ber\u00fccksichtigung des Modells der menschlichen H\u00f6rwahrnehmung vorbereitet wurden, zu rekonstruieren. <\/p>\n
In Lyra V2 wurde ein neues generatives Modell auf Basis des Faltungsneuronsystems SoundStream verwendet, das sich durch niedrige Anforderungen an die Rechenressourcen auszeichnet, was die Dekodierung in Echtzeit selbst auf leistungsschwachen Systemen erm\u00f6glicht. Das zur Klanggenerierung eingesetzte Modell wurde mit mehreren tausend Stunden Sprachaufnahmen in mehr als 90 Sprachen trainiert. F\u00fcr die Modellumsetzung wird TensorFlow Lite verwendet. Die Leistung der vorgeschlagenen Implementierung reicht aus, um Sprache auf Smartphones im unteren Preissegment zu kodieren und zu dekodieren. <\/p>\n
Neben der Verwendung eines anderen generativen Modells ist die neue Version auch bemerkenswert durch die Integration von RVQ (Residual Vector Quantizer)-Verbindungen in die Architektur des Codecs, die auf der Senderseite vor der Daten\u00fcbertragung und auf der Empf\u00e4ngerseite nach dem Empfang der Daten durchgef\u00fchrt werden. Der Quantizer wandelt die vom Codec ausgegebenen Parameter in Paketsets um und kodiert die Informationen in Bezug auf die gew\u00e4hlte Bitrate. Um unterschiedliche Qualit\u00e4tsstufen zu gew\u00e4hrleisten, stehen Quantizer f\u00fcr drei Bitraten (3,2 kps, 6 kbps und 9,2 kbps) zur Verf\u00fcgung. Je h\u00f6her die Bitrate, desto besser die Qualit\u00e4t, jedoch mit h\u00f6heren Anforderungen an die Bandbreite.
<\/center> <\/p>\n
Die neue Architektur hat es erm\u00f6glicht, die Signal\u00fcbertragungsverz\u00f6gerung von 100 auf 20 Millisekunden zu senken. Zum Vergleich zeigte der Codec Opus f\u00fcr WebRTC bei den getesteten Bitraten Verz\u00f6gerungen von 26,5 ms, 46,5 ms und 66,5 ms. Auch die Leistung des Kodierers und Dekoders hat sich erheblich verbessert \u2014 im Vergleich zur vorherigen Version wird eine Beschleunigung von bis zu 5 Mal festgestellt. Beispielsweise f\u00fchrt der neue Codec auf dem Smartphone Pixel 6 Pro die Kodierung und Dekodierung einer 20-Millisekunden-Probe in 0,57 ms aus, was 35 Mal schneller ist, als f\u00fcr die Echtzeit\u00fcbertragung erforderlich ist. <\/p>\n
![\"Google](\"\/wp-content\/uploads\/2022\/10\/54943fd2b2c5c2d008c8c35e462f4a4b.jpg\")
<\/center> <\/p>\n