{"id":105223,"date":"2022-10-01T09:36:41","date_gmt":"2022-10-01T07:36:42","guid":{"rendered":"https:\/\/prohoster.info\/blog\/novosti-interneta\/google-opublikoval-otkrytyj-audiokodek-lyra-v2"},"modified":"2022-10-01T09:36:41","modified_gmt":"2022-10-01T07:36:42","slug":"google-opublikoval-otkrytyj-audiokodek-lyra-v2","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/news\/google-opublikoval-otkrytyj-audiokodek-lyra-v2","title":{"rendered":"Google heeft de open audio-codec Lyra V2 gepubliceerd","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"
Google heeft de audio-codec Lyra V2 ge\u00efntroduceerd, die gebruik maakt van machine learning-technieken om de maximale spraakkwaliteit te bereiken bij het gebruik van zeer langzame verbindingen. De nieuwe versie heeft een overstap gemaakt naar een nieuwe neurale netwerkarchitectuur, ondersteuning voor extra platforms, uitgebreide mogelijkheden voor bitratemanagement, verbeterde prestaties en een hoger geluidskwaliteit. De referentie-implementatie van de code is geschreven in C++ en wordt verspreid onder de Apache 2.0-licentie. <\/p>\n
Wat betreft de kwaliteit van de overgedragen spraakgegevens bij lage snelheden, overtreft Lyra aanzienlijk traditionele codecs die gebruik maken van methoden voor digitale signaalverwerking. Om hoge spraakkwaliteit te bereiken onder beperkte gegevensoverdracht, maakt Lyra naast de gebruikelijke methoden voor geluidscompressie en signaaltransformatie gebruik van een spraakmodel op basis van een machine learning-systeem, waardoor ontbrekende informatie kan worden gereconstrueerd op basis van typische spraakkenmerken. <\/p>\n
De codec omvat een encoder en een decoder. Het algoritme van de encoder bestaat uit het extraheren van parameters van spraakgegevens om de 20 milliseconden, deze te comprimeren en de verkregen gegevens via het netwerk naar de ontvanger te verzenden met een bitratetussen 3,2 kbps en 9,2 kbps. Aan de kant van de ontvanger gebruikt de decoder een generatief model om het oorspronkelijke spraaksignaal opnieuw te cre\u00ebren op basis van de verzonden geluidsparameters, die logaritmische mel-spectrogrammen omvatten die rekening houden met de energiekenmerken van spraak in verschillende frequentiebereiken en zijn voorbereid met inachtneming van het model van menselijke auditieve waarneming. <\/p>\n
In Lyra V2, a new generative model based on the convolutional neural network SoundStream is used, characterized by low computational resource requirements, allowing real-time decoding even on low-power systems. The model used for sound generation has been trained with several thousand hours of recordings of voices in over 90 languages. TensorFlow Lite is utilized to execute the model. The performance of the proposed implementation is sufficient for encoding and decoding speech on budget smartphones. <\/p>\n
In addition to using a different generative model, the new version is also notable for incorporating RVQ (Residual Vector Quantizer) quantization links within the codec architecture, performed on the sender's side before data transmission, and on the receiver's side after data reception. The quantizer converts the parameters outputted by the codec into sets of packets, encoding information in relation to the selected bitrate. To ensure different levels of quality, quantizers for three bitrates (3.2 kbps, 6 kbps, and 9.2 kbps) are provided, with higher bitrates yielding better quality but requiring more bandwidth.
<\/center> <\/p>\n
De nieuwe architectuur heeft de signaaloverdracht vertraging teruggebracht van 100 naar 20 milliseconden. Ter vergelijking: de Opus-codec voor WebRTC vertoonde bij de geteste bitrates vertraagde tijden van 26,5 ms, 46,5 ms en 66,5 ms. Ook is de prestaties van de encoder en decoder aanzienlijk verbeterd \u2014 in vergelijking met de vorige versie is er een versnelling tot 5 keer. Zo voert de nieuwe codec op de Pixel 6 Pro-smartphone de codering en decodering van een sample van 20 milliseconden uit in 0,57 ms, wat 35 keer sneller is dan nodig voor realtime transmissie. <\/p>\n
![\"Google](\"\/wp-content\/uploads\/2022\/10\/54943fd2b2c5c2d008c8c35e462f4a4b.jpg\")
<\/center> <\/p>\n