L'azienda Google ha presentato il codec audio Lyra V2, che utilizza metodi di apprendimento automatico per raggiungere la massima qualità nella trasmissione della voce utilizzando canali di comunicazione molto lenti. La nuova versione si distingue per il passaggio a una nuova architettura di rete neurale, il supporto per piattaforme aggiuntive, funzionalità di controllo del bitrate ampliate, un aumento delle prestazioni e il raggiungimento di una qualità audio superiore. L'implementazione di riferimento del codice è scritta in C++ e distribuita con licenza Apache 2.0.
Per la qualità dei dati vocali trasmessi a bassa velocità, Lyra supera significativamente i codec tradizionali, che utilizzano metodi di elaborazione digitale dei segnali. Per ottenere un'elevata qualità nella trasmissione della voce in condizioni di limitato volume di informazioni trasmesse, oltre ai metodi comuni di compressione audio e conversione dei segnali, Lyra utilizza un modello vocale basato su un sistema di apprendimento automatico, che consente di ricreare le informazioni mancanti sulla base delle caratteristiche tipiche della voce.
Il codec comprende un codificatore e un decodificatore. L'algoritmo del codificatore consiste nell'estrarre i parametri dei dati vocali ogni 20 millisecondi, compattarli e trasmetterli al destinatario attraverso la rete con un bitrate che va da 3.2 kbps a 9.2 kbps. Dalla parte del destinatario, il decodificatore utilizza un modello generativo per ricreare il segnale vocale originale sulla base dei parametri sonori trasmessi, che includono spettri mel-logaritmici che considerano le caratteristiche energetiche della voce in varie bande di frequenza, preparati tenendo conto del modello di percezione uditiva umana.
In Lyra V2 è stato utilizzato un nuovo modello generativo basato su una rete neurale convoluzionale SoundStream, caratterizzato da basse esigenze di risorse computazionali, che consente di eseguire la decodifica in tempo reale anche su sistemi poco potenti. Il modello utilizzato per la generazione del suono è stato addestrato con diverse migliaia di ore di registrazioni vocali in oltre 90 lingue. Per eseguire il modello viene utilizzato TensorFlow Lite. Le prestazioni dell'implementazione proposta sono sufficienti per la codifica e la decodifica della voce su smartphone di fascia bassa.
Oltre all'uso di un diverso modello generativo, la nuova versione è anche notevole per l'inclusione nell'architettura del codec di anelli con quantizzatore RVQ (Residual Vector Quantizer), eseguito dal lato del mittente prima della trasmissione dei dati, e dal lato del ricevente dopo la ricezione dei dati. Il quantizzatore converte i parametri forniti dal codec in set di pacchetti, codificando le informazioni in relazione al bitrate selezionato. Per garantire diversi livelli di qualità sono previsti quantizzatori per tre bitrate (3,2 kps, 6 kbps e 9,2 kbps); maggiore è il bitrate, migliore è la qualità, ma ci sono maggiori requisiti di larghezza di banda.
La nuova architettura ha consentito di ridurre i ritardi nella trasmissione del segnale da 100 a 20 millisecondi. A titolo di confronto, il codec Opus per WebRTC ha dimostrato ritardi a diversi bitrate testati di 26,5 ms, 46,5 ms e 66,5 ms. Inoltre, è aumentata significativamente la prestazione dell'encoder e del decoder: rispetto alla versione precedente, si nota un'accelerazione fino a 5 volte. Ad esempio, su uno smartphone Pixel 6 Pro, il nuovo codec esegue la codifica e la decodifica di un campione di 20 millisecondi in 0,57 ms, che è 35 volte più veloce di quanto necessario per la trasmissione in tempo reale.
Oltre alle prestazioni, è stato possibile ottenere anche un miglioramento nella qualità del ripristino del suono: sulla scala MUSHRA, la qualità vocale ai bitrate di 3,2 kbps, 6 kbps e 9,2 kbps con l'uso del codec Lyra V2 corrisponde ai bitrate di 10 kbps, 13 kbps e 14 kbps con l'uso del codec Opus.
Fonte: opennet.ru
