Das Unternehmen Google hat den neuen Audiocodec Lyra vorgestellt, der optimiert ist, um die maximale Sprachqualität auch über sehr langsame Kommunikationskanäle zu erreichen. Der Lyra-Implementierungscode ist in C++ geschrieben und unter der Apache 2.0-Lizenz offen, jedoch sind zur Funktion erforderliche Abhängigkeiten die proprietäre Bibliothek libsparse_inference.so, die das Kernstück für mathematische Berechnungen realisiert. Es wird angemerkt, dass die proprietäre Bibliothek vorübergehend ist — in Zukunft verspricht Google, eine offene Alternative zu entwickeln und die Unterstützung für verschiedene Plattformen sicherzustellen.
In Bezug auf die Qualität der über niedrige Geschwindigkeiten übertragenen Sprachdaten übertrifft Lyra traditionelle Codecs erheblich, die Methoden der digitalen Signalverarbeitung verwenden. Um eine hohe Sprachübertragungsqualität unter Bedingungen eines begrenzten Übertragungsvolumens zu erreichen, wird neben den üblichen Methoden der Audiokompression und Signalverarbeitung in Lyra ein Sprachmodell auf Basis eines maschinellen Lernsystems verwendet, das es ermöglicht, fehlende Informationen basierend auf typischen Sprachmerkmalen wiederherzustellen. Das zur Klangerzeugung eingesetzte Modell wurde mit mehreren Tausend Stunden Sprachaufzeichnungen in mehr als 70 Sprachen trainiert.
Der Codec umfasst einen Encoder und einen Decoder. Der Arbeitsalgorithmus des Encoders besteht darin, alle 40 Millisekunden Parameter der Sprachdaten zu extrahieren, diese zu komprimieren und sie an den Empfänger über das Netzwerk zu übertragen. Für die Datenübertragung reicht ein Kommunikationskanal mit einer Geschwindigkeit von 3 Kilobit pro Sekunde. Die extrahierten Klangparameter umfassen logarithmische Mel-Spektrrogramme, die die Energiefunktionen der Sprache in verschiedenen Frequenzbereichen berücksichtigen und unter Berücksichtigung des Modells menschlicher Hörwahrnehmung vorbereitet wurden.
Im Dekodierer wird ein generatives Modell verwendet, das basierend auf den übermittelten Audio-Parametern ein Sprachsignal rekonstruiert. Zur Verringerung der Rechenkomplexität kommt ein leichtes Modell auf Basis eines rekurrenten neuronalen Netzwerks zum Einsatz, das eine Variante des WaveRNN-Sprachsynthesemodells darstellt, bei dem eine niedrigere Abtastrate verwendet wird, jedoch mehrere Signale gleichzeitig in verschiedenen Frequenzbereichen generiert werden. Die erzeugten Signale werden dann überlagert, um ein einzelnes Ausgangssignal zu erhalten, das der angegebenen Abtastrate entspricht.
Zur Beschleunigung wurden auch spezialisierte Prozessoranweisungen verwendet, die in 64-Bit-ARM-Prozessoren verfügbar sind. Infolgedessen kann der Lyra-Codec trotz des Einsatzes von maschinellem Lernen für die Echtzeit-Audio- und Sprachkodierung und -dekodierung auf Smartphones der mittleren Preisklasse verwendet werden, wobei eine Signalübergabeverzögerung von etwa 90 Millisekunden demonstriert wird.
Quelle: opennet.ru
