Google ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΉ Π°ΡƒΠ΄ΠΈΠΎΠΊΠΎΠ΄Π΅ΠΊ Lyra V2

Компания Google прСдставила Π°ΡƒΠ΄ΠΈΠΎΠΊΠΎΠ΄Π΅ΠΊ Lyra V2, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‰ΠΈΠΉ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ машинного обучСния для достиТСния максимального качСства ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Ρ€Π΅Ρ‡ΠΈ ΠΏΡ€ΠΈ использовании ΠΎΡ‡Π΅Π½ΡŒ ΠΌΠ΅Π΄Π»Π΅Π½Π½Ρ‹Ρ… ΠΊΠ°Π½Π°Π»ΠΎΠ² связи. Новая вСрсия отличаСтся ΠΏΠ΅Ρ€Π΅Ρ…ΠΎΠ΄ΠΎΠΌ Π½Π° Π½ΠΎΠ²ΡƒΡŽ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρƒ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти, ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΎΠΉ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌ, Ρ€Π°ΡΡˆΠΈΡ€Π΅Π½Π½Ρ‹ΠΌΠΈ возмоТностями управлСния Π±ΠΈΡ‚Ρ€Π΅ΠΉΡ‚ΠΎΠΌ, ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΠ΅ΠΌ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΈ достиТСниСм Π±ΠΎΠ»Π΅Π΅ высокого качСства Π·Π²ΡƒΠΊΠ°. Эталонная рСализация ΠΊΠΎΠ΄Π° написана Π½Π° C++ ΠΈ распространяСтся ΠΏΠΎΠ΄ Π»ΠΈΡ†Π΅Π½Π·ΠΈΠ΅ΠΉ Apache 2.0.

По качСству ΠΏΠ΅Ρ€Π΅Π΄Π°Π²Π°Π΅ΠΌΡ‹Ρ… голосовых Π΄Π°Π½Π½Ρ‹Ρ… Π½Π° Π½ΠΈΠ·ΠΊΠΈΡ… скоростях Lyra сущСствСнно прСвосходит Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ ΠΊΠΎΠ΄Π΅ΠΊΠΈ, Π² ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ Ρ†ΠΈΡ„Ρ€ΠΎΠ²ΠΎΠΉ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ сигналов. Для достиТСния высокого качСства ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ голоса Π² условиях ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½Π½ΠΎΠ³ΠΎ ΠΎΠ±ΡŠΡ‘ΠΌΠ° ΠΏΠ΅Ρ€Π΅Π΄Π°Π²Π°Π΅ΠΌΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ, ΠΏΠΎΠΌΠΈΠΌΠΎ ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ² сТатия Π·Π²ΡƒΠΊΠ° ΠΈ прСобразования сигналов, Π² Lyra примСняСтся рСчСвая модСль Π½Π° Π±Π°Π·Π΅ систСмы машинного обучСния, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‰Π°Ρ Π²ΠΎΡΡΠΎΠ·Π΄Π°Ρ‚ΡŒ Π½Π΅Π΄ΠΎΡΡ‚Π°ΡŽΡ‰ΡƒΡŽ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ Π½Π° основС Ρ‚ΠΈΠΏΠΎΠ²Ρ‹Ρ… характСристик Ρ€Π΅Ρ‡ΠΈ.

КодСк Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ Π² сСбя ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Ρ‰ΠΈΠΊ ΠΈ Π΄Π΅ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Ρ‰ΠΈΠΊ. Алгоритм Ρ€Π°Π±ΠΎΡ‚Ρ‹ ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Ρ‰ΠΈΠΊΠ° сводится ΠΊ ΠΈΠ·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΡŽ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² голосовых Π΄Π°Π½Π½Ρ‹Ρ… ΠΊΠ°ΠΆΠ΄Ρ‹Π΅ 20 миллисСкунд, ΠΈΡ… ΡΠΆΠ°Ρ‚ΠΈΡŽ ΠΈ ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡Π΅ ΠΏΠΎΠ»ΡƒΡ‡Π°Ρ‚Π΅Π»ΡŽ ΠΏΠΎ сСти c Π±ΠΈΡ‚Ρ€Π΅ΠΉΡ‚ΠΎΠΌ ΠΎΡ‚ 3.2kbps Π΄ΠΎ 9.2kbps. На сторонС получатСля Π΄Π΅ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Ρ‰ΠΈΠΊ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ Π³Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΡƒΡŽ модСль для воссоздания исходного Ρ€Π΅Ρ‡Π΅Π²ΠΎΠ³ΠΎ сигнала Π½Π° основС ΠΏΠ΅Ρ€Π΅Π΄Π°Π½Π½Ρ‹Ρ… Π·Π²ΡƒΠΊΠΎΠ²Ρ‹Ρ… ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ Π² сСбя логарифмичСскиС ΠΌΠ΅Π»-спСктрограммы, ΡƒΡ‡ΠΈΡ‚Ρ‹Π²Π°ΡŽΡ‰ΠΈΠ΅ характСристики энСргии Ρ€Π΅Ρ‡ΠΈ Π² Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… частотных Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½Π°Ρ… ΠΈ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²Π»Π΅Π½Π½Ρ‹Π΅ с ΡƒΡ‡Ρ‘Ρ‚ΠΎΠΌ ΠΌΠΎΠ΄Π΅Π»ΠΈ чСловСчСского слухового восприятия.

Π’ Lyra V2 использована новая гСнСративная модСль Π½Π° основС свёрточной Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти SoundStream, ΠΎΡ‚Π»ΠΈΡ‡Π°ΡŽΡ‰Π΅ΠΉΡΡ Π½ΠΈΠ·ΠΊΠΈΠΌΠΈ трСбованиями Π² Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ рСсурсам, Ρ‡Ρ‚ΠΎ позволяСт Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ Π΄Π΅ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Π² Ρ€Π΅ΠΆΠΈΠΌΠ΅ Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ Π΄Π°ΠΆΠ΅ Π½Π° ΠΌΠ°Π»ΠΎΠΌΠΎΡ‰Π½Ρ‹Ρ… систСмах. ЗадСйствованная для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ Π·Π²ΡƒΠΊΠ° модСль ΠΎΠ±ΡƒΡ‡Π΅Π½Π° с использованиСм Π½Π΅ΡΠΊΠΎΠ»ΡŒΠΊΠΈΡ… тысяч часов с записями голосов Π½Π° Π±ΠΎΠ»Π΅Π΅ Ρ‡Π΅ΠΌ 90 языках. Для выполнСния ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ TensorFlow Lite. ΠŸΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠ΅Π½Π½ΠΎΠΉ Ρ€Π΅Π°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ достаточно для кодирования ΠΈ дСкодирования Ρ€Π΅Ρ‡ΠΈ Π½Π° смартфонах Π½ΠΈΠΆΠ½Π΅Π³ΠΎ Ρ†Π΅Π½ΠΎΠ²ΠΎΠ³ΠΎ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½Π°.

ΠšΡ€ΠΎΠΌΠ΅ использования ΠΈΠ½ΠΎΠΉ Π³Π΅Π½Π΅Ρ€Π°Ρ‚ΠΈΠ²Π½ΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ новая вСрсия Ρ‚Π°ΠΊΠΆΠ΅ ΠΏΡ€ΠΈΠΌΠ΅Ρ‡Π°Ρ‚Π΅Π»ΡŒΠ½Π° Π²ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ΠΌ Π² Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρƒ ΠΊΠΎΠ΄Π΅ΠΊΠ° звСньСв с ΠΊΠ²Π°Π½Ρ‚ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΌ RVQ (Residual Vector Quantizer), выполняСмым Π½Π° сторонС отправитСля ΠΏΠ΅Ρ€Π΅Π΄ ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡Π΅ΠΉ Π΄Π°Π½Π½Ρ‹Ρ…, Π° Π½Π° сторонС получатСля послС ΠΏΡ€ΠΈΡ‘ΠΌΠ° Π΄Π°Π½Π½Ρ‹Ρ…. ΠšΠ²Π°Π½Ρ‚ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒ ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΡƒΠ΅Ρ‚ Π²Ρ‹Π΄Π°Π²Π°Π΅ΠΌΡ‹Π΅ ΠΊΠΎΠ΄Π΅ΠΊΠΎΠΌ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ Π² Π½Π°Π±ΠΎΡ€Ρ‹ ΠΏΠ°ΠΊΠ΅Ρ‚ΠΎΠ², кодируя ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ Π² привязкС ΠΊ Π²Ρ‹Π±Ρ€Π°Π½Π½ΠΎΠΌΡƒ Π±ΠΈΡ‚Ρ€Π΅ΠΉΡ‚Ρƒ. Для обСспСчСния Ρ€Π°Π·Π½ΠΎΠ³ΠΎ уровня качСствС прСдусмотрСны ΠΊΠ²Π°Π½Ρ‚ΠΎΠ²Π°Ρ‚Π΅Π»ΠΈ для Ρ‚Ρ€Ρ‘Ρ… Π±ΠΈΡ‚Ρ€Π΅ΠΉΡ‚ΠΎΠ² (3.2 kps, 6 kbps ΠΈ 9.2 kbps), Ρ‡Π΅ΠΌ Π²Ρ‹ΡˆΠ΅ Π±ΠΈΡ‚Ρ€Π΅ΠΉΡ‚, Ρ‚Π΅ΠΌ Π»ΡƒΡ‡ΡˆΠ΅ качСство, Π½ΠΎ Π±ΠΎΠ»Π΅Π΅ высокиС трСбования ΠΊ пропускной способности.

Google ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π» ΠΎΡ‚ΠΊΡ€Ρ‹Ρ‚Ρ‹ΠΉ Π°ΡƒΠ΄ΠΈΠΎΠΊΠΎΠ΄Π΅ΠΊ Lyra V2

Новая Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Π° ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΠ»Π° ΡΠ½ΠΈΠ·ΠΈΡ‚ΡŒ Π·Π°Π΄Π΅Ρ€ΠΆΠΊΠΈ ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ сигнала со 100 Π΄ΠΎ 20 миллисСкунд. Для сравнСния ΠΊΠΎΠ΄Π΅ΠΊ Opus для WebRTC продСмонстрировал Π½Π° протСстированных Π±ΠΈΡ‚Ρ€Π΅ΠΉΡ‚Π°Ρ… Π·Π°Π΄Π΅Ρ€ΠΆΠΊΠΈ Π² 26.5мс, 46.5мс ΠΈ 66.5мс. Π’Π°ΠΊΠΆΠ΅ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ выросла ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Ρ‰ΠΈΠΊΠ° ΠΈ Π΄Π΅ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Ρ‰ΠΈΠΊΠ° — ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с ΠΏΡ€ΠΎΡˆΠ»ΠΎΠΉ вСрсиСй отмСчаСтся ускорСниС Π΄ΠΎ 5 Ρ€Π°Π·. НапримСр, Π½Π° смартфонС Pixel 6 Pro Π½ΠΎΠ²Ρ‹ΠΉ ΠΊΠΎΠ΄Π΅ΠΊ выполняСт ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Π½ΠΈΠ΅ ΠΈ Π΄Π΅ΠΊΠΎΠ΄ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ 20-миллисСкундной Π²Ρ‹Π±ΠΎΡ€ΠΊΠΈ Π·Π° 0.57 мс, Ρ‡Ρ‚ΠΎ Π² 35 Ρ€Π°Π· быстрСС, Ρ‡Π΅ΠΌ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ для ΠΏΠ΅Ρ€Π΅Π΄Π°Ρ‡ΠΈ Π² Ρ€Π΅ΠΆΠΈΠΌΠ΅ Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ Π²Ρ€Π΅ΠΌΠ΅Π½ΠΈ.

ΠšΡ€ΠΎΠΌΠ΅ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΡƒΠ΄Π°Π»ΠΎΡΡŒ Π΄ΠΎΠ±ΠΈΡ‚ΡŒΡΡ ΠΈ ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΠ΅ качСства восстановлСния Π·Π²ΡƒΠΊΠ° — ΠΏΠΎ шкалС MUSHRA качСство Ρ€Π΅Ρ‡ΠΈ Π½Π° Π±ΠΈΡ‚Ρ€Π΅ΠΉΡ‚Π°Ρ… 3.2 kbps, 6 kbps ΠΈ 9.2 kbps ΠΏΡ€ΠΈ использовании ΠΊΠΎΠ΄Π΅ΠΊΠ° Lyra V2 соотвСтствуСт Π±ΠΈΡ‚Ρ€Π΅ΠΉΡ‚Π°ΠΌ 10 kbps, 13 kbps ΠΈ 14 kbps ΠΏΡ€ΠΈ использовании ΠΊΠΎΠ΄Π΅ΠΊΠ° Opus.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ: opennet.ru