Google ഓപ്പൺ സോഴ്‌സ് ഓഡിയോ കോഡെക് Lyra V2 പ്രസിദ്ധീകരിക്കുന്നു

ഗൂഗിൾ ലൈറ വി2 ഓഡിയോ കോഡെക് അവതരിപ്പിച്ചു, ഇത് വളരെ വേഗത കുറഞ്ഞ ആശയവിനിമയ ചാനലുകളിൽ പരമാവധി ശബ്ദ നിലവാരം കൈവരിക്കാൻ മെഷീൻ ലേണിംഗ് ടെക്നിക്കുകൾ ഉപയോഗിക്കുന്നു. പുതിയ ന്യൂറൽ നെറ്റ്‌വർക്ക് ആർക്കിടെക്ചറിലേക്കുള്ള മാറ്റം, അധിക പ്ലാറ്റ്‌ഫോമുകൾക്കുള്ള പിന്തുണ, വിപുലീകരിച്ച ബിറ്റ്‌റേറ്റ് നിയന്ത്രണ ശേഷികൾ, മെച്ചപ്പെട്ട പ്രകടനം, ഉയർന്ന ഓഡിയോ നിലവാരം എന്നിവ പുതിയ പതിപ്പിന്റെ സവിശേഷതയാണ്. റഫറൻസ് കോഡ് നടപ്പിലാക്കൽ C++ ൽ എഴുതുകയും Apache 2.0 ലൈസൻസിന് കീഴിൽ വിതരണം ചെയ്യുകയും ചെയ്യുന്നു.

കുറഞ്ഞ വേഗതയിൽ കൈമാറ്റം ചെയ്യപ്പെടുന്ന വോയ്‌സ് ഡാറ്റയുടെ ഗുണനിലവാരത്തിന്റെ കാര്യത്തിൽ, ഡിജിറ്റൽ സിഗ്നൽ പ്രോസസ്സിംഗ് രീതികൾ ഉപയോഗിക്കുന്ന പരമ്പരാഗത കോഡെക്കുകളേക്കാൾ വളരെ മികച്ചതാണ് ലൈറ. ഓഡിയോ കംപ്രഷൻ, സിഗ്നൽ പരിവർത്തനം എന്നിവയുടെ പരമ്പരാഗത രീതികൾക്ക് പുറമേ, പരിമിതമായ അളവിൽ കൈമാറ്റം ചെയ്യപ്പെടുന്ന വിവരങ്ങളുടെ അവസ്ഥയിൽ ഉയർന്ന നിലവാരമുള്ള വോയിസ് ട്രാൻസ്മിഷൻ നേടുന്നതിന്, ലൈറ ഒരു മെഷീൻ ലേണിംഗ് സിസ്റ്റത്തെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു സംഭാഷണ മോഡൽ ഉപയോഗിക്കുന്നു, ഇത് അടിസ്ഥാനമാക്കി നഷ്ടപ്പെട്ട വിവരങ്ങൾ പുനഃസൃഷ്ടിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്നു. സാധാരണ സംഭാഷണ സവിശേഷതകൾ.

കോഡെക്കിൽ ഒരു എൻകോഡറും ഡീകോഡറും ഉൾപ്പെടുന്നു. എൻകോഡറിന്റെ അൽഗോരിതം ഓരോ 20 മില്ലിസെക്കൻഡിലും വോയ്‌സ് ഡാറ്റ പാരാമീറ്ററുകൾ എക്‌സ്‌ട്രാക്റ്റുചെയ്യുകയും അവയെ കംപ്രസ് ചെയ്യുകയും 3.2kbps മുതൽ 9.2kbps വരെയുള്ള ബിറ്റ്റേറ്റുള്ള നെറ്റ്‌വർക്കിലൂടെ സ്വീകർത്താവിന് കൈമാറുകയും ചെയ്യുന്നു. റിസീവർ അറ്റത്ത്, ട്രാൻസ്മിറ്റ് ചെയ്ത ഓഡിയോ പാരാമീറ്ററുകളെ അടിസ്ഥാനമാക്കി യഥാർത്ഥ സംഭാഷണ സിഗ്നൽ പുനർനിർമ്മിക്കുന്നതിന് ഡീകോഡർ ഒരു ജനറേറ്റീവ് മോഡൽ ഉപയോഗിക്കുന്നു, അതിൽ ലോഗരിഥമിക് ചോക്ക് സ്പെക്ട്രോഗ്രാമുകൾ ഉൾപ്പെടുന്നു, അത് വ്യത്യസ്ത ഫ്രീക്വൻസി ശ്രേണികളിലെ സംഭാഷണത്തിന്റെ ഊർജ്ജ സവിശേഷതകൾ കണക്കിലെടുക്കുകയും മോഡലുകൾ കണക്കിലെടുക്കുകയും ചെയ്യുന്നു. മനുഷ്യ ശ്രവണ ധാരണ.

കുറഞ്ഞ കംപ്യൂട്ടേഷണൽ ആവശ്യകതകളുള്ള SoundStream കൺവല്യൂഷണൽ ന്യൂറൽ നെറ്റ്‌വർക്കിനെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു പുതിയ ജനറേറ്റീവ് മോഡൽ Lyra V2 ഉപയോഗിക്കുന്നു, ഇത് ലോ-പവർ സിസ്റ്റങ്ങളിൽ പോലും തത്സമയ ഡീകോഡിംഗ് അനുവദിക്കുന്നു. 90-ലധികം ഭാഷകളിൽ ആയിരക്കണക്കിന് മണിക്കൂർ വോയ്‌സ് റെക്കോർഡിംഗുകൾ ഉപയോഗിച്ചാണ് ശബ്‌ദം സൃഷ്ടിക്കാൻ ഉപയോഗിച്ച മോഡൽ പരിശീലിപ്പിച്ചത്. മോഡൽ എക്സിക്യൂട്ട് ചെയ്യാൻ TensorFlow Lite ഉപയോഗിക്കുന്നു. കുറഞ്ഞ വില പരിധിയിലുള്ള സ്മാർട്ട്‌ഫോണുകളിൽ സംഭാഷണ എൻകോഡിംഗിനും ഡീകോഡിംഗിനും നിർദ്ദിഷ്ട നടപ്പാക്കലിന്റെ പ്രകടനം മതിയാകും.

വ്യത്യസ്‌ത ജനറേറ്റീവ് മോഡൽ ഉപയോഗിക്കുന്നതിനു പുറമേ, RVQ (റെസിഡ്യൂവൽ വെക്‌ടർ ക്വാണ്ടിസർ) ക്വാണ്ടൈസറുമായുള്ള ലിങ്കുകളുടെ കോഡെക് ആർക്കിടെക്‌ചറിൽ ഉൾപ്പെടുത്തിയതും പുതിയ പതിപ്പ് ശ്രദ്ധേയമാണ്, ഇത് ഡാറ്റ കൈമാറുന്നതിന് മുമ്പ് അയച്ചയാളുടെ ഭാഗത്തും സ്വീകർത്താവിന്റെ ഭാഗത്തും നടപ്പിലാക്കുന്നു. ഡാറ്റ ലഭിച്ച ശേഷം. ക്വാണ്ടൈസർ കോഡെക് നിർമ്മിക്കുന്ന പാരാമീറ്ററുകളെ പാക്കറ്റുകളുടെ സെറ്റുകളായി പരിവർത്തനം ചെയ്യുന്നു, തിരഞ്ഞെടുത്ത ബിറ്റ്റേറ്റുമായി ബന്ധപ്പെട്ട വിവരങ്ങൾ എൻകോഡ് ചെയ്യുന്നു. വ്യത്യസ്ത നിലവാരത്തിലുള്ള ഗുണനിലവാരം നൽകുന്നതിന്, മൂന്ന് ബിറ്റ്റേറ്റുകൾക്ക് (3.2 കെപിഎസ്, 6 കെബിപിഎസ്, 9.2 കെബിപിഎസ്) ക്വാണ്ടൈസറുകൾ നൽകുന്നു, ഉയർന്ന ബിറ്റ്റേറ്റ്, മികച്ച ഗുണനിലവാരം, എന്നാൽ ഉയർന്ന ബാൻഡ്‌വിഡ്ത്ത് ആവശ്യകതകൾ.

പുതിയ ആർക്കിടെക്ചർ സിഗ്നൽ ട്രാൻസ്മിഷൻ കാലതാമസം 100 ൽ നിന്ന് 20 മില്ലിസെക്കൻഡ് ആയി കുറച്ചു. താരതമ്യത്തിനായി, WebRTC നായുള്ള Opus കോഡെക് പരീക്ഷിച്ച ബിറ്റ്റേറ്റുകളിൽ 26.5ms, 46.5ms, 66.5ms എന്നിവയുടെ ലേറ്റൻസികൾ പ്രദർശിപ്പിച്ചു. എൻകോഡറിന്റെയും ഡീകോഡറിന്റെയും പ്രകടനവും ഗണ്യമായി വർദ്ധിച്ചു - മുമ്പത്തെ പതിപ്പിനെ അപേക്ഷിച്ച് 5 മടങ്ങ് വേഗത്തിൽ. ഉദാഹരണത്തിന്, Pixel 6 Pro സ്മാർട്ട്‌ഫോണിൽ, പുതിയ കോഡെക് 20 ms-ൽ 0.57-ms സാമ്പിൾ എൻകോഡ് ചെയ്യുകയും ഡീകോഡ് ചെയ്യുകയും ചെയ്യുന്നു, ഇത് തത്സമയ സംപ്രേക്ഷണത്തിന് ആവശ്യമുള്ളതിനേക്കാൾ 35 മടങ്ങ് വേഗതയുള്ളതാണ്.

പ്രകടനത്തിന് പുറമേ, ശബ്‌ദ പുനഃസ്ഥാപനത്തിന്റെ ഗുണനിലവാരം മെച്ചപ്പെടുത്താനും സാധിച്ചു - MUSHRA സ്കെയിൽ അനുസരിച്ച്, Lyra V3.2 കോഡെക് ഉപയോഗിക്കുമ്പോൾ 6 kbps, 9.2 kbps, 2 kbps ബിറ്റ്റേറ്റുകളിൽ സംഭാഷണ നിലവാരം 10 kbps, 13 ബിറ്റ്റേറ്റുകളുമായി യോജിക്കുന്നു. ഓപസ് കോഡെക് ഉപയോഗിക്കുമ്പോൾ കെബിപിഎസ്, 14 കെബിപിഎസ്.

അവലംബം: opennet.ru