Основателят на QEMU и FFmpeg публикува звуковия кодек TSAC

Френският математик Фабрис Белар (Fabrice Bellard), основател на проекти като QEMU, FFmpeg, BPG, QuickJS, TinyGL и TinyCC, публикува формат за кодиране на звук TSAC и свързания с него инструментариум за компресия и декомпресия на звукови файлове. Форматът е насочен към предаване на данни с много нисък битрейт, например, 5.5 kb/s за моно и 7.5 kb/s за стерео, запазвайки приемливо качество на музиката и речта. Използването на TSAC позволява опаковането на музикална композиция с продължителност 3.5 минути и с честота на дискретизация 44.1 kHz (стерео) в файл с размер 192 КБ, който практически не може да бъде различен от оригинала за неособено опитни уши. Кодът на проекта се разпространява под лицензия MIT.

Като основа при създаването на TSAC е използван звуковият кодек Descript, който е разширен за поддръжка на стереозвук и е адаптиран за използване на друга модел машинно обучение на базата на невронна мрежа с архитектура 'трансформер', която позволява увеличаване на степента на компресия чрез реконструкция на загубени детайли, вземайки предвид модела на човешкото слухово възприятие. Моделът заема около 200 МБ в компресиран вид и е форматиран в детерминирано представяне, което гарантира получаването на еднакъв резултат независимо от използваните CPU/GPU и броя на ангажираните при изчисленията потоци.

Кодировчикът може да работи с изчисления, използвайки само CPU (за ускорение се поддържат инструкции AVX2), но за постигане на висока производителност се препоръчва ангажиране на GPU. В текущото си състояние може да се използва API CUDA за ускорение с използване на GPU NVIDIA на базата на микроархитектури Ampere, ADA и Hopper (RTX 3090, RTX 4090, RTX A6000, A100 и H100), които имат поне 4 ГБ видеопамет. За преобразуване на звукови файлове преди кодиране се използва FFmpeg.

Допълнително може да се отбележи обновлението на разработваната от Беллар утилита ts_zip, предназначена за ефективно компресиране на текстови данни, използвайки механизма за предсказване на токени, основан на система за машинно обучение и голям езиков модел RWKV 169M v4. При компресирането на архива на Уикипедия, утилитата ts_zip успешно съкрати данните 7.3 пъти, а при компресирането на кода на ядрото на Linux 1.2 — 7.8 пъти. За сравнение, нивата на компресия при използване на утилита xz достигат 4.7 и 5.5 пъти съответно. Цената на високата ефективност на компресията е ниската скорост на компресия и големите изисквания към ресурсите (минимум 4 GB RAM). На система с GPU RTX 4090 производителността на компресията е около 1 MB/s.

Източник: opennet.ru