Основателят на QEMU и FFmpeg публикува звуковия кодек TSAC

Френският математик Фабрис Беллар (Fabrice Bellard), който основа проектите QEMU, FFmpeg, BPG, QuickJS, TinyGL и TinyCC, публикува формата за кодиране на звук TSAC и свързаните с него инструменти за компресиране и разпаковане на звукови файлове. Форматът е насочен към предаване на данни с много ниска битова скорост, например, 5.5 kb/s за моно и 7.5 kb/s за стерео, при запазване на приемливо качество на музика и реч. Използването на TSAC позволява опаковането на музикална композиция с продължителност 3.5 минути и честота на дискретизация 44.1 kHz (стерео) в файл с размер 192 КБ, който почти не може да бъде различен от оригинала на слух за неопитния слушател. Кодът на проекта се разпространява под лиценцията MIT.

Като основа за създаването на TSAC е използван звуковият кодек Descript, който е разширен, за да поддържа стереозвук и е адаптиран да използва друга модел на машинно обучение на базата на невронна мрежа с архитектура „трансформер“, което е позволило да се увеличи степента на компресия чрез реконструкция на загубени детайли с оглед на модела на човешкото слухово възприятие. Моделът заема около 200 МБ в компресиран вид и е оформен в детерминирано представяне, което гарантира получаването на един и същ резултат независимо от използваните CPU/GPU и броя на включените в изчисленията потоци.

Кодировчикът може да работи с изчисления само с CPU (за ускорение се поддържат инструкциите AVX2), но за постигане на висока производителност се препоръчва да се включи GPU. В текущия вид може да се използва API CUDA за ускорение с GPU NVIDIA на базата на микроархитектурите Ampere, ADA и Hopper (RTX 3090, RTX 4090, RTX A6000, A100 и H100), които имат най-малко 4 ГБ видеопамет. За преобразуването на звукови файлове преди кодиране се използва FFmpeg.

Допълнително може да се отбележи обновяването на утилитата ts_zip, разработвана от Беллар, предназначена за ефективно компресиране на текстови данни, чрез механизъм за предсказване на токени, базиран на система за машинно обучение и голям езиков модел RWKV 169M v4. При компресиране на архива на Уикипедия, утилитата ts_zip позволи компресия на данните в 7.3 пъти, а при компресиране на кода на ядрото Linux 1.2 — в 7.8 пъти. За сравнение, нивата на компресия при използване на утилитата xz бяха 4.7 и 5.5 пъти, съответно. Цената на високата ефективност на компресията е ниската скорост на компресиране и големите ресурси, необходими (минимум 4 GB RAM). На система с GPU RTX 4090 производителността на компресията е около 1 MB/s.

Източник: opennet.ru