El matemático francés Fabrice Bellard, quien en su momento fundó proyectos como QEMU, FFmpeg, BPG, QuickJS, TinyGL y TinyCC, ha publicado un formato de codificación de sonido llamado TSAC y las herramientas asociadas para la compresión y descompresión de archivos de audio. Este formato está diseñado para la transmisión de datos a muy baja tasa de bits, como 5.5 kb/s para mono y 7.5 kb/s para estéreo, manteniendo una calidad aceptable tanto para música como para voz. Usando TSAC, se puede empaquetar una composición musical de 3.5 minutos con una frecuencia de muestreo de 44.1 kHz (estéreo) en un archivo de 192 KB, que será casi indistinguible del original para el oído inexperto. El código del proyecto se distribuye bajo licencia MIT.
Como base para la creación de TSAC se utilizó el códec de audio Descript, que ha sido ampliado para soportar sonido estéreo y adaptado para usar otro modelo de aprendizaje automático basado en red neuronal con arquitectura de 'transformer', lo que permite aumentar el grado de compresión al reconstruir los detalles perdidos teniendo en cuenta el modelo de percepción auditiva humana. El modelo ocupa alrededor de 200 MB en forma comprimida y está diseñado en una representación determinista, que garantiza obtener el mismo resultado independientemente de las CPU/GPU utilizadas y el número de hilos involucrados en los cálculos.
El codificador puede funcionar utilizando solo la CPU para los cálculos (se admiten instrucciones AVX2 para acelerar el proceso), pero para lograr un alto rendimiento se recomienda utilizar la GPU. En su forma actual, se puede usar la API CUDA para acelerar el proceso con GPUs NVIDIA basadas en las microarquitecturas Ampere, ADA y Hopper (RTX 3090, RTX 4090, RTX A6000, A100 y H100), que tienen al menos 4 GB de memoria de video. Para convertir archivos de audio antes de la codificación se utiliza FFmpeg.
Además, se puede destacar la actualización de la herramienta ts_zip, desarrollada por Bellard, que está diseñada para la compresión eficiente de datos textuales, utilizando un mecanismo de predicción de tokens basado en un sistema de aprendizaje automático y un gran modelo de lenguaje RWKV 169M v4. Al comprimir el archivo de Wikipedia, la herramienta ts_zip logró comprimir los datos en 7.3 veces, y al comprimir el código del núcleo de Linux 1.2, en 7.8 veces. Para comparación, los niveles de compresión utilizando la herramienta xz fueron de 4.7 y 5.5 veces, respectivamente. El precio de su alta eficiencia de compresión es una baja velocidad de compresión y altas demandas de recursos (mínimo 4 GB de RAM). En un sistema con GPU RTX 4090, la tasa de compresión es de aproximadamente 1 MB/s.
Fuente: opennet.ru
