QEMU ja FFmpeg asutaja avaldas helikoodeki TSAC

Prantsuse matemaatik Fabrice Bellard, kes asutas projektid QEMU, FFmpeg, BPG, QuickJS, TinyGL ja TinyCC, on avaldanud helikodeerimise formaadi TSAC koos tööriistadega helifailide tihendamiseks ja avamiseks. Formaadi suunitlus on vähese bitikiirusel andmete edastamine, näiteks 5,5 kb/s mono ja 7,5 kb/s stereo, säilitades samal ajal mõistliku muusika ja kõne kvaliteedi. TSAC kasutamine võimaldab pakkida 3,5 minuti pikkune muusikakompositsioon, mille sagedussagedus on 44,1 kHz (stereo), 192 KB suurusesse faili, mis kõlab peaaegu eristamatult originaalist keskmise kuulaja jaoks. Projekti kood on saadaval MIT-litsentsi all.

TSAC loomisel on aluseks võetud helikodeek Descript, mis on laiendatud stereoheli toetamiseks ja muudetud toimetama teise masinõppe mudeli põhjal, kasutades 'transformer' arhitektuuri, mis võimaldab suurendada tihenduse määra, taastades kaotatud detaile inimliku kuulmismudeli arvestusega. Mudel hõivab umbes 200 MB kokku pakituna ning on esitatud deterministlikus vormingus, mis tagab sama tulemuse sõltumata kasutatud CPU/GPU-st ja arvutuste jaoks kasutatavate lõimede arvust.

Kodeerija võib töötada arvutuste tegemiseks ainult CPU-d kasutades (kiirusetõstmiseks toetatakse AVX2 juhiseid), kuid kõrge jõudluse saavutamiseks on soovitatav kasutada GPU-d. Praeguses vormis saab rakendada CUDA API-d kiirusetõusuks NVIDIA GPU-dega, millel on mikroarhitektuurid Ampere, ADA ja Hopper (RTX 3090, RTX 4090, RTX A6000, A100 ja H100), millel on vähemalt 4 GB videomälu. Enne kodeerimist kasutatakse helifailide konvertimiseks FFmpeg.

Lisaks võib märkida, et Bellardi arendatav utiliit ts_zip on mõeldud tekstipõhiste andmete tõhusaks tihendamiseks, kasutades masinõppe ja suure keelemudeli RWKV 169M v4 põhist tokenite ennustamise mehhanismi. Wikipedia arhiivi tihendamisel võimaldas utiliit ts_zip andmeid tihendada 7,3 korda, samas kui Linuxi tuumakoodi tihendamisel oli see 7,8 korda. Võrdluseks, utiliidi xz tihendustasemed on vastavalt 4,7 ja 5,5 korda. Kõrge tihenduse efektiivsuse hinnaks on madal tihendamise kiirus ja suured ressursinõuded (vähemalt 4 GB RAM-i). RTX 4090 GPU süsteemis on tihendamise jõudlus umbes 1 MB/s.

Allikas: opennet.ru