Meta * ti ṣafihan OpenZL, funmorawon data ati ohun elo irinṣẹ idinku ti o funni ni awọn oṣuwọn titẹkuro ti o ga julọ ati iyara ju awọn ọna kika Zstd ati XZ. OpenZL jẹ apẹrẹ fun funmorawon daradara ti awọn ipilẹ data ti eleto, gẹgẹbi awọn ti a lo ninu ikẹkọ ẹrọ, ati awọn ile itaja data ti o ni awọn aaye pẹlu ọpọlọpọ awọn iru alaye atunwi. OpenZL jẹ kikọ ni C/C++ ati pe o wa ni ṣiṣi labẹ iwe-aṣẹ BSD.
Nigbati o ba n ṣajọpọ data data ti o ni iwe-akọọlẹ irawọ irawọ SAO, OpenZL dinku iwọn data nipasẹ ipin kan ti 2.06, lakoko ti zstd algorithm fisinuirindigbindigbin data naa nipasẹ ipin kan ti 1.31, ati XZ nipasẹ ipin kan ti 1.64. Pẹlupẹlu, OpenZL ṣe ju zstd lọ ni iyara titẹkuro nipasẹ ipin kan ti 2 (203 MB/s dipo 115 MB/s), ati XZ nipasẹ ipin kan ti 65 (203 MB/s dipo 3.1 MB/s). Ilọkuro ni OpenZL jẹ diẹ lọra ju zstd (822 MB/s dipo 890 MB/s) ati awọn akoko 27 yiyara ju XZ.
OpenZL kii ṣe algoridimu gbogboogbo ati pe o fihan awọn abajade to dara nikan fun data pẹlu eto ti a mọ. Iṣiṣẹ OpenZL ni awọn aṣamubadọgba ti ipilẹṣẹ apamọ ti o da lori apejuwe data ti a pese. Eyi n ṣe agbekalẹ koodu funmorawon iṣapeye fun ọna kika data kan pato. Unpacker gbogbo agbaye, ti o ni ibamu pẹlu gbogbo awọn apiti ti ipilẹṣẹ, ni a lo fun idinku.
Iṣakojọpọ ati ṣiṣi silẹ ni a ṣe pẹlu lilo ohun elo ẹyọkan, “zli,” tabi ile-ikawe libopenzl. Ilana data jẹ apejuwe ni irisi awọn profaili. Eyi pẹlu akojọpọ awọn profaili ti a ti sọ tẹlẹ ti n ṣapejuwe awọn ọna kika ibi ipamọ aṣoju. Fun apẹẹrẹ, profaili kan fun ọna kika CSV tabi data ti o fipamọ bi titobi 64-bit. Funmorawon jẹ bi o rọrun bi yiyan profaili kan pẹlu aṣẹ “zli list-profaili” ati bẹrẹ ilana funmorawon pẹlu pipaṣẹ “zli compress --profile profile_name”. Lati tu silẹ, nìkan ṣiṣẹ "zli decompress."
Fun awọn ọna kika kan pato, profaili aṣa gbọdọ ṣẹda nipa lilo pipaṣẹ “zli train”, eyiti o ṣe idanimọ awọn ilana ninu data ati ṣe ipilẹṣẹ profaili kan pẹlu ipele titẹkuro to dara julọ. Lilo aṣayan "--pareto-frontier", profaili ti o ṣẹda le jẹ iṣapeye lati yara titẹ tabi idinku, laibikita fun funmorawon. Ede Apejuwe Data Rọrọrun (SDDL) le ṣee lo lati ṣe apejuwe awọn ọna kika eka pẹlu awọn ẹya itẹ-ẹiyẹ ati asọye ifilelẹ ti awọn ọna kika data laarin awọn ẹya.
Ọna fun ṣiṣẹda awọn akopọ ti o dara julọ da lori ṣeto ti awọn koodu koodu alakoko, ọkọọkan eyiti o munadoko julọ fun awọn iru data pato ati awọn ilana. Fun funmorawon, a darí aworan acyclic data processing ti wa ni akoso, pẹlu codecs bi apa ati data iyatọ ninu awọn ilọsiwaju ọna kika bi egbegbe. Ti o da lori iru data titẹ sii, a yan pq awọn kodẹki ti o dara julọ fun ipin data ti nwọle. Pẹlu eto yii, akọsori faili ti wa ni fisinuirindigbindigbin ni lilo kodẹki kan, aaye data odidi nipa lilo kodẹki keji, aaye counter ti o pọ si nipa lilo kodẹki kẹta, ati aaye data okun nipa lilo kodẹki kẹrin.
orisun: opennet.ru
