Meta* e hlahisitse OpenZL, sesebelisoa sa compression sa data le decompression se fanang ka litekanyetso tse phahameng tsa khatello le lebelo ho feta lifomate tsa Zstd le XZ. OpenZL e etselitsoe tokiso e nepahetseng ea li-datasets tse hlophisitsoeng, joalo ka tse sebelisoang thutong ea mochini, hammoho le mabenkele a data a nang le masimo a nang le mefuta e fapaneng e pheta-phetoang ea tlhahisoleseling. OpenZL e ngotsoe ka C/C++ 'me e bulehile ka tlas'a laesense ea BSD.
Ha e hatella database e nang le lethathamo la linaleli la SAO la linaleli, OpenZL e ile ea fokotsa boholo ba data ka ntlha ea 2.06, ha algorithm ea zstd e ne e hatella data ka ntlha ea 1.31, le XZ ka ntlha ea 1.64. Ho feta moo, OpenZL e sebetsa hantle ho feta zstd ka lebelo la ho hatella ka ntlha ea 2 (203 MB/s khahlano le 115 MB/s), le XZ ka ntlha ea 65 (203 MB/s khahlano le 3.1 MB/s). Decompression ho OpenZL e ne e le butle ho feta zstd (822 MB/s khahlano le 890 MB/s) le makhetlo a 27 ka potlako ho feta XZ.
OpenZL ha se algorithm ea sepheo se akaretsang mme e bonts'a feela liphetho tse ntle bakeng sa data e nang le sebopeho se tsebahalang. Ts'ebetso ea OpenZL e kenyelletsa ho hlahisa sephutheloana ho ipapisitse le tlhaloso ea data e fanoeng. Sena se hlahisa khoutu ea compression e ntlafalitsoeng bakeng sa mofuta o itseng oa data. Unpacker ea bokahohleng, e tsamaellanang le liphutheloana tsohle tse hlahisitsoeng, e sebelisetsoa decompression.
Ho paka le ho phutha ho etsoa ka tšebeliso e le 'ngoe, "zli," kapa laebrari ea libopenzl. Sebopeho sa data se hlalosoa ka mokhoa oa profiles. Sena se kenyelletsa sete ea liprofaele tse boletsoeng esale pele tse hlalosang lifomate tse tloaelehileng tsa polokelo. Mohlala, profaele ea sebopeho sa CSV kapa data e bolokiloeng e le 64-bit array. Ho hatella ho bonolo joalo ka ho khetha boemo bo nang le taelo ea "zli list-profiles" le ho qala ts'ebetso ea ho hatella ka taelo ea "zli compress --profile profile_name". Ho manolla, matha feela "zli decompress."
Bakeng sa lifomate tse ikhethileng, profil ea tloaelo e tlameha ho etsoa ho sebelisoa taelo ea "zli train", e supang lipaterone ho data le ho hlahisa profaele e nang le boemo bo holimo ba khatello. U sebelisa khetho ea "--pareto-frontier", profil e entsoeng e ka ntlafatsoa ho potlakisa khatello kapa khatello, ka litšenyehelo tsa khatello. Puo e bonolo ea Tlhaloso ea Boitsebiso (SDDL) e ka sebelisoa ho hlalosa liforomo tse rarahaneng tse nang le mehaho e hlophisitsoeng le ho hlalosa sebopeho sa liforomo tsa data ka har'a mehaho.
Mokhoa oa ho theha li-packers tse nepahetseng o ipapisitse le sehlopha sa li-encoder tsa khale, tseo e 'ngoe le e' ngoe e sebetsang haholo bakeng sa mefuta le tatellano ea data. Bakeng sa compression, ho etsoa graph ea acyclic data processing graph, e nang le codecs e le li-node le mefuta e fapaneng ea data ka mokhoa o hlophisitsoeng e le metse. Ho ipapisitse le mofuta oa data e kentsoeng, ho khethoa ketane ea li-codec tse hatellang hantle karolo ea data e kenang. Ka tlhophiso ena, hlooho ea faele e hatelloa ho sebelisoa codec e le 'ngoe, sebaka sa data se felletseng se sebelisa codec ea bobeli, sebaka sa k'hamera se ntseng se eketseha se sebelisa codec ea boraro, le sebaka sa data sa khoele se sebelisa codec ea bone.
Source: opennet.ru
