ʻO kēia ʻatikala ka lua ma ke kumuhana o ka kaomi ʻikepili kiʻekiʻe. Ua wehewehe ka ʻatikala mua i kahi compressor e hana ana ma ka wikiwiki o 10 GB/sec. no kēlā me kēia kaʻina hana (ka palena liʻiliʻi, RTT-Min).
Ua hoʻokō ʻia kēia compressor i nā mea hana o nā duplicator forensic no ka wikiwiki wikiwiki o ka hoʻopaʻa ʻana i ka waihona media a me ka hoʻonui ʻana i ka ikaika o ka cryptography; hiki ke hoʻohana ʻia e kaomi i nā kiʻi o nā mīkini virtual a me nā faila swap RAM i ka wā e mālama ai iā lākou ma ka wikiwiki kiʻekiʻe. SSD drives.
Ua hoʻolaha pū ka ʻatikala mua i ka hoʻomohala ʻana i kahi algorithm compression no ka hoʻopili ʻana i nā kope kope o HDD a me SSD disk drives (medium compression, RTT-Mid) me ka hoʻomaikaʻi nui ʻana i nā ʻāpana hoʻopiʻi data. I kēia manawa, ua mākaukau loa kēia compressor a pili kēia ʻatikala.
Hāʻawi kahi compressor e hoʻokō i ka RTT-Mid algorithm i kahi lakene hoʻohālikelike e like me nā waihona waihona maʻamau e like me WinRar, 7-Zip, e hana ana ma ke ʻano kiʻekiʻe. I ka manawa like, ʻoi aku ka nui o ka wikiwiki o kāna hana.
ʻO ka wikiwiki o ka hōʻiliʻili / wehe ʻana i ka ʻikepili kahi mea koʻikoʻi e hoʻoholo ai i ke ʻano o ka hoʻohana ʻana i nā ʻenehana kaomi. ʻAʻole paha e noʻonoʻo kekahi e hoʻoomi i kahi terabyte o ka ʻikepili i ka wikiwiki o 10-15 MegaBytes i kēlā me kēia kekona (ʻo ia ka wikiwiki o nā waihona i ke ʻano hoʻopiʻi maʻamau), no ka mea, kokoke i iwakālua mau hola me ka hoʻouka ʻana o ka mīkini piha. .
Ma kekahi ʻaoʻao, hiki ke kope ʻia ka terabyte like me ka wikiwiki o ke kauoha o 2-3Gigabytes i kekona ma kahi o ʻumi mau minuke.
No laila, he mea koʻikoʻi ka paʻi ʻana o ka ʻike nui inā hana ʻia ma ka wikiwiki ʻaʻole i emi iho ma mua o ka wikiwiki o ka hoʻokomo maoli / puka. No nā ʻōnaehana hou he 100 Megabytes i kēlā me kēia kekona.
Hiki i nā compressor hou ke hana i kēlā mau wikiwiki i ke ʻano "wikiwiki". Aia i loko o kēia ʻano o kēia manawa e hoʻohālikelike mākou i ka RTT-Mid algorithm me nā compressors kuʻuna.
ʻO ka hoʻohālikelike hoʻohālikelike o kahi algorithm kaomi hou
Ua hana ka RTT-Mid compressor ma ke ʻano he ʻāpana o ka papahana hoʻāʻo. Ma kahi noi "hana" maoli ʻoi aku ka wikiwiki, hoʻohana ʻo ia i ka multithreading me ka naʻauao a hoʻohana i kahi mea "maʻamau" compiler, ʻaʻole C #.
No ka mea ua kūkulu ʻia nā compressors i ka hoʻāʻo hoʻohālikelike ma luna o nā kumu like ʻole a me nā ʻano like ʻole o ka ʻikepili compress ʻokoʻa, no ka objectivity o ka hoʻāʻo, ua hoʻohana ʻia ke ʻano o ke ana ʻana i ka "wela wela ma ka haukapila" ...
ʻO kahi waihona hoʻokuʻu ʻana i kēlā me kēia ʻāpana o kahi disk logical me ka Windows 10 ʻōnaehana hana i hana ʻia; ʻo ia ka hui kūlohelohe maoli o nā ʻano ʻikepili like ʻole i loaʻa i kēlā me kēia kamepiula. ʻO ke kaomi ʻana i kēia faila e ʻae iā ʻoe e hoʻohālikelike i ka wikiwiki a me ke kiʻekiʻe o ke kaomi ʻana o ka algorithm hou me nā mea hoʻokūkū kiʻekiʻe loa i hoʻohana ʻia i nā waihona waihona hou.
Eia ka waihona dump:
Hoʻopili ʻia ka faila dump me ka PTT-Mid, 7-zip, a me WinRar compressors. Ua hoʻonohonoho ʻia ka WinRar a me 7-zip compressor i ka wikiwiki kiʻekiʻe.
Ke holo nei ka mea hoʻoemi 7-zip:
Hoʻouka ia i ke kaʻina hana e 100%, ʻoiai ʻo ka awelika o ka wikiwiki o ka heluhelu ʻana i ka waihona kumu ma kahi o 60 MegaBytes/sec.
Ke holo nei ka mea hoʻoemi Winrar:
Ua like ke kūlana, ua aneane 100% ka ukana o ka mea hana, ʻo ka awelika o ka heluhelu heluhelu ʻana ma kahi o 125 Megabytes / sec.
E like me ka hihia ma mua, ua kaupalena ʻia ka wikiwiki o ka waihona e nā mea hiki ke hana.
Ke holo nei ka polokalamu ho'āʻo compressor RTT-Mid:
Hōʻike ka paʻi kiʻi i ka hoʻouka ʻana o ka mea hana ma 50% a ʻaʻohe hana i ke koena o ka manawa, no ka mea ʻaʻohe wahi e hoʻouka ai i ka ʻikepili i hoʻopili ʻia. ʻO ka disk hoʻoili ʻikepili (Disk 0) ʻaneʻane piha loa. ʻOkoʻa loa ka wikiwiki heluhelu ʻikepili (Disk 1), akā ma ka awelika ʻoi aku ma mua o 200 MegaBytes/sec.
Ua kaupalena ʻia ka wikiwiki o ka compressor i kēia hihia e ka hiki ke kākau i ka ʻikepili i hoʻopaʻa ʻia i Disk 0.
I kēia manawa, ʻo ka ratio hoʻoemi o nā waihona i loaʻa:
Hiki ke ʻike ʻia ʻo ka RTT-Mid compressor i hana i ka hana maikaʻi loa o ka hoʻopili ʻana; ʻo ka waihona i hana ʻia he 1,3 GigaBytes liʻiliʻi ma mua o ka waihona WinRar a me 2,1 GigaBytes liʻiliʻi ma mua o ka waihona 7z.
ʻO ka manawa i hana ʻia i ka waihona:
- 7-zip - 26 minuke 10 kekona;
- WinRar - 17 mau minuke 40 kekona;
- RTT-Mid – 7 minuke 30 kekona.
No laila, ʻo kahi hoʻāʻo, ʻaʻole i hoʻopaʻa ʻia ka papahana, me ka hoʻohana ʻana i ka RTT-Mid algorithm, ua hiki ke hana i kahi waihona ma mua o ʻelua a me ka hapa manawa wikiwiki, ʻoiai ʻo ka waihona i lilo i mea liʻiliʻi loa ma mua o nā mea hoʻokūkū ...
ʻO ka poʻe i manaʻoʻiʻo ʻole i ka screenshots hiki ke nānā i ko lākou ʻoiaʻiʻo iā lākou iho. Loaʻa ka papahana hoʻāʻo ma , hoʻoiho a nānā.
Akā ma luna o nā kaʻina hana me ke kākoʻo AVX-2, me ke kākoʻo ʻole i kēia mau ʻōlelo aʻoaʻo ʻaʻole hana ka compressor, a ʻaʻole hoʻāʻo i ka algorithm ma nā mea hana AMD kahiko, ua lohi lākou i ka hoʻokō ʻana i nā ʻōlelo aʻoaʻo AVX...
Hoʻohana ʻia ke ʻano kaomi
Hoʻohana ka algorithm i ke ʻano no ka helu ʻana i nā ʻāpana kikokikona i ka byte granularity. Ua ʻike ʻia kēia ʻano hoʻoemi no ka manawa lōʻihi, akā ʻaʻole i hoʻohana ʻia no ka mea ʻoi aku ka pipiʻi o ka hana hoʻohālikelike ma ke ʻano o nā kumuwaiwai e pono ai a ʻoi aku ka nui o ka manawa ma mua o ke kūkulu ʻana i kahi puke wehewehe. No laila ʻo ka RTT-Mid algorithm kahi hiʻohiʻona maʻamau o ka neʻe ʻana "hoʻi i ka wā e hiki mai ana" ...
Hoʻohana ka PTT compressor i kahi ʻimi ʻimi hoʻokūkū kiʻekiʻe kiʻekiʻe, hiki iā mākou ke wikiwiki i ke kaʻina hana. ʻO kahi scanner hana ponoʻī, ʻo ia ka "koʻu nani ...", "he pipiʻi loa ia, no ka mea, hana lima ʻia" (kākau ʻia ma ka assembler).
Hana ʻia ka ʻimi hoʻokūkū e like me ka hoʻolālā probabilistic ʻelua-level: ʻo ka mua, ʻike ʻia ka loaʻa ʻana o kahi "hōʻailona" o kahi pāʻani, a ma hope o ka ʻike ʻia ʻana o ka "hōʻailona" ma kēia wahi, ke kaʻina hana no ka ʻike ʻana i kahi pāʻani maoli. hoʻomaka.
ʻO ka puka aniani ʻimi hoʻokūkū he nui ʻike ʻole ʻia, e pili ana i ke kiʻekiʻe o ka entropy i ka poloka ʻikepili i hana ʻia. No ka ʻikepili holoʻokoʻa (incompressible) loaʻa ka nui o nā megabytes, no ka ʻikepili me ka hana hou ʻana ʻoi aku ka nui ma mua o ka megabyte.
Akā ʻaʻole hiki ke hoʻopili ʻia ka nui o nā palapala ʻikepili hou a me ka holo ʻana i kahi scanner koʻikoʻi waiwai ma o lākou he mea ʻole a hoʻopau wale, no laila hoʻohana ka scanner i ʻelua mau ʻano hana. ʻO ka mea mua, ʻimi ʻia nā ʻāpana o ka kikokikona kumu me ka hana hou ʻana; hana ʻia kēia hana me ka hoʻohana ʻana i kahi ala probabilistic a hana wikiwiki loa (ma ka wikiwiki o 4-6 GigaBytes/sec). ʻO nā wahi me nā pāʻani hiki ke hana ʻia e ka scanner nui.
ʻAʻole maikaʻi loa ka hoʻopiʻi ʻana i ka Index, pono ʻoe e hoʻololi i nā ʻāpana pālua me nā kuhikuhi, a ʻo ka papa kuhikuhi kuhikuhi e hoʻemi nui i ka lākiō kaomi.
No ka hoʻonui ʻana i ka lakio hoʻopiʻi, ʻaʻole i helu ʻia nā hoʻokūkū piha o nā kaula byte, akā ʻo nā mea ʻāpana pū kekahi, ke loaʻa i ke kaula nā bytes like ʻole. No ka hana ʻana i kēia, loaʻa i ka ʻano kuhikuhi kahi kahua mask match e hōʻike ana i nā bytes like o nā poloka ʻelua. No ka hoʻopiʻi ʻoi aku ka maikaʻi, hoʻohana ʻia ka papa kuhikuhi e hoʻopili i kekahi mau poloka like ʻole ma luna o ka poloka o kēia manawa.
ʻO kēia mau mea a pau i hiki ai ke loaʻa i loko o ka PTT-Mid compressor kahi hoʻohālikelike hoʻohālikelike i hoʻohālikelike ʻia me nā compressors i hana ʻia me ka hoʻohana ʻana i ke ʻano puke wehewehe ʻōlelo, akā ʻoi aku ka wikiwiki o ka hana.
Ka wikiwiki o ka algorithm compression hou
Inā hoʻohana ka compressor me ka hoʻohana wale ʻana i ka hoʻomanaʻo cache (4 Megabytes e koi ʻia i kēlā me kēia kaula), a laila ka wikiwiki o ka hana mai 700-2000 Megabytes/sec. no kēlā me kēia kaʻina hana, ma muli o ke ʻano o ka ʻikepili i hoʻopili ʻia a hilinaʻi liʻiliʻi i ka alapine hana o ka mea hana.
Me ka hoʻokō multi-threaded o ka compressor, e hoʻoholo ʻia ka scalability kūpono e ka nui o ka cache pae ʻekolu. No ka laʻana, loaʻa iā 9 MegaBytes o ka hoʻomanaʻo cache "ma luna o ka moku", ʻaʻohe kumu o ka hoʻokuʻu ʻana ma mua o ʻelua mau kaula kaomi; ʻaʻole e piʻi ka wikiwiki mai kēia. Akā me kahi huna o 20 Megabytes, hiki iā ʻoe ke holo i ʻelima mau kaula kōmike.
Eia kekahi, lilo ka latency o ka RAM i mea nui e hoʻoholo ai i ka wikiwiki o ka compressor. Hoʻohana ka algorithm i ke komo ʻole ʻana i ka OP, ʻaʻole i komo kekahi i loko o ka hoʻomanaʻo cache (e pili ana i 10%) a pono ia e hana, e kali ana i ka ʻikepili mai ka OP, e hoʻemi ana i ka wikiwiki o ka hana.
Hoʻopili nui i ka wikiwiki o ka compressor a me ka hana ʻana o ka ʻōnaehana hoʻokomo / puka. Nā noi i ka OP mai I/O block noi no ka ʻikepili mai ka CPU, e hoʻemi ana hoʻi i ka wikiwiki hoʻoemi. He mea koʻikoʻi kēia pilikia no nā laptops a me nā papapihi; no nā kikowaena he mea liʻiliʻi loa ia ma muli o kahi ʻōnaehana hoʻokele kaʻa kaʻa ʻoi aku ka holomua a me ka RAM multi-channel.
Ma ka ʻatikala holoʻokoʻa e kamaʻilio nei mākou e pili ana i ka hoʻopaʻa ʻana; aia ka decompression ma waho o ke ʻano o kēia ʻatikala no ka mea "ua uhi ʻia nā mea āpau i ke kokoleka". ʻOi aku ka wikiwiki o ka decompression a ua kaupalena ʻia e ka wikiwiki I/O. Hāʻawi maʻalahi kahi kumu kino i hoʻokahi kaula i ka wikiwiki o ka wehe ʻana o 3-4 GB/sec.
Ma muli o ka loaʻa ʻole o kahi hana ʻimi hoʻokūkū i ka wā o ke kaʻina decompression, ka mea "ʻai" i nā kumu waiwai nui o ka processor a me ka hoʻomanaʻo ʻana i ka cache i ka wā o ka paʻi.
ʻO ka hilinaʻi o ka mālama ʻana i ka ʻikepili i hoʻopaʻa ʻia
E like me ka inoa o ka papa holoʻokoʻa o ka lako polokalamu e hoʻohana ana i ka ʻikepili compression (archivers), ua hoʻolālā ʻia lākou no ka mālama lōʻihi o ka ʻike, ʻaʻole no nā makahiki, akā no nā kenekulia a me nā millennia ...
I ka wā o ka mālama ʻana, nalowale ka ʻikepili waihona, eia kekahi laʻana:
ʻO kēia "analog" ka mea lawe i ka ʻike he kaukani makahiki, ua nalowale kekahi mau ʻāpana, akā ma ke ʻano he "heluhelu" ka ʻike ...
ʻAʻohe o nā mea hana kuleana o nā ʻōnaehana mālama ʻikepili kikohoʻe hou a me nā media digital no lākou e hāʻawi i nā hōʻoia o ka palekana ʻikepili piha no nā makahiki he 75.
A he pilikia kēia, akā he pilikia i hoʻopaneʻe ʻia, na nā mamo a kākou e hoʻoponopono ai...
Hiki i nā ʻōnaehana mālama ʻikepili kikohoʻe ke nalowale i ka ʻikepili ʻaʻole wale ma hope o 75 mau makahiki, hiki ke ʻike ʻia nā hewa o ka ʻikepili i kēlā me kēia manawa, ʻoiai i ka wā o kā lākou hoʻopaʻa ʻana, hoʻāʻo lākou e hōʻemi i kēia mau distortions me ka hoʻohana ʻana i ka redundancy a hoʻoponopono iā lākou me nā ʻōnaehana hoʻoponopono hewa. ʻAʻole hiki i nā ʻōnaehana redundancy a me ka hoʻoponopono ke hoʻihoʻi mau i ka ʻike i nalowale, a inā hana lākou, ʻaʻohe mea e hōʻoiaʻiʻo ua hoʻopau pololei ka hana hoʻihoʻi.
A he pilikia nui nō hoʻi kēia, ʻaʻole naʻe i hoʻopaneʻe ʻia, akā i kēia manawa.
Kūkulu ʻia nā compressors hou i hoʻohana ʻia no ka mālama ʻana i ka ʻikepili kikohoʻe ma nā ʻano hoʻololi like ʻole o ke ʻano o ka puke wehewehe ʻōlelo, a no ia mau waihona ʻo ka nalowale ʻana o kahi ʻāpana o ka ʻike e lilo i mea make; aia kekahi manawa i hoʻopaʻa ʻia no kēlā kūlana - kahi waihona "haʻi" ...
ʻO ka haʻahaʻa haʻahaʻa o ka mālama ʻana i ka ʻike i loko o nā waihona me ka kaomi puke wehewehe ʻōlelo pili i ke ʻano o ka ʻikepili i hoʻopili ʻia. ʻAʻole i loaʻa i ka ʻike i loko o ia waihona ka kikokikona kumu, mālama ʻia nā helu o nā helu i loko o ka puke wehewehe ʻōlelo, a ʻo ka puke wehewehe ʻōlelo ponoʻī i hoʻololi ʻia e ka kikokikona i hoʻopaʻa ʻia i kēia manawa. Inā nalowale a ʻino paha kekahi ʻāpana waihona, ʻaʻole hiki ke ʻike ʻia nā mea hoʻokomo waihona ma hope mai e ka ʻike a i ʻole ka lōʻihi o ke komo ʻana i loko o ka puke wehewehe ʻōlelo, no ka mea ʻaʻole maopopo i ke ʻano o ka helu hoʻokomo puke wehewehe.
ʻAʻole hiki ke hoʻihoʻi i ka ʻike mai kahi waihona "haʻihaʻi" like.
Hoʻokumu ʻia ka algorithm RTT ma kahi ala ʻoi aku ka hilinaʻi o ka mālama ʻana i ka ʻikepili i hoʻopaʻa ʻia. Hoʻohana ia i ke ʻano helu helu helu no ka hana hou ʻana i nā ʻāpana. ʻO kēia ala i ka hoʻopili ʻana e hiki ai iā ʻoe ke hōʻemi i nā hopena o ka distortion o ka ʻike ma ke kikowaena waihona, a i nā manawa he nui e hoʻoponopono aunoa i nā distortions i kū mai i ka wā o ka mālama ʻana i ka ʻike.
Ma muli o ka ʻoiaʻiʻo o ka waihona waihona i ka hihia o ka compression index i loaʻa i ʻelua mau kahua:
- he kahua kikokikona kumu me nā pauku hou i wehe ʻia mai ia mea;
- kahua kuhikuhi.
ʻAʻole nui ka nui o ka papa kuhikuhi, ka mea koʻikoʻi no ka hoʻihoʻi ʻana i ka ʻike, a hiki ke hoʻopaʻa ʻia no ka mālama ʻana i ka ʻikepili hilinaʻi. No laila, ʻoiai inā nalowale kahi ʻāpana o ka kikokikona kumu a i ʻole ka papa kuhikuhi, e hoʻihoʻi ʻia nā ʻike ʻē aʻe me ka pilikia ʻole, e like me ke kiʻi me kahi mea mālama "analog".
Nā hemahema o ka algorithm
ʻAʻohe mea maikaʻi me ka ʻole o ka pōʻino. ʻAʻole hoʻopaʻa ʻia ke ʻano hoʻoemi index i nā kaʻina hana pōkole. ʻO kēia ma muli o nā palena o ke ʻano kuhikuhi. He 3 paita ka nui a hiki i ka 12 paita ka nui. Inā ʻike ʻia ka hana hou ʻana me kahi liʻiliʻi liʻiliʻi ma mua o ka ʻōlelo kuhikuhi e wehewehe nei, a laila ʻaʻole i noʻonoʻo ʻia, ʻaʻole i ʻike pinepine ʻia kēlā mau hana hou ʻana i ka faila i hoʻopili ʻia.
Hoʻopiʻi maikaʻi ke ʻano hoʻopiʻi puke wehewehe ʻōlelo kuʻuna i nā huaʻōlelo he nui o ka lōʻihi pōkole a no laila e loaʻa i kahi lākiō hoʻopiʻi kiʻekiʻe ma mua o ka hoʻopiʻi kuhikuhi. ʻOiaʻiʻo, ua loaʻa kēia ma muli o ka haʻahaʻa kiʻekiʻe ma ke kikowaena kikowaena; i mea e hoʻomaka ai ke ʻano puke weheweheʻōlelo e hoʻomaka i ka hoʻopaʻa ʻana i ka ʻikepili i ʻoi aku ka maikaʻi ma mua o ke ʻano kuhikuhi, pono ia e hōʻemi i ka wikiwiki o ka ʻikepili i 10-20 megabytes i kēlā me kēia kekona ma ka maoli. ka hoʻokomo helu ʻana me ka ukana CPU piha.
ʻAʻole ʻae ʻia kēlā mau haʻahaʻa haʻahaʻa no nā ʻōnaehana mālama ʻikepili hou a ʻoi aku ka makemake o ka "ʻoihana" ma mua o ka hana.
E hoʻonui nui ʻia ke kiʻekiʻe o ka hoʻopili ʻana i ka ʻike i ka hoʻololi hou ʻana o ka RTT algorithm (RTT-Max), kahi i hoʻomohala ʻia.
No laila, e like me nā manawa a pau, e hoʻomau ʻia ...
Source: www.habr.com