Ity lahatsoratra ity dia efa faharoa amin'ny lohahevitra momba ny famatrarana data haingana. Ny lahatsoratra voalohany dia nanoritsoritra ny compressor miasa amin'ny hafainganam-pandeha 10 GB/sec. isaky ny fototry ny processeur (famoretana faran'izay kely, RTT-Min).
Ity compressor ity dia efa nampiharina tamin'ny fitaovan'ny duplicator forensika ho an'ny famatrarana haingam-pandeha amin'ny fanariam-baovao fitehirizana ary manatsara ny tanjaky ny kriptografika dia azo ampiasaina ihany koa izy io mba hanesorana ny sarin'ny milina virtoaly sy ny rakitra swap RAM rehefa mitahiry azy ireo amin'ny haingam-pandeha SSD fiara.
Ny lahatsoratra voalohany dia nanambara ihany koa ny fivoaran'ny algorithm fanerena ho an'ny fanerena ny kopia backup amin'ny kapila HDD sy SSD (famatrarana antonony, RTT-Mid) miaraka amin'ny mari-pamantarana fanerena angon-drakitra nohatsaraina. Amin'izao fotoana izao, ity compressor ity dia efa vonona tanteraka ary ity lahatsoratra ity dia momba izany.
Ny compressor iray izay mampihatra ny algorithm RTT-Mid dia manome taham-pamokarana azo ampitahaina amin'ireo archiver mahazatra toy ny WinRar, 7-Zip, miasa amin'ny maodely haingam-pandeha. Amin'izay fotoana izay ihany koa, ny hafainganam-pandehan'ny asa dia fara-faharatsiny filaharana ambony kokoa.
Ny hafainganam-pandehan'ny famonosana/famoahana angon-drakitra dia mari-pamantarana manan-danja izay mamaritra ny sahan'ny fampiharana ny teknolojia famoretana. Tsy azo inoana fa hisy hieritreritra ny hanery ny angona terabyte amin'ny hafainganam-pandeha 10-15 MegaBytes isan-tsegondra (io tokoa ny hafainganam-pandehan'ny archiver amin'ny fomba famatrarana mahazatra), satria haharitra efa ho roapolo ora miaraka amin'ny enta-mavesatra feno. .
Amin'ny lafiny iray, ny terabyte mitovy dia azo adika amin'ny hafainganam-pandeha 2-3Gigabytes isan-tsegondra ao anatin'ny folo minitra eo ho eo.
Noho izany, zava-dehibe ny famoretana ny fampahalalana be dia be raha atao amin'ny hafainganam-pandeha tsy ambany noho ny hafainganam-pandehan'ny fidirana/famoahana tena izy. Ho an'ny rafitra maoderina dia farafahakeliny 100 Megabytes isan-tsegondra izany.
Ny compressor maoderina dia afaka mamokatra haingana toy izany raha tsy amin'ny fomba "faingana". Amin'ity fomba ankehitriny ity no hampitaha ny algorithm RTT-Mid amin'ny compressor nentim-paharazana.
Fitsapana fampitahana ny algorithm compression vaovao
Ny compressor RTT-Mid dia niasa ho ampahany amin'ny programa fitsapana. Amin'ny fampiharana tena "miasa" dia miasa haingana kokoa, mampiasa multithreading amim-pahendrena ary mampiasa compiler "ara-dalàna", fa tsy C #.
Koa satria ny compressor ampiasaina amin'ny fitsapana fampitahana dia naorina amin'ny fitsipika samy hafa sy ny karazana angon-drakitra compress samy hafa, ho an'ny objectivity ny fitsapana, ny fomba fandrefesana ny "anjan'ny mari-pana ao amin'ny hopitaly" dia nampiasaina ...
Noforonina ny rakitra fanariana rakitra isaky ny sehatra an'ny kapila lojika misy ny rafitra fiasana. Windows 10Ity no fifangaroan'ny rafitra angon-drakitra isan-karazany hita amin'ny solosaina rehetra. Ny famatrarana ity rakitra ity dia ahafahantsika mampitaha ny hafainganam-pandeha sy ny tahan'ny famatrarana ny algorithm vaovao amin'ireo compresseur mandroso indrindra ampiasaina amin'ny arsiva maoderina.
Ity ny rakitra dump:
Ny rakitra dump dia nopotehina tamin'ny fampiasana compressor PTT-Mid, 7-zip, ary WinRar. Ny WinRar sy 7-zip compressor dia napetraka amin'ny hafainganam-pandeha ambony indrindra.
Compressor mandeha 7-Zip:
Mameno ny processeur amin'ny 100% izy io, raha toa ka 60 MegaBytes / sec ny salan'isa amin'ny famakiana ny fanariam-pako tany am-boalohany.
Compressor mandeha WinRar:
Mitovitovy ihany ny toe-javatra, efa ho 100% ny enta-mavesatry ny processeur, manodidina ny 125 Megabytes/sec ny hafainganam-pandehan'ny famakiana fanariam-pako.
Toy ny tamin'ny tranga teo aloha, ny hafainganam-pandehan'ny archiver dia voafetra amin'ny fahaiza-manaon'ny processeur.
Efa mandeha izao ny programa fitiliana compressor RTT-Mid:
Ny pikantsary dia mampiseho fa feno 50% ny processeur ary tsy miasa mandritra ny fotoana rehetra, satria tsy misy toerana ahafahana mampakatra ny angon-drakitra. Ny kapila fampiakarana data (Disk 0) dia saika feno tanteraka. Ny hafainganan'ny famakiana angon-drakitra (Disk 1) dia miovaova be, fa amin'ny ankapobeny dia mihoatra ny 200 MegaBytes/sec.
Ny hafainganam-pandehan'ny compressor dia voafetra amin'ity tranga ity amin'ny alàlan'ny fahafahana manoratra angona voatsindry amin'ny Disk 0.
Izao ny tahan'ny famatrarana ny arisiva vokarina:
Hita fa ny compressor RTT-Mid dia nanao ny asa tsara indrindra amin'ny famatrarana;
Fotoana nanaovana ny arisiva:
- 7-zip - 26 minitra 10 segondra;
- WinRar - 17 minitra 40 segondra;
- RTT-Mid – 7 minitra 30 segondra.
Noho izany, na dia ny fitsapana, programa tsy namboarina, tamin'ny fampiasana ny RTT-Mid algorithm, dia afaka namorona arisiva mihoatra ny roa sy sasany haingana kokoa, raha toa kosa ny arisiva dia nivadika ho kely kokoa noho ny an'ny mpifaninana aminy...
Ireo izay tsy mino ny pikantsary dia afaka manamarina ny maha-azo itokiana azy. Ny programa fitsapana dia hita ao amin'ny , alaivo ary jereo.
Saingy amin'ny processeur miaraka amin'ny fanohanana AVX-2 ihany, raha tsy misy fanohanana ireo torolalana ireo dia tsy mandeha ny compressor, ary aza manandrana ny algorithm amin'ny processeur AMD taloha, miadana izy ireo amin'ny fanatanterahana ny torolàlana AVX ...
Fomba famatrarana ampiasaina
Ny algorithm dia mampiasa fomba fanondroana ireo sombin-tsoratra miverimberina amin'ny bita bitika. Efa ela no nahafantarana ity fomba famatrarana ity, saingy tsy nampiasaina satria lafo be ny fampandehanan-draharaha amin'ny lafiny fitaovana ilaina ary mitaky fotoana bebe kokoa noho ny fananganana rakibolana. Ka ny algorithm RTT-Mid dia ohatra mahazatra amin'ny fifindrana "miverina amin'ny ho avy" ...
Ny compressor PTT dia mampiasa scanner fikarohana lalao haingam-pandeha tsy manam-paharoa, izay ahafahantsika manafaingana ny fizotran'ny famatrarana. Scanner namboarin'ny tena, ity no "ny charme...", "tena lafo, satria vita tanana tanteraka" (voasoratra amin'ny assembler).
Ny scanner fikarohana lalao dia natao araka ny tetika mety misy ambaratonga roa: voalohany, ny fisian'ny "famantarana" amin'ny lalao dia scan, ary aorian'ny "famantarana" hita eto amin'ity toerana ity, ny fomba hahitana ny lalao tena izy. dia manomboka.
Ny varavarankelin'ny fikarohana lalao dia manana habe tsy ampoizina, arakaraka ny haavon'ny entropy ao amin'ny sakana angon-drakitra voarindra. Ho an'ny angona kisendrasendra tanteraka (tsy azo fehezina) dia manana haben'ny megabytes izy io, ho an'ny angon-drakitra miverimberina dia lehibe kokoa noho ny megabyte.
Saingy maro amin'ireo endrika angon-drakitra maoderina no tsy azo fehezina ary tsy misy ilàna azy sy fandaniam-bola ny fampandehanana scanner misy loharanon-karena amin'ny alàlan'izy ireo, noho izany dia mampiasa fomba fiasa roa ny scanner. Voalohany, ny ampahany amin'ny lahatsoratra loharano miaraka amin'ny famerimberenana azo atao dia atao amin'ny fampiasana fomba probabilistika ary atao haingana (amin'ny hafainganam-pandeha 4-6 GigaBytes / sec). Ny faritra misy lalao azo atao dia karakarain'ny scanner lehibe.
Tsy dia mahomby loatra ny famatrarana fanondroana, tsy maintsy soloinao amin'ny indices ny sombiny dika mitovy, ary mampihena be ny tahan'ny fanerena ny index array.
Mba hampitomboana ny tahan'ny famatrarana, dia tsy ny lalao feno amin'ny tady byte ihany no asiana tondroina, fa ny ampahany ihany koa, rehefa misy bytes mifanentana sy tsy mifanandrify ny tadiny. Mba hanaovana izany, ny endrika fanondroana dia ahitana saha saron-tava mifanandrify izay manondro ny bytes mifanandrify amin'ny sakana roa. Ho an'ny fanerena lehibe kokoa, ny fanondroana dia ampiasaina mba hampifanitsiana ireo sakana mifanentana amin'ny ampahany amin'ny sakana ankehitriny.
Izany rehetra izany dia nahafahana nahazo tao amin'ny compressor PTT-Mid ny tahan'ny famatrarana azo ampitahaina amin'ny compressor natao tamin'ny fomba diksionera, fa miasa haingana kokoa.
Hafaingan'ny algorithm compression vaovao
Raha toa ny compressor miasa amin'ny fampiasana manokana ny cache fahatsiarovana (4 Megabytes takiana isaky ny kofehy), dia ny hafainganam-pandehan'ny asa dia eo amin'ny 700-2000 Megabytes/sec. isaky ny fototry ny processeur, miankina amin'ny karazana angona voatsindry ary miankina kely amin'ny fatran'ny fiasan'ny processeur.
Miaraka amin'ny fampiharana maromaro amin'ny compressor, ny scalability mahomby dia voafaritra amin'ny haben'ny cache ambaratonga fahatelo. Ohatra, manana fahatsiarovana cache 9 MegaBytes "eo amin'ny sambo", tsy misy dikany ny fandefasana kofehy fanerena mihoatra ny roa dia tsy hitombo ny hafainganam-pandeha. Saingy miaraka amin'ny cache 20 Megabytes dia efa afaka mihazakazaka kofehy fanerena dimy ianao.
Ary koa, ny latency ny RAM dia lasa masontsivana manan-danja izay mamaritra ny hafainganam-pandehan'ny compressor. Ny algorithm dia mampiasa fidirana kisendrasendra amin'ny OP, ny sasany amin'izy ireo dia tsy miditra ao amin'ny fitadidiana cache (eo amin'ny 10%) ary tsy maintsy miasa izy, miandry ny angona avy amin'ny OP, izay mampihena ny hafainganam-pandehan'ny asa.
Misy fiantraikany lehibe amin'ny hafainganam-pandehan'ny compressor ny rafitra I/O. Ny fangatahana I/O amin'ny RAM dia manakana ny fangatahana angona avy amin'ny CPU, izay mampihena ihany koa ny hafainganam-pandehan'ny compression. Zava-dehibe ho an'ny solosaina finday sy solosaina birao ity olana ity. lohamilina Tsy dia manan-danja loatra izany noho ny fisian'ny rafitra fanaraha-maso ny fidirana amin'ny bus sy ny RAM misy fantsona maro mandroso kokoa.
Manerana ny lahatsoratra ao amin'ny lahatsoratra isika dia miresaka momba ny famatrarana; Ny decompression dia haingana kokoa ary voafetra amin'ny hafainganam-pandehan'ny I/O. Ny fototra ara-batana iray amin'ny kofehy iray dia manome haingana haingana 3-4 GB/sec.
Izany dia noho ny tsy fisian'ny fikarohana lalao mandritra ny dingan'ny decompression, izay "mihinana" ny loharanon-karena lehibe amin'ny processeur sy ny fahatsiarovana cache mandritra ny famatrarana.
Ny fahatokisana ny fitahirizana angon-drakitra voaporitra
Araka ny soso-kevitry ny anaran'ny kilasin'ny rindrankajy manontolo mampiasa famatrarana angon-drakitra (archivers), dia natao ho fitahirizana vaovao maharitra izy ireo, tsy ho an'ny taona maro, fa nandritra ny taonjato sy arivo taona...
Mandritra ny fitahirizana dia very data ny media fitahirizana, ohatra:
Efa arivo taona ity mpitatitra vaovao “analogue” ity, misy sombiny very, fa amin’ny ankapobeny dia “azo vakina” ny vaovao...
Tsy misy amin'ireo mpanamboatra tompon'andraikitra amin'ny rafitra fitahirizana angon-drakitra nomerika maoderina sy ny haino aman-jery nomerika ho azy ireo manome antoka ny fiarovana ny angona feno mandritra ny 75 taona mahery.
Ary olana izany, fa olana nahemotra, ny taranatsika no hamaha izany...
Ny rafitra fitahirizana angon-drakitra nomerika dia mety hamoy ny angona tsy aorian'ny 75 taona ihany, mety hiseho amin'ny fotoana rehetra ny hadisoana amin'ny angon-drakitra, na dia mandritra ny fandraketana azy aza, dia miezaka manamaivana ireo fanodinkodinana ireo izy ireo amin'ny alàlan'ny fampiasana redundancy ary manitsy azy ireo amin'ny rafitra fanitsiana diso. Tsy afaka mamerina ny vaovao very foana ny rafitra famerimberenana sy fanitsiana, ary raha manao izany izy ireo dia tsy misy antoka fa vita tsara ny asa fanarenana.
Ary olana lehibe ihany koa izany, fa tsy hoe nahemotra, fa amin'izao fotoana izao.
Ny compressor maoderina ampiasaina amin'ny firaketana angon-drakitra nomerika dia natsangana tamin'ny fanovana isan-karazany amin'ny fomba diksionera, ary ho an'ny arisiva toy izany dia hisy hetsika mahafaty ny fatiantoka iray ho an'ny toe-javatra toy izany - ny arisiva "rava". ...
Ny tsy fahampian'ny fahatokisana amin'ny fitehirizana vaovao ao amin'ny arisiva miaraka amin'ny fanerena rakibolana dia mifandray amin'ny firafitry ny angona voaporitra. Ny fampahalalana ao amin'ny arisiva toy izany dia tsy ahitana ny loharanon-kevitra, ny isan'ny fidirana ao amin'ny rakibolana dia voatahiry ao, ary ny rakibolana mihitsy dia ovain'ny lahatsoratra voaporitra ankehitriny. Raha very na simba ny sombin-drakitra iray, dia tsy azo fantarina na amin'ny votoaty na amin'ny halavan'ny fidirana ao amin'ny rakibolana ny fidiran'ny arisiva rehetra manaraka, satria tsy fantatra mazava hoe inona no mifanitsy amin'ny laharan'ny rakibolana.
Tsy azo atao ny mamerina ny vaovao avy amin'ny arisiva "rava" toy izany.
Ny algorithm RTT dia mifototra amin'ny fomba azo antoka kokoa amin'ny fitehirizana angona voaporitra. Mampiasa ny fomba fanondro amin'ny kaonty amin'ny ampahany miverimberina izy io. Ity fomba fanerena ity dia ahafahanao manamaivana ny vokatry ny fanodinkodinana ny fampahalalana amin'ny fitaovana fitahirizana, ary amin'ny toe-javatra maro dia manitsy ho azy ny fanodikodinana nitranga nandritra ny fitahirizana vaovao.
Izany dia noho ny zava-misy fa ny rakitra arsiva amin'ny tranga fanondroana fanondroana dia misy saha roa:
- saha misy lahatsoratra loharano misy fizarana miverimberina esorina aminy;
- saha fanondroana.
Ny saha fanondroana, izay zava-dehibe amin'ny famerenana ny vaovao, dia tsy lehibe ary azo adika ho fitahirizana angona azo antoka. Noho izany, na dia very aza ny ampahany amin'ny lahatsoratra loharano na index array, dia haverina tsy misy olana ny fampahalalana hafa rehetra, toy ny amin'ny sary misy fitaovana fitahirizana "analog".
Ny tsy fahampian'ny algorithm
Tsy misy tombony tsy misy fatiantoka. Ny fomba fanerena fanondroana dia tsy manindry ireo filaharana miverimberina fohy. Izany dia noho ny fetran'ny fomba fanondroana. Ny fanondro dia farafahakeliny 3 bita ary mety hahatratra 12 ota ny habeny. Raha misy famerimberenana misy habe kely kokoa noho ny fanondro mamaritra azy, dia tsy raisina an-tsaina izany, na impiry impiry no hita ao amin'ny rakitra voaporitra ny famerimberenana toy izany.
Ny fomba fanerena diksionera nentim-paharazana dia manindry famerimberenana maromaro amin'ny halavany fohy ary noho izany dia mahatratra ny tahan'ny fanerena ambony kokoa noho ny fanerena fanondroana. Marina fa izany dia tratra noho ny enta-mavesatra be eo amin'ny processeur afovoany mba hanomboka hanery ny angona amin'ny fomba mahomby kokoa noho ny fomba fanondroana ny fomba diksionera, dia tsy maintsy mampihena ny hafainganam-pandehan'ny data ho 10-20 megabytes isan-tsegondra amin'ny tena izy; fametrahana informatika miaraka amin'ny enta-mavesatra CPU feno.
Ny hafainganam-pandeha ambany toy izany dia tsy azo ekena ho an'ny rafitra fitahirizana angon-drakitra maoderina ary mahaliana kokoa ny "akademika" noho ny azo ampiharina.
Ny haavon'ny famatrarana fampahalalam-baovao dia hitombo be amin'ny fanovana manaraka ny RTT algorithm (RTT-Max), izay efa eo amin'ny fampandrosoana.
Noho izany, toy ny mahazatra, hitohy...
Source: www.habr.com
