рдХреНрд░реНрдпрд╛рдмреНрдЬ реж.рен рдХреЛ рд░рд┐рд▓реАрдЬ, рд░рд╕реНрдЯрдорд╛ рд▓реЗрдЦрд┐рдПрдХреЛ рдмрд╣реБ-рдереНрд░реЗрдбреЗрдб рдХрдореНрдкреНрд░реЗрд╕рди рд░ рдбрд┐рдХрдореНрдкреНрд░реЗрд╕рди рдЙрдкрдпреЛрдЧрд┐рддрд╛

рдХреНрд░реНрдпрд╛рдмреНрдЬ рдЙрдкрдпреЛрдЧрд┐рддрд╛ рдЬрд╛рд░реА рдЧрд░рд┐рдПрдХреЛ рдерд┐рдпреЛ, рдЬрд╕рд▓реЗ рдмрд╣реБ-рдереНрд░реЗрдбреЗрдб рдбрд╛рдЯрд╛ рдХрдореНрдкреНрд░реЗрд╕рди рд░ рдбрд┐рдХрдореНрдкреНрд░реЗрд╕рди рд▓рд╛рдЧреВ рдЧрд░реНрджрдЫ, рд╕рдорд╛рди pigz рдЙрдкрдпреЛрдЧрд┐рддрд╛ рдЬрд╕реНрддреИред рдпреА рджреБрдмреИ рдЙрдкрдпреЛрдЧрд┐рддрд╛рд╣рд░реВ gzip рдХреЛ рдмрд╣реБ-рдереНрд░реЗрдбреЗрдб рд╕рдВрд╕реНрдХрд░рдгрд╣рд░реВ рд╣реБрдиреН, рдмрд╣реБ-рдХреЛрд░ рдкреНрд░рдгрд╛рд▓реАрд╣рд░реВрдорд╛ рдЪрд▓рд╛рдЙрди рдЕрдиреБрдХреВрд▓рд┐рддред рдХреНрд░реНрдпрд╛рдмреНрдЬ рдЖрдлреИрдВрдорд╛ рдлрд░рдХ рдЫ рдХрд┐ рдпреЛ рд░рд╕реНрдЯ рдкреНрд░реЛрдЧреНрд░рд╛рдорд┐рдЩ рднрд╛рд╖рд╛рдорд╛ рд▓реЗрдЦрд┐рдПрдХреЛ рдЫ, рдкрд┐рдЧреНрдЬ рдЙрдкрдпреЛрдЧрд┐рддрд╛рдХреЛ рд╡рд┐рдкрд░реАрдд, C рдорд╛ рд▓реЗрдЦрд┐рдПрдХреЛ рдЫ (рд░, рдЖрдВрд╢рд┐рдХ рд░реВрдкрдорд╛, C++ рдорд╛), рд░ рдХреЗрд╣реА рдЕрд╡рд╕реНрдерд╛рдорд╛ 50% рд╕рдореНрдо рдкреБрдЧреНрдиреЗ рдЙрд▓реНрд▓реЗрдЦрдиреАрдп рдкреНрд░рджрд░реНрд╢рди рд╡реГрджреНрдзрд┐ рджреЗрдЦрд╛рдЙрдБрдЫред

рд╡рд┐рдХрд╛рд╕рдХрд░реНрддрд╛рд╣рд░реВрдХреЛ рдкреГрд╖реНрдардорд╛ рд╡рд┐рднрд┐рдиреНрди рдХреБрдЮреНрдЬреАрд╣рд░реВ рд░ рдмреНрдпрд╛рдХрдЗрдиреНрдбрд╣рд░реВ рдкреНрд░рдпреЛрдЧ рдЧрд░реА рджреБрд╡реИ рдЙрдкрдпреЛрдЧрд┐рддрд╛рд╣рд░реВрдХреЛ рдЧрддрд┐рдХреЛ рд╡рд┐рд╕реНрддреГрдд рддреБрд▓рдирд╛ рдЫред AMD Ryzen 9 3950X 16-рдХреЛрд░ рдкреНрд░реЛрд╕реЗрд╕рд░рдорд╛ 64 GB DDR4 RAM рд░ Ubuntu 20 рдЕрдкрд░реЗрдЯрд┐рдЩ рд╕рд┐рд╕реНрдЯрдорд▓рд╛рдИ рдкрд░реАрдХреНрд╖рдг рдмреЗрдиреНрдЪрдХреЛ рд░реВрдкрдорд╛ рдкреНрд░рдпреЛрдЧ рдЧрд░реА рдбреЗрдв рдЧрд┐рдЧрд╛рдмрд╛рдЗрдЯ csv рдлрд╛рдЗрд▓рдорд╛ рдорд╛рдкрди рдЧрд░рд┐рдПрдХреЛ рдерд┐рдпреЛред рдбреБрдмреНрди рдирдЪрд╛рд╣рдиреЗрд╣рд░реВрдХрд╛ рд▓рд╛рдЧрд┐ рдХрд╛рд░реНрдпрд╕рдореНрдкрд╛рджрдирдХреЛ рд╡рд┐рд╕реНрддреГрдд рд╡рд┐рд╢реНрд▓реЗрд╖рдгрдорд╛, рдЫреЛрдЯреЛ рдкреНрд░рддрд┐рд╡реЗрджрди рддрдпрд╛рд░ рдЧрд░рд┐рдПрдХреЛ рдЫ:

  • zlib рдмреНрдпрд╛рдХрдЗрдиреНрдб рдкреНрд░рдпреЛрдЧ рдЧрд░реЗрд░ crabz рдкрд┐рдЧрдЬрдХреЛ рдкреНрд░рджрд░реНрд╢рдирдорд╛ рд╕рдорд╛рди рдЫ;
  • pigz рднрдиреНрджрд╛ рдбреЗрдв рдЧреБрдгрд╛ рдЫрд┐рдЯреЛ zlib-ng рдмреНрдпрд╛рдХрдЗрдиреНрдб рдкреНрд░рдпреЛрдЧ рдЧрд░реНрджреИ;
  • рд░рд╕реНрдЯ рдмреНрдпрд╛рдХрдЗрдиреНрдб рднрдПрдХреЛ рдХреНрд░реНрдпрд╛рдмреНрдЬ рдкрд┐рдЧрдЬ рднрдиреНрджрд╛ рдереЛрд░реИ (рел-резреж%) рдЫрд┐рдЯреЛ рдЫред

рд╡рд┐рдХрд╛рд╕рдХрд░реНрддрд╛рд╣рд░реВрдХрд╛ рдЕрдиреБрд╕рд╛рд░, рдЙрдЪреНрдЪ рдЧрддрд┐рдХреЛ рдЕрддрд┐рд░рд┐рдХреНрдд, рдХреНрд░реНрдпрд╛рдмреНрдЬ, рдкрд┐рдЧреНрдЬрдХреЛ рддреБрд▓рдирд╛рдорд╛, рдирд┐рдореНрди рдлрд╛рдЗрджрд╛рд╣рд░реВ рдкрдирд┐ рдЫрдиреН:

  • deflate_rust рдмреНрдпрд╛рдХрдЗрдиреНрдбрдХреЛ рд╕рд╛рде crabz рд▓реЗ рдкреВрд░реНрдг рд░реВрдкрдорд╛ Rust рдорд╛ рд▓реЗрдЦрд┐рдПрдХреЛ рдХреЛрдб рдкреНрд░рдпреЛрдЧ рдЧрд░реНрджрдЫ, рдЬреБрди рдЕрдзрд┐рдХ рд╕реБрд░рдХреНрд╖рд┐рдд рдЫ;
  • crabz рдХреНрд░рд╕-рдкреНрд▓реЗрдЯрдлрд░реНрдо рд╣реЛ рд░ рд╡рд┐рдиреНрдбреЛрдЬрд▓рд╛рдИ рд╕рдорд░реНрдерди рдЧрд░реНрджрдЫ, рдЬрд╕рд▓реЗ рдердк рд╕рд╣рднрд╛рдЧреАрд╣рд░реВрд▓рд╛рдИ рдЖрдХрд░реНрд╖рд┐рдд рдЧрд░реНрди рд╕рдХреНрдЫ;
  • рдХреНрд░реНрдпрд╛рдмреНрдЬрд▓реЗ рдердк рдврд╛рдБрдЪрд╛рд╣рд░реВрд▓рд╛рдИ рд╕рдорд░реНрдерди рдЧрд░реНрджрдЫ (Gzip, Zlib, Mgzip, BGZF, Raw Deflate рд░ Snap)ред

рдпрджреНрдпрдкрд┐ рдкреВрд░реНрдг рд░реВрдкрдорд╛ рдХрд╛рд░реНрдпрд╛рддреНрдордХ, рдХреНрд░реНрдпрд╛рдмреНрдЬрд▓рд╛рдИ рд╡рд┐рдХрд╛рд╕рдХрд░реНрддрд╛рд▓реЗ GZP рдХреНрд░реЗрдЯ рдкреНрдпрд╛рдХреЗрдЬ рдкреНрд░рдпреЛрдЧ рдЧрд░реЗрд░ CLI рдЙрдкрдХрд░рдгрдХреЛ рдЕрд╡рдзрд╛рд░рдгрд╛рддреНрдордХ рдкреНрд░реЛрдЯреЛрдЯрд╛рдЗрдкрдХреЛ рд░реВрдкрдорд╛ рд╡рд░реНрдгрди рдЧрд░реЗрдХреЛ рдЫред

рд╕реНрд░реЛрдд: opennet.ru

рдПрдХ рдЯрд┐рдкреНрдкрдгреА рдердкреНрди