ΠΠ΅ΡΠ΅ ΠΎΠ±ΡΠ°Π²Π΅Π½Π° Π°Π»Π°ΡΠΊΠ°ΡΠ° crabz, ΠΊΠΎΡΠ° ΠΈΠΌΠΏΠ»Π΅ΠΌΠ΅Π½ΡΠΈΡΠ° ΠΊΠΎΠΌΠΏΡΠ΅ΡΠΈΡΠ° ΠΈ Π΄Π΅ΠΊΠΎΠΌΠΏΡΠ΅ΡΠΈΡΠ° Π½Π° ΠΏΠΎΠ΄Π°ΡΠΎΡΠΈ ΡΠΎ ΠΏΠΎΠ²Π΅ΡΠ΅ Π½ΠΈΡΠΊΠΈ, ΡΠ»ΠΈΡΠ½ΠΎ Π½Π° ΡΠ»ΠΈΡΠ½Π°ΡΠ° Π°Π»Π°ΡΠΊΠ° Π·Π° pigz. Π Π΄Π²Π΅ΡΠ΅ ΠΎΠ΄ ΠΎΠ²ΠΈΠ΅ Π°Π»Π°ΡΠΊΠΈ ΡΠ΅ Π²Π΅ΡΠ·ΠΈΠΈ ΡΠΎ ΠΏΠΎΠ²Π΅ΡΠ΅ Π½ΠΈΡΠΊΠΈ Π½Π° gzip, ΠΎΠΏΡΠΈΠΌΠΈΠ·ΠΈΡΠ°Π½ΠΈ Π΄Π° ΡΠ°Π±ΠΎΡΠ°Ρ Π½Π° ΠΏΠΎΠ²Π΅ΡΠ΅ΡΠ°Π΄ΡΠ΅Π½ΠΈ ΡΠΈΡΡΠ΅ΠΌΠΈ. Π‘Π°ΠΌΠΈΠΎΡ Crabz ΡΠ΅ ΡΠ°Π·Π»ΠΈΠΊΡΠ²Π° ΠΏΠΎ ΡΠΎΠ° ΡΡΠΎ Π΅ Π½Π°ΠΏΠΈΡΠ°Π½ Π½Π° ΠΏΡΠΎΠ³ΡΠ°ΠΌΡΠΊΠΈΠΎΡ ΡΠ°Π·ΠΈΠΊ Rust, Π·Π° ΡΠ°Π·Π»ΠΈΠΊΠ° ΠΎΠ΄ Π°Π»Π°ΡΠΊΠ°ΡΠ° pigz, Π½Π°ΠΏΠΈΡΠ°Π½Π° Π²ΠΎ C (ΠΈ Π΄Π΅Π»ΡΠΌΠ½ΠΎ Π²ΠΎ C++) ΠΈ ΠΏΠΎΠΊΠ°ΠΆΡΠ²Π° Π·Π½Π°ΡΠΈΡΠ΅Π»Π½ΠΎ Π·Π³ΠΎΠ»Π΅ΠΌΡΠ²Π°ΡΠ΅ Π½Π° ΠΏΠ΅ΡΡΠΎΡΠΌΠ°Π½ΡΠΈΡΠ΅, Π²ΠΎ Π½Π΅ΠΊΠΎΠΈ ΡΠ»ΡΡΠ°ΠΈ Π΄ΠΎΡΡΠΈΠ³Π½ΡΠ²Π°ΡΡΠΈ 50%.
ΠΠ° ΡΡΡΠ°Π½ΠΈΡΠ°ΡΠ° Π½Π° ΠΏΡΠΎΠ³ΡΠ°ΠΌΠ΅ΡΠΈΡΠ΅ ΠΈΠΌΠ° Π΄Π΅ΡΠ°Π»Π½Π° ΡΠΏΠΎΡΠ΅Π΄Π±Π° Π½Π° Π±ΡΠ·ΠΈΠ½Π°ΡΠ° Π½Π° Π΄Π²Π΅ΡΠ΅ ΠΊΠΎΠΌΡΠ½Π°Π»Π½ΠΈ ΡΡΠ»ΡΠ³ΠΈ ΡΠΎ ΡΠ°Π·Π»ΠΈΡΠ½ΠΈ ΠΊΠ»ΡΡΠ΅Π²ΠΈ ΠΈ ΠΊΠΎΡΠΈΡΡΠ΅Π½ΠΈ ΠΏΠΎΠ·Π°Π΄ΠΈΠ½ΠΈ. ΠΠ΅ΡΠ΅ΡΠ°ΡΠ° Π±Π΅Π° Π½Π°ΠΏΡΠ°Π²Π΅Π½ΠΈ Π½Π° CSV-Π΄Π°ΡΠΎΡΠ΅ΠΊΠ° ΠΎΠ΄ Π΅Π΄Π΅Π½ ΠΈ ΠΏΠΎΠ» Π³ΠΈΠ³Π°Π±Π°ΡΡΠΈ ΡΠΎ ΠΏΠΎΠΌΠΎΡ Π½Π° ΠΊΠΎΠΌΠΏΡΡΡΠ΅Ρ Π±Π°Π·ΠΈΡΠ°Π½ Π½Π° AMD Ryzen 9 3950X 16-Core ΠΏΡΠΎΡΠ΅ΡΠΎΡ ΡΠΎ 64 GB DDR4 RAM ΠΈ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠ²Π½ΠΈΠΎΡ ΡΠΈΡΡΠ΅ΠΌ Ubuntu 20 ΠΊΠ°ΠΊΠΎ ΡΠ΅ΡΡ ΠΊΠ»ΡΠΏΠ°. ΠΠ° ΠΎΠ½ΠΈΠ΅ ΠΊΠΎΠΈ Π½Π΅ ΡΠ°ΠΊΠ°Π°Ρ Π΄Π° Π½ΡΡΠΊΠ°Π°Ρ Π²ΠΎ Π΄Π΅ΡΠ°Π»Π½Π° Π°Π½Π°Π»ΠΈΠ·Π° Π½Π° ΠΏΠ΅ΡΡΠΎΡΠΌΠ°Π½ΡΠΈΡΠ΅, ΠΈΠ·Π³ΠΎΡΠ²Π΅Π½ Π΅ ΠΊΡΠ°ΡΠΎΠΊ ΠΈΠ·Π²Π΅ΡΡΠ°Ρ:
- crabz ΡΠΎ ΠΊΠΎΡΠΈΡΡΠ΅ΡΠ΅ Π½Π° Π·Π°Π΄Π½ΠΈΠ½Π°ΡΠ° zlib Π΅ ΠΈΠ΄Π΅Π½ΡΠΈΡΠ΅Π½ Π²ΠΎ ΠΏΠ΅ΡΡΠΎΡΠΌΠ°Π½ΡΠΈΡΠ΅ ΡΠΎ pigz;
- ΠΊΠΎΡΠΈΡΡΠ΅ΡΠ΅ Π½Π° Π·Π°Π΄Π½ΠΈΠ½Π°ΡΠ° zlib-ng Π΄ΠΎ Π΅Π΄Π΅Π½ ΠΈ ΠΏΠΎΠ» ΠΏΠ°ΡΠΈ ΠΏΠΎΠ±ΡΠ·ΠΎ ΠΎΠ΄ pigz;
- Crabz ΡΠΎ Π·Π°Π΄Π½ΠΈΠ½Π°ΡΠ° Π½Π° 'ΡΡΠ° Π΅ ΠΌΠ°Π»ΠΊΡ (5-10%) ΠΏΠΎΠ±ΡΠ· ΠΎΠ΄ pigz.
Π‘ΠΏΠΎΡΠ΅Π΄ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠ΅ΡΠΈΡΠ΅, ΠΏΠΎΠΊΡΠ°Ρ ΠΏΠΎΠ³ΠΎΠ»Π΅ΠΌΠ°ΡΠ° Π±ΡΠ·ΠΈΠ½Π°, crabz, Π²ΠΎ ΡΠΏΠΎΡΠ΅Π΄Π±Π° ΡΠΎ ΠΏΠΈΠ³Π·, Π³ΠΈ ΠΈΠΌΠ° ΠΈ ΡΠ»Π΅Π΄Π½ΠΈΡΠ΅ ΠΏΡΠ΅Π΄Π½ΠΎΡΡΠΈ:
- crabz ΡΠΎ Π·Π°Π΄Π½ΠΈΠ½Π°ΡΠ° deflate_rust ΠΊΠΎΡΠΈΡΡΠΈ ΠΊΠΎΠ΄ ΡΠ΅Π»ΠΎΡΠ½ΠΎ Π½Π°ΠΏΠΈΡΠ°Π½ Π²ΠΎ Rust, ΡΡΠΎ Π΅ ΠΏΠΎΡΠΈΠ³ΡΡΠ½ΠΎ;
- crabz Π΅ ΠΌΠ΅ΡΡ-ΠΏΠ»Π°ΡΡΠΎΡΠΌΠ° ΠΈ ΠΏΠΎΠ΄Π΄ΡΠΆΡΠ²Π° Windows, ΡΡΠΎ ΠΌΠΎΠΆΠ΅ Π΄Π° ΠΏΡΠΈΠ²Π»Π΅ΡΠ΅ ΠΏΠΎΠ²Π΅ΡΠ΅ ΡΡΠ΅ΡΠ½ΠΈΡΠΈ;
- crabz ΠΏΠΎΠ΄Π΄ΡΠΆΡΠ²Π° ΠΏΠΎΠ²Π΅ΡΠ΅ ΡΠΎΡΠΌΠ°ΡΠΈ (Gzip, Zlib, Mgzip, BGZF, Raw Deflate ΠΈ Snap).
ΠΠ°ΠΊΠΎ Π΅ ΡΠ΅Π»ΠΎΡΠ½ΠΎ ΡΡΠ½ΠΊΡΠΈΠΎΠ½Π°Π»Π΅Π½, crabz Π΅ ΠΎΠΏΠΈΡΠ°Π½ ΠΎΠ΄ ΡΠ°Π·Π²ΠΈΠ²Π°ΡΠΎΡ ΠΊΠ°ΠΊΠΎ ΠΊΠΎΠ½ΡΠ΅ΠΏΡΡΠ°Π»Π΅Π½ ΠΏΡΠΎΡΠΎΡΠΈΠΏ Π½Π° Π°Π»Π°ΡΠΊΠ°ΡΠ° CLI ΡΡΠΎ Π³ΠΎ ΠΊΠΎΡΠΈΡΡΠΈ ΠΏΠ°ΠΊΠ΅ΡΠΎΡ Π³Π°ΡΠ±Π° GZP.
ΠΠ·Π²ΠΎΡ: opennet.ru