์ ์ฌํ pigz ์ ํธ๋ฆฌํฐ์ ์ ์ฌํ๊ฒ ๋ฉํฐ์ค๋ ๋ ๋ฐ์ดํฐ ์์ถ ๋ฐ ์์ถ ํด์ ๋ฅผ ๊ตฌํํ๋ crabz ์ ํธ๋ฆฌํฐ๊ฐ ์ถ์๋์์ต๋๋ค. ์ด ๋ ์ ํธ๋ฆฌํฐ๋ ๋ชจ๋ ๋ฉํฐ ์ฝ์ด ์์คํ ์์ ์คํ๋๋๋ก ์ต์ ํ๋ ๋ฉํฐ ์ค๋ ๋ ๋ฒ์ ์ gzip์ ๋๋ค. Crabz ์์ฒด๋ C(๋ฐ ๋ถ๋ถ์ ์ผ๋ก C++)๋ก ์์ฑ๋ pigz ์ ํธ๋ฆฌํฐ์ ๋ฌ๋ฆฌ Rust ํ๋ก๊ทธ๋๋ฐ ์ธ์ด๋ก ์์ฑ๋์์ผ๋ฉฐ ๊ฒฝ์ฐ์ ๋ฐ๋ผ 50%์ ๋ฌํ๋ ์๋นํ ์ฑ๋ฅ ํฅ์์ ๋ณด์ฌ์ค๋๋ค.
๊ฐ๋ฐ์ ํ์ด์ง์๋ ์๋ก ๋ค๋ฅธ ํค์ ๋ฐฑ์๋๋ฅผ ์ฌ์ฉํ์ฌ ๋ ์ ํธ๋ฆฌํฐ์ ์๋๋ฅผ ์์ธํ ๋น๊ตํ ๋ด์ฉ์ด ์์ต๋๋ค. ์ธก์ ์ 9GB DDR3950 RAM์ ๊ฐ์ถ AMD Ryzen 16 64X 4์ฝ์ด ํ๋ก์ธ์ ๊ธฐ๋ฐ PC์ Ubuntu 20 ์ด์ ์ฒด์ ๋ฅผ ํ ์คํธ ๋ฒค์น๋ก ์ฌ์ฉํ์ฌ XNUMXGB csv ํ์ผ์์ ์ํ๋์์ต๋๋ค. ์ฑ๋ฅ์ ๋ํ ์์ธํ ๋ถ์์ ์ํด ๊ฐ๋จํ ๋ณด๊ณ ์๊ฐ ์ค๋น๋์์ต๋๋ค.
- zlib ๋ฐฑ์๋๋ฅผ ์ฌ์ฉํ๋ crabz๋ ์ฑ๋ฅ์ด pigz์ ๋์ผํฉ๋๋ค.
- zlib-ng ๋ฐฑ์๋๋ฅผ ์ฌ์ฉํ๋ฉด pigz๋ณด๋ค ์ต๋ XNUMX๋ฐฐ ๋น ๋ฆ ๋๋ค.
- Rust ๋ฐฑ์๋๋ฅผ ์ฌ์ฉํ๋ crabz๋ pigz๋ณด๋ค ์ฝ๊ฐ(5-10%) ๋น ๋ฆ ๋๋ค.
๊ฐ๋ฐ์์ ๋ฐ๋ฅด๋ฉด, crabz๋ pigz์ ๋นํด ๋ ๋น ๋ฅธ ์๋ ์ธ์๋ ๋ค์๊ณผ ๊ฐ์ ์ฅ์ ์ด ์์ต๋๋ค.
- deflate_rust ๋ฐฑ์๋๋ฅผ ์ฌ์ฉํ๋ crabz๋ ์์ ํ Rust๋ก ์์ฑ๋ ์ฝ๋๋ฅผ ์ฌ์ฉํ๋ฏ๋ก ๋ ์์ ํฉ๋๋ค.
- crabz๋ ํฌ๋ก์ค ํ๋ซํผ์ด๋ฉฐ Windows๋ฅผ ์ง์ํ๋ฏ๋ก ๋ ๋ง์ ์ฐธ๊ฐ์๋ฅผ ์ ์นํ ์ ์์ต๋๋ค.
- crabz๋ ๋ ๋ง์ ํ์(Gzip, Zlib, Mgzip, BGZF, Raw Deflate ๋ฐ Snap)์ ์ง์ํฉ๋๋ค.
์๋ฒฝํ๊ฒ ์๋ํ์ง๋ง ๊ฐ๋ฐ์๋ crabz๋ฅผ GZP ํฌ๋ ์ดํธ ํจํค์ง๋ฅผ ์ฌ์ฉํ๋ CLI ๋๊ตฌ์ ๊ฐ๋
์ ํ๋กํ ํ์
์ผ๋ก ์ค๋ช
ํฉ๋๋ค.
์ถ์ฒ : opennet.ru