Die Utility crabz wurde veröffentlicht, die multithreaded Datenkompression und -dekompression ähnlich wie das Tool pigz implementiert. Beide Utilities sind multithreaded Varianten des gzip-Programms und optimiert für den Betrieb auf Multikernsystemen. crabz unterscheidet sich darin, dass es in der Programmiersprache Rust geschrieben ist, während pigz in C (und teilweise in C++) programmiert wurde, und zeigt einen signifikanten Leistungszuwachs, der in manchen Fällen bis zu 50 % erreichen kann.
Auf der Entwicklerseite gibt es einen detaillierten Vergleich der Geschwindigkeiten beider Utilities mit verschiedenen Schlüsseln und verwendeten Backends. Die Messungen wurden an einer 1,5 Gigabyte großen CSV-Datei unter Verwendung eines Teststandes mit einem AMD Ryzen 9 3950X 16-Core-Prozessor und 64 GB DDR4-RAM unter dem Betriebssystem Ubuntu 20 durchgeführt. Für diejenigen, die keine tiefgehende Analyse der Leistung wünschen, wurde ein kurzer Bericht vorbereitet:
- crabz mit dem zlib-Backend ist in der Leistung identisch mit pigz;
- mit dem zlib-ng-Backend ist es bis zu 1,5-mal schneller als pigz;
- crabz mit dem rust-Backend ist geringfügig (um 5-10 %) schneller als pigz.
Laut den Entwicklern bietet crabz neben einer höheren Arbeitsgeschwindigkeit im Vergleich zu pigz auch folgende Vorteile:
- crabz mit dem deflate_rust-Backend verwendet einen Code, der vollständig in Rust geschrieben ist, was sicherer ist;
- crabz ist plattformunabhängig und unterstützt Windows, was mehr Benutzer anziehen kann;
- crabz unterstützt mehr Formate (Gzip, Zlib, Mgzip, BGZF, Raw Deflate und Snap).
Trotz seiner vollständigen Funktionalität wird crabz vom Entwickler als konzeptioneller Prototyp eines CLI-Tools beschrieben, das das crate-Paket GZP nutzt.
Quelle: opennet.ru
