La sortie de l'outil crabz, qui réalise la compression et la décompression de données multithread, a eu lieu, similaire à l'outil pigz. Ces deux outils représentent des variantes multithread du programme gzip, optimisées pour fonctionner sur des systèmes multicoeurs. crabz se distingue par le fait qu'il est écrit en Rust, contrairement à pigz qui est écrit en C (et partiellement en C++), et montre un gain de performance significatif, atteignant dans certains cas 50 %.
Sur la page des développeurs, il y a une comparaison détaillée des vitesses de fonctionnement des deux outils avec différentes clés et backends utilisés. Les mesures ont été effectuées sur un fichier csv d'un giga et demi en utilisant un PC basé sur le processeur AMD Ryzen 9 3950X 16-Core et 64 Go de RAM DDR4, sous le système d'exploitation Ubuntu 20. Pour ceux qui ne souhaitent pas plonger dans une analyse détaillée des performances, un rapport concis a été préparé :
- crabz utilisant le backend zlib est identique à pigz en termes de performance ;
- en utilisant le backend zlib-ng, il est jusqu'à une fois et demie plus rapide que pigz ;
- crabz avec le backend rust est légèrement (de 5 à 10 %) plus rapide que pigz.
Selon les développeurs, outre une vitesse de fonctionnement plus élevée, crabz présente également les avantages suivants par rapport à pigz :
- crabz avec le backend deflate_rust utilise un code entièrement écrit en Rust, ce qui est plus sécurisé ;
- crabz est multiplateforme et prend en charge Windows, ce qui peut attirer davantage de contributeurs ;
- crabz prend en charge plus de formats (Gzip, Zlib, Mgzip, BGZF, Raw Deflate et Snap).
Bien qu'il soit pleinement opérationnel, crabz est qualifié par le développeur de prototype conceptuel d'outil CLI utilisant le paquet crate GZP.
Source : opennet.ru
