Sortie de John the Ripper 1.9.0-jumbo-1 avec support FPGA

Lancée nouvelle version du programme le plus ancien toujours pris en charge pour le craquage de mots de passe John the Ripper 1.9.0-jumbo-1 (le projet est en développement depuis 1996). Il s'est écoulé 4,5 ans depuis la sortie de la version précédente 1.8.0-jumbo-1, durant lesquels plus de 6000 modifications (commits git) ont été apportées par plus de 80 développeurs. Grâce à l'intégration continue, qui inclut une vérification préalable de chaque modification (pull request) sur de nombreuses plateformes, durant cette période, les développeurs ont recommandé d'utiliser la version actuelle sur GitHub, dont l'état est resté stable malgré les modifications apportées. Le code principal du projet est distribué est sous licence GPLv2+, tandis que le code de certains composants est sous licence BSD.

La nouveauté de cette version est l'ajout du support FPGA (en plus du CPU, GPU et Xeon Phi). Pour les cartes ZTEX 1.15y, comprenant 4 puces FPGA et initialement utilisées principalement pour le minage de Bitcoin, 7 types de hachages de mots de passe sont désormais pris en charge : bcrypt, le descrypt classique (y compris bigcrypt), sha512crypt, sha256crypt, md5crypt (y compris Apache apr1 et AIX smd5), Drupal7 et phpass (utilisé notamment dans WordPress). Certains d'entre eux sont implémentés sur FPGA pour la première fois.

Pour bcrypt, les performances atteintes sont d'environ 119k c/s pour 2^5 itérations («$2b$05») avec une consommation d'énergie d'environ 27 watts, ce qui dépasse de loin les résultats des GPU les plus récents en termes de coût par carte, de prix du matériel et de watts. Des cartes de ce type sont également prises en charge, ce qui a été testé jusqu'à 16 cartes (64 puces FPGA), contrôlées par un seul Raspberry Pi 2. La fonctionnalité habituelle de John the Ripper est prise en charge, y compris tous les modes de craquage de mots de passe et le chargement simultané d'un grand nombre de hachages. Des clusters Pour améliorer les performances, l'utilisation de masques (mode «—mask», y compris en combinaison avec d'autres modes) et la comparaison des hachages calculés avec ceux chargés côté FPGA ont été mises en œuvre. En termes de mise en œuvre, dans de nombreux designs (par exemple, pour

D'autres changements importants : sha512crypt et Drupal7), des blocs composés de cœurs de processeurs multithread (cœurs CPU soft) interagissant avec des cœurs cryptographiques ont été utilisés. Le développement de cette fonctionnalité a été dirigé par Denis Burykin en coordination avec d'autres développeurs de jumbo.

D'autres changements importants :

• Prise en charge d'un grand nombre de types de hachage, de chiffrages, etc., y compris à la fois les hachages de mots de passe classiques (comme ceux des nouvelles versions de QNX) et les portefeuilles de cryptomonnaies, les archives chiffrées et les systèmes de fichiers chiffrés (par exemple, Bitlocker et FreeBSD geli), ainsi que le support de nouvelles variétés de formats précédemment pris en charge (par exemple, ajout du support bcrypt-pbkdf pour OpenBSD softraid) et bien plus encore. Au total, 80 formats ont été ajoutés pour le CPU et 47 pour OpenCL. Le nombre total de formats est désormais de 407 pour le CPU (ou 262 sans les formats « dynamiques », configurables à partir de fichiers de configuration) et 88 pour OpenCL.
• Abandon du support du langage CUDA au profit d'OpenCL, ce qui n'entrave en rien l'utilisation complète des GPU NVIDIA (et même améliore les performances, grâce à la concentration du développement et des optimisations sur une seule mise en œuvre de chaque format pour le GPU au lieu de deux mises en œuvre précédemment).
• Prise en charge de nouveaux ensembles d'instructions SIMD — AVX2, AVX-512 (y compris pour la deuxième génération de Xeon Phi) et MIC (pour la première génération) — ainsi qu'une utilisation plus universelle et complète du SIMD dans les implémentations de nombreux formats, y compris l'utilisation d'ensembles d'instructions précédemment pris en charge jusqu'à AVX et XOP sur x86(-64) et
  NEON, ASIMD et AltiVec sur ARM, Aarch64 et POWER, respectivement.
• De nombreuses optimisations pour CPU et OpenCL, tant pour un traitement plus efficace d'un grand nombre de hachages simultanément (par exemple, vérification de 320 millions de hachages SHA-1 sur GPU), que pour améliorer la vitesse de calcul des hachages. Certaines de ces optimisations sont universelles, d'autres couvrent différents sous-ensembles de formats, et beaucoup sont spécifiques à des formats individuels.
• (Auto-)ajustement du buffering optimal des mots de passe vérifiés sur CPU (« —tune=auto —verbosity=5 ») et des dimensions de tâche optimales sur OpenCL (activé par défaut), y compris en tenant compte de la lente montée en fréquence des GPU de la série NVIDIA GTX 10xx et plus récents. Utilisation de hachages réellement chargés et de la longueur réelle des mots de passe vérifiés (lorsqu'elle est connue à l'avance) pour cet ajustement automatique.
• Ajout d'un compilateur d'« expressions dynamiques », spécifié directement dans la ligne de commande et implémentant de nouveaux types de hachages hybrides, par exemple « —format=dynamic=’sha1(md5($p).$s) '», calculés sur CPU en utilisant le SIMD. En tant que composants de telles expressions, des dizaines de hachages rapides sont pris en charge (des plus courants comme MD5 aux plus modérément exotiques comme Whirlpool), l'union de sous-chaînes, l'encodage et le décodage, la conversion de la casse des caractères, les références au mot de passe, au sel, au nom d'utilisateur et aux constantes de chaîne.
• Élimination des différences indésirables par rapport à hashcat, y compris le support des règles spécifiques à hashcat (commandes de règles de wordlist), le passage à la numérotation des appareils OpenCL à partir de 1, et l'application par défaut des mêmes longueurs de mots de passe (généralement une longueur de 7) lors des tests de performance.
• Nouveaux modes de génération de mots de passe vérifiables (modes de cracking), y compris PRINCE de hashcat (forme des « phrases » en combinant plusieurs mots par ordre croissant de longueur totale), subsets (trouve des mots de passe avec un nombre insuffisant de caractères différents, même si ces caractères proviennent d'un grand ensemble de possibilités) et hybrid external (permet à des modes externes, décrits dans des fichiers de configuration en langage C-like, de générer plusieurs mots de passe vérifiables basés sur chaque « mot » de base en provenance d'un autre mode). Également, plusieurs nouveaux modes externes prédéfinis.
• Fonctionnalités supplémentaires pour l'utilisation simultanée de plusieurs modes (l'un superposé à l'autre — empilement), ainsi que pour l'utilisation de tels ensembles de règles (empilement de règles de wordlist).
• Améliorations des modes mask (étirement progressif du masque dans une plage de longueurs spécifiée, application du masque côté dispositif OpenCL ou carte FPGA) et single crack (comportement raisonnable sur des dispositifs calculant un grand nombre de hachages en parallèle, ce qui manquait précédemment de mots de passe vérifiables dans ce mode, ainsi que des limites sur la consommation de mémoire).
• De nombreuses améliorations du support Unicode et d'autres encodages dans divers sous-systèmes.
• De nombreuses améliorations des programmes *2john (transformant des fichiers de différents formats pour
  utilisation avec john), en particulier wpapcap2john (gère le trafic WiFi).
• De nombreuses nouvelles options de ligne de commande, de paramètres dans john.conf, d'options de script configure et les nouvelles fonctionnalités qui y correspondent, dont toutes ne peuvent être mentionnées ici.
• Amélioration de la qualité du code grâce au support intégré des builds de débogage avec AddressSanitizer (déjà présent auparavant) et UndefinedBehaviorSanitizer (ajouté), avec l'ajout d'un fuzzer intégré pour les formats (dans le cadre de GSoC 2015), et l'utilisation de l'intégration continue (builds pour des dizaines de combinaisons de systèmes d'exploitation et de compilateurs et tests de leur prise en charge correcte de tous les formats).

Source : opennet.ru