John the Ripper 1.9.0-jumbo-1 avec support FPGA.

Lancée une nouvelle version du programme de récupération de mots de passe John the Ripper 1.9.0-jumbo-1, le plus ancien encore maintenu. (Le projet est en développement depuis 1996.) Les page du projet sources sont disponibles au téléchargement ainsi que des builds prêts à l'emploi pour Windows.

Il est à noter que depuis la sortie de la version 1.8.0-jumbo-1, 4,5 ans se sont écoulés pendant lesquels plus de 6000 changements (commits git) ont été effectués par plus de 80 développeurs. Pendant cette période, les développeurs ont recommandé d'utiliser la version actuelle sur GitHub, dont l'état a été maintenu stable malgré les modifications grâce à l'intégration continue, qui implique une vérification préalable de chaque modification (pull request) sur de nombreuses plateformes. Une des nouvelles fonctionnalités est l'ajout du support des FPGA en plus des CPU, GPU et Xeon Phi.

Pour les cartes ZTEX 1.15y, qui comprennent 4 puces FPGA et qui étaient principalement utilisées pour le minage de Bitcoin, 7 types de hachages de mots de passe sont maintenant mis en œuvre : bcrypt, le descrypt classique (y compris bigcrypt), sha512crypt, sha256crypt, md5crypt (y compris Apache apr1 et AIX smd5), Drupal7 et phpass (utilisé notamment dans WordPress). Certains d'entre eux sont implémentés sur FPGA pour la première fois. Pour bcrypt, la performance atteinte est d'environ 119k c/s avec 2^5 itérations («$2b$05») avec une consommation d'environ 27 watts, ce qui surpasse de manière significative les résultats des GPU les plus récents par carte, en tenant compte du coût du matériel et de la consommation watt. Des clusters de ce type de cartes sont également pris en charge, cela a été vérifié jusqu'à 16 cartes (64 FPGA) contrôlées par un seul Raspberry Pi 2. La fonctionnalité normale de John the Ripper est maintenue, y compris tous les modes de récupération de mots de passe et le chargement simultané d'un grand nombre de hachages. Pour accélérer le travail, l'application de masques (mode "—mask", y compris en combinaison avec d'autres modes) et la comparaison des hachages calculés avec ceux chargés sur FPGA ont été mises en œuvre. Du point de vue de l'implémentation, dans de nombreux designs (par exemple, pour sha512crypt et Drupal7), des blocs composés de cœurs de processeurs multithread (cœurs CPU soft) interagissant avec des cœurs cryptographiques ont été utilisés. Le développement de cette fonctionnalité a été dirigé par Denis Burykin en coordination avec d'autres développeurs de jumbo.

D'autres changements majeurs :

• Prise en charge d'un grand nombre de types de hachages, chiffrements, etc., y compris des hachages de mots de passe classiques (comme ceux des nouvelles versions de QNX), ainsi que des portefeuilles de cryptomonnaie, des archives chiffrées et des systèmes de fichiers chiffrés (comme Bitlocker et FreeBSD geli), ainsi que la prise en charge de nouvelles variantes de formats précédemment pris en charge (par exemple, ajout du support bcrypt-pbkdf pour OpenBSD softraid) et bien d'autres. Au total, 80 formats ont été ajoutés pour CPU et 47 pour OpenCL (et un petit nombre d'anciens supprimés comme intégrés dans les nouveaux et obsolètes). Le nombre total de formats est désormais de 407 pour le CPU (ou 262 sans inclure les « formats dynamiques », configurables via des fichiers de configuration) et 88 pour OpenCL.
• Abandon du support du langage CUDA au profit d'OpenCL, ce qui n'entrave en rien l'utilisation complète des GPU NVIDIA (et même améliore les performances, grâce à la concentration du développement et des optimisations sur une seule mise en œuvre de chaque format pour le GPU au lieu de deux mises en œuvre précédemment).
• Prise en charge de nouveaux ensembles d'instructions SIMD — AVX2, AVX-512 (y compris pour la deuxième génération de Xeon Phi) et MIC (pour la première génération) — ainsi qu'une utilisation plus universelle et complète du SIMD dans les implémentations de nombreux formats, y compris l'utilisation d'ensembles d'instructions précédemment pris en charge jusqu'à AVX et XOP sur x86(-64) et
  NEON, ASIMD et AltiVec sur ARM, Aarch64 et POWER, respectivement. (Partiellement dans le cadre de GSoC 2015.)
• De nombreuses optimisations pour CPU et OpenCL, tant pour un traitement plus efficace d'un grand nombre de hachages simultanément (par exemple, vérification de 320 millions de hachages SHA-1 sur GPU), que pour améliorer la vitesse de calcul des hachages. Certaines de ces optimisations sont universelles, d'autres couvrent différents sous-ensembles de formats, et beaucoup sont spécifiques à des formats individuels.
• (Auto-)configuration de la mise en mémoire tampon optimale des mots de passe vérifiés sur CPU ("—tune=auto —verbosity=5") et des dimensions optimales des tâches sur OpenCL (activée par défaut), y compris pour tenir compte du démarrage lent à pleine fréquence des GPU de la série NVIDIA GTX 10xx et plus. Utilisation de hachages réellement chargés et de la longueur réelle des mots de passe vérifiés (lorsqu'elle est connue à l'avance) pour une telle auto-configuration.
• Ajout d'un compilateur d'expressions « dynamiques » spécifiées directement dans la ligne de commande, et implémentant de nouveaux types de hachages hybrides, par exemple "—format=dynamic=’sha1(md5($p).$s)’", calculés sur CPU en utilisant SIMD. Comme composants de telles expressions, des dizaines de hachages rapides sont pris en charge (des plus courants comme MD5 aux plus exotiques comme Whirlpool), la concaténation de sous-chaînes, l'encodage et le décodage, la transformation de la casse des caractères, ainsi que des références au mot de passe, au sel, au nom d'utilisateur et aux constantes de chaîne.
• Élimination des différences indésirables par rapport à hashcat, y compris le support des règles spécifiques à hashcat (commandes de règles de wordlist), le passage à la numérotation des appareils OpenCL à partir de 1, et l'application par défaut des mêmes longueurs de mots de passe (généralement une longueur de 7) lors des tests de performance.
• Nouveaux modes de génération de mots de passe vérifiables (modes de cracking), y compris PRINCE de hashcat (forme des « phrases » en combinant plusieurs mots par ordre croissant de longueur totale), subsets (trouve des mots de passe avec un nombre insuffisant de caractères différents, même si ces caractères proviennent d'un grand ensemble de possibilités) et hybrid external (permet à des modes externes, décrits dans des fichiers de configuration en langage C-like, de générer plusieurs mots de passe vérifiables basés sur chaque « mot » de base en provenance d'un autre mode). Également, plusieurs nouveaux modes externes prédéfinis.
• Fonctionnalités supplémentaires pour l'utilisation simultanée de plusieurs modes (l'un superposé à l'autre — empilement), ainsi que pour l'utilisation de tels ensembles de règles (empilement de règles de wordlist).
• Améliorations des modes mask (étirement progressif du masque dans une plage de longueurs spécifiée, application du masque côté dispositif OpenCL ou carte FPGA) et single crack (comportement raisonnable sur des dispositifs calculant un grand nombre de hachages en parallèle, ce qui manquait précédemment de mots de passe vérifiables dans ce mode, ainsi que des limites sur la consommation de mémoire).
• De nombreuses améliorations du support Unicode et d'autres encodages dans divers sous-systèmes.
• De nombreuses améliorations des programmes *2john (transformant des fichiers de différents formats pour
  utilisation avec john), en particulier wpapcap2john (gère le trafic WiFi).
• De nombreuses nouvelles options de ligne de commande, de paramètres dans john.conf, d'options de script configure et les nouvelles fonctionnalités qui y correspondent, dont toutes ne peuvent être mentionnées ici.
• Amélioration de la qualité du code grâce au support intégré des builds de débogage avec AddressSanitizer (déjà présent auparavant) et UndefinedBehaviorSanitizer (ajouté), avec l'ajout d'un fuzzer intégré pour les formats (dans le cadre de GSoC 2015), et l'utilisation de l'intégration continue (builds pour des dizaines de combinaisons de systèmes d'exploitation et de compilateurs et tests de leur prise en charge correcte de tous les formats).

Source : linux.org.ru