John the Ripper 1.9.0-jumbo-1 с поддръжка на FPGA

Освободен нова версия на най-старата поддържана програма за отгатване на пароли John the Ripper 1.9.0-jumbo-1. (Проектът се развива от 1996 г.) На страница на проекта Налични са изходни кодове за изтегляне, както и готови сборки за Windows.

Отбелязва се, че са изминали 1.8.0 години от пускането на версия 1-jumbo-4.5, през които са направени повече от 6000 промени (git commit) от повече от 80 разработчици. През този период разработчиците препоръчват използването текуща версия от GitHub, чието състояние се поддържа стабилно въпреки направените промени благодарение на непрекъсната интеграция, което включва предварителна проверка на всяка промяна (pull request) на много платформи. Специална характеристика на новата версия е появата на поддръжка за FPGA (FPGA) в допълнение към CPU, GPU и Xeon Phi.

За дъски Ztex 1.15г, включително 4 FPGA чипа и първоначално използвани главно за копаене на биткойни, сега са внедрени 7 типа хешове на пароли: bcrypt, класически декриптиране (включително bigcrypt), sha512crypt, sha256crypt, md5crypt (включително Apache apr1 и AIX smd5), Drupal7 и phpass (използван , по-специално в WordPress). Някои от тях са реализирани на FPGA за първи път. За bcrypt, постигнатата производителност от ~119k c/s с 2^5 итерации („$2b$05“) с консумация на енергия от около 27 вата значително надвишава резултатите за най-новите графични процесори на платка, на цена на хардуер и на ват. Също така се поддържа клъстери от платки от този тип, които са тествани до 16 платки (64 FPGA), управлявани от един Raspberry Pi 2. Поддържа се обичайната функционалност на John the Ripper, включително всички режими за отгатване на пароли и едновременно изтегляне на голям брой хешове. За да ускорим работата, внедрихме използването на маска (режимът "--mask", включително в комбинация с други режими) и сравнение на изчислените хешове с тези, заредени от страна на FPGA. От гледна точка на изпълнение, много от дизайните (напр. sha512crypt и Drupal7) използва блокове, състоящи се от многонишкови процесорни ядра (меки CPU ядра), взаимодействащи с криптографски ядра. Разработването на тази функционалност беше ръководено от Денис Бурикин в координация с други jumbo разработчици.

Други основни промени:

• Поддръжка на голям брой допълнителни видове хешове, шифри и т.н., включително както класически хешове на пароли (например от нови версии на QNX), така и портфейли за криптовалута, криптирани архиви и криптирани файлови системи (например Bitlocker и FreeBSD geli), както и поддръжка за нови типове формати, поддържани преди това (например добавена поддръжка за bcrypt-pbkdf за OpenBSD softraid) и много други. Общо 80 формата са добавени на CPU и 47 на OpenCL (и малък брой стари са премахнати като интегрирани в нови и остарели). Общият брой на форматите вече е 407 на процесора (или 262, без да се включват "динамичните" формати, конфигурирани от конфигурационни файлове) и 88 на OpenCL.
• Премахване на езиковата поддръжка на CUDA в полза на OpenCL, което ни най-малко не пречи на пълноценното използване на NVIDIA GPU (и дори помага, благодарение на фокуса на разработката и оптимизациите върху една реализация на всеки формат под GPU вместо два изпълнения преди).
• Поддръжка за нови набори инструкции SIMD - AVX2, AVX-512 (включително за второто поколение на Xeon Phi) и MIC (за първото поколение) - както и по-универсално и пълно използване на SIMD в реализации на много формати, включително използването на предварително поддържаните набори от инструкции до AVX и XOP на x86(-64) и
  NEON, ASIMD и AltiVec съответно на ARM, Aarch64 и POWER. (Отчасти като част от GSoC 2015.)
• Многобройни оптимизации за CPU и OpenCL, както за по-ефективна работа с голям брой хешове едновременно (например зареждане на 320 милиона SHA-1 хешове на GPU), така и за увеличаване на скоростта на изчисляване на хешовете. Някои от тези оптимизации са универсални, някои покриват различни подгрупи от формати, а много са специфични за формат.
• (Автоматично) конфигуриране на оптимално буфериране на проверени пароли на процесора („—tune=auto —verbosity=5”) и оптимални размери на задачите на OpenCL (активирано по подразбиране), включително като се вземе предвид бавното нарастване на NVIDIA GTX серия GPU до пълна работна честота 10xx и по-нова. Използване на действително заредени хешове и действителната дължина на проверяваните пароли (когато е известна предварително) за такава автоматична настройка.
• Добавяне на компилатор за „динамични изрази“, указани директно в командния ред, и внедряване на нови хибридни хеш типове, например „-format=dynamic='sha1(md5($p).$s)'“, изчислени на CPU с помощта на SIMD . Като компоненти на такива изрази се поддържат десетки бързи хешове (от обикновени като MD5 до умерено екзотични като Whirlpool), конкатенация на поднизове, кодиране и декодиране, преобразуване на главни и малки букви, препратки към парола, сол, потребителско име и низови константи.
• Елиминиране на нежелани разлики от hashcat, включително поддръжка за предишни специфични за hashcat команди с правила за списък с думи, превключване към номериране на устройства на OpenCL от 1, използване на същите дължини на паролите по подразбиране (обикновено дължина 7) за тестове за производителност.
• Нови режими за генериране на кракнати пароли (режими за кракване), включително PRINCE от hashcat (генерира "фрази" чрез свързване на няколко думи във възходящ ред на обща дължина), подмножества (носи пароли с недостатъчен брой различни знаци, дори ако тези знаци идват от голям набор от възможни) и хибриден външен (позволява на външни режими, описани в конфигурационни файлове на C-подобен език, да генерират много проверими пароли въз основа на всяка базова „дума“, получена от друг режим). Също така, няколко нови предварително дефинирани външни режима.
• Допълнителни функции за използване на няколко режима едновременно (един върху друг - подреждане), както и за такова използване на набори от правила (подреждане на правила за списък с думи).
• Подобрения в режимите на маска (постепенно разтягане на маската в определения диапазон от дължини, прилагане на маската отстрани на OpenCL устройство или FPGA платка) и единично пропукване (разумно поведение на устройства, които изчисляват голям брой хешове паралелно, което преди в този режим липсваха пароли за проверка, както и ограничения за потреблението на памет).
• Много подобрения в поддръжката на Unicode и други кодировки в различни подсистеми.
• Много подобрения в програмите *2john (конвертиране на файлове от различни формати в
  използвайте с john), особено wpapcap2john (обработва WiFi трафик).
• Много нови опции на командния ред, настройки на john.conf, опции за конфигуриране на скриптове и съответните им нови функции, не всички от които са споменати тук.
• Подобряване на качеството на кода поради вградена поддръжка за компилации за отстраняване на грешки с AddressSanitizer (предишен) и UndefinedBehaviorSanitizer (добавен), добавяне на вграден размърдател на формат (в рамките на GSoC 2015), използване на непрекъсната интеграция (билдове за десетки комбинации от операционна система и компилатор и тествайки ги за правилна поддръжка на всички формати).

Източник: linux.org.ru