John the Ripper 1.9.0-jumbo-1 с поддръжка на FPGA

Пуснато нова версия на най-старата поддържана програма за подбор на пароли John the Ripper 1.9.0-jumbo-1. (Проектът се развива от 1996 година.) На страницата на проекта разположение са изходните кодове, както и готови сборки за Windows.

Отбелязва се, че от излизането на версия 1.8.0-jumbo-1 са минали 4.5 години, през които са направени над 6000 изменения (git commits) от повече от 80 разработчици. През този период разработчиците препоръчваха да се използва текущата редакция от GitHub, чийто статус е поддържан стабилен, въпреки направените изменения благодарение на непрекъсната интеграция, включваща предварителна проверка на всяко изменение (pull request) на много платформи. Специфичността на новата версия е появата на поддръжка на FPGA (ПЛИС) в допълнение към CPU, GPU и Xeon Phi.

За плат ZTEX 1.15y, които включват по 4 FPGA чипа и първоначално са били използвани основно за копаене на Bitcoin, сега се реализират 7 типа хешове на пароли: bcrypt, класически descrypt (включително bigcrypt), sha512crypt, sha256crypt, md5crypt (включително Apache apr1 и AIX smd5), Drupal7 и phpass (използва се, в частност, в WordPress). Някои от тях са реализирани на FPGA за първи път. За bcrypt, постигнатата производителност е ~119k c/s при 2^5 итерации („$2b$05“) с консумирана мощност около 27 вата, което значително надминава резултатите за най-новите GPU по отношение на платка, цена на оборудването и консумация на ват. Освен това се поддържат кластери от този тип платки, което е проверено до 16 платки (64 FPGA), управлявани от един Raspberry Pi 2. Поддържа се обичайната функционалност на John the Ripper, включително всички режими за подбор на пароли и едновременна доставка на голям брой хешове. За ускоряване на работата е реализирано прилагането на маска (режим "—mask", включително в комбинация с други режими) и сравнение на изчислените хешове с натоварените на страната на FPGA. От гледна точка на реализацията, в много от дизайните (например, за sha512crypt и Drupal7) са приложени блокове, състоящи се от многопоточни процесорни ядра (soft CPU cores), взаимодействуващи с криптографски ядра. Разработката на тази функционалност е ръководена от Денис Бурыкин в координация с други разработчици jumbo.

Други важни промени:

• Поддръжка на голямо количество допълнителни типове хешове, шифри и т.н., включително както класическите паролни хешове (например от новите версии на QNX), така и криптовалутни портфейли, шифровани архиви и шифровани файлови системи (например Bitlocker и FreeBSD geli), както и поддръжка на нови разновидности на формати, които бяха поддържани преди (например добавена поддръжка на bcrypt-pbkdf за OpenBSD softraid) и много друго. Общо 80 формата на CPU и 47 на OpenCL (и малко на броя стари формати, които са интегрирани в новите и остарели). Общият брой формати сега е 407 на CPU (или 262 без „динамичните“ формати, конфигурируеми от конфигурационни файлове) и 88 на OpenCL.
• Отказ от поддръжка на CUDA в полза на OpenCL, което изобщо не пречи на пълноценното използване на GPU от NVIDIA (и дори помага, благодарение на фокусирането на разработката и оптимизациите върху една реализация на всеки формат за GPU вместо две реализации преди).
• Поддръжка на нови набори инструкции SIMD — AVX2, AVX-512 (включително за второ поколение Xeon Phi) и MIC (за първо поколение) — както и по-широко и пълноценно използване на SIMD в реализирането на много формати, включително прилагане на вече поддържани набори инструкции, стигащи до AVX и XOP на x86(-64) и
  NEON, ASIMD и AltiVec на ARM, Aarch64 и POWER, съответно. (Частично в рамките на GSoC 2015.)
• Множество оптимизации за CPU и OpenCL, както за по-ефективна работа с голямо количество хешове едновременно (например, натоварването с 320 милиона хешове SHA-1 на GPU), така и за повишаване на скоростта на изчисление на хешове. Част от тези оптимизации са универсални, част обхващат различни подмножества формати, а много са специфични за отделни формати.
• (Авто-)настройка на оптимална буферизация на проверяваните пароли на CPU ("—tune=auto —verbosity=5") и оптималните размери на задачите на OpenCL (включена по подразбиране), включително с оглед на бавното достигане до пълна работна честота на GPU серия NVIDIA GTX 10xx и по-нови. Използване на реално натоварени хешове и реална дължина на проверяваните пароли (когато тя е известна предварително) за такава авто-настройка.
• Добавяне на компилатор за „динамични изрази“, указвани директно в командния ред и реализиращи нови хибридни типове хешове, например "—format=dynamic=’sha1(md5($p).$s)’", изчислявани на CPU с използване на SIMD. Като компоненти на такива изрази се поддържат десетки бързи хешове (от разпространените като MD5 до умерено екзотичните като Whirlpool), обединяване на подстрингове, кодиране и декодиране, преобразуване на регистъра на символите, справки към паролата, солта, потребителското име и низови константи.
• Премахване на нежеланите различия от hashcat, включително поддръжка на преди специфични за hashcat правила (команди на wordlist правило), преминаване на нумерация на OpenCL устройствата от 1-ви, прилагане по подразбиране на същите дължини на паролите (обикновено дължина 7) при тестовете за производителност.
• Нови режими на генериране на проверяеми пароли (cracking modes), включително PRINCE от hashcat (формирует „фрази“, обединявайки няколко думи в реда на нарастваща обща дължина), subsets (подбира пароли с недостатъчно разнообразие от символи, дори и тези символи да произлизат от голям набор от възможни) и hybrid external (позволява на външните режими, описвани в конфигурационни файлове на C-подобен език, да формират множество проверяеми пароли на базата на всяко основно „слово“, получено от друг режим). Също така, няколко нови предварително определени външни режими.
• Допълнителни възможности за използване на няколко режима едновременно (един върху друг — stacking), а също така и за такова използване на набори от правила (wordlist rules stacking).
• Подобрения в режимите mask (постепенно разширение на маската в указан диапазон от дължини, прилагане на маската на страната на OpenCL устройството или FPGA платката) и single crack (разумно поведение на устройства, изчисляващи много хешове паралелно, за което преди това не стигаше проверяеми пароли в този режим, а също така ограничения на разхода на памет).
• Много подобрения в поддръжката на Unicode и други кодировки в различни подсистеми.
• Много подобрения в програмите *2john (преобразуващи файлове с различни формати за
  използване с john), в частност wpapcap2john (обработва WiFi трафик).
• Много нови опции за команден ред, настройки в john.conf, опции на конфигурационния скрипт и свързаните с тях нови възможности, далеч не всички от които успяхме да споменем тук.
• Подобряване на качеството на кода благодарение на вградената поддръжка на отладъчни сбирки с AddressSanitizer (по-рано) и UndefinedBehaviorSanitizer (добавен), добавянето на вграден фаззер за формати (в контекста на GSoC 2015), прилагането на непрекъсната интеграция (сбирки за десетки комбинации на операционна система и компилатор и тестване в тях за коректна поддръжка на всички формати).

Източник: linux.org.ru