Издание на John the Ripper 1.9.0-jumbo-1 с поддръжка за FPGA

Пусната нова версия на най-стария поддържан софтуер за подбиране на пароли John the Ripper 1.9.0-jumbo-1 (проектът се развива от 1996 година). От излизането на предишната версия 1.8.0-jumbo-1 минаха 4.5 години, през които бяха направени повече от 6000 промени (git commits) от над 80 разработчици. Благодарение на непрекъснатата интеграция, включваща предварителна проверка на всяка промяна (pull request) на много платформи, през този период разработчиците препоръчваха използването на текущата версия от GitHub, чието състояние се поддържаше стабилно въпреки внесените промени. Основният код на проекта разпространява е под лиценз GPLv2+, а кодът на някои компоненти е под лиценз BSD.

Характерна особеност на новата версия е добавянето на поддръжка за FPGA (в допълнение към CPU, GPU и Xeon Phi). За платите ZTEX 1.15y, които включват 4 FPGA чипа и първоначално бяха използвани основно за добив на Bitcoin, сега са реализирани 7 типа хешове на пароли: bcrypt, класически descrypt (включително bigcrypt), sha512crypt, sha256crypt, md5crypt (включително Apache apr1 и AIX smd5), Drupal7 и phpass (използва се, в частност, в WordPress). Някои от тях са реализирани на FPGA за първи път.

За bcrypt, постигнатата производителност е ~119k c/s при 2^5 итерации («$2b$05») с потребление на мощност от около ~27 вата, което значително превъзхожда резултатите на най-новите GPU на платка, на цената на оборудването и на ват. Също така се поддържат кластерите от този тип платки, което е проверено до 16 платки (64 FPGA чипа), контролирани с един Raspberry Pi 2. Поддържа се стандартната функционалност на John the Ripper, включително всички режими за подбиране на пароли и едновременно зареждане на голямо количество хешове.

За ускоряване на работата е реализирано прилагане на маска (режим «—mask», включително в комбинация с други режими) и сравнение на изчислените хешове с тези, заредени на FPGA. От гледна точка на реализацията, в много от дизайните (например, за sha512crypt и Drupal7) са приложени блокове, състоящи се от многоядрени процесорни ядра (soft CPU cores), взаимодействващи с криптографските ядра. Разработването на тази функционалност е ръководено от Денис Бурыкин в координация с други разработчици от jumbo.

Други важни промени:

• Поддръжка на голямо количество допълнителни типове хешове, шифри и т.н., включително и класически хешове на пароли (например от новите версии на QNX), криптовалутни портфейли, шифровани архиви и шифровани файлови системи (например, Bitlocker и FreeBSD geli), както и поддръжка на нови разновидности на формати, които бяха поддържани по-рано (например, добавена е поддръжка на bcrypt-pbkdf за OpenBSD softraid) и много други. В общи линии, добавени са 80 формата на CPU и 47 на OpenCL. Общият брой на формати сега е 407 на CPU (или 262, без да включвате "dynamic" формати, конфигурируеми от конфигурационни файлове) и 88 на OpenCL.
• Отказ от поддръжката на езика CUDA в полза на OpenCL, което не пречи на пълноценната употреба на GPU от NVIDIA (дори помага, благодарение на фокусирането на разработката и оптимизациите върху една реализация на всеки формат под GPU вместо две реализации, каквито имаше преди).
• Поддръжка на нови набори от инструкции SIMD — AVX2, AVX-512 (включително за второ поколение Xeon Phi) и MIC (за първото поколение) — както и по-универсално и пълноценно използване на SIMD в реализациите на много формати, включително прилагане на преди поддържани набори от инструкции до AVX и XOP на x86(-64) и
  NEON, ASIMD и AltiVec на ARM, Aarch64 и POWER, съответно.
• Многобройни оптимизации за CPU и OpenCL, за по-ефективна работа с голямо количество хешове едновременно (например, проверявана е натовареност на 320 милиона хешове SHA-1 на GPU), както и за увеличаване на скоростта на изчисляване на хешове. Част от тези оптимизации са универсални, част обхващат различни подмножества формати, а много са специфични за отделни формати.
• (Авто-)настройка на оптималното буфериране на проверяваните пароли на CPU ("—tune=auto —verbosity=5") и оптималните размерности на задачите на OpenCL (включена по подразбиране), като се взима предвид бавният преход до пълна работна честота на GPU от серия NVIDIA GTX 10xx и нови. Използване на реално натоварени хешове и реална дължина на проверяваните пароли (когато е известна предварително) за такава авто-настройка.
• Добавяне на компилатор за "динамични изрази", посочвани директно в командния ред и реализиращи нови хибридни типове хешове, например "--format=dynamic='sha1(md5($p).$s)'", изчислявани на CPU с помощта на SIMD. Като компоненти на такива изрази се поддържат десетки бързи хешове (от често срещаните като MD5 до умерено екзотичните като Whirlpool), обединяване на подструни, кодиране и декодиране, преобразуване на регистра на символите, референции към пароли, сол, потребителски имена и текстови константи.
• Отстраняване на нежелани различия от hashcat, включително поддръжка на преди специфични за hashcat правила (команди за правила от списък с думи), преминаване на нумерация на OpenCL устройства от 1-во, прилагане по подразбиране на същите дължини на паролите (обикновено дължина 7) при тестовете за производителност.
• Новини в режимите на генериране на проверяеми пароли (modes for cracking), включително PRINCE от hashcat (създава "фрази", обединявайки няколко думи в реда на нарастваща обща дължина), subsets (подбира пароли с недостатъчен брой различни символи, дори ако тези символи идват от голям набор от възможни) и hybrid external (позволява на външни режими, описвани в конфигурационни файлове на C-подобен език, да създават много проверяеми пароли на базата на всяко основно "слово", получено от друг режим). Освен това, няколко нови предопределени външни режима.
• Допълнителни възможности за използване на няколко режима едновременно (един върху друг - stacking), както и за такова използване на набори от правила (stacking на правила от списък с думи).
• Подобрения в режимите mask (постепенно разтегляне на маската в указан диапазон от дължини, прилагане на маската на страната на OpenCL устройството или платката FPGA) и single crack (разумно поведение на устройства, изчисляващи голямо количество хешове паралелно, за което преди липсваха проверяеми пароли в този режим, както и ограничения върху разхода на памет).
• Много подобрения в поддръжката на Unicode и други кодировки в различни подсистеми.
• Много подобрения в програмите *2john (преобразуващи файлове от различни формати за
  използване с john), особено wpapcap2john (обработва WiFi трафик).
• Много нови опции за команден ред, настройки в john.conf, опции на configure-скрипта и свързаните с тях нови възможности, не всички от които успяхме да споменем тук.
• Повишаване на качеството на кода чрез вградена поддръжка за отладъчни версии с AddressSanitizer (по-рано) и UndefinedBehaviorSanitizer (ново добавено), добавяне на вграден фузър за формати (в рамките на GSoC 2015), приложение на непрекъсната интеграция (сборки за десетки комбинации от операционна система и компилатор и тестване на коректната поддръжка на всички формати).

Източник: opennet.ru