Издание на John the Ripper 1.9.0-jumbo-1 с поддръжка на FPGA

Пуснато нова версия на най-старата поддържана програма за подбиране на пароли John the Ripper 1.9.0-jumbo-1 (проектът се развива от 1996 година). От излизането на предишната версия 1.8.0-jumbo-1 минаха 4.5 години, през които бяха направени над 6000 промени (git commits) от над 80 разработчици. Благодарение на непрекъсната интеграция, включваща предварителна проверка на всяка промяна (pull request) на много платформи, през този период разработчиците препоръчваха да се използва текущата редакция от GitHub, чиято състояние се поддържаше стабилно, въпреки направените промени. Основният код на проекта се разпространява е под лиценз GPLv2+, а кодът на някои компоненти е под лиценз BSD.

Характерна особеност на новата версия е добавяне на поддръжка за FPGA (в допълнение към CPU, GPU и Xeon Phi). За плат ZTEX 1.15y, включващи по 4 чипа FPGA и първоначално използвани основно за копаене на биткойн, сега са реализирани 7 типа хешове на пароли: bcrypt, класически descrypt (включително bigcrypt), sha512crypt, sha256crypt, md5crypt (включително Apache apr1 и AIX smd5), Drupal7 и phpass (използва се, в частност, в WordPress). Някои от тях са реализирани на FPGA за първи път.

За bcrypt, достигнатата производителност е ~119k c/s при 2^5 итерации («$2b$05») с потребление на мощност около ~27 вата, което значително надвишава резултатите от най-новите GPU по отношение на платката, цената на оборудването и ват. кластери Също така са поддържани

от платки от този тип, което е проверено до 16 платки (64 чипа FPGA), контролирани от един Raspberry Pi 2. Поддържа се обичайната функционалност на John the Ripper, включваща всички режими на подбор на пароли и едновременно зареждане на голямо количество хешове. sha512crypt и Drupal7) са приложени блокове, състоящи се от многопоточни процесорни ядра (soft CPU cores), взаимодействуващи с криптографски ядра. Разработката на тази функционалност е ръководена от Денис Бурыкин в координация с други разработчици jumbo.

Други важни промени:

• Поддръжка на голям брой допълнителни типове хешове, шифри и т.н., включително както класически хешове на пароли (например от новите версии на QNX), така и криптовалутни портфейли, шифровани архиви и шифровани файлови системи (например Bitlocker и FreeBSD geli), както и поддръжка на нови разновидности формати, които преди това са били поддържани (например добавена поддръжка на bcrypt-pbkdf за OpenBSD softraid) и много други. Общо добавени 80 формата за CPU и 47 за OpenCL. Общо броят на форматите сега е 407 на CPU (или 262 без включване на „dynamic“ формати, настройвани от конфигурационни файлове) и 88 на OpenCL.
• Отказ от поддръжка на CUDA в полза на OpenCL, което изобщо не пречи на пълноценното използване на GPU от NVIDIA (и дори помага, благодарение на фокусирането на разработката и оптимизациите върху една реализация на всеки формат за GPU вместо две реализации преди).
• Поддръжка на нови набори инструкции SIMD — AVX2, AVX-512 (включително за второ поколение Xeon Phi) и MIC (за първо поколение) — както и по-широко и пълноценно използване на SIMD в реализирането на много формати, включително прилагане на вече поддържани набори инструкции, стигащи до AVX и XOP на x86(-64) и
  NEON, ASIMD и AltiVec на ARM, Aarch64 и POWER, съответно.
• Множество оптимизации за CPU и OpenCL, както за по-ефективна работа с голямо количество хешове едновременно (например, натоварването с 320 милиона хешове SHA-1 на GPU), така и за повишаване на скоростта на изчисление на хешове. Част от тези оптимизации са универсални, част обхващат различни подмножества формати, а много са специфични за отделни формати.
• (Авто-)настройка на оптималното буфериране на проверяваните пароли на CPU („—tune=auto —verbosity=5“) и оптималните размери на задачите на OpenCL (включено по подразбиране), вкл. с оглед на бавното достигане до максималната работна честота на GPU серия NVIDIA GTX 10xx и по-нови. Използване на наистина натоварени хешове и реалната дължина на проверяваните пароли (когато е известна предварително) за такава авто-настройка.
• Добавяне на компилатор на „динамични изрази“, задавани директно в командния ред и реализиращи нови хибридни типове хешове, например „—format=dynamic=’sha1(md5($p).$s)'“, изчислявани на CPU с използване на SIMD. В като компоненти на тези изрази се поддържат десетки бързи хешове (от обичайни като MD5 до умерено екзотични като Whirlpool), обединяване на подстрингове, кодиране и декодиране, преобразуване на регистри на символи, препратки към парола, сол, потребителско име и стринг константи.
• Премахване на нежеланите различия от hashcat, включително поддръжка на преди специфични за hashcat правила (команди на wordlist правило), преминаване на нумерация на OpenCL устройствата от 1-ви, прилагане по подразбиране на същите дължини на паролите (обикновено дължина 7) при тестовете за производителност.
• Нови режими на генериране на проверяеми пароли (cracking modes), включително PRINCE от hashcat (формирует „фрази“, обединявайки няколко думи в реда на нарастваща обща дължина), subsets (подбира пароли с недостатъчно разнообразие от символи, дори и тези символи да произлизат от голям набор от възможни) и hybrid external (позволява на външните режими, описвани в конфигурационни файлове на C-подобен език, да формират множество проверяеми пароли на базата на всяко основно „слово“, получено от друг режим). Също така, няколко нови предварително определени външни режими.
• Допълнителни възможности за използване на няколко режима едновременно (един върху друг — stacking), а също така и за такова използване на набори от правила (wordlist rules stacking).
• Подобрения в режимите mask (постепенно разширение на маската в указан диапазон от дължини, прилагане на маската на страната на OpenCL устройството или FPGA платката) и single crack (разумно поведение на устройства, изчисляващи много хешове паралелно, за което преди това не стигаше проверяеми пароли в този режим, а също така ограничения на разхода на памет).
• Много подобрения в поддръжката на Unicode и други кодировки в различни подсистеми.
• Много подобрения в програмите *2john (преобразуващи файлове с различни формати за
  използване с john), в частност wpapcap2john (обработва WiFi трафик).
• Много нови опции за команден ред, настройки в john.conf, опции на конфигурационния скрипт и свързаните с тях нови възможности, далеч не всички от които успяхме да споменем тук.
• Подобряване на качеството на кода благодарение на вградената поддръжка на отладъчни сбирки с AddressSanitizer (по-рано) и UndefinedBehaviorSanitizer (добавен), добавянето на вграден фаззер за формати (в контекста на GSoC 2015), прилагането на непрекъсната интеграция (сбирки за десетки комбинации на операционна система и компилатор и тестване в тях за коректна поддръжка на всички формати).

Източник: opennet.ru