John the Ripper 1.9.0-jumbo-1 с поддръжка за FPGA

Пусната новата версия на най-старата поддържана програма за подбиране на пароли John the Ripper 1.9.0-jumbo-1. (Проектът се развива от 1996 година.) На страницата на проекта разположение са източниците за изтегляне, както и готови сборки за Windows.

Отбелязва се, че от излизането на версия 1.8.0-jumbo-1 са минали 4.5 години, през които са направени повече от 6000 изменения (git commits) от над 80 разработчици. През този период разработчиците препоръчваха да се използва текущата версия от GitHub, чийто статус се поддържаше стабилен въпреки направените изменения благодарение на непрекъснатата интеграция, включваща предварителната проверка на всяко изменение (pull request) на много платформи. Особеност на новата версия е добавянето на поддръжка за FPGA (ПЛИС) в допълнение към CPU, GPU и Xeon Phi.

За платформи ZTEX 1.15y, включващи по 4 микросхеми FPGA и първоначално използвани основно за добив на Bitcoin, сега са реализирани 7 типа хешове на пароли: bcrypt, класически descrypt (включително bigcrypt), sha512crypt, sha256crypt, md5crypt (включително Apache apr1 и AIX smd5), Drupal7 и phpass (използва се, в частност, в WordPress). Някои от тях се реализират на FPGA за пръв път. За bcrypt, постигнатата производителност от около ~119k c/s при 2^5 итерации („$2b$05“) с консумирана мощност около 27 вата значително надминава резултатите за най-новите GPU на платка, по цена на оборудването и на ват. кластерите Също така се поддържат sha512crypt и Drupal7) са приложени блокове, състоящи се от многоядрени процесорни ядра (soft CPU cores), взаимодействващи с криптографските ядра. Разработването на тази функционалност е ръководено от Денис Бурыкин в координация с други разработчици от jumbo.

други важни промени:

• Поддръжка на голям брой допълнителни типове хешове, криптирания и т.н., включително както класическите паролни хешове (например от новите версии на QNX), така и криптовалутни портфейли, криптирани архиви и криптирани файлови системи (например Bitlocker и FreeBSD geli), както и поддръжка на нови сортове формати, подкрепени по-рано (например добавена поддръжка на bcrypt-pbkdf за OpenBSD softraid) и много други. Общо взето, добавени 80 формата на CPU и 47 на OpenCL (и малко старини са премахнати, тъй като са интегрирани в новите и остарели). Общият брой на форматите сега е 407 на CPU (или 262, без да включваме „динамичните“ формати, конфигурируеми от конфигурационни файлове) и 88 на OpenCL.
• Отказ от поддръжката на езика CUDA в полза на OpenCL, което не пречи на пълноценната употреба на GPU от NVIDIA (дори помага, благодарение на фокусирането на разработката и оптимизациите върху една реализация на всеки формат под GPU вместо две реализации, каквито имаше преди).
• Поддръжка на нови набори от инструкции SIMD — AVX2, AVX-512 (включително за второ поколение Xeon Phi) и MIC (за първото поколение) — както и по-универсално и пълноценно използване на SIMD в реализациите на много формати, включително прилагане на преди поддържани набори от инструкции до AVX и XOP на x86(-64) и
  NEON, ASIMD и AltiVec на ARM, Aarch64 и POWER, съответно. (Частично в рамките на GSoC 2015.)
• Многобройни оптимизации за CPU и OpenCL, за по-ефективна работа с голямо количество хешове едновременно (например, проверявана е натовареност на 320 милиона хешове SHA-1 на GPU), както и за увеличаване на скоростта на изчисляване на хешове. Част от тези оптимизации са универсални, част обхващат различни подмножества формати, а много са специфични за отделни формати.
• (Авто-)настройка на оптимално буфериране на проверяваните пароли на CPU ("—tune=auto —verbosity=5") и оптимални размери на задачата на OpenCL (включени по подразбиране), включително с оглед на бавното достигане на пълната работна честота на GPU серия NVIDIA GTX 10xx и нови версии. Използване на наистина натоварени хешове и реална дължина на проверяваните пароли (когато е известна предварително) за такава авто-настройка.
• Добавяне на компилатор за "динамични изрази", задавани директно на командния ред и реализиращи нови хибридни типове хешове, например "—format=dynamic=’sha1(md5($p).$s)’", изчислявани на CPU с използване на SIMD. Като компоненти на такива изрази се поддържат десетки бързи хешове (от широко разпространените като MD5 до умерено екзотични като Whirlpool), обединение на подстринг, кодиране и декодиране, преобразуване на регистри на символи, референции на парола, сол, потребителско име и стрингови константи.
• Отстраняване на нежелани различия от hashcat, включително поддръжка на преди специфични за hashcat правила (команди за правила от списък с думи), преминаване на нумерация на OpenCL устройства от 1-во, прилагане по подразбиране на същите дължини на паролите (обикновено дължина 7) при тестовете за производителност.
• Новини в режимите на генериране на проверяеми пароли (modes for cracking), включително PRINCE от hashcat (създава "фрази", обединявайки няколко думи в реда на нарастваща обща дължина), subsets (подбира пароли с недостатъчен брой различни символи, дори ако тези символи идват от голям набор от възможни) и hybrid external (позволява на външни режими, описвани в конфигурационни файлове на C-подобен език, да създават много проверяеми пароли на базата на всяко основно "слово", получено от друг режим). Освен това, няколко нови предопределени външни режима.
• Допълнителни възможности за използване на няколко режима едновременно (един върху друг - stacking), както и за такова използване на набори от правила (stacking на правила от списък с думи).
• Подобрения в режимите mask (постепенно разтегляне на маската в указан диапазон от дължини, прилагане на маската на страната на OpenCL устройството или платката FPGA) и single crack (разумно поведение на устройства, изчисляващи голямо количество хешове паралелно, за което преди липсваха проверяеми пароли в този режим, както и ограничения върху разхода на памет).
• Много подобрения в поддръжката на Unicode и други кодировки в различни подсистеми.
• Много подобрения в програмите *2john (преобразуващи файлове от различни формати за
  използване с john), особено wpapcap2john (обработва WiFi трафик).
• Много нови опции за команден ред, настройки в john.conf, опции на configure-скрипта и свързаните с тях нови възможности, не всички от които успяхме да споменем тук.
• Повишаване на качеството на кода чрез вградена поддръжка за отладъчни версии с AddressSanitizer (по-рано) и UndefinedBehaviorSanitizer (ново добавено), добавяне на вграден фузър за формати (в рамките на GSoC 2015), приложение на непрекъсната интеграция (сборки за десетки комбинации от операционна система и компилатор и тестване на коректната поддръжка на всички формати).

Източник: linux.org.ru