John the Ripper 1.9.0-jumbo-1 со поддршка за FPGA

Ослободен нова верзија на најстарата поддржана програма за погодување лозинка John the Ripper 1.9.0-jumbo-1. (Проектот се развива од 1996 година.) На страница на проектот Изворите се достапни за преземање, како и готови склопови за Windows.

Забележано е дека поминаа 1.8.0 години од објавувањето на верзијата 1-jumbo-4.5, при што беа направени повеќе од 6000 промени (git commits) од повеќе од 80 програмери. Во овој период, програмерите препорачаа користење тековно издание од GitHub, чија состојба се одржуваше стабилна и покрај промените направени благодарение на континуирана интеграција, што вклучува прелиминарна проверка на секоја промена (барање за повлекување) на многу платформи. Посебна карактеристика на новата верзија е појавата на поддршка за FPGA (FPGA) покрај процесорот, графичкиот процесор и Xeon Phi.

За табли ZTEX 1.15 год, вклучувајќи 4 FPGA чипови и првично користени главно за рударство на биткоин, сега се имплементирани 7 типови хашови на лозинка: bcrypt, класично дескриптирање (вклучувајќи bigcrypt), sha512crypt, sha256crypt, md5crypt (вклучувајќи Apache apr1 и AIX smd5), Drupal7 и phpass (се користи , особено во WordPress). Некои од нив се имплементирани на FPGA за прв пат. За bcrypt, постигнатите перформанси од ~ 119k c/s со 2^5 повторувања („$2b$05“) со потрошувачка на енергија од околу 27 вати значително ги надминуваат резултатите за најновите графички процесори по плоча, по цена на хардверот и по вати. Исто така поддржано кластери на табли од овој тип, кој е тестиран до 16 табли (64 FPGA) контролирани од еден Raspberry Pi 2. Поддржана е вообичаената функционалност John the Ripper, вклучувајќи ги сите режими за погодување лозинки и истовремено преземање на голем број хашови. За да ја забрзаме работата, имплементиравме употреба на маска (режим „--маска“, вклучително и во комбинација со други режими) и споредба на пресметаните хашови со оние вчитани на страната FPGA. Од перспектива на имплементација, многу од дизајните (на пр. sha512crypt и Drupal7) се користат блокови кои се состојат од процесорски јадра со повеќе нишки (меки јадра на процесорот) во интеракција со криптографски јадра. Развојот на оваа функционалност беше предводен од Денис Бурикин во координација со други џамбо програмери.

Други големи промени:

• Поддршка за голем број дополнителни видови хашови, шифри итн., вклучувајќи ги и класичните хашови на лозинки (на пример, од новите верзии на QNX), како и паричниците за криптовалути, шифрирани архиви и шифрирани датотечни системи (на пример, Bitlocker и FreeBSD geli), како и поддршка за нови типови на формати претходно поддржани (на пример, додадена поддршка за bcrypt-pbkdf за OpenBSD softraid) и многу повеќе. Севкупно, додадени се 80 формати на процесорот и 47 на OpenCL (а мал број стари се отстранети како интегрирани во нови и застарени). Вкупниот број на формати сега е 407 на процесорот (или 262 не вклучувајќи ги „динамичките“ формати конфигурирани од конфигурациските датотеки) и 88 на OpenCL.
• Одбивање да се поддржи јазикот CUDA во корист на OpenCL, што во никој случај не се меша во целосната употреба на графичките процесори на NVIDIA (па дури и помага, благодарение на фокусирањето на развојот и оптимизацијата на една имплементација на секој формат за графичкиот процесор наместо две имплементации претходно).
• Поддршка за нови комплети SIMD инструкции - AVX2, AVX-512 (вклучително и за втората генерација Xeon Phi) и MIC (за првата генерација) - како и поуниверзална и целосна употреба на SIMD во имплементации на многу формати, вклучително и употреба на претходно поддржаната инструкција поставува до AVX и XOP на x86(-64) и
  NEON, ASIMD и AltiVec на ARM, Aarch64 и POWER, соодветно. (Делумно како дел од GSoC 2015.)
• Бројни оптимизации за процесорот и OpenCL, како за поефикасна работа со голем број хашови истовремено (на пример, тестирано е вчитување на 320 милиони хашови SHA-1 на графичкиот процесор), и за зголемување на брзината на пресметките на хашот. Некои од овие оптимизации се универзални, некои покриваат различни подмножества на формати, а многу се специфични за поединечни формати.
• (Автоматска) конфигурација на оптимално меморирање на проверените лозинки на процесорот („—tune=auto —verbosity=5“) и оптимални големини на задачи на OpenCL (овозможено стандардно), вклучително и земање предвид на бавното засилување на NVIDIA GTX серија графички процесори до целосна работна фреквенција 10xx и понови. Користење на всушност вчитани хашови и вистинската должина на лозинките што се проверуваат (кога тоа е однапред познато) за такво автоматско подесување.
• Додавање компајлер за „динамички изрази“ наведени директно на командната линија и имплементирање на нови хибридни типови хаш, на пример „-format=dynamic='sha1(md5($p).$s)'“, пресметан на процесорот со помош на SIMD . Како компоненти на таквите изрази, поддржани се десетици брзи хашови (од вообичаени како MD5 до умерено егзотични како што е Whirlpool), конкатенација на поднизи, кодирање и декодирање, конверзија на знаци, референци за лозинка, сол, корисничко име и константи на низа.
• Елиминација на несаканите разлики од hashcat, вклучително и поддршка за претходно специфични правила за hashcat (наредби за правила на список со зборови), премин кон нумерирање на уреди OpenCL од 1, стандардна употреба на истите должини на лозинка (обично должина 7) за тестови за изведба.
• Нови режими за генерирање проверливи лозинки (режими на кршење), вклучително и PRINCE од hashcat (формира „фрази“ со комбинирање на неколку зборови по зголемен редослед на вкупна должина), подмножества (изнесува лозинки со недоволен број на различни знаци, дури и ако овие знаци доаѓаат од голем сет на можни) и хибридни надворешни (дозволува надворешните режими, опишани во конфигурациските датотеки на јазик сличен на C, да генерираат многу проверливи лозинки врз основа на секој основен „збор“ добиен од друг режим). Исто така, неколку нови предефинирани надворешни режими.
• Дополнителни функции за користење на неколку режими истовремено (еден врз друг - натрупување), како и за користење множества правила (сложување правила на списокот на зборови).
• Подобрувања на режимите на маска (постепено истегнување на маската во одреден опсег на должини, примена на маска на страната на уредот OpenCL или FPGA плоча) и единечна пукнатина (разумно однесување на уредите кои паралелно пресметуваат голем број хашови , за кои претходно немаше доволно проверливи лозинки во овој режим, а исто така и ограничувања на потрошувачката на меморија).
• Многу подобрувања за поддршка за Unicode и други шифрирања во различни потсистеми.
• Многу подобрувања на програмите *2john (кои конвертираат датотеки од различни формати за
  користете со john), особено wpapcap2john (се справува со сообраќајот на WiFi).
• Има многу нови опции за командна линија, поставки во john.conf, опции за конфигурирање на скрипта и соодветни нови функции, од кои сите не беа споменати овде.
• Подобрување на квалитетот на кодот благодарение на вградената поддршка за изградбите за отстранување грешки со AddressSanitizer (претходно) и UndefinedBehaviorSanitizer (додаден), додавајќи вграден формат fuzzer (како дел од GSoC 2015), користејќи континуирана интеграција (изградби за десетици оперативни системи и компајлери комбинации и нивно тестирање за правилна поддршка за сите формати).

Извор: linux.org.ru