John the Ripper 1.9.0-jumbo-1 FPGA toe jaoks

Välja antud uue versioon vanimast toetatavast paroolide leidmise programmist John the Ripper 1.9.0-jumbo-1. (Projekt on arenenud alates 1996. aastast.) projekti lehel Allalaadimiseks on saadaval nii lähtekood kui ka valmis kogumid Windowsile.

Tuleb märkida, et alates versiooni 1.8.0-jumbo-1 väljaandmisest on möödunud 4,5 aastat, mille jooksul on tehtud üle 6000 muudatuse (git commits) enam kui 80 arendajalt. Selle aja jooksul on arendajad soovitanud kasutada praegust väljaannet GitHubis,mille seisundit on hoidnud stabiilsena vaatamata tehtud muudatustele, tänu jätkuva integreerimise, mis sisaldab iga muudatuse (pull request) eelkontrolli paljudel platvormidel. Uue versiooni eripära on FPGA (programmable logic devices) toe ilmumine koos CPU, GPU ja Xeon Phi-ga.

Plaadile ZTEX 1.15y,mis sisaldavad 4 FPGA kiipi ja olid algselt peamiselt mõeldud Bitcoin'i kaevandamiseks, on nüüd rakendatud 7 tüüpi paroolide häshtimist: bcrypt, klassikaline descrypt (sealhulgas bigcrypt), sha512crypt, sha256crypt, md5crypt (sealhulgas Apache apr1 ja AIX smd5), Drupal7 ja phpass (kasutatakse, sealhulgas WordPressis). Mõned neist on FPGA-s esindatud esmakordselt. bcrypt'i puhul saavutatud jõudlus on ~119k c/s 2^5 iteratsiooni („$2b$05”) juures, tarbides seejuures umbes 27 vatti, mis ületab oluliselt uusimate GPUde tulemusi arvestades plaadi, seadmete hinda ja vatti. Samuti toetatakse klastreid sellistest plaatidest, mida on testitud kuni 16 plaadi (64 FPGA) puhul, mida juhitakse ühe Raspberry Pi 2-ga. Toetatakse John the Ripper'i tavalist funktsionaalsust, sealhulgas kõiki paroolide leidmise režiime ja suure hulga häshtide samaaegset laadimist. Töö kiirusel on rakendatud maski kasutamine (režiim „—mask”, sealhulgas koos teiste režiimidega) ja arvutatud häshtide võrdlemine FPGA-le laaditutega. Rakenduse vaatenurgast on paljudes disainides (nt sha512crypt ja Drupal7) rakendatud plokid, mis koosnevad mitme põhijuhtmega protsessorituumadest (soft CPU cores), mis suhtlevad krüptograafiliste tuumadega. Selle funktsionaalsuse väljatöötamist juhtis Denis Burikin koos teiste jumbo arendajatega.

Teised olulised muudatused:

• Toetada suure hulga lisahatšitaipoode, krüpteerimise meetodeid jne, sealhulgas nii klassikalisi paroolide hash'e (näiteks uute QNX-i versioonide puhul) kui ka krüptorahakotte, krüpteeritud arhiive ja krüpteeritud failisüsteeme (näiteks Bitlocker ja FreeBSD geli), samuti uute formaatide erinevuste toetamine, mis varem olid toetatud (näiteks on lisatud bcrypt-pbkdf tugi OpenBSD softraid'i jaoks) ja palju muud. Kokku on lisatud 80 formaati CPU-le ja 47 OpenCL-ile (ning väike arv vanu on eemaldatud, kuna need on uutega integreeritud ja vananenud). Kokku on nüüd 407 formaati CPU-l (või 262, kui mitte arvestada „dünaamilisi“ formaate, mida saab konfigureerimisfailidest seadistada) ja 88 OpenCL-ile.
• CUDA keele toetamisest loobumine OpenCL-i kasuks, mis ei takista NVIDIA GPU-de täielikku kasutamist (ja isegi aitab, tänu arenduse fookustamisele ja optimeerimisele igas formaadis GPU jaoks ühe rakenduse suunas, mitte kahe rakenduse suunas nagu varem).
• Uute SIMD käskude komplektide tugi — AVX2, AVX-512 (sealhulgas teise põlvkonna Xeon Phi jaoks) ja MIC (esimese põlvkonna jaoks) — samuti universaalsema ja täieliku SIMD kasutamise rakendused paljude formaatide implementeerimistes, sealhulgas varasemate käskude komplektide rakendamine kuni AVX ja XOP x86(-64) ja
  NEON, ASIMD ja AltiVec ARM, Aarch64 ja POWER jaoks, vastavalt. (Osaliselt GSoC 2015 raames.)
• Küsimuste ja OpenCL-i jaoks arvukad optimeerimised, et tõhusamalt hakkama saada suure hulga hash'idega korraga (näiteks testiti 320 miljoni SHA-1 hash'i koormust GPU-l), samuti hash'ide arvutamise kiirus. Osa neist optimeerimisest on universaalne, osa katab erinevaid formaatide alamsüsteeme ning paljusid on spetsiifilisi konkreetsetele formaatidele.
• (Auto-)selle parameetrite automaatne seadistamine, et luua optimaalseid parameetreid vaadeldavate paroolide jaoks CPU-l ("—tune=auto —verbosity=5") ning optimaalsed ülesande suurused OpenCL-i jaoks (sisseehitatud vaikesätetena), sealhulgas arvestades NVIDIA GTX 10xx seeria ja uuemate GPU-de aeglast täitmist täisvõimsusel. Kasutatakse tegelikult koormatud hash'e ja vaadeldavate paroolide reaalseid pikkusi (kui teada ette) sellise automaatse seadistuse jaoks.
• Dünaamiliste väljendite kompilaatori lisamine, mis on otse käsureal määratud ja rakendavad uusi hübriidseid hash-tüüpe, näiteks "—format=dynamic=’sha1(md5($p).$s)’", mis arvutatakse CPU-l SIMD-i abil. Selliste väljendite koostisosadena toetatakse kümneid kiireid hashesid (alates levinud MD5-st kuni mõõdukalt eksootiliste Whirlpool-ini), alamsõnade ühendamist, kodeerimist ja dekodeerimist, tähemärkide registreerimise muutmist, viiteid paroolile, soolale, kasutajanimele ja stringi konstantidele.
• Soovimatute erinevuste kõrvaldamine hashcat-st, sealhulgas varasemalt hashcat-le spetsiifiliste reeglite toetamine (wordlist rule commands), üleminek OpenCL seadmete nummerdamisele 1.-st, sama paroolide pikkuse (tavaliselt 7) rakendamine jõudluse testimisel.
• Uued kontrollitud paroolide genereerimise režiimid (cracking modes), sealhulgas PRINCE hashcat-ist (moodustab "fraase", ühendades mitu sõna kasvava kogupikkuse järjekorras), subsets (valib paroolid, mis ei sisalda piisavalt erinevaid märke, isegi kui need tulevad suurest võimalikest kogumist) ja hybrid external (lubab väliseid režiime, mida kirjeldatakse C-sarnastes konfigureerimisfailides, luua palju kontrollitud parooli igasuguste "sõnade", mis tuginevad teiselt režiimist, põhjal). Samuti mitu uut eelmääratud välist režiimi.
• Lisavõimalused mitme režiimi samaaegseks kasutamiseks (ühe kohal teise peal — stacking), samuti reeglite komplektide (wordlist rules stacking) selliseks kasutamiseks.
• Parandused maski režiimide jaoks (maski järkjärguline venitamine määratud pikkuste vahele, maski rakendamine OpenCL seadme või FPGA plaadi küljelt) ja single crack (loogiline käitumine seadmetes, mis arvutavad suurt arvu hashesid paralleelselt, millega ei jätkunud paroolidele kontrollimisel varem ja samuti mälu raiskamise piirangud).
• Palju täiustusi Unicode'i ja teiste kodeeringute toe osas erinevates alamsüsteemides.
• Palju täiustusi programmide *2john (mille abil muudetakse erineva formaadiga faile
  johniga kasutamiseks), eriti wpapcap2john (töötleb WiFi liiklust).
• Palju uusi käsurea valikuid, seadeid john.conf failis, configure-skripti valikuid ja nendega sobivaid uusi võimalusi, millest kaugel ei ole kõik siin mainitud.
• Koodi kvaliteedi tõstmine tänu sisseehitatud toe toele silumisversioonide, sealhulgas AddressSanitizer (varem olemas) ja UndefinedBehaviorSanitizer (lisatud), sisseehitatud formaadi fuzzimise lisamisele (GSoC 2015 raames), pidevale integreerimise rakendamisele (kümnete operatsioonisüsteemi ja kompilaatori kombinatsioonide kogumine ning uuring kõikide formaatide õige toe testimiseks).

Allikas: linux.org.ru