„kernel.org“ infrastruktūros administratorius Konstantinas Riabcevas paskelbė „git.kernel.org“ paslaugos, leidžiančios peržiūrėti su branduolio kūrimu susijusių projektų „Git“ saugyklų turinį, srauto analizės rezultatus. LinuxPaslauga kasdien apdoroja maždaug 6 milijonus informacijos patvirtinimo užklausų, iš kurių 66 % yra iš robotų, kuriuos blokuoja „Anubis“ sistema. 33 % užklausų patikrina „Anubis“ sistema, kuri leidžia įeiti tik po to, kai „brute-force“ būdu įvedama „JavaScript“ reikšmė, kurios SHA-256 maišos kodas kartu su serverio atsiųsta eilute turi tam tikrą skaičių nulių priekyje (šiai užduočiai išspręsti reikia procesoriaus išteklių, bet nereikia išteklių patikrinimui).
Neįmanoma tiksliai nustatyti, kurie iš šių 33 % yra žmonės, o kurie – pažangūs robotai, tačiau remiantis užklausų pobūdžiu, padaryta išvada, kad bendra teisėtų užklausų dalis yra maždaug 2 %, o likę 98 % – iš duomenų skreperių. Vienas iš robotų rodiklių yra tiesioginės užklausos dėl senų pakeitimų atsitiktinėse senose šakose, kurių žmonėms greičiausiai nereikės. Robotų veikla sukuria didžiulę parazitinę apkrovą. serveriai Nes užuot atsisiuntę visą kodą ir pakeitimų istoriją vieną kartą per „git clone“ operaciją, robotai siunčia milijardus užklausų, išbandydami visas įmanomas parinktis per žiniatinklio sąsają ir pakartotinai prašydami tų pačių duomenų su skirtingais parametrais.
Robotų blokavimas Mano IP adresas Autonominės sistemos greitai nustojo veikti, nes robotai pradėjo siųsti užklausas iš milijonų atsitiktinių IP adresų iš namų ar mobiliųjų tinklų, gautų per robotų tinklų veiklą arba monetizuojant naršyklės priedus. Kiekvienas adresas siunčia tik 4–5 užklausas, todėl jų blokavimas užkardos lygmeniu yra nenaudingas.
Kurį laiką „Anubis“ sistema padėjo blokuoti robotus, tačiau laikui bėgant robotai prisitaikė atlikti „Anubis“ siūlomus skaičiavimus. Be kita ko, robotai išmoko spręsti 5 sudėtingumo lygio uždavinius, tačiau sudėtingumo lygio didinimas yra problemiškas, nes net 5 lygis reikalauja kelių sekundžių skaičiavimo ir yra labai erzinantis teisėtiems vartotojams.
Dėl to grandiklio užklausų aptarnavimas kernel.org infrastruktūroje sunaudoja daugiau išteklių nei visų kitų tipų teisėtos operacijos, įskaitant „git clone“. serveriaiBet kuriuo metu 14–16 iš 90 „git.kernel.org“ aptarnaujančių procesoriaus branduolių nuolat rodo „Git“ pakeitimus robotams. Siekdami sumažinti apkrovą, administratoriai dabar bando sumažinti paslaugos galimybes, išjungti kai kurias daug išteklių reikalaujančias operacijas, apriboti anoniminę prieigą ir sumažinti naršymui skirtų nuorodų skaičių.
Šaltinis: opennet.ru
