Konstantin Ryabtsev, die administrateur van die kernel.org-infrastruktuur, het die resultate van 'n ontleding van die verkeer van die git.kernel.org-diens gepubliseer, wat die besigtiging van die inhoud van Git-bewaarplekke van projekte wat verband hou met kernontwikkeling moontlik maak. LinuxDie diens verwerk daagliks ongeveer 6 miljoen versoeke vir inligting oor toegewings, waarvan 66% van botte afkomstig is, wat deur die Anubis-stelsel geblokkeer word. 33% van die versoeke word deur die Anubis-stelsel geverifieer, wat slegs toegang toelaat na brute-forsering van 'n JavaScript-waarde waarvan die SHA-256-hash, gekombineer met die bediener-gestuurde string, 'n sekere aantal voorste nulle bevat (hierdie taak vereis SVE-hulpbronne om op te los, maar benodig nie hulpbronne vir verifikasie nie).
Dit is onmoontlik om presies te bepaal watter van hierdie 33% mense is en watter gevorderde botte is, maar gebaseer op die aard van die versoeke, is tot die gevolgtrekking gekom dat die algehele aandeel van wettige versoeke ongeveer 2% is, met die oorblywende 98% wat van skrapers afkomstig is. Een aanduiding van botte is direkte versoeke vir ou commits in ewekansige ou takke wat waarskynlik nie deur mense benodig sal word nie. Botaktiwiteit skep 'n groot parasitiese las op bedieners Want in plaas daarvan om al die kode en toewydingsgeskiedenis een keer via die "git clone"-bewerking af te laai, stuur botte miljarde versoeke, probeer al die moontlike opsies deur die webkoppelvlak en versoek herhaaldelik dieselfde data met verskillende parameters.
Blokkeer botte deur My IP adres en outonome stelsels het vinnig opgehou werk, aangesien botte oorgeskakel het na die stuur van versoeke van miljoene ewekansige IP-adresse vanaf tuis- of mobiele netwerke, verkry deur botnet-aktiwiteit of monetarisering van blaaier-byvoegings. Elke adres stuur slegs 4-5 versoeke, wat die blokkering daarvan op firewallvlak nutteloos maak.
Vir 'n rukkie het die Anubis-stelsel gehelp om robotte te blokkeer, maar mettertyd het robotte aangepas om die berekeninge wat deur Anubis aangebied word, uit te voer. Onder andere het robotte geleer om probleme van vlak 5-moeilikheidsgraad op te los, maar die verhoging van die moeilikheidsgraad is problematies, aangesien selfs vlak 5 'n paar sekondes se berekening vereis en hoogs irriterend is vir wettige gebruikers.
Gevolglik verbruik die diens van skraperversoeke in die kernel.org-infrastruktuur meer hulpbronne as alle ander soorte wettige bedrywighede, insluitend "git clone". bedienersOp enige gegewe tydstip is 14-16 van die 90 SVE-kerne wat git.kernel.org bedien, voortdurend besig om Git-verbintenisse aan botte te vertoon. Om die las te verminder, probeer administrateurs nou die diens se vermoëns verminder, sommige hulpbron-intensiewe bewerkings deaktiveer, anonieme toegang beperk en die aantal skakels wat vir navigasie beskikbaar is, verminder.
Bron: opennet.ru
