Konstantin Ryabtsev, administrator infrastrukture kernel.org, objavio je rezultate analize prometa servisa git.kernel.org, koji omogućuje pregled sadržaja Git repozitorija projekata vezanih uz razvoj kernela. LinuxUsluga dnevno obrađuje otprilike 6 milijuna zahtjeva za informacijama o commit-u, od kojih 66% dolazi od botova, koje blokira Anubis sustav. 33% zahtjeva provjerava Anubis sustav, koji dopušta unos tek nakon brute-forsiranja JavaScript vrijednosti čiji SHA-256 hash, u kombinaciji s nizom poslanim od strane poslužitelja, sadrži određeni broj vodećih nula (ovaj zadatak zahtijeva CPU resurse za rješavanje, ali ne zahtijeva resurse za provjeru).
Nemoguće je točno utvrditi koji su od ovih 33% ljudi, a koji napredni botovi, ali na temelju prirode zahtjeva zaključeno je da je ukupni udio legitimnih zahtjeva otprilike 2%, a preostalih 98% dolazi od scrapera. Jedan od pokazatelja botova su izravni zahtjevi za starim commitovima u nasumičnim starim granama koje vjerojatno neće trebati ljudima. Aktivnost botova stvara ogromno parazitsko opterećenje na poslužitelji Jer umjesto da jednom preuzmu sav kod i povijest commitova putem operacije "git clone", botovi šalju milijarde zahtjeva, isprobavajući sve moguće opcije putem web sučelja i opetovano tražeći iste podatke s različitim parametrima.
Blokiranje botova od strane IP adrese i autonomni sustavi brzo su prestali raditi, jer su botovi prešli na slanje zahtjeva s milijuna nasumičnih IP adresa iz kućnih ili mobilnih mreža, dobivenih putem aktivnosti botneta ili monetizacije dodataka preglednika. Svaka adresa šalje samo 4-5 zahtjeva, što njihovo blokiranje na razini vatrozida čini beskorisnim.
Anubisov sustav je neko vrijeme pomagao u blokiranju botova, ali s vremenom su se botovi prilagodili za izvođenje izračuna koje je nudio Anubis. Između ostalog, botovi su naučili rješavati probleme 5. razine težine, ali povećanje razine težine je problematično, jer čak i 5. razina zahtijeva nekoliko sekundi izračuna i vrlo je iritantna za legitimne korisnike.
Kao rezultat toga, servisiranje zahtjeva za struganje u infrastrukturi kernel.org troši više resursa nego sve ostale vrste legitimnih operacija, uključujući "git klon". poslužiteljiU bilo kojem trenutku, 14-16 od 90 CPU jezgri koje opslužuju git.kernel.org stalno su zauzete prikazivanjem Git commitova botovima. Kako bi smanjili opterećenje, administratori sada pokušavaju smanjiti mogućnosti servisa, onemogućiti neke operacije koje zahtijevaju puno resursa, ograničiti anonimni pristup i smanjiti broj poveznica dostupnih za navigaciju.
Izvor: opennet.ru
