Konstantin Ryabtsev, administratören för infrastrukturen kernel.org, har publicerat resultaten av analysen av trafiken frÄn tjÀnsten git.kernel.org, som möjliggör visning av innehÄllet i git-repositorier relaterade till utvecklingen av Linux-kÀrnan. TjÀnsten hanterar dagligen cirka 6 miljoner förfrÄgningar om commit-information, varav 66% kommer frÄn bots som kan blockeras med hjÀlp av systemet Anubis. 33% av förfrÄgningarna passerar Anubis-systemets kontroll, som tillÄter Ätkomst endast efter att ha löst en uppgift pÄ JavaScript-sprÄket dÀr SHA-256-hashen i kombination med en strÀng frÄn servern innehÄller ett visst antal ledande nollor (denna uppgift krÀver CPU-resurser för att lösa, men krÀver inga resurser för verifiering).
Det Àr omöjligt att exakt avgöra vilka av dessa 33% som Àr mÀnniskor och vilka som Àr avancerade bots, men baserat pÄ karaktÀren av förfrÄgningarna har vi dragit slutsatsen att den totala andelen legitima förfrÄgningar Àr omkring 2%, medan de andra 98% kommer frÄn skrappare. Ett av kÀnnetecknen för bots Àr direkta förfrÄgningar om gamla commits i slumpmÀssiga gamla grenar, som det Àr osannolikt att mÀnniskor har behov av i sitt arbete. Botternas aktivitet skapar en enorm parasitisk belastning pÄ servrar eftersom istÀllet för att ladda ner hela koden och historiken för commits en gÄng via operationen 'git clone' skickar bots miljarder förfrÄgningar, testar alla möjliga sÀtt att nÄ via web-grÀnssnittet och begÀr flera gÄnger samma data med olika parametrar.
Blockering av bots genom IP-adresser och autonoma system har snabbt slutat fungera, eftersom bots har övergÄtt till att skicka förfrÄgningar frÄn miljontals slumpmÀssiga IP-adresser frÄn hemnÀtverk eller mobila nÀtverk, fÄtt genom aktiviteter frÄn botnÀtverk eller monetisering av webblÀsartillÀgg. FrÄn varje adress skickas bara 4-5 förfrÄgningar, sÄ det Àr meningslöst att blockera dem pÄ brandvÀggsnivÄ.
Under en tid hjÀlpte systemet Anubis till att blockera bots, men med tiden har bots anpassat sig för att utföra de berÀkningar som Anubis erbjuder. Bland annat har bots lÀrt sig att lösa uppgiften av svÄrighetsgrad 5, och det blir problematiskt att öka svÄrighetsgraden ytterligare, eftersom Àven den femte nivÄn krÀver flera sekunders berÀkningar och irriterar legitima anvÀndare kraftigt.
Som följd av detta krÀvs det nu mer resurser för att hantera förfrÄgningar frÄn skrapare i infrastrukturen kernel.org Àn för alla andra typer av legitima operationer, inklusive "git clone". PÄ 5 servrar, som betjÀnar git.kernel.org, Àr 14-16 av de 90 CPU-kÀrnorna vid varje given tidpunkt stÀndigt upptagna med att visa git-commits för botar. För att minska belastningen försöker administratörerna nu skÀra ner tjÀnstens möjligheter, stÀnga av vissa resurskrÀvande operationer, begrÀnsa anonym Ätkomst och minska antalet lÀnkar tillgÀngliga för navigering.
KĂ€lla: opennet.ru
