98% git.kernel.org'i päringutest genereerivad robotid, luues tohutu parasiitkoorma.

Konstantin Rjabtsev, kernel.org infrastruktuuri administraator, avaldas teenuse git.kernel.org liikluse analüüsi tulemused, mis võimaldab vaadata Linuxi tuumaga seotud projektide git-repositooriumide sisu. Igapäevaselt töötleb teenus umbes 6 miljonit teavet commit'ide kohta, millest 66% langeb robotitele, mida õnnestub blokeerida süsteemi Anubis kaudu. 33% päringutest läbib Anubise kontrolli, mis lubab sisu juurde pääseda ainult pärast JavaScripti keeles lahendatava väärtuse leidmist, mille SHA-256 hash koos serveri antud stringiga sisaldab nõutavat arvu juhtivaid nullsid (see ülesanne nõuab CPU ressursse lahendamiseks, kuid ei vaja ressursse kontrollimiseks).

On keeruline määrata, kes nende 33% hulgast on inimesed ja kes arenenud robotid, kuid pöördumiste iseloomu põhjal on järeldatud, et legitiimsete päringute üldine osakaal on umbes 2%, samas kui ülejäänud 98% langeb kraapijatele. Üks robotite tunnustamise märke on otsepäringud vanadele commit'idele juhuslikes vanades okste kaudu, mis on ebatõenäoline, et inimesed vajavad oma töös. Robotite aktiivsus tekitab tohutu parasiitkoorma serveritele. serverid sest selle asemel, et laadida kord kogu kood ja commit'ide ajalugu ‘git clone’ abil, saadavad robotid miljardeid päringuid, järjestades kõik võimalikud lähenemiste variandid veebiliidese kaudu ning küsides korduvalt samu andmeid erinevate parameetritega.

Robotite blokeerimine IP-aadresside ja autonoomsete süsteemide kaupa lõpetas piisavalt kiiresti töötamise, kuna robotid hakkasid saatma päringuid miljonitest juhuslikest IP-aadressidest kodu- või mobiilsetest võrkudest, mis tulenevad botnetide tegevusest või brauserilisandite monetiseerimisest. Iga aadressilt saadetakse vaid 4-5 päringut, seetõttu on neid tulemüüri tasandil blokeerida kasutu.

Mõnda aega aitas robotite blokeerida süsteem Anubis, kuid aja jooksul kohandasid robotid ennast Anubises pakutud arvutuste täitmiseks. Muuhulgas õppisid robotid lahendama 5. taseme raskusastme ülesannet, kuid edasi taseme tõstmine osutub problemaatiliseks, kuna isegi viies tase nõuab mitmeid sekundeid arvutusi ja häirib tugevalt legitiimseid kasutajaid.

Kokkuvõttes kulutab kernel.org infrastruktuur rohkem ressursse skräppereid teenindavate päringute jaoks kui kõigi teiste seaduslike toimingute jaoks kokku, sealhulgas «git clone». 5 serverites, mis teenindavad git.kernel.org, on 14–16 olemasolevast 90 CPU tuumast pidevalt hõivatud git-commitide kuvamisega botidele. Koormuse vähendamiseks püüavad administraatorid nüüd teenuse võimalusi kärpida, keelata mõned ressursimahukad toimingud, piirata anonüümset juurdepääsu ja vähendada navigatsiooniks saadaval olevate linkide arvu.

Allikas: opennet.ru