Konstantin Ryabcev, az infrastruktúra adminisztrátora a kernel.org-on, közzétette a git.kernel.org szolgáltatás forgalmi elemzésének eredményeit, amely lehetővé teszi a Linux kernel fejlesztésével kapcsolatos git-tárolók tartalmának megtekintését. A szolgáltatás naponta körülbelül 6 millió lekérdezést dolgoz fel a commitokról, amelyekből 66% robotoktól származik, akiket sikerül blokkolni az Anubis rendszer segítségével. A lekérdezések 33%-a átmegy az Anubis rendszeren, amely csak akkor engedélyez bejegyzést, miután a JavaScript nyelven megoldották egy érték kiszámítását, amelynek a SHA-256 hash-a egy adott számú vezető nullát tartalmaz a kiszolgáló által kiadott sztring mellett (ez a feladat CPU erőforrásait igényli a megoldáshoz, de nem igényel erőforrást az ellenőrzéshez).
Pontosan meghatározni, hogy ezek közül a 33%-ból ki az ember és ki a fejlett bot, lehetetlen, de a lekérdezések jellege alapján arra a következtetésre jutottunk, hogy a legitim lekérdezések aránya körülbelül 2%, míg a többi 98% scraper. A botok egyik jelének tekintik a véletlenszerű régi ágakban található régi commitok közvetlen lekérdezéseit, amelyek valószínűtlen, hogy emberek munkájához szükségesek. A botok aktivitása hatalmas parazita terhelést okoz szerverek mivel ahelyett, hogy egyszer betöltenék az összes kódot és a commitok történetét a 'git clone' művelet révén, a botok milliárdnyi lekérdezést küldenek, próbálva minden lehetséges webes interfész-lekérdezést, és többször is ugyanazokat az adatokat kérdezik le különböző paraméterekkel.
A botok blokkolása alapján IP-címek és az autonóm rendszerek meglehetősen gyorsan leálltak működni, mivel a botok áttértek arra, hogy lekérdezéseket küldjenek milliók véletlenszerű IP-címéről otthoni vagy mobil hálózatokból, amelyeket botnetaktivitás vagy böngésző-kiegészítőkkel való monetizálás eredményeként szereztek. Minden címről csupán 4-5 lekérdezést küldenek, így a tűzfal szintjén való blokkolásuk haszontalan.
Egy ideig segített a botok blokkolásában az Anubis rendszer, de idővel a botok alkalmazkodtak az Anubis által kínált számítások elvégzésére. Egyebek között a botok megtanulták megoldani az 5. szintű problémát, és a további szinten való emelkedés problémás, mivel még az ötödik szint is több másodpercnyi számítást igényel, amely jelentősen zavarja a legitim felhasználókat.
A végén a kernel.org infrastruktúrájában a scrape-elési kérelmek kezelésére több erőforrást kell fordítani, mint az összes többi legális műveletre, beleértve a „git clone”-t is. 5 szervereken, a git.kernel.org-ot kiszolgálva, bármikor 14-16 az elérhető 90 CPU mag folyamatosan a git-commitek botok számára történő megjelenítésével van elfoglalva. Az adminisztrátorok most próbálják csökkenteni a terhelést, letiltani néhány erőforrás-igényes műveletet, korlátozni az anonim hozzáférést és csökkenteni a navigálásra elérhető linkek számát.
Forrás: opennet.ru
