Az utóbbi időben jelentősen megnőtt a webrobotok aktivitása, amelyek forgalmat indexelnek. A jól működő robotok mellett elterjedtek a "farkas" robotok, amelyek figyelmen kívül hagyják a robots.txt indexálási szabályait, tízezrekből álló különböző IP-címekről érkeznek, jogos felhasználóknak álcázva magukat, és nem tartják be a kérések küldésének ésszerű intenzitását. Ezek a robotok hatalmas parazitaterhelést okoznak a szervereken, megszakítják a rendszerek normális működését, és elveszik az adminisztrátorok idejét. Az ilyen robotok aktivitását sokan káros tevékenységként értékelik.
A hasonló robotok, valamint az ismert webalkalmazásokban nem javított sebezhetőségeket vizsgáló robotok munkájának lassítására egy adminisztrátor a "zip-bomba" módszert javasolta. A módszer lényege, hogy a webrobotnak a lap kérésére válaszul egy, a "deflate" módszerével hatékonyan tömörített tartalom kerül átadásra, amelynek mérete a hálózaton továbbított adatok méretének többszöröse a kibővítés után. Például a "deflate" módszert alkalmazva 10 MB méretű, a /dev/zero-ból származó tartalom kibővítve 1 GB lemezterületet igényel. A "brotli" tömörítési módszer alkalmazásával elértük azt a szintet, ahol a 81 MB továbbítása 100 TB adatmennyiség kibővítését eredményezi.
Az ilyen védelem aktiválható csapdák létrehozásával, amelyek észrevehetetlen linkeken keresztül érhetők el, 'rel="nofollow"' zászlóval megjelölve, a robots.txt alapján az indexálásból kizárva, és elegendő magas rekurzióval aktiválódnak a robotok számára, akik megpróbálnak normál felhasználóknak álcázni magukat. A gyakorlatban a javasolt módszert nem ajánlják, mivel a webhely bekerülhet a Google feketelistájára, és a Chrome böngészőben a "Safe Browsing" üzemmód bekapcsolásával kártevőnek minősítheti azt.
Forrás: opennet.ru
