V poslední době výrazně vzrostla aktivita webových botů indexujících provoz. Kromě správně fungujících botů se rozšířily „zažrané“ boty, které ignorují pravidla indexování robots.txt, útočí z desítek tisíc různých IP adres, vydávají se za legitimní uživatele a nedodržují rozumnou politiku intenzity zasílání dotazů. Tyto boty vytvářejí obrovské parazitní zatížení na serverech, narušují normální funkčnost systémů a zabírají čas administrátorům. Aktivita takových botů je mnohými vnímána jako škodlivé jednání.
Jako opatření ke zpomalení činnosti takových botů, stejně jako botů skenujících neopravené zranitelnosti v typických webových aplikacích, navrhl jeden z administrátorů metodu „zip-bomby“. Podstatou metody je, že webový bot při požadavku na stránku obdrží obsah efektivně komprimovaný metodou „deflate“, jehož velikost po rozbalení mnohonásobně převyšuje velikost přenesených dat přes síť. Například při použití metody „deflate“ obsah z /dev/zero, zabalený do 10 MB, při rozbalení vyžaduje 1 GB diskového prostoru. Při použití kompresní metody „brotli“ se podařilo dosáhnout úrovně, kdy přenos 81 MB vede k rozbalení 100 TB dat.
Aktivaci podobné ochrany lze provést vytvořením pastí, které jsou dostupné přes neviditelné odkazy označené příznakem ‘rel=“nofollow“’, vyloučené z indexace prostřednictvím robots.txt a aktivující se při dostatečně vysoké úrovni rekurze pro boty pokoušející se vydávat za běžné uživatele. V praxi se navržená metoda nedoporučuje, protože webová stránka může být Googlem zařazena na černou listinu a začne být označována jako škodlivá v prohlížeči Chrome se zapnutým režimem „Bezpečné prohlížení“.
Zdroj: opennet.ru
