V poslednej dobe sa výrazne zvýšila aktivita webových botov, ktoré indexujú návštevnosť. Okrem správne fungujúcich botov sa rozšírili aj „neúnavné“ roboty, ignorujúce pravidlá indexovania robots.txt, prichádzajúce z desiatok tisíc rôznych IP adries, tváriace sa ako legitímni používatelia a nedodržujúce rozumnú politiku intenzity odosielania žiadostí. Tieto roboty vytvárajú obrovskú parazitickú záťaž na serveroch, narušujú normálnu činnosť systémov a zaberajú čas administrátorom. Aktivita takýchto botov je mnohými vnímaná ako škodlivé konanie.
Ako opatrenie na spomalenie práce takýchto botov, ako aj botov skenujúcich nezaplatené zraniteľnosti v typických webových aplikáciách, jeden z administrátorov navrhol metódu „zip-bomby“. Podstata metódy spočíva v tom, že webovému botu je na požiadavku stránky posielaný obsah, efektívne komprimovaný metódou „deflate“, ktorého veľkosť pri rozbalení niekoľkonásobne prevyšuje veľkosť prenesených dát po sieti. Napríklad, pri použití metódy „deflate“ vyžaduje obsah z /dev/zero, zabalený do 10 MB, pri rozbalení 1 GB diskového priestoru. Pri použití metódy kompresie „brotli“ sa podarilo dosiahnuť úroveň, pri ktorej prenos 81 MB vedie k rozbaleniu 100 TB dát.
Aktivovať takúto ochranu je možné prostredníctvom vytvorenia pascí, ktoré sú prístupné prostredníctvom neviditeľných odkazov označených vlajkou ‘rel="nofollow"‘, vylúčených z indexovania prostredníctvom robots.txt a spúšťajúcich sa pri dostatočne vysokých úrovniach rekurzie pre boty, ktoré sa snažia tváriť ako bežní používatelia. V praxi sa navrhovaná metóda neodporúča, pretože môže byť webová stránka zaradená Googlem na čiernu listinu a začne byť označovaná ako škodlivá v prehliadači Chrome s aktívnym režimom „Safe Browsing“.
Zdroj: opennet.ru
