Negli ultimi tempi, c'è stata un'attività significativamente aumentata dei web bot che indicizzano il traffico. Oltre ai bot che operano correttamente, sono emersi bot "aggressivi" che ignorano le regole di indicizzazione di robots.txt, utilizzando decine di migliaia di diversi IP, fingendosi utenti legittimi e non rispettando una ragionevole politica di intensità delle richieste. Questi bot creano un'enorme carico parassitario sui server, compromettono il corretto funzionamento dei sistemi e rubano tempo agli amministratori. L'attività di tali bot è percepita da molti come un'azione dannosa.
Come misura per rallentare il lavoro di tali bot, così come dei bot che scansionano vulnerabilità non corrette in tipiche applicazioni web, uno degli amministratori ha proposto il metodo della "zip-bomb". L'idea del metodo è che, in risposta alla richiesta di una pagina, al web bot viene inviato un contenuto efficacemente compresso con il metodo "deflate", la cui dimensione, una volta decompresso, supera di gran lunga la dimensione dei dati inviati in rete. Ad esempio, utilizzando il metodo "deflate", un contenuto da /dev/zero, impacchettato in 10 MB, richiederà 1 TB di spazio su disco una volta decompresso. Utilizzando il metodo di compressione "brotli", si è riusciti a raggiungere un livello in cui la trasmissione di 81 MB porta a una decompessione di 100 TB di dati.
È possibile attivare tale protezione creando trappole, accessibili tramite link invisibili, contrassegnati con il flag ‘rel="nofollow"’, esclusi dall'indicizzazione tramite robots.txt e che si attivano a un livello di ricorsività sufficientemente elevato per i bot che tentano di fingersi utenti normali. Nella pratica, non si raccomanda di applicare il metodo proposto, poiché il sito potrebbe essere messo nella blacklist di Google e iniziare a essere contrassegnato come dannoso nel browser Chrome con la modalità "Safe Browsing" attivata.
Fonte: opennet.ru
