Negli ultimi tempi, è aumentata notevolmente l'attività dei bot web che indicizzano il traffico. Oltre ai bot funzionanti correttamente, si sono diffusi i "bot sfrenati", che ignorano le regole di indicizzazione di robots.txt, provengono da decine di migliaia di IP diversi, si spacciano per utenti legittimi e non seguono una politica ragionevole di intensità delle richieste inviate. Questi bot creano un enorme carico parassitario sui server, compromettono il corretto funzionamento dei sistemi e rubano tempo agli amministratori. L'attività di tali bot è percepita da molti come un'azione malevola.
Come misura per rallentare il funzionamento di tali bot, così come di quelli che scansionano le vulnerabilità non corrette nelle applicazioni web standard, uno degli amministratori ha proposto il metodo della "zip-bomb". L'essenza del metodo è che al bot web, in risposta a una richiesta di pagina, viene fornito un contenuto efficacemente compresso con il metodo "deflate", la cui dimensione, una volta decompresso, supera di gran lunga la dimensione dei dati trasferiti in rete. Ad esempio, utilizzando il metodo "deflate", il contenuto da /dev/zero, imballato in 10 MB, richiederà 1 GB di spazio su disco una volta decompresso. Con l'utilizzo del metodo di compressione "brotli" si è riusciti a raggiungere un livello in cui la trasmissione di 81 MB porta a una decompressione di 100 TB di dati.
È possibile attivare una tale protezione creando trappole, che sono accessibili tramite link invisibili, contrassegnati dal flag ‘rel=\"nofollow\"‘, escluse dall'indicizzazione tramite robots.txt e che si attivano a un livello di ricorsione sufficientemente elevato per i bot che cercano di spacciarsi per utenti normali. Nella pratica, non si raccomanda l'applicazione del metodo proposto, poiché il sito potrebbe essere inserito nella blacklist di Google e iniziare a essere etichettato come malevolo nel browser Chrome con la modalità "Safe Browsing" attivata.
Fonte: opennet.ru
