Recentemente, houve um aumento significativo na atividade de web bots que indexam tráfego. Além dos bots que operam corretamente, surgiu a disseminação de "bots agressivos" que ignoram as regras de indexação do robots.txt, utilizando dezenas de milhares de IPs diferentes, fingindo ser usuários legítimos e não respeitando uma política razoável de intensidade de requisições. Esses bots criam uma enorme carga parasitária nos servidores, comprometem o funcionamento normal dos sistemas e consomem o tempo dos administradores. A atividade desses bots é vista por muitos como ações maliciosas.
Como uma medida para desacelerar a operação desses bots, bem como aqueles que escaneiam vulnerabilidades não corrigidas em aplicações web comuns, um dos administradores sugeriu o método de "zip-bombas". A essência do método é que, em resposta à solicitação de uma página, um bot web recebe um conteúdo que é eficientemente compactado pelo método "deflate", cujo tamanho, ao ser descompactado, ultrapassa em muito o tamanho dos dados transmitidos pela rede. Por exemplo, utilizando o método "deflate", um conteúdo de /dev/zero, compactado em 10 MB, ao ser descompactado requer 1 GB de espaço em disco. Com o método de compressão "brotli", foi possível alcançar um nível onde a transmissão de 81 MB resulta na descompactação de 100 TB de dados.
Ativar tal proteção pode ser feito através da criação de armadilhas que estão acessíveis por links invisíveis, marcados com a flag 'rel="nofollow"', excluídos da indexação pelo robots.txt e que são acionados em um nível de recursão suficientemente alto para bots que tentam se passar por usuários comuns. Na prática, o método proposto não é recomendado, pois o site pode ser listado pelo Google como indesejado e começará a ser marcado como malicioso no navegador Chrome com o modo "Safe Browsing" habilitado.
Fonte: opennet.ru
