Recientemente ha aumentado significativamente la actividad de los webbots que indexan el tráfico. Además de los bots que funcionan correctamente, se han proliferado los «bots furiosos», que ignoran las reglas de indexación de robots.txt, accediendo desde decenas de miles de IP diferentes, haciéndose pasar por usuarios legítimos y sin seguir una política razonable de intensidad de solicitudes. Estos bots generan una enorme carga parasitaria en los servidores, interrumpen el funcionamiento normal de los sistemas y consumen el tiempo de los administradores. La actividad de tales bots es percibida por muchos como acciones maliciosas.
Como medida para ralentizar el funcionamiento de estos bots, así como de aquellos que escanean vulnerabilidades no corregidas en aplicaciones web estándar, uno de los administradores propuso el método de «zip-bombas». La esencia del método es que, en respuesta a una solicitud de página del webbot, se le envía un contenido que se comprime de manera eficaz mediante el método «deflate», cuyo tamaño, al descomprimirse, supera varias veces el tamaño de los datos transmitidos por la red. Por ejemplo, al utilizar el método «deflate», el contenido de /dev/zero, empaquetado en 10 MB, requerirá 1 GB de espacio en disco al descomprimirse. Utilizando el método de compresión «brotli», se logró un nivel donde la transmisión de 81 MB resulta en la descompresión de 100 TB de datos.
Se puede activar esta protección mediante la creación de trampas que son accesibles a través de enlaces invisibles, marcados con la bandera ‘rel="nofollow"’, excluidos de la indexación a través de robots.txt y que se activan en un nivel de recursión suficientemente alto para los bots que intentan hacerse pasar por usuarios normales. En la práctica, no se recomienda aplicar el método propuesto, ya que el sitio puede ser incluido en la lista negra de Google y empezar a ser marcado como malicioso en el navegador Chrome con el modo «Navegación Segura» activado.
Fuente: opennet.ru
