Récemment, l'activité des web-bots indexant le trafic a considérablement augmenté. En plus des bots fonctionnant correctement, une prolifération de « super-bots » a eu lieu, ignorant les règles d'indexation de robots.txt, accédant à partir de dizaines de milliers d'IP différentes, se faisant passer pour des utilisateurs légitimes et ne respectant pas une politique raisonnable d'intensité d'envoi de requêtes. Ces bots créent une énorme charge parasitaire sur les serveurs, perturbent le bon fonctionnement des systèmes et volent du temps aux administrateurs. L'activité de ces bots est perçue par beaucoup comme des actions malveillantes.
Pour ralentir le fonctionnement de ces bots, ainsi que ceux qui scannent les vulnérabilités non corrigées dans les applications web classiques, un des administrateurs a proposé la méthode de la « bombe zip ». Le principe de cette méthode est qu'en réponse à la demande d'une page, le web-bot reçoit un contenu efficacement compressé par le biais du « deflate », dont la taille, une fois décompressée, dépasse de plusieurs fois celle des données transférées sur le réseau. Par exemple, en utilisant la méthode « deflate », un contenu provenant de /dev/zero, emballé en 10 Mo, nécessitera 1 Go d'espace disque après décompression. En utilisant la méthode de compression « brotli », on a réussi à atteindre un niveau où le transfert de 81 Mo entraîne la décompression de 100 To de données.
Il est possible d'activer cette protection en créant des pièges accessibles par des liens invisibles, marqués du drapeau ‘rel="nofollow"’, exclus de l'indexation via robots.txt et se déclenchant à un niveau de récursion suffisamment élevé pour les bots tentant de se faire passer pour des utilisateurs ordinaires. Dans la pratique, la méthode proposée n'est pas recommandée, car le site peut être inscrit sur la liste noire de Google et commencer à être marqué comme nuisible dans le navigateur Chrome avec le mode « Safe Browsing » activé.
Source : opennet.ru
