In letzter Zeit hat die AktivitĂ€t von Web-Bots, die den Verkehr indizieren, erheblich zugenommen. Neben funktionierenden Bots haben sich auch "aggressive" Bots verbreitet, die die Regeln fĂŒr die Indizierung durch robots.txt ignorieren, mit Zehntausenden verschiedener IPs auftreten und sich als legitime Nutzer ausgeben, wĂ€hrend sie sich nicht an eine angemessene Request-IntensitĂ€t halten. Diese Bots erzeugen eine enorme parasitĂ€re Last auf den Servern, beeintrĂ€chtigen die normale Funktionsweise der Systeme und kosten die Administratoren wertvolle Zeit. Die AktivitĂ€t solcher Bots wird von vielen als schĂ€dliche Handlung wahrgenommen.
Um die AktivitĂ€ten solcher Bots, die ungepatchte Schwachstellen in typischen Webanwendungen scannen, zu verlangsamen, schlug einer der Administratoren die Methode der "Zip-Bomben" vor. Bei diesem Ansatz wird dem Web-Bot als Antwort auf eine Seitenanfrage ein Inhalt ĂŒbergeben, der effizient mit dem Verfahren "Deflate" komprimiert wurde und beim Entpacken ein Vielfaches des ĂŒber das Netzwerk ĂŒbertragenen Datenvolumens erfordert. Zum Beispiel benötigt beim Einsatz der "Deflate"-Methode ein aus /dev/zero komprimierter Inhalt von 10 MB beim Entpacken 1 GB Speicherplatz. Durch die Verwendung der Komprimierungsmethode "Brotli" gelang es, ein Niveau zu erreichen, bei dem die Ăbertragung von 81 MB zu einer Entpackung von 100 TB Daten fĂŒhrt.
Der Schutz kann durch die Erstellung von Fallen aktiviert werden, die ĂŒber unsichtbare Links zugĂ€nglich sind, die mit dem Flaggenattribut 'rel="nofollow"' gekennzeichnet sind, von der Indizierung ĂŒber robots.txt ausgeschlossen sind und bei einem ausreichend hohen Regressionsniveau fĂŒr Bots, die versuchen, sich als normale Benutzer auszugeben, aktiviert werden. In der Praxis wird jedoch empfohlen, diese Methode nicht anzuwenden, da die Website von Google auf die schwarze Liste gesetzt werden könnte und im Chrome-Browser mit aktiviertem "Safe Browsing" als schĂ€dlich markiert wird.
Quelle: opennet.ru
