In letzter Zeit hat die Aktivität von Webbots, die Traffic indexieren, erheblich zugenommen. Neben korrekt arbeitenden Bots haben sich auch „tolle“ Bots verbreitet, die die Regeln der Indexierung in robots.txt ignorieren, von Zehntausenden verschiedener IP-Adressen kommen, sich als legitime Benutzer ausgeben und sich nicht an eine angemessene Politik der Anfrageintensität halten. Diese Bots erzeugen eine enorme parasitäre Last auf Servern, stören die normale Betriebsfähigkeit der Systeme und kosten die Administratoren Zeit. Die Aktivität solcher Bots wird von vielen als schädliche Handlung wahrgenommen.
Als Maßnahme zur Verlangsamung der Arbeit solcher Bots sowie von Bots, die nach nicht gepatchten Schwachstellen in typischen Webanwendungen scannen, schlug einer der Administratoren die Methode der „Zip-Bombe“ vor. Das Prinzip der Methode besteht darin, dass dem Webbot als Antwort auf die Seitenanfrage ein Inhalt übermittelt wird, der effektiv mit der Methode „deflate“ komprimiert ist, dessen Größe beim Entpacken die über das Netzwerk übertragenen Daten mehrfach übersteigt. Zum Beispiel benötigt der Einsatz der „deflate“-Methode, wenn der Inhalt von /dev/zero in 10 MB gepackt ist, beim Entpacken 1 GB Speicherplatz. Bei der Verwendung des Komprimierungsverfahrens „brotli“ konnte ein Niveau erreicht werden, bei dem die Übertragung von 81 MB zu einem Entpacken von 100 TB Daten führt.
Eine solche Schutzmaßnahme kann durch die Erstellung von Fallen aktiviert werden, die über unsichtbare Links erreichbar sind, die mit dem Flag ‚rel="nofollow“‘ markiert sind, aus der Indexierung über robots.txt ausgeschlossen sind und bei einem ausreichend hohen Rekursionsgrad für Bots, die versuchen, sich als gewöhnliche Benutzer auszugeben, aktiviert werden. In der Praxis wird empfohlen, die vorgeschlagene Methode nicht anzuwenden, da die Website möglicherweise von Google auf die schwarze Liste gesetzt wird und im Chrome-Browser mit aktiviertem „Safe Browsing“-Modus als schädlich gekennzeichnet wird.
Quelle: opennet.ru
