De afgelopen tijd is de activiteit van web-bots die verkeer indexeren aanzienlijk toegenomen. Naast de correct functionerende bots hebben zich ook 'woedende' bots verspreid, die de indexeringsregels van robots.txt negeren, afkomstig zijn van tienduizenden verschillende IP-adressen, zich voordoen als legitieme gebruikers en zich niet houden aan redelijke verzoekintensiteit. Deze bots creƫren een enorme parasitaire belasting op servers, verstoren de normale werking van systemen en kosten beheerders tijd. De activiteit van dergelijke bots wordt door velen als kwaadaardige handelingen ervaren.
Als maatregel om de werking van dergelijke bots, evenals bots die onopgeloste kwetsbaarheden in standaard webtoepassingen scannen, te vertragen, heeft een van de beheerders de methode van de 'zip-bom' voorgesteld. Het idee achter deze methode is dat een web-bot bij een pagina-aanroep content ontvangt die effectief is gecomprimeerd met de methode 'deflate', waarvan de omvang bij het uitpakken vele malen groter is dan de verzonden gegevens. Bijvoorbeeld, bij gebruik van de 'deflate'-methode vereist content uit /dev/zero, verpakt in 10 MB, bij het uitpakken 1 GB schijfruimte. Bij gebruik van de 'brotli'-compressiemethode is er een niveau bereikt waarbij het verzenden van 81 MB leidt tot het uitpakken van 100 TB gegevens.
Deze bescherming kan worden geactiveerd door het creƫren van valstrikken die toegankelijk zijn via onzichtbare links, gemarkeerd met de vlag 'rel="nofollow"', uitgesloten van indexering via robots.txt en die activeren bij een voldoende hoog niveau van recursie voor bots die proberen zich voor te doen als gewone gebruikers. In de praktijk wordt het aanbevolen deze methode niet toe te passen, omdat de website door Google op een zwarte lijst kan worden gezet en als schadelijk kan worden gemarkeerd in de Chrome-browser met de ingeschakelde modus 'Veilig Browsen'.
Bron: opennet.ru
