Использование zip-бомбы для борьбы с вредоносными web-ботами

Последнее время значительно возросла активность web-ботов, индексирующих трафик. Помимо корректно работающих ботов распространение получили «неистовые» боты, игнорирующие правила индексирования robots.txt, лезущие с десятков тысяч разных IP, притворяющиеся легитимными пользователями и не придерживающиеся разумной политики интенсивности отправки запросов. Данные боты создают огромную паразитную нагрузку на серверы, нарушают нормальную работоспособность систем и отнимают время администраторов. Активность подобных ботов воспринимается многими как вредоносные действия.

В качестве меры для замедления работы подобных ботов, а также ботов, сканирующих неисправленные уязвимости в типовых web-приложениях, один из администраторов предложил метод «zip-бомбы». Суть метода в том, что web-боту в ответ на запрос страницы передаётся содержимое, эффективно сжатое методом «deflate», размер которого при распаковке многократно превышает размер переданных по сети данных. Например, при использовании метода «deflate» содержимое из /dev/zero, упакованное в 10 МБ, при распаковке потребует 1 ГБ дискового пространства. При использовании метода сжатия «brotli» удалось добиться уровня, при котором передача 81 МБ приводит к распаковке 100 ТБ данных.

Активировать подобную защиту можно через создание ловушек, которые доступны по невидимым ссылкам, отмеченным флагом ‘rel=»nofollow»‘, исключённым из индексации через robots.txt и срабатывающим при достаточно высоком уровне рекурсии для ботов пытающихся притворяться обычными пользователями. На практике предложенный метод применять не рекомендуется, так как сайт может быть занесён Google в чёрный список и начнёт помечаться вредоносным в браузере Chrome с включённым режимом «Safe Browsing».

Источник: opennet.ru