主持人 > 博客 > 管理 > 我们识别潜在的“邪恶”机器人并通过 IP 阻止它们

我们识别潜在的“邪恶”机器人并通过 IP 阻止它们

我们识别潜在的“邪恶”机器人并通过 IP 阻止它们

再会！ 在这篇文章中，我将告诉你常规托管的用户如何捕获在网站上产生过多负载的 IP 地址，然后使用托管工具阻止它们，其中会有“一点点”php 代码，一些屏幕截图。

输入数据：

  1. 在 CMS WordPress 上创建的网站
  2. Hosting Beget（这不是广告，但管理面板屏幕截图将来自该特定托管提供商）
  3. WordPress 网站于 2000 年初推出，拥有大量文章和材料
  4. PHP 版本 7.2
  5. WP已经是最新版本了
  6. 一段时间以来，根据托管数据，该网站开始在 MySQL 上产生高负载。 每天这个值都超过每个账户正常值的 120%
  7. 据 Yandex. Metrica 网站每天有 100-200 人访问

首先，这是这样做的：

  1. 数据库表已清除累积的垃圾
  2. 不必要的插件被禁用，过时的代码部分被删除

同时，我想提请您注意这样一个事实：我们尝试了缓存选项（缓存插件）并进行了观察，但一个站点 120% 的负载没有变化，而且只会增长。

托管数据库的大致负载是什么样的

我们识别潜在的“邪恶”机器人并通过 IP 阻止它们
顶部是有问题的站点，下面是具有相同 cms 和大致相同流量但产生较少负载的其他站点。

分析

  • 我们对数据缓存选项进行了多次尝试，并进行了数周的观察（幸运的是，在此期间，主机从未写信给我说我太糟糕并且将断开连接）
  • 对慢查询进行了分析和搜索，然后数据库结构和表类型稍作改变
  • 为了进行分析，我们主要使用内置的AWStats（顺便说一下，它有助于根据流量计算最差的IP地址
  • 指标 - 该指标仅提供有关人员的信息，不提供有关机器人的信息
  • 有人尝试使用 WP 插件，甚至可以按所在国家/地区和各种组合来过滤和阻止访问者
  • 一个完全激进的方法是关闭网站一天，并注明“我们正在维护”——这也是使用著名的插件完成的。 在这种情况下，我们期望负载下降，但不会下降到零值，因为 WP 思想是基于钩子的，并且插件在“钩子”发生时开始其活动，并且在“钩子”发生之前，对数据库的请求可以已经制作完成

想法

  1. 计算在短时间内发出大量请求的 IP 地址。
  2. 记录网站的点击次数
  3. 根据点击次数阻止对该网站的访问
  4. 使用 .htaccess 文件中的“Deny from”条目进行阻止
  5. 我没有考虑其他选项，例如 iptables 和 Nginx 规则，因为我正在写有关托管的文章

一个想法已经出现，所以需要实施，如果没有这个......

  • 创建表来积累数据 
    CREATE TABLE `wp_visiters_bot` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`request` TEXT NULL,
	`input` TEXT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Кандидаты для блокировки'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;


    CREATE TABLE `wp_visiters_bot_blocked` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NOT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Список уже заблокированных'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=59;


    CREATE TABLE `wp_visiters_bot_history` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='История всех запросов для дебага'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;
  • 让我们创建一个文件来放置代码。 代码将记录在阻塞候选表中并保留历史记录以供调试。

    记录IP地址的文件代码

    <?php

if (!defined('ABSPATH')) {
    return;
}

global $wpdb;

/**
 * Вернёт конкретный IP адрес посетителя
 * @return boolean
 */
function coderun_get_user_ip() {

    $client_ip = '';

    $address_headers = array(
        'HTTP_CLIENT_IP',
        'HTTP_X_FORWARDED_FOR',
        'HTTP_X_FORWARDED',
        'HTTP_X_CLUSTER_CLIENT_IP',
        'HTTP_FORWARDED_FOR',
        'HTTP_FORWARDED',
        'REMOTE_ADDR',
    );

    foreach ($address_headers as $header) {
        if (array_key_exists($header, $_SERVER)) {

            $address_chain = explode(',', $_SERVER[$header]);
            $client_ip = trim($address_chain[0]);

            break;
        }
    }

    if (!$client_ip) {
        return '';
    }


    if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
        return '';
    }

    return $client_ip;
}

$ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя

if (empty($ip)) {// Нет IP, ну и идите лесом...
    header('Content-type: application/json;');
    die('Big big bolt....');
}

$browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера

$request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту

$input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было

$cnt = 1;

//Запрос в основную таблицу с временными кондидатами на блокировку
$query = <<<EOT
    INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
        VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
EOT;

//Запрос для истории
$query2 = <<<EOT
    INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
        VALUES  ('{$ip}','{$browser}','{$cnt}')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
EOT;


$wpdb->query($query);

$wpdb->query($query2);

    代码的本质是获取访问者的IP地址，并将其写入表中。 如果该ip已经在表中，则cnt字段会增加（该站点的请求数）

  • 现在可怕的是......现在他们会因为我的行为而烧死我:)
    为了记录对站点的每个请求，我们将文件代码连接到主 WordPress 文件 - wp-load.php。 是的，我们更改内核文件，并且恰好在全局变量 $wpdb 已经存在之后

所以，现在我们可以看到这个或那个 IP 地址在我们的表中标记的频率，并且我们每 5 分钟喝一杯咖啡，查看一次以了解图片

我们识别潜在的“邪恶”机器人并通过 IP 阻止它们

然后只需复制“有害”IP，打开.htaccess文件并将其添加到文件末尾

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

就是这样，现在 94.242.55.248 - 无法访问该站点，并且不会在数据库上生成负载

但每次像这样手动复制并不是一件很正义的事情，而且代码本来就是自治的

让我们添加一个将通过 CRON 每 30 分钟执行一次的文件：

修改.htaccess文件代码

<?php

/**
 * Файл автоматического задания блокировок по IP адресу
 * Должен запрашиваться через CRON
 */
if (empty($_REQUEST['key'])) {
    die('Hello');
}

require('wp-load.php');

global $wpdb;

$limit_cnt = 70; //Лимит запросов по которым отбирать

$deny_table = $wpdb->get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70'//адрес хостинга
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

//Очистка таблицы
$wpdb->query("DELETE FROM wp_visiters_bot");

//echo '<pre>';print_r($new_blocked);echo '</pre>';

$file = '.htaccess';

$start_searche_tag = 'start_auto_deny_list';

$end_searche_tag = 'end_auto_deny_list';

$handle = @fopen($file, "r");
if ($handle) {

    $replace_string = '';//Тест для вставки в файл .htaccess

    $target_content = false; //Флаг нужного нам участка кода

    while (($buffer = fgets($handle, 4096)) !== false) {

        if (stripos($buffer, 'start_auto_deny_list') !== false) {
            $target_content = true;
            continue;
        }

        if (stripos($buffer, 'end_auto_deny_list') !== false) {
            $target_content = false;

            continue;
        }

        if ($target_content) {
            $replace_string .= $buffer;
        }
    }
    if (!feof($handle)) {
        echo "Ошибка: fgets() неожиданно потерпел неудачуn";
    }
    fclose($handle);
}

//Текущий файл .htaccess
$content = file_get_contents($file);

$content = str_replace($replace_string, '', $content);

//Очищаем все блокировки в файле .htaccess
file_put_contents($file, $content);

//Запись новых блокировок
$str = "# {$start_searche_tag}" . PHP_EOL;

foreach ($new_blocked as $key => $value) {
    $str .= "Deny from {$value}" . PHP_EOL;
}

file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file)));

文件代码非常简单和原始，其主要思想是获取阻止候选者并在 .htaccess 文件中的注释之间输入阻止规则
# start_auto_deny_list 和 # end_auto_deny_list

现在“有害”IP 会被自己阻止，并且 .htaccess 文件看起来像这样：

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

结果，这段代码开始工作后，您可以在托管面板中看到结果：

我们识别潜在的“邪恶”机器人并通过 IP 阻止它们

PS：该材料是作者的，虽然我在我的网站上发布了部分内容，但我在Habre上得到了更扩展的版本。

来源： habr.com

添加评论