主持人 > 博客 > 管理 > 我們識別潛在的「邪惡」機器人並透過 IP 阻止它們

我們識別潛在的「邪惡」機器人並透過 IP 阻止它們

我們識別潛在的「邪惡」機器人並透過 IP 阻止它們

再會！ 在這篇文章中，我將告訴你常規託管的用戶如何捕獲在網站上產生過多負載的 IP 位址，然後使用託管工具阻止它們，其中會有「一點點」php 程式碼，一些螢幕截圖。

輸入資料：

  1. 在 CMS WordPress 上建立的網站
  2. Hosting Beget（這不是廣告，但管理面板螢幕截圖將來自該特定託管提供者）
  3. WordPress 網站於 2000 年初推出，擁有大量文章和資料
  4. PHP 版本 7.2
  5. WP已經是最新版本了
  6. 一段時間以來，根據託管數據，該網站開始在 MySQL 上產生高負載。 每天這個值都超過每個帳戶正常值的 120%
  7. 據 Yandex. Metrica 網站每天有 100-200 人造訪

首先，這是這樣做的：

  1. 資料庫表已清除累積的垃圾
  2. 不必要的插件被停用，過時的程式碼部分被刪除

同時，我想提請您注意這樣一個事實：我們嘗試了快取選項（快取插件）並進行了觀察，但一個網站 120% 的負載沒有變化，而且只會增長。

託管資料庫的大致負載是什麼樣的

我們識別潛在的「邪惡」機器人並透過 IP 阻止它們
頂部是有問題的站點，下面是具有相同 cms 和大致相同流量但產生較少負載的其他站點。

分析

  • 我們對資料快取選項進行了多次嘗試，並進行了數週的觀察（幸運的是，在此期間，主機從未寫信給我說我太糟糕並且將斷開連接）
  • 對慢查詢進行了分析和搜索，然後資料庫結構和表類型稍作改變
  • 為了進行分析，我們主要使用內建的AWStats（順便說一下，它有助於根據流量計算最差的IP位址
  • 指標 - 該指標僅提供有關人員的信息，不提供有關機器人的信息
  • 有人嘗試使用 WP 插件，甚至可以按所在國家/地區和各種組合來過濾和阻止訪客
  • 一個完全激進的方法是關閉網站一天，並註明「我們正在維護」——這也是使用著名的插件完成的。 在這種情況下，我們期望負載下降，但不會下降到零值，因為WP 思想是基於鉤子的，並且插件在「鉤子」發生時開始其活動，並且在「鉤子」發生之前，對資料庫的請求可以已經製作完成

想法

  1. 計算在短時間內發出大量請求的 IP 位址。
  2. 記錄網站的點擊次數
  3. 根據點擊次數阻止對該網站的訪問
  4. 使用 .htaccess 檔案中的「Deny from」條目進行封鎖
  5. 我沒有考慮其他選項，例如 iptables 和 Nginx 規則，因為我正在撰寫有關託管的文章

一個想法已經出現，所以需要實施，如果沒有這個...

  • 創建表格來累積數據 
    CREATE TABLE `wp_visiters_bot` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`request` TEXT NULL,
	`input` TEXT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Кандидаты для блокировки'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;


    CREATE TABLE `wp_visiters_bot_blocked` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NOT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Список уже заблокированных'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=59;


    CREATE TABLE `wp_visiters_bot_history` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='История всех запросов для дебага'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;
  • 讓我們建立一個檔案來放置程式碼。 程式碼將記錄在阻塞候選表中並保留歷史記錄以供調試。

    記錄IP位址的檔案代碼

    <?php

if (!defined('ABSPATH')) {
    return;
}

global $wpdb;

/**
 * Вернёт конкретный IP адрес посетителя
 * @return boolean
 */
function coderun_get_user_ip() {

    $client_ip = '';

    $address_headers = array(
        'HTTP_CLIENT_IP',
        'HTTP_X_FORWARDED_FOR',
        'HTTP_X_FORWARDED',
        'HTTP_X_CLUSTER_CLIENT_IP',
        'HTTP_FORWARDED_FOR',
        'HTTP_FORWARDED',
        'REMOTE_ADDR',
    );

    foreach ($address_headers as $header) {
        if (array_key_exists($header, $_SERVER)) {

            $address_chain = explode(',', $_SERVER[$header]);
            $client_ip = trim($address_chain[0]);

            break;
        }
    }

    if (!$client_ip) {
        return '';
    }


    if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
        return '';
    }

    return $client_ip;
}

$ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя

if (empty($ip)) {// Нет IP, ну и идите лесом...
    header('Content-type: application/json;');
    die('Big big bolt....');
}

$browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера

$request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту

$input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было

$cnt = 1;

//Запрос в основную таблицу с временными кондидатами на блокировку
$query = <<<EOT
    INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
        VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
EOT;

//Запрос для истории
$query2 = <<<EOT
    INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
        VALUES  ('{$ip}','{$browser}','{$cnt}')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
EOT;


$wpdb->query($query);

$wpdb->query($query2);

    程式碼的本質是取得訪客的IP位址，並將其寫入表中。 如果該ip已經在表中，則cnt欄位會增加（該網站的請求數）

  • 現在可怕的是......現在他們會因為我的行為而燒死我:)
    為了記錄對網站的每個請求，我們將檔案程式碼連接到主 WordPress 檔案 - wp-load.php。 是的，我們更改內核文件，並且恰好在全域變數 $wpdb 已經存在之後

所以，現在我們可以看到這個或那個 IP 位址在我們的表中標記的頻率，​​並且我們每 5 分鐘喝一杯咖啡，查看一次以了解圖片

我們識別潛在的「邪惡」機器人並透過 IP 阻止它們

然後只需複製“有害”IP，打開.htaccess檔案並將其添加到檔案末尾

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

就是這樣，現在 94.242.55.248 - 無法存取該站點，並且不會在資料庫上產生負載

但每次像這樣手動複製並不是一件很正義的事情，而且程式碼本來就是自治的

讓我們新增一個將透過 CRON 每 30 分鐘執行一次的檔案：

修改.htaccess檔案程式碼

<?php

/**
 * Файл автоматического задания блокировок по IP адресу
 * Должен запрашиваться через CRON
 */
if (empty($_REQUEST['key'])) {
    die('Hello');
}

require('wp-load.php');

global $wpdb;

$limit_cnt = 70; //Лимит запросов по которым отбирать

$deny_table = $wpdb->get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70'//адрес хостинга
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

//Очистка таблицы
$wpdb->query("DELETE FROM wp_visiters_bot");

//echo '<pre>';print_r($new_blocked);echo '</pre>';

$file = '.htaccess';

$start_searche_tag = 'start_auto_deny_list';

$end_searche_tag = 'end_auto_deny_list';

$handle = @fopen($file, "r");
if ($handle) {

    $replace_string = '';//Тест для вставки в файл .htaccess

    $target_content = false; //Флаг нужного нам участка кода

    while (($buffer = fgets($handle, 4096)) !== false) {

        if (stripos($buffer, 'start_auto_deny_list') !== false) {
            $target_content = true;
            continue;
        }

        if (stripos($buffer, 'end_auto_deny_list') !== false) {
            $target_content = false;

            continue;
        }

        if ($target_content) {
            $replace_string .= $buffer;
        }
    }
    if (!feof($handle)) {
        echo "Ошибка: fgets() неожиданно потерпел неудачуn";
    }
    fclose($handle);
}

//Текущий файл .htaccess
$content = file_get_contents($file);

$content = str_replace($replace_string, '', $content);

//Очищаем все блокировки в файле .htaccess
file_put_contents($file, $content);

//Запись новых блокировок
$str = "# {$start_searche_tag}" . PHP_EOL;

foreach ($new_blocked as $key => $value) {
    $str .= "Deny from {$value}" . PHP_EOL;
}

file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file)));

檔案程式碼非常簡單且原始，其主要思想是獲取阻止候選者並在 .htaccess 檔案中的註解之間輸入阻止規則
# start_auto_deny_list 和 # end_auto_deny_list

現在「有害」IP 會被自己阻止，而 .htaccess 檔案看起來像這樣：

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

結果，這段程式碼開始工作後，您可以在託管面板中看到結果：

我們識別潛在的「邪惡」機器人並透過 IP 阻止它們

PS：該資料是作者的，雖然我在我的網站上發布了部分內容，但我在Habre上得到了更擴展的版本。

來源： www.habr.com

添加評論