🥇Ние идентифицираме потенциални „зли“ ботове и ги блокираме по IP

Добър ден! В статията ще ви разкажа как потребителите на обикновен хостинг могат да уловят IP адреси, които генерират прекомерно натоварване на сайта и след това да ги блокират с помощта на хостинг инструменти, ще има „малко“ php код, няколко екранни снимки.

Входни данни:

Уебсайт, създаден на CMS WordPress
Hosting Beget (това не е реклама, но екранните снимки на админ панела ще бъдат от този конкретен хостинг доставчик)
Сайтът WordPress стартира някъде в началото на 2000 г. и има голям брой статии и материали
PHP версия 7.2
WP има най-новата версия
От известно време сайтът започна да генерира високо натоварване на MySQL според данните за хостинг. Всеки ден тази стойност надвишава 120% от нормата за сметка
Според Yandex. Сайтът на Metrica се посещава от 100-200 души на ден

На първо място, това беше направено:

Таблиците на базата данни бяха изчистени от натрупания боклук
Ненужните добавки бяха деактивирани, секции от остарял код бяха премахнати

В същото време бих искал да обърна внимание на факта, че бяха изпробвани опции за кеширане (плъгини за кеширане), бяха направени наблюдения - но натоварването от 120% от един сайт беше непроменено и можеше само да расте.

Как изглеждаше приблизителното натоварване на хостинг базите данни

Най-отгоре е въпросният сайт, малко по-долу са други сайтове, които имат същия cms и приблизително същия трафик, но създават по-малко натоварване.

Анализ

Бяха направени много опити с опции за кеширане на данни, наблюдения бяха извършени в продължение на няколко седмици (за щастие, през това време хостингът никога не ми писа, че съм толкова зле и ще бъде прекъснат)
Имаше анализ и търсене на бавни заявки, след което структурата на базата данни и типът на таблицата бяха леко променени
За анализ използвахме предимно вградената AWStats (между другото, тя помогна да се изчисли най-лошият IP адрес въз основа на обема на трафика
Метрика – метриката дава информация само за хора, не и за ботове
Има опити да се използват добавки за WP, които могат да филтрират и блокират посетители дори по държава на местоположение и различни комбинации
Напълно радикален начин се оказа затварянето на сайта за един ден с бележката „Ние сме в процес на поддръжка“ - това също беше направено с помощта на известния плъгин. В този случай очакваме натоварването да спадне, но не до нулеви стойности, тъй като идеологията на WP се основава на кукички и плъгините започват своята дейност, когато се появи „кукичка“ и преди да се появи „кукичката“, заявките към базата данни могат вече са направени

Идея

Изчислете IP адреси, които правят много заявки за кратък период от време.
Запишете броя на посещенията на сайта
Блокирайте достъпа до сайта въз основа на броя посещения
Блокирайте с помощта на записа „Отказ от“ във файла .htaccess
Не обмислях други опции, като iptables и правила за Nginx, защото пиша за хостинг

Появи се идея, която трябва да се реализира, тъй като без това...

Създаване на таблици за натрупване на данни

CREATE TABLE `wp_visiters_bot` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`request` TEXT NULL,
	`input` TEXT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Кандидаты для блокировки'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;

CREATE TABLE `wp_visiters_bot_blocked` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NOT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Список уже заблокированных'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=59;

CREATE TABLE `wp_visiters_bot_history` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='История всех запросов для дебага'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;

Нека създадем файл, в който ще поставим кода. Кодът ще се записва в таблиците с блокиращи кандидати и ще съхранява история за отстраняване на грешки.

Файлов код за запис на IP адреси

<?php

if (!defined('ABSPATH')) {
    return;
}

global $wpdb;

/**
 * Вернёт конкретный IP адрес посетителя
 * @return boolean
 */
function coderun_get_user_ip() {

    $client_ip = '';

    $address_headers = array(
        'HTTP_CLIENT_IP',
        'HTTP_X_FORWARDED_FOR',
        'HTTP_X_FORWARDED',
        'HTTP_X_CLUSTER_CLIENT_IP',
        'HTTP_FORWARDED_FOR',
        'HTTP_FORWARDED',
        'REMOTE_ADDR',
    );

    foreach ($address_headers as $header) {
        if (array_key_exists($header, $_SERVER)) {

            $address_chain = explode(',', $_SERVER[$header]);
            $client_ip = trim($address_chain[0]);

            break;
        }
    }

    if (!$client_ip) {
        return '';
    }


    if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
        return '';
    }

    return $client_ip;
}

$ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя

if (empty($ip)) {// Нет IP, ну и идите лесом...
    header('Content-type: application/json;');
    die('Big big bolt....');
}

$browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера

$request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту

$input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было

$cnt = 1;

//Запрос в основную таблицу с временными кондидатами на блокировку
$query = <<<EOT
    INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
        VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
EOT;

//Запрос для истории
$query2 = <<<EOT
    INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
        VALUES  ('{$ip}','{$browser}','{$cnt}')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
EOT;


$wpdb->query($query);

$wpdb->query($query2);

Същността на кода е да получи IP адреса на посетителя и да го запише в таблица. Ако ip вече е в таблицата, полето cnt ще бъде увеличено (броят заявки към сайта)

Сега страшното... Сега ще ме изгорят за действията ми :)
За да записваме всяка заявка към сайта, свързваме кода на файла с основния файл на WordPress – wp-load.php. Да, променяме файла на ядрото и точно след като глобалната променлива $wpdb вече съществува

И така, сега можем да видим колко често този или онзи IP адрес е отбелязан в нашата таблица и с чаша кафе поглеждаме там веднъж на всеки 5 минути, за да разберем картината

След това просто копирайте „вредния“ IP, отворете файла .htaccess и го добавете в края на файла

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

Това е всичко, сега 94.242.55.248 - няма достъп до сайта и не генерира натоварване на базата данни

Но всеки път копирането на ръка като това не е много правилна задача и освен това кодът е предназначен да бъде автономен

Нека добавим файл, който ще се изпълнява чрез CRON на всеки 30 минути:

Файлов код, модифициращ .htaccess

<?php

/**
 * Файл автоматического задания блокировок по IP адресу
 * Должен запрашиваться через CRON
 */
if (empty($_REQUEST['key'])) {
    die('Hello');
}

require('wp-load.php');

global $wpdb;

$limit_cnt = 70; //Лимит запросов по которым отбирать

$deny_table = $wpdb->get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70'//адрес хостинга
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

//Очистка таблицы
$wpdb->query("DELETE FROM wp_visiters_bot");

//echo '<pre>';print_r($new_blocked);echo '</pre>';

$file = '.htaccess';

$start_searche_tag = 'start_auto_deny_list';

$end_searche_tag = 'end_auto_deny_list';

$handle = @fopen($file, "r");
if ($handle) {

    $replace_string = '';//Тест для вставки в файл .htaccess

    $target_content = false; //Флаг нужного нам участка кода

    while (($buffer = fgets($handle, 4096)) !== false) {

        if (stripos($buffer, 'start_auto_deny_list') !== false) {
            $target_content = true;
            continue;
        }

        if (stripos($buffer, 'end_auto_deny_list') !== false) {
            $target_content = false;

            continue;
        }

        if ($target_content) {
            $replace_string .= $buffer;
        }
    }
    if (!feof($handle)) {
        echo "Ошибка: fgets() неожиданно потерпел неудачуn";
    }
    fclose($handle);
}

//Текущий файл .htaccess
$content = file_get_contents($file);

$content = str_replace($replace_string, '', $content);

//Очищаем все блокировки в файле .htaccess
file_put_contents($file, $content);

//Запись новых блокировок
$str = "# {$start_searche_tag}" . PHP_EOL;

foreach ($new_blocked as $key => $value) {
    $str .= "Deny from {$value}" . PHP_EOL;
}

file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file)));

Кодът на файла е доста прост и примитивен и основната му идея е да вземе кандидати за блокиране и да въведе правила за блокиране във файла .htaccess между коментарите
# start_auto_deny_list и # end_auto_deny_list

Сега „вредните“ IP адреси се блокират сами и файлът .htaccess изглежда по следния начин:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

В резултат на това, след като този код започне да работи, можете да видите резултата в хостинг панела:

PS: Материалът е на автора, въпреки че публикувах част от него на моя уебсайт, имам по-разширена версия на Хабре.

Източник: www.habr.com

Ние идентифицираме потенциални „зли” ботове и ги блокираме по IP

Добавяне на нов коментар

Ние идентифицираме потенциални „зли” ботове и ги блокираме по IP

Добавяне на нов коментар Отказване на отговора

Добавяне на нов коментар