🥇Ги идентификуваме потенцијалните „злобни“ ботови и ги блокираме со IP

Добар ден! Во написот ќе ви кажам како корисниците на редовниот хостинг можат да фатат IP адреси кои генерираат прекумерно оптоварување на страницата и потоа да ги блокираат користејќи алатки за хостирање, ќе има „малку“ php код, неколку слики од екранот.

Влезни податоци:

Веб-страница креирана на CMS WordPress
Хостинг Beget (ова не е реклама, но сликите од екранот на административниот панел ќе бидат од овој конкретен хостинг провајдер)
Веб-страницата на WordPress беше лансирана некаде на почетокот на 2000 година и има голем број написи и материјали
PHP верзија 7.2
WP ја има најновата верзија
Веќе некое време, страницата почна да генерира големо оптоварување на MySQL според податоците за хостинг. Секој ден оваа вредност надминуваше 120% од нормата по сметка
Според Yandex. Сајтот Metrica го посетуваат 100-200 луѓе дневно

Како прво, ова беше направено:

Табелите со бази на податоци беа исчистени од насобраното ѓубре
Непотребните додатоци беа оневозможени, деловите на застарениот код беа отстранети

Во исто време, би сакал да го привлечам вашето внимание на фактот дека беа испробани опциите за кеширање (приклучоци за кеширање), беа направени набљудувања - но оптоварувањето од 120% од една локација беше непроменето и можеше само да расте.

Како изгледаше приближното оптоварување на базите на податоци за хостирање

На врвот е местото за кое станува збор, веднаш подолу се други сајтови кои имаат ист cms и приближно ист сообраќај, но создаваат помалку оптоварување.

Анализа

Беа направени многу обиди со опции за кеширање на податоци, набљудувањата беа извршени во текот на неколку недели (за среќа, за ова време хостингот никогаш не ми напиша дека сум толку лош и дека ќе бидам исклучен)
Имаше анализа и пребарување за бавни прашања, потоа структурата на базата на податоци и типот на табелата беа малку променети
За анализа, првенствено ги користевме вградените AWStats (патем, помогна да се пресмета најлошата IP адреса врз основа на обемот на сообраќајот
Метрика - метриката дава информации само за луѓе, а не за ботови
Имаше обиди да се користат приклучоци за WP кои можат да ги филтрираат и блокираат посетителите дури и по земја на локација и разни комбинации
Се покажа дека е целосно радикален начин да се затвори страницата на еден ден со белешката „Ние сме под одржување“ - ова беше направено и со помош на познатиот приклучок. Во овој случај, очекуваме оптоварувањето да падне, но не и до вредностите на нула, бидејќи идеологијата на WP се заснова на куки и приклучоци ја започнуваат својата активност кога ќе се појави „кука“, а пред да се појави „кука“, барањата до базата на податоци можат веќе се направени

Идејата

Пресметајте ги IP адресите што прават многу барања за краток временски период.
Запишете го бројот на посети на страницата
Блокирајте го пристапот до страницата врз основа на бројот на посети
Блокирајте користејќи го записот „Одбиј од“ во датотеката .htaccess
Не разгледав други опции, како iptables и правила за Nginx, затоа што пишувам за хостирање

Се појави идеја, па треба да се спроведе, бидејќи без оваа ...

Креирање табели за акумулирање податоци

CREATE TABLE `wp_visiters_bot` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`request` TEXT NULL,
	`input` TEXT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Кандидаты для блокировки'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;

CREATE TABLE `wp_visiters_bot_blocked` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NOT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Список уже заблокированных'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=59;

CREATE TABLE `wp_visiters_bot_history` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='История всех запросов для дебага'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;

Ајде да создадеме датотека во која ќе го поставиме кодот. Кодот ќе се снима во табелите со кандидати за блокирање и ќе чува историја за дебагирање.

Код на датотека за снимање на IP адреси

<?php

if (!defined('ABSPATH')) {
    return;
}

global $wpdb;

/**
 * Вернёт конкретный IP адрес посетителя
 * @return boolean
 */
function coderun_get_user_ip() {

    $client_ip = '';

    $address_headers = array(
        'HTTP_CLIENT_IP',
        'HTTP_X_FORWARDED_FOR',
        'HTTP_X_FORWARDED',
        'HTTP_X_CLUSTER_CLIENT_IP',
        'HTTP_FORWARDED_FOR',
        'HTTP_FORWARDED',
        'REMOTE_ADDR',
    );

    foreach ($address_headers as $header) {
        if (array_key_exists($header, $_SERVER)) {

            $address_chain = explode(',', $_SERVER[$header]);
            $client_ip = trim($address_chain[0]);

            break;
        }
    }

    if (!$client_ip) {
        return '';
    }


    if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
        return '';
    }

    return $client_ip;
}

$ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя

if (empty($ip)) {// Нет IP, ну и идите лесом...
    header('Content-type: application/json;');
    die('Big big bolt....');
}

$browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера

$request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту

$input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было

$cnt = 1;

//Запрос в основную таблицу с временными кондидатами на блокировку
$query = <<<EOT
    INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
        VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
EOT;

//Запрос для истории
$query2 = <<<EOT
    INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
        VALUES  ('{$ip}','{$browser}','{$cnt}')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
EOT;


$wpdb->query($query);

$wpdb->query($query2);

Суштината на кодот е да се добие IP адресата на посетителот и да се напише во табела. Ако ip е веќе во табелата, полето cnt ќе се зголеми (бројот на барања до страницата)

Сега страшното... Сега ќе ме изгорат за моите постапки :)
За да го снимиме секое барање на страницата, го поврзуваме кодот на датотеката со главната датотека на WordPress - wp-load.php. Да, ја менуваме датотеката на јадрото и точно откако веќе постои глобалната променлива $wpdb

Така, сега можеме да видиме колку често оваа или онаа IP адреса е означена во нашата табела и со шолја кафе гледаме таму еднаш на секои 5 минути за да ја разбереме сликата

Потоа едноставно копирајте ја „штетната“ IP адреса, отворете ја датотеката .htaccess и додајте ја на крајот од датотеката

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

Тоа е тоа, сега 94.242.55.248 - нема пристап до страницата и не генерира оптоварување на базата на податоци

Но, секој пат кога ваквото копирање со рака не е многу праведна задача, а освен тоа, кодот требаше да биде автономен

Ајде да додадеме датотека што ќе се извршува преку CRON на секои 30 минути:

Кодот на датотеката го менува .htaccess

<?php

/**
 * Файл автоматического задания блокировок по IP адресу
 * Должен запрашиваться через CRON
 */
if (empty($_REQUEST['key'])) {
    die('Hello');
}

require('wp-load.php');

global $wpdb;

$limit_cnt = 70; //Лимит запросов по которым отбирать

$deny_table = $wpdb->get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70'//адрес хостинга
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

//Очистка таблицы
$wpdb->query("DELETE FROM wp_visiters_bot");

//echo '<pre>';print_r($new_blocked);echo '</pre>';

$file = '.htaccess';

$start_searche_tag = 'start_auto_deny_list';

$end_searche_tag = 'end_auto_deny_list';

$handle = @fopen($file, "r");
if ($handle) {

    $replace_string = '';//Тест для вставки в файл .htaccess

    $target_content = false; //Флаг нужного нам участка кода

    while (($buffer = fgets($handle, 4096)) !== false) {

        if (stripos($buffer, 'start_auto_deny_list') !== false) {
            $target_content = true;
            continue;
        }

        if (stripos($buffer, 'end_auto_deny_list') !== false) {
            $target_content = false;

            continue;
        }

        if ($target_content) {
            $replace_string .= $buffer;
        }
    }
    if (!feof($handle)) {
        echo "Ошибка: fgets() неожиданно потерпел неудачуn";
    }
    fclose($handle);
}

//Текущий файл .htaccess
$content = file_get_contents($file);

$content = str_replace($replace_string, '', $content);

//Очищаем все блокировки в файле .htaccess
file_put_contents($file, $content);

//Запись новых блокировок
$str = "# {$start_searche_tag}" . PHP_EOL;

foreach ($new_blocked as $key => $value) {
    $str .= "Deny from {$value}" . PHP_EOL;
}

file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file)));

Кодот на датотеката е прилично едноставен и примитивен и неговата главна идеја е да земе кандидати за блокирање и да внесе правила за блокирање во датотеката .htaccess помеѓу коментарите
# start_auto_deny_list and # end_auto_deny_list

Сега „штетните“ IP-адреси се блокирани сами по себе, а датотеката .htaccess изгледа отприлика вака:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

Како резултат на тоа, откако овој код ќе почне да работи, можете да го видите резултатот во панелот за хостирање:

П.С.: Материјалот е на авторот, иако дел од него објавив на мојата веб-страница, на Хабре добив попроширена верзија.

Извор: www.habr.com

Ги идентификуваме потенцијалните „злобни“ ботови и ги блокираме со IP

Додадете коментар Откажи одговор