ProHoster > Blog > Administración > Identificamos posibles bots "malvados" e bloqueámolos por IP

Identificamos posibles bots "malvados" e bloqueámolos por IP

Identificamos posibles bots "malvados" e bloqueámolos por IP

Bo día! No artigo contarei como os usuarios de hospedaxe regular poden capturar enderezos IP que xeran carga excesiva no sitio e logo bloquealos usando ferramentas de hospedaxe, haberá "un pouco" de código php, algunhas capturas de pantalla.

Datos de entrada:

  1. Sitio web creado en CMS WordPress
  2. Hosting Beget (este non é un anuncio, pero as capturas de pantalla do panel de administración serán deste provedor de hospedaxe en particular)
  3. O sitio de WordPress foi lanzado nalgún lugar a principios do 2000 e ten unha gran cantidade de artigos e materiais
  4. PHP versión 7.2
  5. WP ten a última versión
  6. Desde hai algún tempo, o sitio comezou a xerar unha alta carga en MySQL segundo os datos de hospedaxe. Todos os días este valor superaba o 120% da norma por conta
  7. Segundo Yandex. O sitio de Metrica é visitado por 100-200 persoas por día

En primeiro lugar, fíxose isto:

  1. Limpáronse as táboas de bases de datos do lixo acumulado
  2. Desactiváronse os complementos innecesarios e elimináronse seccións de código obsoleto

Ao mesmo tempo, gustaríame chamar a súa atención sobre o feito de que se probaron as opcións de almacenamento en caché (complementos de caché), se fixeron observacións, pero a carga do 120% dun sitio non cambiou e só puido crecer.

Como era a carga aproximada das bases de datos de hospedaxe

Identificamos posibles bots "malvados" e bloqueámolos por IP
Na parte superior está o sitio en cuestión, xusto debaixo hai outros sitios que teñen os mesmos cms e aproximadamente o mesmo tráfico, pero crean menos carga.

Análise

  • Realizáronse moitos intentos con opcións de almacenamento en caché de datos, realizáronse observacións durante varias semanas (afortunadamente, durante este tempo o hospedaxe nunca me escribiu que estaba tan mal e estaría desconectado)
  • Houbo unha análise e busca de consultas lentas, despois modificáronse lixeiramente a estrutura da base de datos e o tipo de táboa
  • Para a análise, usamos principalmente o AWStats integrado (por certo, axudou a calcular o peor enderezo IP en función do volume de tráfico
  • Métrica: a métrica ofrece información só sobre persoas, non sobre bots
  • Houbo intentos de usar complementos para WP que poden filtrar e bloquear visitantes mesmo por país de localización e varias combinacións
  • Un xeito completamente radical resultou ser pechar o sitio durante un día coa nota "Estamos en mantemento"; isto tamén se fixo usando o famoso complemento. Neste caso, esperamos que a carga baixe, pero non a valores cero, xa que a ideoloxía WP baséase en ganchos e os complementos comezan a súa actividade cando se produce un "gancho", e antes de que se produza o "gancho", as solicitudes á base de datos poden xa estar feito

Idea

  1. Calcula os enderezos IP que fan moitas solicitudes nun curto período de tempo.
  2. Grava o número de visitas ao sitio
  3. Bloquea o acceso ao sitio en función do número de visitas
  4. Bloquea usando a entrada "Denegar de" no ficheiro .htaccess
  5. Non considerei outras opcións, como iptables e regras para Nginx, porque estou escribindo sobre aloxamento

Apareceu unha idea, polo que hai que implementala, xa que sen esta...

  • Creación de táboas para acumular datos 
    CREATE TABLE `wp_visiters_bot` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`request` TEXT NULL,
	`input` TEXT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Кандидаты для блокировки'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;


    CREATE TABLE `wp_visiters_bot_blocked` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NOT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Список уже заблокированных'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=59;


    CREATE TABLE `wp_visiters_bot_history` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='История всех запросов для дебага'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;
  • Imos crear un ficheiro no que colocaremos o código. O código rexistrarase nas táboas de candidatos de bloqueo e manterá un historial para a depuración.

    Código de ficheiro para gravar enderezos IP

    <?php

if (!defined('ABSPATH')) {
    return;
}

global $wpdb;

/**
 * Вернёт конкретный IP адрес посетителя
 * @return boolean
 */
function coderun_get_user_ip() {

    $client_ip = '';

    $address_headers = array(
        'HTTP_CLIENT_IP',
        'HTTP_X_FORWARDED_FOR',
        'HTTP_X_FORWARDED',
        'HTTP_X_CLUSTER_CLIENT_IP',
        'HTTP_FORWARDED_FOR',
        'HTTP_FORWARDED',
        'REMOTE_ADDR',
    );

    foreach ($address_headers as $header) {
        if (array_key_exists($header, $_SERVER)) {

            $address_chain = explode(',', $_SERVER[$header]);
            $client_ip = trim($address_chain[0]);

            break;
        }
    }

    if (!$client_ip) {
        return '';
    }


    if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
        return '';
    }

    return $client_ip;
}

$ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя

if (empty($ip)) {// Нет IP, ну и идите лесом...
    header('Content-type: application/json;');
    die('Big big bolt....');
}

$browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера

$request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту

$input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было

$cnt = 1;

//Запрос в основную таблицу с временными кондидатами на блокировку
$query = <<<EOT
    INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
        VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
EOT;

//Запрос для истории
$query2 = <<<EOT
    INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
        VALUES  ('{$ip}','{$browser}','{$cnt}')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
EOT;


$wpdb->query($query);

$wpdb->query($query2);

    A esencia do código é obter o enderezo IP do visitante e escribilo nunha táboa. Se a ip xa está na táboa, aumentarase o campo cnt (o número de solicitudes ao sitio)

  • Agora o asustado... Agora vanme queimar polas miñas accións :)
    Para gravar cada solicitude no sitio, conectamos o código do ficheiro ao ficheiro principal de WordPress - wp-load.php. Si, cambiamos o ficheiro do núcleo e precisamente despois de que xa existe a variable global $wpdb

Entón, agora podemos ver con que frecuencia se marca este ou cal enderezo IP na nosa táboa e cunha cunca de café miramos alí unha vez cada 5 minutos para entender a imaxe.

Identificamos posibles bots "malvados" e bloqueámolos por IP

A continuación, simplemente copie a IP "prexudicial", abra o ficheiro .htaccess e engádeo ao final do ficheiro

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

Isto é todo, agora 94.242.55.248 - non ten acceso ao sitio e non xera carga na base de datos

Pero cada vez copiar a man así non é unha tarefa moi xusta e, ademais, o código pretendía ser autónomo

Engademos un ficheiro que se executará mediante CRON cada 30 minutos:

Modificación do código do ficheiro .htaccess

<?php

/**
 * Файл автоматического задания блокировок по IP адресу
 * Должен запрашиваться через CRON
 */
if (empty($_REQUEST['key'])) {
    die('Hello');
}

require('wp-load.php');

global $wpdb;

$limit_cnt = 70; //Лимит запросов по которым отбирать

$deny_table = $wpdb->get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70'//адрес хостинга
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

//Очистка таблицы
$wpdb->query("DELETE FROM wp_visiters_bot");

//echo '<pre>';print_r($new_blocked);echo '</pre>';

$file = '.htaccess';

$start_searche_tag = 'start_auto_deny_list';

$end_searche_tag = 'end_auto_deny_list';

$handle = @fopen($file, "r");
if ($handle) {

    $replace_string = '';//Тест для вставки в файл .htaccess

    $target_content = false; //Флаг нужного нам участка кода

    while (($buffer = fgets($handle, 4096)) !== false) {

        if (stripos($buffer, 'start_auto_deny_list') !== false) {
            $target_content = true;
            continue;
        }

        if (stripos($buffer, 'end_auto_deny_list') !== false) {
            $target_content = false;

            continue;
        }

        if ($target_content) {
            $replace_string .= $buffer;
        }
    }
    if (!feof($handle)) {
        echo "Ошибка: fgets() неожиданно потерпел неудачуn";
    }
    fclose($handle);
}

//Текущий файл .htaccess
$content = file_get_contents($file);

$content = str_replace($replace_string, '', $content);

//Очищаем все блокировки в файле .htaccess
file_put_contents($file, $content);

//Запись новых блокировок
$str = "# {$start_searche_tag}" . PHP_EOL;

foreach ($new_blocked as $key => $value) {
    $str .= "Deny from {$value}" . PHP_EOL;
}

file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file)));

O código do ficheiro é bastante sinxelo e primitivo e a súa idea principal é levar candidatos para bloquear e introducir regras de bloqueo no ficheiro .htaccess entre os comentarios.
# start_auto_deny_list e # end_auto_deny_list

Agora as IP "prexudiciais" están bloqueadas por si mesmas e o ficheiro .htaccess ten un aspecto así:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

Como resultado, despois de que este código comece a funcionar, podes ver o resultado no panel de hospedaxe:

Identificamos posibles bots "malvados" e bloqueámolos por IP

PD: O material é do autor, aínda que publiquei parte del na miña web, conseguín unha versión máis ampliada en Habre.

Fonte: www.habr.com

Engadir un comentario