ProHoster > Blog > Administracja > Obliczamy potencjalnych "złych" botów i blokujemy je po adresie IP

Obliczamy potencjalnych "złych" botów i blokujemy je po adresie IP

Obliczamy potencjalnych "złych" botów i blokujemy je po adresie IP

Dzień dobry! W artykule opowiem, jak użytkownicy zwykłego hostingu mogą wykrywać adresy IP generujące nadmierne obciążenie na stronie, a następnie blokować je za pomocą narzędzi hostingu, będzie trochę kodu PHP i kilka zrzutów ekranu.

Dane wejściowe:

  1. Strona stworzona na CMS WordPress
  2. Hosting Beget (to nie jest reklama, ale zrzuty z panelu admina będą właśnie tego dostawcy hostingu)
  3. Strona WordPress uruchomiona gdzieś na początku lat 2000 i mająca dużą liczbę artykułów i materiałów
  4. Wersja PHP 7.2
  5. WP ma najnowszą wersję
  6. Od pewnego czasu strona zaczęła generować wysokie obciążenie na MySQL według danych hostingu. Każdego dnia ten wskaźnik przekraczał 120% normy na konto
  7. Z danych Yandex.Metrica wynika, że stronę odwiedza 100-200 osób dziennie

W pierwszej kolejności wykonano:

  1. Wyczyszczono tabele bazy danych z nagromadzonego śmiecia
  2. Wyłączono niepotrzebne wtyczki, usunięto fragmenty przestarzałego kodu

Przy tym zwracam uwagę, próbowano opcji cache'owania (wtyczki cache'ujące), prowadzono obserwacje - ale obciążenie na poziomie 120% z jednego serwisu pozostawało niezmienne i mogło tylko wzrastać.

Tak wyglądało przykładowe obciążenie z baz danych hostingu

Obliczamy potencjalnych "złych" botów i blokujemy je po adresie IP
Na czołowej pozycji znajduje się strona, o której mowa, nieco niżej inne strony, które mają tę samą CMS i podobną frekwencję, ale generują mniejsze obciążenie.

Analiza

  • Podjęto wiele prób z różnymi opcjami cache'owania danych, prowadzono obserwacje przez kilka tygodni (na szczęście hosting w tym czasie ani razu nie napisał, że jestem taki zły i że mnie wyłączą)
  • Przeprowadzono analizę i poszukiwanie wolnych zapytań, następnie nieco zmieniono strukturę bazy danych oraz typy tabel
  • Do analizy w pierwszej kolejności użyto wbudowanego AWStats (pomógł on zresztą zidentyfikować najbardziej złośliwy adres IP według objętości ruchu)
  • Metryka - metryka daje informacje tylko o ludziach, a nie o botach
  • Podejmowano próby użycia wtyczek do WP, które potrafią filtrować i blokować odwiedzających nawet według kraju przebywania oraz różnych kombinacji
  • Całkowicie radykalnym sposobem na zamknięcie strony na dobę z adnotacją „Przeprowadzamy konserwację” jest skorzystanie z popularnej wtyczki. W takim przypadku oczekiwane obciążenie spadło, ale nie do zera, ponieważ ideologia WP opiera się na hakach, a wtyczki zaczynają działać po wystąpieniu jakiegoś „haka”, a przed jego wystąpieniem mogą być już dokonane zapytania do bazy danych.

Idea

  1. Obliczyć adresy IP, które wysyłają wiele zapytań w krótkim czasie.
  2. Zarejestrować liczbę wizyt na stronie.
  3. Na podstawie liczby wizyt blokować dostęp do strony.
  4. Blokować za pomocą wpisu „Deny from” w pliku .htaccess.
  5. Inne opcje, jak iptables i reguły dla Nginx, nie są brane pod uwagę, ponieważ piszę o hostingu.

Pojawił się pomysł, więc trzeba go zrealizować, jakżeby inaczej…

  • Tworzymy tabele do gromadzenia danych.
    CREATE TABLE `wp_visiters_bot` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`request` TEXT NULL,
	`input` TEXT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Kandydaci do blokady'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;


    CREATE TABLE `wp_visiters_bot_blocked` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NOT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Lista już zablokowanych'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=59;


    CREATE TABLE `wp_visiters_bot_history` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Historia wszystkich zapytań do debugowania'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;
  • Stwórzmy plik, do którego umieścimy kod. Kod będzie zapisywał do tabeli kandydatów do blokady i prowadził historię do debugowania.

    Kod pliku do zapisywania adresów IP.

    <?php

if (!defined('ABSPATH')) {
    return;
}

global $wpdb;

/**
 * Вернёт конкретный IP адрес посетителя
 * @return boolean
 */
function coderun_get_user_ip() {

    $client_ip = '';

    $address_headers = array(
        'HTTP_CLIENT_IP',
        'HTTP_X_FORWARDED_FOR',
        'HTTP_X_FORWARDED',
        'HTTP_X_CLUSTER_CLIENT_IP',
        'HTTP_FORWARDED_FOR',
        'HTTP_FORWARDED',
        'REMOTE_ADDR',
    );

    foreach ($address_headers as $header) {
        if (array_key_exists($header, $_SERVER)) {

            $address_chain = explode(',', $_SERVER[$header]);
            $client_ip = trim($address_chain[0]);

            break;
        }
    }

    if (!$client_ip) {
        return '';
    }


    if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
        return '';
    }

    return $client_ip;
}

$ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя

if (empty($ip)) {// Нет IP, ну и идите лесом...
    header('Content-type: application/json;');
    die('Big big bolt....');
}

$browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера

$request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту

$input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было

$cnt = 1;

//Запрос в основную таблицу с временными кондидатами на блокировку
$query = <<<EOT
    INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
        VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
EOT;

//Запрос для истории
$query2 = <<<EOT
    INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
        VALUES  ('{$ip}','{$browser}','{$cnt}')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
EOT;


$wpdb->query($query);

$wpdb->query($query2);

    Istota kodu polega na tym, aby uzyskać adres IP odwiedzającego i zapisać go w tabeli. Jeśli IP już znajduje się w tabeli, nastąpi zwiększenie pola cnt (liczba zapytań do strony).

  • Teraz coś strasznego… Teraz spalą mnie za moje działania 🙂
    Aby rejestrować każde odwiedzenie strony, dołączamy kod pliku w głównym pliku WordPress — wp-load.php. Tak, zmieniamy plik rdzeniowy, i to po tym, jak już istnieje globalna zmienna $wpdb.

Teraz możemy zobaczyć, jak często dany adres IP jest oznaczany w naszej tabeli i z kubkiem kawy zaglądamy tam co 5 minut, aby zrozumieć sytuację.

Obliczamy potencjalnych "złych" botów i blokujemy je po adresie IP

Następnie po prostu skopiowaliśmy "szkodliwy" adres IP, otworzyliśmy plik .htaccess i dodaliśmy go na koniec pliku.

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

Teraz 94.242.55.248 nie ma dostępu do witryny i nie generuje obciążenia dla bazy danych.

Jednak kopiowanie ręczne za każdym razem nie jest zbyt wygodne, a kod był zaplanowany jako autonomiczny.

Dodajemy plik, który będzie wykonywany co 30 minut za pomocą CRON:

Kod pliku modyfikującego .htaccess

get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70' // adres hostingu
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

// Czyszczenie tabeli
$wpdb->query("DELETE FROM wp_visiters_bot");

//$file = '.htaccess';

$start_searche_tag = 'start_auto_deny_list';

$end_searche_tag = 'end_auto_deny_list';

$handle = @fopen($file, "r");
if ($handle) {

    $replace_string = ''; // Test do wstawienia w plik .htaccess

    $target_content = false; // Flaga potrzebnego nam fragmentu kodu

    while (($buffer = fgets($handle, 4096)) !== false) {

        if (stripos($buffer, 'start_auto_deny_list') !== false) {
            $target_content = true;
            continue;
        }

        if (stripos($buffer, 'end_auto_deny_list') !== false) {
            $target_content = false;
            continue;
        }

        if ($target_content) {
            $replace_string .= $buffer;
        }
    }
    if (!feof($handle)) {
        echo "Błąd: fgets() niespodziewanie nie powiodło się\n";
    }
    fclose($handle);
}

// Aktualny plik .htaccess
$content = file_get_contents($file);

$content = str_replace($replace_string, '', $content);

// Czyszczenie wszystkich blokad w pliku .htaccess
file_put_contents($file, $content);

// Zapis nowych blokad
$str = "# {$start_searche_tag}" . PHP_EOL;

foreach ($new_blocked as $key => $value) {
    $str .= "Deny from {$value}" . PHP_EOL;
}

file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file)));

Kod pliku jest dość prosty i prymitywny, a jego głównym celem jest zebranie kandydatów do blokady i wpisanie reguł blokady w plik .htaccess między komentarzami.
# start_auto_deny_list и # end_auto_deny_list

Teraz "szkodliwe" adresy IP blokują się same, a plik .htaccess wygląda mniej więcej tak:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

Po rozpoczęciu działania takiego kodu możemy zobaczyć wyniki w panelu hostingu:

Obliczamy potencjalnych "złych" botów i blokujemy je po adresie IP

PS: Materiał jest autorski, chociaż jego część opublikowałem na swojej stronie, to na Habre powstała bardziej rozwinięta wersja.

Źródło: habr.com

Kup solidny hosting stron z ochroną przed DDoS, serwery VPS VDS 🔥 Kup solidny hosting stron z ochroną przed DDoS, serwery VPS VDS | ProHoster