Изчисляваме потенциалните "зли" ботове и ги блокираме по IP

Добър ден! В статията ще обясня как потребителите на обикновен хостинг могат да уловят IP адресите, генериращи прекомерно натоварване на сайта и след това да ги блокират с помощта на хостинг средствата, ще включа малко PHP код и няколко снимки на екрана.

Входни данни:

1. Сайт, създаден на CMS WordPress
2. Хостинг Бегет (това не е реклама, но скриншотите от администраторския панел ще бъдат именно на този хостинг провайдер)
3. WordPress сайтът е активен от началото на 2000-те години и има голямо количество статии и материали
4. Версия на PHP 7.2
5. WP има последната версия
6. От известно време сайтът започна да генерира високо натоварване на MySQL според данните на хостинга. Всеки ден това значение надвишаваше 120% от нормата за акаунта.
7. Според Яндекс. Метрика сайтът посещават 100-200 души на ден.

Първо беше направено:

1. Почистени бяха таблиците на БД от натрупан боклук
2. Изключени бяха ненужни плъгини, премахнати участъци от остарял код

Като отбелязвам, изпробвани бяха варианти за кеширане (плъгини за кеширане), проведени наблюдения — но натоварването от 120% от един сайт остана неизменно и само можеше да нараства.

Как изглеждаше приблизителното натоварване на базите данни на хостинга

На върха е сайтът, за който става въпрос, малко по-долу са другите сайтове, които имат същата CMS и приблизително същата посещаемост, но генерират по-малко натоварване.

Анализ

• Бяха направени много опити с варианти за кеширане на данни, проведени наблюдения в течение на няколко седмици (за щастие, хостингът по време на това нищо не каза, че съм толкова лош и ще ме изключат)
• Беше направен анализ и търсене на бавни заявки, след това структурата на БД и типовете таблици бяха малко променени.
• За анализа в първоначален стадий се използваше вграденото AWStats (интересно, че той помогна да се изчисли най-лошият IP адрес по обем на трафика)
• Метриката — метриката дава информация само за хората, а не за ботовете.
• Бяха направени опити за използване на плъгини за WP, които умеят да филтрират и блокират посетители дори по страна на местоположение и по различни комбинации.
• Съвсем радикален начин за затваряне на сайта за един ден с бележка "В момента сме на техническо обслужване" - беше направено с помощта на известния плъгин. В този случай натоварването наистина падна, но не до нулеви стойности, тъй като идеологията на WP се основава на хукове и плъгините започват активността си при настъпването на някакъв "хук", а до него може вече да са направени заявки към БД.

Идея

1. Изчислете IP адресите, които правят много заявки за кратък период от време.
2. Фиксирайте броя на посещенията на сайта.
3. На базата на броя на посещенията блокирайте достъпа до сайта.
4. Блокирайте с помощта на записа "Deny from" в файла .htaccess.
5. Други варианти, като iptables и правила за Nginx, не се разглеждат, тъй като пиша за хостинг.

Появила се е идея, значи трябва да я реализираме, как иначе...

• Създаваме таблици за натрупване на данни.

  CREATE TABLE `wp_visiters_bot` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NULL DEFAULT NULL,
  	`browser` VARCHAR(500) NULL DEFAULT NULL,
  	`cnt` INT(11) NULL DEFAULT NULL,
  	`request` TEXT NULL,
  	`input` TEXT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='Кандидати за блокиране'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=1;
  

  CREATE TABLE `wp_visiters_bot_blocked` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NOT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='Списък на вече блокираните'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=59;
  

  CREATE TABLE `wp_visiters_bot_history` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NULL DEFAULT NULL,
  	`browser` VARCHAR(500) NULL DEFAULT NULL,
  	`cnt` INT(11) NULL DEFAULT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='История на всички заявки за дебаг'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=1;
  

• Ще създадем файл, в който ще сложим кода. Кодът ще записва в таблиците с кандидати за блокировка и ще води история за дебъг.

  Код на файла, за записване на IP адресите.

  <?php
  
  if (!defined('ABSPATH')) {
      return;
  }
  
  global $wpdb;
  
  /**
   * Вернёт конкретный IP адрес посетителя
   * @return boolean
   */
  function coderun_get_user_ip() {
  
      $client_ip = '';
  
      $address_headers = array(
          'HTTP_CLIENT_IP',
          'HTTP_X_FORWARDED_FOR',
          'HTTP_X_FORWARDED',
          'HTTP_X_CLUSTER_CLIENT_IP',
          'HTTP_FORWARDED_FOR',
          'HTTP_FORWARDED',
          'REMOTE_ADDR',
      );
  
      foreach ($address_headers as $header) {
          if (array_key_exists($header, $_SERVER)) {
  
              $address_chain = explode(',', $_SERVER[$header]);
              $client_ip = trim($address_chain[0]);
  
              break;
          }
      }
  
      if (!$client_ip) {
          return '';
      }
  
  
      if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
          return '';
      }
  
      return $client_ip;
  }
  
  $ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя
  
  if (empty($ip)) {// Нет IP, ну и идите лесом...
      header('Content-type: application/json;');
      die('Big big bolt....');
  }
  
  $browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера
  
  $request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту
  
  $input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было
  
  $cnt = 1;
  
  //Запрос в основную таблицу с временными кондидатами на блокировку
  $query = <<<EOT
      INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
          VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
           ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
  EOT;
  
  //Запрос для истории
  $query2 = <<<EOT
      INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
          VALUES  ('{$ip}','{$browser}','{$cnt}')
           ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
  EOT;
  
  
  $wpdb->query($query);
  
  $wpdb->query($query2);
  
  

  Същността на кода е да получи IP адреса на посетителя и да го запише в таблицата. Ако IP адресът вече е в таблицата, ще се увеличи полето cnt (броя на заявките към сайта).

• Сега застрашителното... Сега ще ме изгорят за моите действия 🙂
  За да записваме всяко посещение на сайта, добавяме кода на файла в основния файл на WordPress — wp-load.php. Да, точно изменяме основния файл и именно след като вече съществува глобалната променлива $wpdb.

Сега можем да видим колко често определен IP адрес е отбелязан в нашата таблица и с чаша кафе поглеждаме там на всеки 5 минути, за да разберем картината.

След това просто копирахме 'вредния' IP, отворихме файла .htaccess и добавихме в края на файла.

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

Всичко, сега 94.242.55.248 няма достъп до сайта и не генерира натоварване на базата данни.

Но всеки път да копираме ръчно не е особено приятно занимание, а и кодът всъщност е замислен като автономен.

Добавяме файл, който ще се изпълнява по CRON на всеки 30 минути:

Код за файла, модифициращ .htaccess

get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70' // адрес на хостинга
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

// Изчистване на таблицата
$wpdb->query("DELETE FROM wp_visiters_bot");

// echo '
';print_r($new_blocked);echo '
';$file = '.htaccess';$start_searche_tag = 'start_auto_deny_list';$end_searche_tag = 'end_auto_deny_list';$handle = @fopen($file, "r"); if ($handle) {$replace_string = ''; // Тестова променлива за вставка във файла .htaccess$target_content = false; // Флаг за необходимата част от кодаwhile (($buffer = fgets($handle, 4096)) !== false) {if (stripos($buffer, 'start_auto_deny_list') !== false) { $target_content = true; continue; }if (stripos($buffer, 'end_auto_deny_list') !== false) { $target_content = false; continue; }if ($target_content) { $replace_string .= $buffer; } } if (!feof($handle)) { echo "Ошибка: fgets() неожиданно потерпел неудачуn"; } fclose($handle); }// Текущ файл .htaccess $content = file_get_contents($file);$content = str_replace($replace_string, '', $content);// Изчистваме всички блокировки във файла .htaccess file_put_contents($file, $content);// Запис на новите блокировки $str = "# {$start_searche_tag}" . PHP_EOL;foreach ($new_blocked as $key => $value) { $str .= "Deny from {$value}" . PHP_EOL; }file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file))); 

Кодът на файла е достатъчно прост и примитивен, а основната му идея е да вземе кандидатите за блокировка и да впише правилата за блокировка във файла .htaccess между коментарите.
# start_auto_deny_list и # end_auto_deny_list

Сега 'вредните' IP адреси се блокират сами, а файлът .htaccess изглежда приблизително така:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

В резултат на старта на такъв код можете да видите резултата в хостинг панела:

PS: Материалът е авторски, макар че част от него публикувах на моят сайт, но на Habre се получи по-разширена версия.

Източник: habr.com