잠재적인 "사악한" 봇을 식별하고 IP로 차단합니다.

안녕하세요! 이 기사에서는 일반 호스팅 사용자가 사이트에 과도한 로드를 생성하는 IP 주소를 찾아 호스팅 도구를 사용하여 차단하는 방법에 대해 설명합니다. "약간의" PHP 코드와 몇 가지 스크린샷이 있을 것입니다.

입력 데이터:

1. CMS WordPress에서 생성된 웹사이트
2. Hosting Beget(광고는 아니지만 관리자 패널 스크린샷은 이 특정 호스팅 제공업체에서 가져온 것임)
3. WordPress 사이트는 2000년 초반쯤에 시작되었으며 수많은 기사와 자료를 보유하고 있습니다.
4. PHP 버전 7.2
5. WP는 최신 버전을 가지고 있습니다
6. 한동안 사이트는 호스팅 데이터에 따라 MySQL에 높은 부하를 생성하기 시작했습니다. 매일 이 값은 계정당 기준의 120%를 초과했습니다.
7. Yandex에 따르면. Metrica 사이트는 하루 100~200명이 방문합니다.

우선, 다음과 같은 작업이 수행되었습니다.

1. 데이터베이스 테이블에 쌓인 쓰레기가 지워졌습니다.
2. 불필요한 플러그인이 비활성화되고 오래된 코드 섹션이 제거되었습니다.

동시에 캐싱 옵션(캐싱 플러그인)을 시도하고 관찰했지만 한 사이트의 120% 로드는 변경되지 않았으며 증가할 수밖에 없었다는 사실에 주목하고 싶습니다.

호스팅 데이터베이스의 대략적인 로드는 어떻게 생겼습니까?

맨 위에는 문제의 사이트가 있고 바로 아래에는 동일한 cms와 거의 동일한 트래픽을 가지고 있지만 부하가 적은 다른 사이트가 있습니다.

분석

• 데이터 캐싱 옵션을 사용하여 많은 시도가 있었고 몇 주에 걸쳐 관찰이 수행되었습니다. (다행히도 이 기간 동안 호스팅에서는 내가 너무 나빠서 연결이 끊어질 것이라고 나에게 편지를 보내지 않았습니다.)
• 느린 쿼리에 대한 분석 및 검색이 있었고 데이터베이스 구조와 테이블 유형이 약간 변경되었습니다.
• 분석을 위해 내장된 AWStats를 주로 사용했습니다(그런데 트래픽량을 기준으로 최악의 IP 주소를 계산하는 데 도움이 되었습니다)
• 측정항목 - 측정항목은 봇에 대한 정보가 아닌 사람에 대한 정보만 제공합니다.
• 위치 국가별, 다양한 조합별로도 방문자를 필터링 및 차단할 수 있는 WP용 플러그인을 사용하려는 시도가 있었습니다.
• 완전히 급진적인 방법은 "우리는 유지 관리 중입니다"라는 메모와 함께 하루 동안 사이트를 닫는 것으로 밝혀졌습니다. 이 작업도 유명한 플러그인을 사용하여 수행되었습니다. 이 경우 로드가 감소할 것으로 예상하지만 WP 이데올로기는 후크를 기반으로 하고 플러그인은 "후크"가 발생할 때 활동을 시작하고 "후크"가 발생하기 전에 데이터베이스에 대한 요청이 가능하기 때문에 0 값은 아닙니다. 이미 만들어졌어

생각

1. 짧은 시간에 많은 요청을 하는 IP 주소를 계산합니다.
2. 사이트 조회수 기록
3. 조회수에 따라 사이트 접속을 차단합니다.
4. .htaccess 파일의 "다음에서 거부" 항목을 사용하여 차단
5. 호스팅에 관해 글을 쓰고 있기 때문에 Nginx에 대한 iptables 및 규칙과 같은 다른 옵션은 고려하지 않았습니다.

아이디어가 나왔으니 이걸 구현해야 하는데, 이게 없으면...

• 데이터를 축적하기 위한 테이블 생성

  CREATE TABLE `wp_visiters_bot` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NULL DEFAULT NULL,
  	`browser` VARCHAR(500) NULL DEFAULT NULL,
  	`cnt` INT(11) NULL DEFAULT NULL,
  	`request` TEXT NULL,
  	`input` TEXT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='Кандидаты для блокировки'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=1;
  

  CREATE TABLE `wp_visiters_bot_blocked` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NOT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='Список уже заблокированных'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=59;
  

  CREATE TABLE `wp_visiters_bot_history` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NULL DEFAULT NULL,
  	`browser` VARCHAR(500) NULL DEFAULT NULL,
  	`cnt` INT(11) NULL DEFAULT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='История всех запросов для дебага'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=1;
  

• 코드를 넣을 파일을 만들어 보겠습니다. 코드는 차단 후보 테이블에 기록하고 디버깅 기록을 유지합니다.

  IP 주소 기록을 위한 파일 코드

  <?php
  
  if (!defined('ABSPATH')) {
      return;
  }
  
  global $wpdb;
  
  /**
   * Вернёт конкретный IP адрес посетителя
   * @return boolean
   */
  function coderun_get_user_ip() {
  
      $client_ip = '';
  
      $address_headers = array(
          'HTTP_CLIENT_IP',
          'HTTP_X_FORWARDED_FOR',
          'HTTP_X_FORWARDED',
          'HTTP_X_CLUSTER_CLIENT_IP',
          'HTTP_FORWARDED_FOR',
          'HTTP_FORWARDED',
          'REMOTE_ADDR',
      );
  
      foreach ($address_headers as $header) {
          if (array_key_exists($header, $_SERVER)) {
  
              $address_chain = explode(',', $_SERVER[$header]);
              $client_ip = trim($address_chain[0]);
  
              break;
          }
      }
  
      if (!$client_ip) {
          return '';
      }
  
  
      if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
          return '';
      }
  
      return $client_ip;
  }
  
  $ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя
  
  if (empty($ip)) {// Нет IP, ну и идите лесом...
      header('Content-type: application/json;');
      die('Big big bolt....');
  }
  
  $browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера
  
  $request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту
  
  $input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было
  
  $cnt = 1;
  
  //Запрос в основную таблицу с временными кондидатами на блокировку
  $query = <<<EOT
      INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
          VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
           ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
  EOT;
  
  //Запрос для истории
  $query2 = <<<EOT
      INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
          VALUES  ('{$ip}','{$browser}','{$cnt}')
           ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
  EOT;
  
  
  $wpdb->query($query);
  
  $wpdb->query($query2);
  
  

  코드의 핵심은 방문자의 IP 주소를 가져와서 테이블에 작성하는 것입니다. IP가 이미 테이블에 있으면 cnt 필드가 증가합니다(사이트에 대한 요청 수).

• 이제 무서운 것은... 이제 그들은 내 행동으로 인해 나를 불태울 것입니다 :)
  사이트에 대한 각 요청을 기록하기 위해 파일 코드를 기본 WordPress 파일인 wp-load.php에 연결합니다. 예, 커널 파일을 변경하고 정확히 전역 변수 $wpdb가 이미 존재한 후에 변경합니다.

이제 우리는 이 IP 주소 또는 해당 IP 주소가 테이블에 얼마나 자주 표시되는지 확인할 수 있으며 커피 머그잔을 사용하여 그림을 이해하기 위해 5분마다 한 번씩 그곳을 살펴봅니다.

그런 다음 "유해한" IP를 복사하고 .htaccess 파일을 열어 파일 끝에 추가하면 됩니다.

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

이제 94.242.55.248입니다. 사이트에 액세스할 수 없으며 데이터베이스에 로드를 생성하지 않습니다.

하지만 매번 이렇게 손으로 복사하는 것은 그다지 정의로운 작업이 아니며, 게다가 코드는 자율성을 갖도록 의도되었습니다.

30분마다 CRON을 통해 실행될 파일을 추가해 보겠습니다.

.htaccess를 수정하는 파일 코드

<?php

/**
 * Файл автоматического задания блокировок по IP адресу
 * Должен запрашиваться через CRON
 */
if (empty($_REQUEST['key'])) {
    die('Hello');
}

require('wp-load.php');

global $wpdb;

$limit_cnt = 70; //Лимит запросов по которым отбирать

$deny_table = $wpdb->get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70'//адрес хостинга
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

//Очистка таблицы
$wpdb->query("DELETE FROM wp_visiters_bot");

//echo '<pre>';print_r($new_blocked);echo '</pre>';

$file = '.htaccess';

$start_searche_tag = 'start_auto_deny_list';

$end_searche_tag = 'end_auto_deny_list';

$handle = @fopen($file, "r");
if ($handle) {

    $replace_string = '';//Тест для вставки в файл .htaccess

    $target_content = false; //Флаг нужного нам участка кода

    while (($buffer = fgets($handle, 4096)) !== false) {

        if (stripos($buffer, 'start_auto_deny_list') !== false) {
            $target_content = true;
            continue;
        }

        if (stripos($buffer, 'end_auto_deny_list') !== false) {
            $target_content = false;

            continue;
        }

        if ($target_content) {
            $replace_string .= $buffer;
        }
    }
    if (!feof($handle)) {
        echo "Ошибка: fgets() неожиданно потерпел неудачуn";
    }
    fclose($handle);
}

//Текущий файл .htaccess
$content = file_get_contents($file);

$content = str_replace($replace_string, '', $content);

//Очищаем все блокировки в файле .htaccess
file_put_contents($file, $content);

//Запись новых блокировок
$str = "# {$start_searche_tag}" . PHP_EOL;

foreach ($new_blocked as $key => $value) {
    $str .= "Deny from {$value}" . PHP_EOL;
}

file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file)));

파일 코드는 매우 간단하고 원시적이며 주요 아이디어는 차단 후보를 선택하고 주석 사이에 .htaccess 파일에 차단 규칙을 입력하는 것입니다.
# start_auto_deny_list 및 # end_auto_deny_list

이제 "유해한" IP는 스스로 차단되며 .htaccess 파일은 다음과 같습니다.

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

결과적으로 이 코드가 작동하기 시작하면 호스팅 패널에서 결과를 볼 수 있습니다.

추신: 자료는 저자의 것입니다. 일부를 내 웹사이트에 게시했지만 Habre에서 더 확장된 버전을 얻었습니다.

출처 : habr.com