ჩვენ ვიდენტიფიცირებთ პოტენციურ „ბოროტ“ ბოტებს და ვბლოკავთ მათ IP-ით

Კარგი დღე! სტატიაში მე გეტყვით, თუ როგორ შეუძლიათ ჩვეულებრივი ჰოსტინგის მომხმარებლებს დაიჭირონ IP მისამართები, რომლებიც წარმოქმნიან ზედმეტ დატვირთვას საიტზე და შემდეგ დაბლოკონ ისინი ჰოსტინგის ხელსაწყოების გამოყენებით, იქნება php კოდი „ცოტა“, რამდენიმე ეკრანის სურათი.

Შესაყვანი მონაცემები:

1. საიტი შექმნილია CMS WordPress-ზე
2. ბეგეტის ჰოსტინგი (ეს არ არის რეკლამა, მაგრამ ადმინისტრაციული პანელის ეკრანის ანაბეჭდები იქნება ამ კონკრეტული ჰოსტინგის პროვაიდერისგან)
3. WordPress საიტი ამოქმედდა სადღაც 2000 წლის დასაწყისში და აქვს დიდი რაოდენობით სტატიები და მასალები
4. PHP ვერსია 7.2
5. WP-ს აქვს უახლესი ვერსია
6. გარკვეული პერიოდის განმავლობაში, საიტმა დაიწყო მაღალი დატვირთვის გენერირება MySQL-ზე ჰოსტინგის მონაცემების მიხედვით. ყოველდღიურად ეს მაჩვენებელი აჭარბებდა ნორმის 120%-ს ერთ ანგარიშზე
7. Yandex-ის მიხედვით. Metrica-ს საიტს დღეში 100-200 ადამიანი სტუმრობს

უპირველეს ყოვლისა, ეს გაკეთდა:

1. მონაცემთა ბაზის ცხრილები გაიწმინდა დაგროვილი ნაგვისგან
2. გამორთული იყო არასაჭირო დანამატები, ამოიშალა მოძველებული კოდის სექციები

ამავდროულად, თქვენი ყურადღება მინდა გავამახვილო იმ ფაქტზე, რომ სცადეს ქეშირების ვარიანტები (ქეშირების დანამატები), გაკეთდა დაკვირვებები - მაგრამ ერთი საიტიდან 120% დატვირთვა უცვლელი დარჩა და მხოლოდ ზრდა შეიძლებოდა.

როგორ გამოიყურებოდა ჰოსტინგის მონაცემთა ბაზების სავარაუდო დატვირთვა

ზედა არის სადავო საიტი, ქვემოთ არის სხვა საიტები, რომლებსაც აქვთ იგივე cms და დაახლოებით იგივე ტრაფიკი, მაგრამ ქმნიან ნაკლებ დატვირთვას.

ანალიზი

• ბევრი მცდელობა გაკეთდა მონაცემთა ქეშირების ვარიანტებით, დაკვირვებები ჩატარდა რამდენიმე კვირის განმავლობაში (საბედნიეროდ, ამ ხნის განმავლობაში ჰოსტინგმა არასოდეს მომწერა, რომ ასე ცუდად ვიყავი და გათიშული ვიქნებოდი)
• ჩატარდა ანალიზი და ნელი მოთხოვნების ძიება, შემდეგ ოდნავ შეიცვალა მონაცემთა ბაზის სტრუქტურა და ცხრილის ტიპი
• ანალიზისთვის, ჩვენ პირველ რიგში ვიყენებდით ჩაშენებულ AWStats-ს (სხვათა შორის, ეს დაეხმარა ყველაზე ცუდი IP მისამართის გამოთვლას ტრაფიკის მოცულობის მიხედვით
• მეტრიკა - მეტრიკა გვაწვდის ინფორმაციას მხოლოდ ადამიანებზე და არა ბოტებზე
• იყო მცდელობები, გამოეყენებინათ დანამატები WP-სთვის, რომლებსაც შეუძლიათ ვიზიტორების გაფილტვრა და დაბლოკვა თუნდაც მდებარეობის ქვეყნებისა და სხვადასხვა კომბინაციების მიხედვით.
• სრულიად რადიკალური გზა აღმოჩნდა საიტის ერთი დღით დახურვა შენიშვნით „ჩვენ მოვლა-პატრონობის ქვეშ ვართ“ - ეს ასევე გაკეთდა ცნობილი მოდულის გამოყენებით. ამ შემთხვევაში, ჩვენ ველით დატვირთვის დაცემას, მაგრამ არა ნულოვანი მნიშვნელობების, რადგან WP იდეოლოგია ეფუძნება ჰუკებს და დანამატები იწყებენ თავიანთ აქტივობას, როდესაც მოხდება „hook“ და სანამ „hook“ მოხდება, მონაცემთა ბაზაში მოთხოვნა შეიძლება. უკვე გაკეთებულია

იდეა

1. გამოთვალეთ IP მისამართები, რომლებიც უამრავ მოთხოვნას აკეთებენ მოკლე დროში.
2. ჩაწერეთ ჰიტების რაოდენობა საიტზე
3. დაბლოკეთ საიტზე წვდომა ჰიტების რაოდენობის მიხედვით
4. დაბლოკეთ .htaccess ფაილში ჩანაწერის „უარი“ გამოყენებით
5. მე არ განვიხილე სხვა ვარიანტები, როგორიცაა iptables და Nginx-ის წესები, რადგან ვწერ ჰოსტინგზე

გაჩნდა იდეა, ამიტომ უნდა განხორციელდეს, რადგან ამის გარეშე...

• ცხრილების შექმნა მონაცემების დასაგროვებლად

  CREATE TABLE `wp_visiters_bot` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NULL DEFAULT NULL,
  	`browser` VARCHAR(500) NULL DEFAULT NULL,
  	`cnt` INT(11) NULL DEFAULT NULL,
  	`request` TEXT NULL,
  	`input` TEXT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='Кандидаты для блокировки'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=1;
  

  CREATE TABLE `wp_visiters_bot_blocked` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NOT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='Список уже заблокированных'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=59;
  

  CREATE TABLE `wp_visiters_bot_history` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NULL DEFAULT NULL,
  	`browser` VARCHAR(500) NULL DEFAULT NULL,
  	`cnt` INT(11) NULL DEFAULT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='История всех запросов для дебага'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=1;
  

• მოდით შევქმნათ ფაილი, რომელშიც განვათავსებთ კოდს. კოდი ჩაიწერება ბლოკირებულ კანდიდატთა ცხრილებში და შეინახავს ისტორიას გამართვისთვის.

  ფაილის კოდი IP მისამართების ჩასაწერად

  <?php
  
  if (!defined('ABSPATH')) {
      return;
  }
  
  global $wpdb;
  
  /**
   * Вернёт конкретный IP адрес посетителя
   * @return boolean
   */
  function coderun_get_user_ip() {
  
      $client_ip = '';
  
      $address_headers = array(
          'HTTP_CLIENT_IP',
          'HTTP_X_FORWARDED_FOR',
          'HTTP_X_FORWARDED',
          'HTTP_X_CLUSTER_CLIENT_IP',
          'HTTP_FORWARDED_FOR',
          'HTTP_FORWARDED',
          'REMOTE_ADDR',
      );
  
      foreach ($address_headers as $header) {
          if (array_key_exists($header, $_SERVER)) {
  
              $address_chain = explode(',', $_SERVER[$header]);
              $client_ip = trim($address_chain[0]);
  
              break;
          }
      }
  
      if (!$client_ip) {
          return '';
      }
  
  
      if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
          return '';
      }
  
      return $client_ip;
  }
  
  $ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя
  
  if (empty($ip)) {// Нет IP, ну и идите лесом...
      header('Content-type: application/json;');
      die('Big big bolt....');
  }
  
  $browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера
  
  $request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту
  
  $input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было
  
  $cnt = 1;
  
  //Запрос в основную таблицу с временными кондидатами на блокировку
  $query = <<<EOT
      INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
          VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
           ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
  EOT;
  
  //Запрос для истории
  $query2 = <<<EOT
      INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
          VALUES  ('{$ip}','{$browser}','{$cnt}')
           ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
  EOT;
  
  
  $wpdb->query($query);
  
  $wpdb->query($query2);
  
  

  კოდის არსი არის ვიზიტორის IP მისამართის მიღება და ცხრილში ჩაწერა. თუ ip უკვე არის ცხრილში, cnt ველი გაიზრდება (საიტზე მოთხოვნის რაოდენობა)

• ახლა საშინელებაა... ახლა დამწვავენ ჩემი ქმედებისთვის :)
  საიტზე თითოეული მოთხოვნის ჩასაწერად, ჩვენ ვუკავშირებთ ფაილის კოდს WordPress-ის მთავარ ფაილს - wp-load.php. დიახ, ჩვენ ვცვლით ბირთვის ფაილს და ზუსტად მას შემდეგ, რაც გლობალური ცვლადი $wpdb უკვე არსებობს

ასე რომ, ახლა ჩვენ ვხედავთ, რამდენად ხშირად არის მონიშნული ესა თუ ის IP მისამართი ჩვენს მაგიდაზე და ფინჯანი ყავით 5 წუთში ერთხელ იქ ვიყურებით სურათის გასაგებად.

შემდეგ უბრალოდ დააკოპირეთ „მავნე“ IP, გახსენით .htaccess ფაილი და დაამატეთ იგი ფაილის ბოლოს.

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

ესე იგი, ახლა 94.242.55.248 - არ აქვს წვდომა საიტზე და არ ქმნის დატვირთვას ბაზაზე

მაგრამ ყოველ ჯერზე ასეთი ხელით კოპირება არ არის ძალიან მართალი ამოცანა და გარდა ამისა, კოდის მიზანი იყო ავტონომიური ყოფილიყო

მოდით დავამატოთ ფაილი, რომელიც შესრულდება CRON-ის საშუალებით ყოველ 30 წუთში:

ფაილის კოდის შეცვლა .htaccess

<?php

/**
 * Файл автоматического задания блокировок по IP адресу
 * Должен запрашиваться через CRON
 */
if (empty($_REQUEST['key'])) {
    die('Hello');
}

require('wp-load.php');

global $wpdb;

$limit_cnt = 70; //Лимит запросов по которым отбирать

$deny_table = $wpdb->get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70'//адрес хостинга
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

//Очистка таблицы
$wpdb->query("DELETE FROM wp_visiters_bot");

//echo '<pre>';print_r($new_blocked);echo '</pre>';

$file = '.htaccess';

$start_searche_tag = 'start_auto_deny_list';

$end_searche_tag = 'end_auto_deny_list';

$handle = @fopen($file, "r");
if ($handle) {

    $replace_string = '';//Тест для вставки в файл .htaccess

    $target_content = false; //Флаг нужного нам участка кода

    while (($buffer = fgets($handle, 4096)) !== false) {

        if (stripos($buffer, 'start_auto_deny_list') !== false) {
            $target_content = true;
            continue;
        }

        if (stripos($buffer, 'end_auto_deny_list') !== false) {
            $target_content = false;

            continue;
        }

        if ($target_content) {
            $replace_string .= $buffer;
        }
    }
    if (!feof($handle)) {
        echo "Ошибка: fgets() неожиданно потерпел неудачуn";
    }
    fclose($handle);
}

//Текущий файл .htaccess
$content = file_get_contents($file);

$content = str_replace($replace_string, '', $content);

//Очищаем все блокировки в файле .htaccess
file_put_contents($file, $content);

//Запись новых блокировок
$str = "# {$start_searche_tag}" . PHP_EOL;

foreach ($new_blocked as $key => $value) {
    $str .= "Deny from {$value}" . PHP_EOL;
}

file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file)));

ფაილის კოდი საკმაოდ მარტივი და პრიმიტიულია და მისი მთავარი იდეაა ბლოკირებისთვის კანდიდატების მიღება და .htaccess ფაილში დაბლოკვის წესების შეყვანა კომენტარებს შორის.
# დაწყების_ავტომატური_უარის_სიის და # დასასრულის_ავტომატური_უარის_სიის

ახლა "მავნე" IP-ები დაბლოკილია და .htaccess ფაილი ასე გამოიყურება:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

შედეგად, ამ კოდის მუშაობის დაწყების შემდეგ, თქვენ შეგიძლიათ ნახოთ შედეგი ჰოსტინგის პანელში:

PS: მასალა ავტორისაა, თუმცა ნაწილი გამოვაქვეყნე ჩემს ვებგვერდზე, Habre-ზე უფრო გაფართოებული ვერსია მივიღე.

წყარო: www.habr.com