സാധ്യതയുള്ള "തിന്മ" ബോട്ടുകൾ ഞങ്ങൾ തിരിച്ചറിയുകയും IP വഴി അവയെ തടയുകയും ചെയ്യുന്നു

ശുഭദിനം! സാധാരണ ഹോസ്റ്റിംഗിന്റെ ഉപയോക്താക്കൾക്ക് സൈറ്റിൽ അമിതമായ ലോഡ് സൃഷ്ടിക്കുന്ന ഐപി വിലാസങ്ങൾ എങ്ങനെ പിടിക്കാമെന്നും തുടർന്ന് ഹോസ്റ്റിംഗ് ടൂളുകൾ ഉപയോഗിച്ച് അവയെ തടയാമെന്നും ലേഖനത്തിൽ ഞാൻ നിങ്ങളോട് പറയും, php കോഡിന്റെ "കുറച്ച്", കുറച്ച് സ്ക്രീൻഷോട്ടുകൾ.

ഇൻപുട്ട് ഡാറ്റ:

1. CMS WordPress-ൽ സൃഷ്ടിച്ച വെബ്സൈറ്റ്
2. ഹോസ്റ്റിംഗ് ബെഗെറ്റ് (ഇതൊരു പരസ്യമല്ല, എന്നാൽ അഡ്മിൻ പാനൽ സ്ക്രീൻഷോട്ടുകൾ ഈ പ്രത്യേക ഹോസ്റ്റിംഗ് ദാതാവിൽ നിന്നുള്ളതായിരിക്കും)
3. വേർഡ്പ്രസ്സ് സൈറ്റ് 2000-ന്റെ തുടക്കത്തിൽ എവിടെയോ ആരംഭിച്ചതാണ്, കൂടാതെ ധാരാളം ലേഖനങ്ങളും മെറ്റീരിയലുകളും ഉണ്ട്
4. PHP പതിപ്പ് 7.2
5. WP യുടെ ഏറ്റവും പുതിയ പതിപ്പുണ്ട്
6. കുറച്ച് കാലമായി, ഹോസ്റ്റിംഗ് ഡാറ്റ അനുസരിച്ച് സൈറ്റ് MySQL-ൽ ഉയർന്ന ലോഡ് സൃഷ്ടിക്കാൻ തുടങ്ങി. ഓരോ ദിവസവും ഈ മൂല്യം ഓരോ അക്കൗണ്ടിന്റെയും മാനദണ്ഡത്തിന്റെ 120% കവിഞ്ഞു
7. Yandex അനുസരിച്ച്. മെട്രിക്ക സൈറ്റ് പ്രതിദിനം 100-200 ആളുകൾ സന്ദർശിക്കുന്നു

ഒന്നാമതായി, ഇത് ചെയ്തു:

1. കുമിഞ്ഞുകൂടിയ മാലിന്യത്തിൽ നിന്ന് ഡാറ്റാബേസ് ടേബിളുകൾ വൃത്തിയാക്കി
2. ആവശ്യമില്ലാത്ത പ്ലഗിനുകൾ പ്രവർത്തനരഹിതമാക്കി, കാലഹരണപ്പെട്ട കോഡിന്റെ വിഭാഗങ്ങൾ നീക്കം ചെയ്തു

അതേ സമയം, കാഷിംഗ് ഓപ്ഷനുകൾ (കാഷിംഗ് പ്ലഗിനുകൾ) പരീക്ഷിച്ചു, നിരീക്ഷണങ്ങൾ നടത്തി എന്ന വസ്തുതയിലേക്ക് നിങ്ങളുടെ ശ്രദ്ധ ആകർഷിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു - എന്നാൽ ഒരു സൈറ്റിൽ നിന്നുള്ള 120% ലോഡ് മാറ്റമില്ല, മാത്രമല്ല വളരാൻ മാത്രമേ കഴിയൂ.

ഹോസ്റ്റിംഗ് ഡാറ്റാബേസുകളിലെ ഏകദേശ ലോഡ് എങ്ങനെയായിരുന്നു

മുകളിൽ സംശയാസ്‌പദമായ സൈറ്റാണ്, തൊട്ടുതാഴെ ഒരേ സെ.മീ.യും ഏകദേശം ഒരേ ട്രാഫിക്കും ഉള്ള, എന്നാൽ കുറഞ്ഞ ലോഡ് സൃഷ്‌ടിക്കുന്ന മറ്റ് സൈറ്റുകൾ.

വിശകലനം

• ഡാറ്റ കാഷിംഗ് ഓപ്‌ഷനുകൾ ഉപയോഗിച്ച് നിരവധി ശ്രമങ്ങൾ നടത്തി, നിരവധി ആഴ്‌ചകളിൽ നിരീക്ഷണങ്ങൾ നടത്തി (ഭാഗ്യവശാൽ, ഈ സമയത്ത് ഹോസ്റ്റിംഗ് ഒരിക്കലും എനിക്ക് എഴുതിയിട്ടില്ല, ഞാൻ വളരെ മോശമാണെന്നും വിച്ഛേദിക്കപ്പെടുമെന്നും)
• മന്ദഗതിയിലുള്ള അന്വേഷണങ്ങൾക്കായി ഒരു വിശകലനവും തിരയലും ഉണ്ടായിരുന്നു, തുടർന്ന് ഡാറ്റാബേസ് ഘടനയും പട്ടിക തരവും ചെറുതായി മാറ്റി
• വിശകലനത്തിനായി, ഞങ്ങൾ പ്രാഥമികമായി ബിൽറ്റ്-ഇൻ AWStats ഉപയോഗിച്ചു (വഴി, ട്രാഫിക് വോളിയം അടിസ്ഥാനമാക്കി ഏറ്റവും മോശം IP വിലാസം കണക്കാക്കാൻ ഇത് സഹായിച്ചു.
• മെട്രിക് - മെട്രിക് ആളുകളെ കുറിച്ചുള്ള വിവരങ്ങൾ നൽകുന്നു, ബോട്ടുകളെ കുറിച്ചല്ല
• ലൊക്കേഷനും വിവിധ കോമ്പിനേഷനുകളും അനുസരിച്ച് പോലും സന്ദർശകരെ ഫിൽട്ടർ ചെയ്യാനും തടയാനും കഴിയുന്ന WP-യ്‌ക്കായി പ്ലഗിനുകൾ ഉപയോഗിക്കാനുള്ള ശ്രമങ്ങൾ നടന്നിട്ടുണ്ട്.
• “ഞങ്ങൾ അറ്റകുറ്റപ്പണിയിലാണ്” എന്ന കുറിപ്പ് ഉപയോഗിച്ച് ഒരു ദിവസത്തേക്ക് സൈറ്റ് അടയ്ക്കുക എന്നത് തികച്ചും സമൂലമായ ഒരു മാർഗമായി മാറി - ഇത് പ്രശസ്ത പ്ലഗിൻ ഉപയോഗിച്ചും ചെയ്തു. ഈ സാഹചര്യത്തിൽ, ലോഡ് കുറയുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു, പക്ഷേ പൂജ്യം മൂല്യങ്ങളല്ല, കാരണം WP പ്രത്യയശാസ്ത്രം കൊളുത്തുകളെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്, പ്ലഗിനുകൾ ഒരു "ഹുക്ക്" സംഭവിക്കുമ്പോൾ അവയുടെ പ്രവർത്തനം ആരംഭിക്കുന്നു, കൂടാതെ "ഹുക്ക്" സംഭവിക്കുന്നതിന് മുമ്പ്, ഡാറ്റാബേസിലേക്കുള്ള അഭ്യർത്ഥനകൾക്ക് കഴിയും ഇതിനകം ഉണ്ടാക്കിയിരിക്കുന്നു

ഐഡിയ

1. ചുരുങ്ങിയ സമയത്തിനുള്ളിൽ ധാരാളം അഭ്യർത്ഥനകൾ നടത്തുന്ന IP വിലാസങ്ങൾ കണക്കാക്കുക.
2. സൈറ്റിലെ ഹിറ്റുകളുടെ എണ്ണം രേഖപ്പെടുത്തുക
3. ഹിറ്റുകളുടെ എണ്ണം അടിസ്ഥാനമാക്കി സൈറ്റിലേക്കുള്ള ആക്സസ് തടയുക
4. .htaccess ഫയലിലെ "Deny from" എൻട്രി ഉപയോഗിച്ച് തടയുക
5. iptables, Nginx-നുള്ള നിയമങ്ങൾ എന്നിവ പോലുള്ള മറ്റ് ഓപ്ഷനുകൾ ഞാൻ പരിഗണിച്ചില്ല, കാരണം ഞാൻ ഹോസ്റ്റിംഗിനെക്കുറിച്ചാണ് എഴുതുന്നത്

ഒരു ആശയം പ്രത്യക്ഷപ്പെട്ടു, അതിനാൽ ഇത് നടപ്പിലാക്കേണ്ടതുണ്ട്, ഇത് കൂടാതെ ...

• ഡാറ്റ ശേഖരിക്കുന്നതിന് പട്ടികകൾ സൃഷ്ടിക്കുന്നു

  CREATE TABLE `wp_visiters_bot` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NULL DEFAULT NULL,
  	`browser` VARCHAR(500) NULL DEFAULT NULL,
  	`cnt` INT(11) NULL DEFAULT NULL,
  	`request` TEXT NULL,
  	`input` TEXT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='Кандидаты для блокировки'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=1;
  

  CREATE TABLE `wp_visiters_bot_blocked` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NOT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='Список уже заблокированных'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=59;
  

  CREATE TABLE `wp_visiters_bot_history` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NULL DEFAULT NULL,
  	`browser` VARCHAR(500) NULL DEFAULT NULL,
  	`cnt` INT(11) NULL DEFAULT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='История всех запросов для дебага'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=1;
  

• നമുക്ക് ഒരു ഫയൽ സൃഷ്ടിക്കാം, അതിൽ ഞങ്ങൾ കോഡ് സ്ഥാപിക്കും. തടയൽ കാൻഡിഡേറ്റ് പട്ടികകളിൽ കോഡ് റെക്കോർഡ് ചെയ്യുകയും ഡീബഗ്ഗിംഗിനായി ഒരു ചരിത്രം സൂക്ഷിക്കുകയും ചെയ്യും.

  IP വിലാസങ്ങൾ രേഖപ്പെടുത്തുന്നതിനുള്ള ഫയൽ കോഡ്

  <?php
  
  if (!defined('ABSPATH')) {
      return;
  }
  
  global $wpdb;
  
  /**
   * Вернёт конкретный IP адрес посетителя
   * @return boolean
   */
  function coderun_get_user_ip() {
  
      $client_ip = '';
  
      $address_headers = array(
          'HTTP_CLIENT_IP',
          'HTTP_X_FORWARDED_FOR',
          'HTTP_X_FORWARDED',
          'HTTP_X_CLUSTER_CLIENT_IP',
          'HTTP_FORWARDED_FOR',
          'HTTP_FORWARDED',
          'REMOTE_ADDR',
      );
  
      foreach ($address_headers as $header) {
          if (array_key_exists($header, $_SERVER)) {
  
              $address_chain = explode(',', $_SERVER[$header]);
              $client_ip = trim($address_chain[0]);
  
              break;
          }
      }
  
      if (!$client_ip) {
          return '';
      }
  
  
      if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
          return '';
      }
  
      return $client_ip;
  }
  
  $ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя
  
  if (empty($ip)) {// Нет IP, ну и идите лесом...
      header('Content-type: application/json;');
      die('Big big bolt....');
  }
  
  $browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера
  
  $request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту
  
  $input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было
  
  $cnt = 1;
  
  //Запрос в основную таблицу с временными кондидатами на блокировку
  $query = <<<EOT
      INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
          VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
           ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
  EOT;
  
  //Запрос для истории
  $query2 = <<<EOT
      INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
          VALUES  ('{$ip}','{$browser}','{$cnt}')
           ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
  EOT;
  
  
  $wpdb->query($query);
  
  $wpdb->query($query2);
  
  

  സന്ദർശകന്റെ ഐപി വിലാസം നേടുകയും അത് ഒരു പട്ടികയിൽ എഴുതുകയും ചെയ്യുക എന്നതാണ് കോഡിന്റെ സാരം. ഐപി ഇതിനകം പട്ടികയിലുണ്ടെങ്കിൽ, cnt ഫീൽഡ് വർദ്ധിപ്പിക്കും (സൈറ്റിലേക്കുള്ള അഭ്യർത്ഥനകളുടെ എണ്ണം)

• ഇപ്പോൾ ഭയപ്പെടുത്തുന്ന കാര്യം ... ഇപ്പോൾ അവർ എന്റെ പ്രവർത്തനങ്ങൾക്ക് എന്നെ ചുട്ടുകളയുകയും ചെയ്യും :)
  സൈറ്റിലേക്കുള്ള ഓരോ അഭ്യർത്ഥനയും രേഖപ്പെടുത്താൻ, ഞങ്ങൾ ഫയൽ കോഡ് പ്രധാന WordPress ഫയലിലേക്ക് ബന്ധിപ്പിക്കുന്നു - wp-load.php. അതെ, ഞങ്ങൾ കേർണൽ ഫയൽ മാറ്റുകയും ആഗോള വേരിയബിളായ $wpdb നിലവിലിരിക്കുകയും ചെയ്യുന്നു.

അതിനാൽ, ഞങ്ങളുടെ ടേബിളിൽ ഈ അല്ലെങ്കിൽ ആ ഐപി വിലാസം എത്ര തവണ അടയാളപ്പെടുത്തിയിട്ടുണ്ടെന്ന് ഇപ്പോൾ നമുക്ക് കാണാൻ കഴിയും, കൂടാതെ ഒരു കപ്പ് കാപ്പി ഉപയോഗിച്ച് ചിത്രം മനസ്സിലാക്കാൻ ഓരോ 5 മിനിറ്റിലും ഒരിക്കൽ ഞങ്ങൾ അവിടെ നോക്കുന്നു.

തുടർന്ന് "ഹാനികരമായ" ഐപി പകർത്തി, .htaccess ഫയൽ തുറന്ന് ഫയലിന്റെ അവസാനം ചേർക്കുക

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

അത്രയേയുള്ളൂ, ഇപ്പോൾ 94.242.55.248 - സൈറ്റിലേക്ക് ആക്സസ് ഇല്ല കൂടാതെ ഡാറ്റാബേസിൽ ലോഡ് സൃഷ്ടിക്കുന്നില്ല

എന്നാൽ ഓരോ തവണയും ഇതുപോലെ കൈകൊണ്ട് പകർത്തുന്നത് വളരെ നീതിപൂർവകമായ ഒരു ജോലിയല്ല, കൂടാതെ, കോഡ് സ്വയംഭരണാധികാരമുള്ളതായിരിക്കാൻ ഉദ്ദേശിച്ചുള്ളതാണ്.

ഓരോ 30 മിനിറ്റിലും CRON വഴി എക്സിക്യൂട്ട് ചെയ്യുന്ന ഒരു ഫയൽ നമുക്ക് ചേർക്കാം:

ഫയൽ കോഡ് .htaccess പരിഷ്കരിക്കുന്നു

<?php

/**
 * Файл автоматического задания блокировок по IP адресу
 * Должен запрашиваться через CRON
 */
if (empty($_REQUEST['key'])) {
    die('Hello');
}

require('wp-load.php');

global $wpdb;

$limit_cnt = 70; //Лимит запросов по которым отбирать

$deny_table = $wpdb->get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70'//адрес хостинга
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

//Очистка таблицы
$wpdb->query("DELETE FROM wp_visiters_bot");

//echo '<pre>';print_r($new_blocked);echo '</pre>';

$file = '.htaccess';

$start_searche_tag = 'start_auto_deny_list';

$end_searche_tag = 'end_auto_deny_list';

$handle = @fopen($file, "r");
if ($handle) {

    $replace_string = '';//Тест для вставки в файл .htaccess

    $target_content = false; //Флаг нужного нам участка кода

    while (($buffer = fgets($handle, 4096)) !== false) {

        if (stripos($buffer, 'start_auto_deny_list') !== false) {
            $target_content = true;
            continue;
        }

        if (stripos($buffer, 'end_auto_deny_list') !== false) {
            $target_content = false;

            continue;
        }

        if ($target_content) {
            $replace_string .= $buffer;
        }
    }
    if (!feof($handle)) {
        echo "Ошибка: fgets() неожиданно потерпел неудачуn";
    }
    fclose($handle);
}

//Текущий файл .htaccess
$content = file_get_contents($file);

$content = str_replace($replace_string, '', $content);

//Очищаем все блокировки в файле .htaccess
file_put_contents($file, $content);

//Запись новых блокировок
$str = "# {$start_searche_tag}" . PHP_EOL;

foreach ($new_blocked as $key => $value) {
    $str .= "Deny from {$value}" . PHP_EOL;
}

file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file)));

ഫയൽ കോഡ് വളരെ ലളിതവും പ്രാകൃതവുമാണ്, അതിന്റെ പ്രധാന ആശയം തടയുന്നതിന് സ്ഥാനാർത്ഥികളെ എടുക്കുകയും അഭിപ്രായങ്ങൾക്കിടയിൽ .htaccess ഫയലിൽ തടയൽ നിയമങ്ങൾ നൽകുകയുമാണ്.
# സ്റ്റാർട്ട്_സ്വയമേ_നിഷേധ_ലിസ്റ്റും # അവസാനം_ഓട്ടോ_നിഷേധ_ലിസ്റ്റും

ഇപ്പോൾ "ഹാനികരമായ" IP-കൾ സ്വയം തടഞ്ഞു, കൂടാതെ .htaccess ഫയൽ ഇതുപോലെ കാണപ്പെടുന്നു:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

ഫലമായി, ഈ കോഡ് പ്രവർത്തിക്കാൻ തുടങ്ങിയതിന് ശേഷം, നിങ്ങൾക്ക് ഹോസ്റ്റിംഗ് പാനലിൽ ഫലം കാണാൻ കഴിയും:

PS: മെറ്റീരിയൽ രചയിതാവിന്റെതാണ്, അതിന്റെ ഒരു ഭാഗം ഞാൻ എന്റെ വെബ്‌സൈറ്റിൽ പ്രസിദ്ധീകരിച്ചിട്ടുണ്ടെങ്കിലും, എനിക്ക് ഹബ്രെയിൽ കൂടുതൽ വിപുലീകരിച്ച പതിപ്പ് ലഭിച്ചു.

അവലംബം: www.habr.com