אנו מזהים בוטים "רשעים" פוטנציאליים וחוסמים אותם באמצעות IP

יום טוב! במאמר אספר לכם איך משתמשים באירוח רגיל יכולים לתפוס כתובות IP שמייצרות עומס יתר על האתר ואז לחסום אותן באמצעות כלי אירוח, יהיה "מעט" של קוד php, כמה צילומי מסך.

קלט נתונים:

1. אתר שנוצר ב-CMS WordPress
2. אירוח Beget (זו לא פרסומת, אבל צילומי המסך של פאנל הניהול יהיו מספק אירוח מסוים זה)
3. אתר וורדפרס הושק אי שם בתחילת שנת 2000 ויש בו מספר רב של מאמרים וחומרים
4. גירסת PHP 7.2
5. ל-WP יש את הגרסה העדכנית ביותר
6. מזה זמן מה, האתר החל לייצר עומס גבוה על MySQL לפי נתוני האחסון. בכל יום ערך זה עלה על 120% מהנורמה לחשבון
7. לפי Yandex. באתר Metrica מבקרים 100-200 אנשים ביום

קודם כל זה נעשה:

1. טבלאות מאגרי מידע נוקו מאשפה שהצטברה
2. תוספים מיותרים הושבתו, קטעים של קוד מיושן הוסרו

יחד עם זאת, ברצוני להסב את תשומת לבכם לעובדה שנוסו אפשרויות מטמון (תוספי מטמון), בוצעו תצפיות - אך העומס של 120% מאתר אחד נותר ללא שינוי ויכול היה רק ​​לגדול.

איך נראה העומס המשוער על מסדי נתונים לאירוח

בחלק העליון נמצא האתר המדובר, ממש למטה אתרים אחרים בעלי אותם cms ואותה תנועה בערך, אך יוצרים פחות עומס.

ניתוח של

• נעשו ניסיונות רבים עם אפשרויות אחסון נתונים במטמון, תצפיות בוצעו במשך מספר שבועות (למרבה המזל, במהלך התקופה הזו, האירוח מעולם לא כתב לי שאני כל כך גרוע ושאתנתק)
• היה ניתוח וחיפוש אחר שאילתות איטיות, ואז מבנה מסד הנתונים וסוג הטבלה השתנו מעט
• לצורך ניתוח, השתמשנו בעיקר ב-AWStats המובנים (אגב, זה עזר לחשב את כתובת ה-IP הגרועה ביותר על סמך נפח התעבורה
• מדד - המדד מספק מידע רק על אנשים, לא על בוטים
• היו ניסיונות להשתמש בתוספים עבור WP שיכולים לסנן ולחסום מבקרים אפילו לפי מדינת מיקום ושילובים שונים
• דרך רדיקלית לחלוטין התבררה כלסגור את האתר ליום אחד עם ההערה "אנחנו בתחזוקה" - זה נעשה גם באמצעות התוסף המפורסם. במקרה זה, אנו מצפים שהעומס יירד, אך לא לאפס ערכים, מכיוון שהאידיאולוגיה של ה-WP מבוססת על הוקס ותוספים מתחילים את פעילותם כאשר מתרחש "hook", ולפני שה-"hook" מתרחש, בקשות למסד הנתונים יכולות כבר עשויות

רעיון

1. חשב כתובות IP שמבצעות הרבה בקשות בפרק זמן קצר.
2. רשום את מספר הכניסות לאתר
3. חסום גישה לאתר בהתאם למספר הכניסות
4. חסום באמצעות הערך "דחה מ" בקובץ .htaccess
5. לא שקלתי אפשרויות אחרות, כמו iptables וחוקים עבור Nginx, כי אני כותב על אירוח

רעיון הופיע, אז צריך ליישם אותו, כי בלי זה...

• יצירת טבלאות לצבירת נתונים

  CREATE TABLE `wp_visiters_bot` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NULL DEFAULT NULL,
  	`browser` VARCHAR(500) NULL DEFAULT NULL,
  	`cnt` INT(11) NULL DEFAULT NULL,
  	`request` TEXT NULL,
  	`input` TEXT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='Кандидаты для блокировки'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=1;
  

  CREATE TABLE `wp_visiters_bot_blocked` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NOT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='Список уже заблокированных'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=59;
  

  CREATE TABLE `wp_visiters_bot_history` (
  	`id` INT(11) NOT NULL AUTO_INCREMENT,
  	`ip` VARCHAR(300) NULL DEFAULT NULL,
  	`browser` VARCHAR(500) NULL DEFAULT NULL,
  	`cnt` INT(11) NULL DEFAULT NULL,
  	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
  	PRIMARY KEY (`id`),
  	UNIQUE INDEX `ip` (`ip`)
  )
  COMMENT='История всех запросов для дебага'
  COLLATE='utf8_general_ci'
  ENGINE=InnoDB
  AUTO_INCREMENT=1;
  

• בואו ניצור קובץ בו נמקם את הקוד. הקוד יתעד בטבלאות המועמדים החוסמות וישמור היסטוריה לאיתור באגים.

  קוד קובץ להקלטת כתובות IP

  <?php
  
  if (!defined('ABSPATH')) {
      return;
  }
  
  global $wpdb;
  
  /**
   * Вернёт конкретный IP адрес посетителя
   * @return boolean
   */
  function coderun_get_user_ip() {
  
      $client_ip = '';
  
      $address_headers = array(
          'HTTP_CLIENT_IP',
          'HTTP_X_FORWARDED_FOR',
          'HTTP_X_FORWARDED',
          'HTTP_X_CLUSTER_CLIENT_IP',
          'HTTP_FORWARDED_FOR',
          'HTTP_FORWARDED',
          'REMOTE_ADDR',
      );
  
      foreach ($address_headers as $header) {
          if (array_key_exists($header, $_SERVER)) {
  
              $address_chain = explode(',', $_SERVER[$header]);
              $client_ip = trim($address_chain[0]);
  
              break;
          }
      }
  
      if (!$client_ip) {
          return '';
      }
  
  
      if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
          return '';
      }
  
      return $client_ip;
  }
  
  $ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя
  
  if (empty($ip)) {// Нет IP, ну и идите лесом...
      header('Content-type: application/json;');
      die('Big big bolt....');
  }
  
  $browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера
  
  $request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту
  
  $input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было
  
  $cnt = 1;
  
  //Запрос в основную таблицу с временными кондидатами на блокировку
  $query = <<<EOT
      INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
          VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
           ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
  EOT;
  
  //Запрос для истории
  $query2 = <<<EOT
      INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
          VALUES  ('{$ip}','{$browser}','{$cnt}')
           ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
  EOT;
  
  
  $wpdb->query($query);
  
  $wpdb->query($query2);
  
  

  המהות של הקוד היא לקבל את כתובת ה-IP של המבקר ולכתוב אותה לטבלה. אם ה-IP כבר נמצא בטבלה, שדה ה-cnt יוגדל (מספר הבקשות לאתר)

• עכשיו הדבר המפחיד... עכשיו ישרפו אותי על המעשים שלי :)
  כדי להקליט כל בקשה לאתר, אנו מחברים את קוד הקובץ לקובץ הוורדפרס הראשי - wp-load.php. כן, אנחנו משנים את קובץ הקרנל ודווקא אחרי שהמשתנה הגלובלי $wpdb כבר קיים

אז, עכשיו אנחנו יכולים לראות באיזו תדירות כתובת IP זו או אחרת מסומנת בטבלה שלנו ועם ספל קפה אנחנו מסתכלים לשם פעם ב-5 דקות כדי להבין את התמונה

לאחר מכן פשוט העתק את ה-IP "המזיק", פתח את קובץ ה-.htaccess והוסף אותו לסוף הקובץ

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

זהו, עכשיו 94.242.55.248 - אין לו גישה לאתר ואינו מייצר עומס על בסיס הנתונים

אבל כל פעם העתקה ידנית כזו היא לא משימה מאוד צודקת, וחוץ מזה, הקוד נועד להיות אוטונומי

בואו נוסיף קובץ שיבוצע באמצעות CRON כל 30 דקות:

קוד קובץ משנה את ‎.htaccess

<?php

/**
 * Файл автоматического задания блокировок по IP адресу
 * Должен запрашиваться через CRON
 */
if (empty($_REQUEST['key'])) {
    die('Hello');
}

require('wp-load.php');

global $wpdb;

$limit_cnt = 70; //Лимит запросов по которым отбирать

$deny_table = $wpdb->get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70'//адрес хостинга
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

//Очистка таблицы
$wpdb->query("DELETE FROM wp_visiters_bot");

//echo '<pre>';print_r($new_blocked);echo '</pre>';

$file = '.htaccess';

$start_searche_tag = 'start_auto_deny_list';

$end_searche_tag = 'end_auto_deny_list';

$handle = @fopen($file, "r");
if ($handle) {

    $replace_string = '';//Тест для вставки в файл .htaccess

    $target_content = false; //Флаг нужного нам участка кода

    while (($buffer = fgets($handle, 4096)) !== false) {

        if (stripos($buffer, 'start_auto_deny_list') !== false) {
            $target_content = true;
            continue;
        }

        if (stripos($buffer, 'end_auto_deny_list') !== false) {
            $target_content = false;

            continue;
        }

        if ($target_content) {
            $replace_string .= $buffer;
        }
    }
    if (!feof($handle)) {
        echo "Ошибка: fgets() неожиданно потерпел неудачуn";
    }
    fclose($handle);
}

//Текущий файл .htaccess
$content = file_get_contents($file);

$content = str_replace($replace_string, '', $content);

//Очищаем все блокировки в файле .htaccess
file_put_contents($file, $content);

//Запись новых блокировок
$str = "# {$start_searche_tag}" . PHP_EOL;

foreach ($new_blocked as $key => $value) {
    $str .= "Deny from {$value}" . PHP_EOL;
}

file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file)));

קוד הקובץ די פשוט ופרימיטיבי והרעיון המרכזי שלו הוא לקחת מועמדים לחסימה ולהזין חוקי חסימה בקובץ .htaccess בין ההערות
# start_auto_deny_list ו- # end_auto_deny_list

כעת כתובות IP "מזיקות" נחסמות בעצמן, וקובץ ה-.htaccess נראה בערך כך:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

כתוצאה מכך, לאחר שהקוד הזה מתחיל לעבוד, אתה יכול לראות את התוצאה בפאנל האירוח:

נ.ב: החומר הוא של המחבר, למרות שפרסמתי חלק ממנו באתר שלי, קיבלתי גרסה מורחבת יותר על Habre.

מקור: www.habr.com