प्रोहोस्टर > Блог > प्रशासन > आम्ही संभाव्य "वाईट" बॉट्स ओळखतो आणि त्यांना IP द्वारे अवरोधित करतो

आम्ही संभाव्य "वाईट" बॉट्स ओळखतो आणि त्यांना IP द्वारे अवरोधित करतो

आम्ही संभाव्य "वाईट" बॉट्स ओळखतो आणि त्यांना IP द्वारे अवरोधित करतो

शुभ दिवस! लेखात मी तुम्हाला सांगेन की नियमित होस्टिंगचे वापरकर्ते साइटवर जास्त लोड व्युत्पन्न करणारे IP पत्ते कसे पकडू शकतात आणि नंतर होस्टिंग साधनांचा वापर करून त्यांना ब्लॉक करू शकतात, तेथे php कोडचे “थोडेसे” असतील, काही स्क्रीनशॉट असतील.

इनपुट डेटा:

  1. सीएमएस वर्डप्रेसवर वेबसाइट तयार केली आहे
  2. होस्टिंग बेगेट (ही जाहिरात नाही, परंतु प्रशासक पॅनेलचे स्क्रीनशॉट या विशिष्ट होस्टिंग प्रदात्याकडून असतील)
  3. वर्डप्रेस साइट 2000 च्या सुरुवातीस कुठेतरी लॉन्च केली गेली होती आणि त्यात मोठ्या संख्येने लेख आणि साहित्य आहेत
  4. PHP आवृत्ती 7.2
  5. WP ची नवीनतम आवृत्ती आहे
  6. आता काही काळासाठी, साइटने होस्टिंग डेटानुसार MySQL वर उच्च भार निर्माण करण्यास सुरुवात केली. दररोज हे मूल्य प्रति खात्याच्या 120% पेक्षा जास्त होते
  7. यांडेक्स नुसार. मेट्रिका साइटला दररोज 100-200 लोक भेट देतात

सर्व प्रथम, हे केले गेले:

  1. डेटाबेस टेबल साचलेल्या कचऱ्यापासून साफ ​​​​करण्यात आले
  2. अनावश्यक प्लगइन अक्षम केले गेले, कालबाह्य कोडचे विभाग काढले गेले

त्याच वेळी, मी तुमचे लक्ष वेधून घेऊ इच्छितो की कॅशिंग पर्याय (कॅशिंग प्लगइन) वापरण्याचा प्रयत्न केला गेला, निरीक्षणे केली गेली - परंतु एका साइटवरून 120% भार अपरिवर्तित होता आणि केवळ वाढू शकतो.

होस्टिंग डेटाबेसवरील अंदाजे लोड कसा दिसत होता

आम्ही संभाव्य "वाईट" बॉट्स ओळखतो आणि त्यांना IP द्वारे अवरोधित करतो
शीर्षस्थानी प्रश्नात असलेली साइट आहे, अगदी खाली समान सेमी आणि अंदाजे समान रहदारी असलेल्या इतर साइट्स आहेत, परंतु कमी लोड तयार करतात.

अॅनालिझ

  • डेटा कॅशिंग पर्यायांसह बरेच प्रयत्न केले गेले, अनेक आठवड्यांपर्यंत निरीक्षणे केली गेली (सुदैवाने, या काळात होस्टिंगने मला कधीही लिहिले नाही की मी खूप वाईट आहे आणि डिस्कनेक्ट होईल)
  • मंद प्रश्नांसाठी विश्लेषण आणि शोध होते, नंतर डेटाबेस रचना आणि सारणी प्रकार थोडा बदलला
  • विश्लेषणासाठी, आम्ही प्रामुख्याने अंगभूत AWStats वापरले (तसे, ट्रॅफिक व्हॉल्यूमवर आधारित सर्वात वाईट IP पत्त्याची गणना करण्यात मदत केली.
  • मेट्रिक - मेट्रिक केवळ लोकांबद्दल माहिती प्रदान करते, बॉट्सबद्दल नाही
  • WP साठी प्लगइन वापरण्याचे प्रयत्न केले गेले आहेत जे अभ्यागतांना स्थानाचा देश आणि विविध संयोजनांनुसार फिल्टर आणि अवरोधित करू शकतात
  • "आम्ही देखरेखीखाली आहोत" या नोटसह साइट एका दिवसासाठी बंद करण्याचा एक पूर्णपणे मूलगामी मार्ग निघाला - हे प्रसिद्ध प्लगइन वापरून देखील केले गेले. या प्रकरणात, आम्ही भार कमी होण्याची अपेक्षा करतो, परंतु शून्य मूल्यांवर नाही, कारण WP विचारधारा हुकवर आधारित आहे आणि प्लगइन जेव्हा “हूक” येतो तेव्हा त्यांची क्रिया सुरू करतात आणि “हूक” येण्यापूर्वी, डेटाबेसला विनंती करू शकतात आधीच केले आहे

आयडिया

  1. कमी कालावधीत भरपूर विनंत्या करणाऱ्या IP पत्त्यांची गणना करा.
  2. साइटवर हिट्सची संख्या रेकॉर्ड करा
  3. हिटच्या संख्येवर आधारित साइटवर प्रवेश अवरोधित करा
  4. .htaccess फाइलमधील “Deny from” एंट्री वापरून ब्लॉक करा
  5. मी इतर पर्यायांचा विचार केला नाही, जसे की iptables आणि Nginx साठी नियम, कारण मी होस्टिंगबद्दल लिहित आहे

एक कल्पना आली आहे, म्हणून ती अंमलात आणणे आवश्यक आहे, जसे की याशिवाय ...

  • डेटा जमा करण्यासाठी टेबल तयार करणे 
    CREATE TABLE `wp_visiters_bot` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`request` TEXT NULL,
	`input` TEXT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Кандидаты для блокировки'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;


    CREATE TABLE `wp_visiters_bot_blocked` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NOT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='Список уже заблокированных'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=59;


    CREATE TABLE `wp_visiters_bot_history` (
	`id` INT(11) NOT NULL AUTO_INCREMENT,
	`ip` VARCHAR(300) NULL DEFAULT NULL,
	`browser` VARCHAR(500) NULL DEFAULT NULL,
	`cnt` INT(11) NULL DEFAULT NULL,
	`data_update` DATETIME NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
	`data_add` DATETIME NULL DEFAULT CURRENT_TIMESTAMP,
	PRIMARY KEY (`id`),
	UNIQUE INDEX `ip` (`ip`)
)
COMMENT='История всех запросов для дебага'
COLLATE='utf8_general_ci'
ENGINE=InnoDB
AUTO_INCREMENT=1;
  • चला एक फाईल बनवू ज्यामध्ये आपण कोड ठेवू. कोड ब्लॉकिंग उमेदवार टेबलमध्ये रेकॉर्ड करेल आणि डीबगिंगसाठी इतिहास ठेवेल.

    IP पत्ते रेकॉर्ड करण्यासाठी फाइल कोड

    <?php

if (!defined('ABSPATH')) {
    return;
}

global $wpdb;

/**
 * Вернёт конкретный IP адрес посетителя
 * @return boolean
 */
function coderun_get_user_ip() {

    $client_ip = '';

    $address_headers = array(
        'HTTP_CLIENT_IP',
        'HTTP_X_FORWARDED_FOR',
        'HTTP_X_FORWARDED',
        'HTTP_X_CLUSTER_CLIENT_IP',
        'HTTP_FORWARDED_FOR',
        'HTTP_FORWARDED',
        'REMOTE_ADDR',
    );

    foreach ($address_headers as $header) {
        if (array_key_exists($header, $_SERVER)) {

            $address_chain = explode(',', $_SERVER[$header]);
            $client_ip = trim($address_chain[0]);

            break;
        }
    }

    if (!$client_ip) {
        return '';
    }


    if ('0.0.0.0' === $client_ip || '::' === $client_ip || $client_ip == 'unknown') {
        return '';
    }

    return $client_ip;
}

$ip = esc_sql(coderun_get_user_ip()); // IP адрес посетителя

if (empty($ip)) {// Нет IP, ну и идите лесом...
    header('Content-type: application/json;');
    die('Big big bolt....');
}

$browser = esc_sql($_SERVER['HTTP_USER_AGENT']); //Данные для анализа браузера

$request = esc_sql(wp_json_encode($_REQUEST)); //Последний запрос который был к сайту

$input = esc_sql(file_get_contents('php://input')); //Тело запроса, если было

$cnt = 1;

//Запрос в основную таблицу с временными кондидатами на блокировку
$query = <<<EOT
    INSERT INTO wp_visiters_bot (`ip`,`browser`,`cnt`,`request`,`input`)
        VALUES  ('{$ip}','{$browser}','{$cnt}','{$request}','$input')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,request=VALUES(request),input=VALUES(input),browser=VALUES(browser)
EOT;

//Запрос для истории
$query2 = <<<EOT
    INSERT INTO wp_visiters_bot_history (`ip`,`browser`,`cnt`)
        VALUES  ('{$ip}','{$browser}','{$cnt}')
         ON DUPLICATE KEY UPDATE cnt=cnt+1,browser=VALUES(browser)
EOT;


$wpdb->query($query);

$wpdb->query($query2);

    कोडचे सार म्हणजे अभ्यागताचा IP पत्ता मिळवणे आणि ते टेबलमध्ये लिहिणे. जर ip आधीपासून टेबलमध्ये असेल, तर cnt फील्ड वाढवले ​​जाईल (साइटला विनंतीची संख्या)

  • आता भितीदायक गोष्ट... आता ते माझ्या कृतीसाठी मला जाळून टाकतील :)
    साइटवर प्रत्येक विनंती रेकॉर्ड करण्यासाठी, आम्ही फाईल कोड मुख्य वर्डप्रेस फाइलशी कनेक्ट करतो - wp-load.php. होय, आम्ही कर्नल फाइल बदलतो आणि जागतिक व्हेरिएबल $wpdb आधीपासून अस्तित्वात आल्यानंतर

तर, आता आपण आपल्या टेबलमध्ये हा किंवा तो IP पत्ता किती वेळा चिन्हांकित केला आहे ते पाहू शकतो आणि कॉफीच्या मगसह चित्र समजून घेण्यासाठी आपण दर 5 मिनिटांनी एकदा तिथे पाहतो.

आम्ही संभाव्य "वाईट" बॉट्स ओळखतो आणि त्यांना IP द्वारे अवरोधित करतो

नंतर फक्त “हानीकारक” IP कॉपी करा, .htaccess फाईल उघडा आणि फाईलच्या शेवटी जोडा

Order allow,deny
Allow from all
# start_auto_deny_list
Deny from 94.242.55.248
# end_auto_deny_list

तेच, आता 94.242.55.248 - साइटवर प्रवेश नाही आणि डेटाबेसवर लोड निर्माण करत नाही

परंतु प्रत्येक वेळी अशा प्रकारे हाताने कॉपी करणे हे फारसे धार्मिक कार्य नाही आणि त्याशिवाय, कोड स्वायत्त असण्याचा हेतू होता.

CRON द्वारे दर 30 मिनिटांनी कार्यान्वित होणारी फाइल जोडूया:

फाइल कोड .htaccess मध्ये बदल करत आहे

<?php

/**
 * Файл автоматического задания блокировок по IP адресу
 * Должен запрашиваться через CRON
 */
if (empty($_REQUEST['key'])) {
    die('Hello');
}

require('wp-load.php');

global $wpdb;

$limit_cnt = 70; //Лимит запросов по которым отбирать

$deny_table = $wpdb->get_results("SELECT * FROM wp_visiters_bot WHERE cnt>{$limit_cnt}");

$new_blocked = [];

$exclude_ip = [
    '87.236.16.70'//адрес хостинга
];

foreach ($deny_table as $result) {

    if (in_array($result->ip, $exclude_ip)) {
        continue;
    }

    $wpdb->insert('wp_visiters_bot_blocked', ['ip' => $result->ip], ['%s']);
}

$deny_table_blocked = $wpdb->get_results("SELECT * FROM wp_visiters_bot_blocked");

foreach ($deny_table_blocked as $blocked) {
    $new_blocked[] = $blocked->ip;
}

//Очистка таблицы
$wpdb->query("DELETE FROM wp_visiters_bot");

//echo '<pre>';print_r($new_blocked);echo '</pre>';

$file = '.htaccess';

$start_searche_tag = 'start_auto_deny_list';

$end_searche_tag = 'end_auto_deny_list';

$handle = @fopen($file, "r");
if ($handle) {

    $replace_string = '';//Тест для вставки в файл .htaccess

    $target_content = false; //Флаг нужного нам участка кода

    while (($buffer = fgets($handle, 4096)) !== false) {

        if (stripos($buffer, 'start_auto_deny_list') !== false) {
            $target_content = true;
            continue;
        }

        if (stripos($buffer, 'end_auto_deny_list') !== false) {
            $target_content = false;

            continue;
        }

        if ($target_content) {
            $replace_string .= $buffer;
        }
    }
    if (!feof($handle)) {
        echo "Ошибка: fgets() неожиданно потерпел неудачуn";
    }
    fclose($handle);
}

//Текущий файл .htaccess
$content = file_get_contents($file);

$content = str_replace($replace_string, '', $content);

//Очищаем все блокировки в файле .htaccess
file_put_contents($file, $content);

//Запись новых блокировок
$str = "# {$start_searche_tag}" . PHP_EOL;

foreach ($new_blocked as $key => $value) {
    $str .= "Deny from {$value}" . PHP_EOL;
}

file_put_contents($file, str_replace("# {$start_searche_tag}", $str, file_get_contents($file)));

फाइल कोड अगदी सोपा आणि आदिम आहे आणि त्याची मुख्य कल्पना म्हणजे उमेदवारांना ब्लॉक करण्यासाठी घेणे आणि टिप्पण्यांमधील .htaccess फाइलमध्ये ब्लॉकिंग नियम प्रविष्ट करणे.
# start_auto_deny_list आणि # end_auto_deny_list

आता "हानीकारक" IP स्वतःच अवरोधित केले आहेत आणि .htaccess फाईल यासारखे काहीतरी दिसते:

# BEGIN WordPress
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteRule ^index.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>

# END WordPress

Order allow,deny
Allow from all

# start_auto_deny_list
Deny from 94.242.55.248
Deny from 207.46.13.122
Deny from 66.249.64.164
Deny from 54.209.162.70
Deny from 40.77.167.86
Deny from 54.146.43.69
Deny from 207.46.13.168
....... ниже другие адреса
# end_auto_deny_list

परिणामी, हा कोड कार्य करण्यास प्रारंभ केल्यानंतर, आपण होस्टिंग पॅनेलमध्ये परिणाम पाहू शकता:

आम्ही संभाव्य "वाईट" बॉट्स ओळखतो आणि त्यांना IP द्वारे अवरोधित करतो

PS: साहित्य लेखकाचे आहे, जरी मी त्याचा काही भाग माझ्या वेबसाइटवर प्रकाशित केला आहे, मला Habre वर अधिक विस्तारित आवृत्ती मिळाली.

स्त्रोत: www.habr.com

एक टिप्पणी जोडा