ឧបករណ៍ប្រើប្រាស់ Nginx-log-collector ពី Avito សម្រាប់ផ្ញើកំណត់ហេតុ nginx ទៅ Clickhouse

អត្ថបទនេះនឹងពិភាក្សាអំពីគម្រោង nginx-log-collectorដែលនឹងអានកំណត់ហេតុ nginx ផ្ញើពួកវាទៅចង្កោម Clickhouse ។ ជាធម្មតា ElasticSearch ត្រូវបានប្រើសម្រាប់កំណត់ហេតុ។ Clickhouse ត្រូវការធនធានតិចជាងមុន (ទំហំថាស, RAM, CPU) ។ Clickhouse សរសេរទិន្នន័យលឿនជាងមុន។ Clickhouse បង្រួមទិន្នន័យ ដែលធ្វើឱ្យទិន្នន័យនៅលើថាសកាន់តែបង្រួម។ អត្ថប្រយោជន៍នៃ Clickhouse អាចត្រូវបានគេមើលឃើញនៅក្នុង 2 ស្លាយពីរបាយការណ៍ របៀបដែល VK បញ្ចូលទិន្នន័យទៅក្នុង ClickHouse ពីម៉ាស៊ីនមេរាប់ម៉ឺន។

ដើម្បីមើលការវិភាគតាមកំណត់ហេតុ សូមបង្កើតផ្ទាំងគ្រប់គ្រងសម្រាប់ Grafana ។

អ្នកណាខ្វល់ សូមស្វាគមន៍នៅក្រោមឆ្មា។

ដំឡើង nginx, grafana តាមវិធីស្តង់ដារ។

ដំឡើង clickhouse cluster ជាមួយ ansible-playbook ពី Denis Proskurin.

ការបង្កើតមូលដ្ឋានទិន្នន័យ និងតារាងនៅក្នុង Clickhouse

នៅក្នុងនេះ ឯកសារ សំណួរ SQL សម្រាប់បង្កើតមូលដ្ឋានទិន្នន័យ និងតារាងសម្រាប់ nginx-log-collector នៅក្នុង Clickhouse ត្រូវបានពិពណ៌នា។

យើងធ្វើសំណើនីមួយៗនៅក្នុងវេននៅលើម៉ាស៊ីនមេនីមួយៗនៃក្រុម Clickhouse ។

ចំណាំសំខាន់។ នៅក្នុងបន្ទាត់នេះ logs_cluster គួរតែត្រូវបានជំនួសដោយឈ្មោះចង្កោមរបស់អ្នកពីឯកសារ clickhouse_remote_servers.xml រវាង "remote_servers" និង "shard" ។

ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())

ការដំឡើង និងកំណត់រចនាសម្ព័ន្ធ nginx-log-collector-rpm

Nginx-log-collector មិនមាន rpm ទេ។ នៅទីនេះ https://github.com/patsevanton/nginx-log-collector-rpm បង្កើត rpm សម្រាប់វា។ rpm នឹងត្រូវបានសាងសង់ដោយប្រើ ក្រុមហ៊ុន Fedora Copr

ដំឡើងកញ្ចប់ rpm nginx-log-collector-rpm

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collector

កែសម្រួលការកំណត់ /etc/nginx-log-collector/config.yaml៖

  .......
  upload:
    table: nginx.access_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

- tag: "nginx_error:"
  format: error  # access | error
  buffer_size: 1048576
  upload:
    table: nginx.error_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

ការដំឡើង nginx

ការកំណត់រចនាសម្ព័ន្ធ nginx ទូទៅ៖

user  nginx;
worker_processes  auto;

#error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format avito_json escape=json
                     '{'
                     '"event_datetime": "$time_iso8601", '
                     '"server_name": "$server_name", '
                     '"remote_addr": "$remote_addr", '
                     '"remote_user": "$remote_user", '
                     '"http_x_real_ip": "$http_x_real_ip", '
                     '"status": "$status", '
                     '"scheme": "$scheme", '
                     '"request_method": "$request_method", '
                     '"request_uri": "$request_uri", '
                     '"server_protocol": "$server_protocol", '
                     '"body_bytes_sent": $body_bytes_sent, '
                     '"http_referer": "$http_referer", '
                     '"http_user_agent": "$http_user_agent", '
                     '"request_bytes": "$request_length", '
                     '"request_time": "$request_time", '
                     '"upstream_addr": "$upstream_addr", '
                     '"upstream_response_time": "$upstream_response_time", '
                     '"hostname": "$hostname", '
                     '"host": "$host"'
                     '}';

    access_log     syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
    error_log      syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse

    #access_log  /var/log/nginx/access.log  main;

    proxy_ignore_client_abort on;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}

ម៉ាស៊ីននិម្មិតមួយ៖

vhost1.conf៖

upstream backend {
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
}

server {
    listen   80;
    server_name vhost1;
    location / {
        proxy_pass http://backend;
    }
}

បន្ថែមម៉ាស៊ីននិម្មិតទៅឯកសារ /etc/hosts៖

ip-адрес-сервера-с-nginx vhost1

កម្មវិធីត្រាប់តាមម៉ាស៊ីនមេ HTTP

ជាកម្មវិធីត្រាប់តាមម៉ាស៊ីនមេ HTTP យើងនឹងប្រើ nodejs-stub-server ពី Maxim Ignatenko

nodejs-stub-server មិនមាន rpm ទេ។ នៅទីនេះ https://github.com/patsevanton/nodejs-stub-server បង្កើត rpm សម្រាប់វា។ rpm នឹងត្រូវបានសាងសង់ដោយប្រើ ក្រុមហ៊ុន Fedora Copr

ដំឡើងកញ្ចប់ nodejs-stub-server នៅលើ nginx rpm ខាងលើ

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_server

ការធ្វើតេស្តភាពតានតឹង

ការធ្វើតេស្តត្រូវបានអនុវត្តដោយប្រើ Apache benchmark ។

ដំឡើងវា៖

yum install -y httpd-tools

យើងចាប់ផ្តើមសាកល្បងដោយប្រើ Apache benchmark ពីម៉ាស៊ីនមេចំនួន 5 ផ្សេងគ្នា៖

while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done

ការដំឡើង Grafana

អ្នកនឹងមិនអាចរកឃើញផ្ទាំងគ្រប់គ្រងនៅលើគេហទំព័រផ្លូវការរបស់ Grafana ទេ។

ដូច្នេះយើងនឹងធ្វើវាដោយដៃ។

អ្នកអាចស្វែងរកផ្ទាំងគ្រប់គ្រងដែលបានរក្សាទុករបស់ខ្ញុំ នៅទីនេះ.

អ្នកក៏ត្រូវបង្កើតអថេរតារាងជាមួយនឹងមាតិកា nginx.access_log.

សំណើសរុប Singlestat៖

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

សំណើ Singlestat បរាជ័យ៖

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t

ភាគរយបរាជ័យ Singlestat៖

SELECT
 1 as t, (sum(status = 500 or status = 499)/sum(status = 200 or status = 201 or status = 401))*100 FROM $table
 WHERE $timeFilter GROUP BY t

ពេលវេលាឆ្លើយតបជាមធ្យម Singlestat៖

SELECT
 1, avg(request_time) FROM $table
 WHERE $timeFilter GROUP BY 1

ពេលវេលាឆ្លើយតបអតិបរមា Singlestat៖

SELECT
 1 as t, max(request_time) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

ស្ថានភាពរាប់៖

$columns(status, count(*) as c) from $table

ដើម្បីបញ្ចេញទិន្នន័យដូចជាចំណិត អ្នកត្រូវដំឡើងកម្មវិធីជំនួយ ហើយផ្ទុក grafana ឡើងវិញ។

grafana-cli plugins install grafana-piechart-panel
service grafana-server restart

ស្ថានភាព Pie TOP 5៖

SELECT
    1, /* fake timestamp value */
    status,
    sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5

បន្ថែមទៀត ខ្ញុំនឹងផ្តល់សំណើដោយគ្មានរូបថតអេក្រង់៖

រាប់ http_user_agent៖

$columns(http_user_agent, count(*) c) FROM $table

អត្រាល្អ / អត្រាអាក្រក់៖

$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $table

ពេលវេលាឆ្លើយតប៖

$rate(avg(request_time) as request_time) FROM $table

ពេលវេលាឆ្លើយតបខាងលើ (ពេលវេលាឆ្លើយតបនៃចរន្តទឹកទី១)៖

$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $table

ស្ថានភាពចំនួនតារាងសម្រាប់ vhost ទាំងអស់៖

$columns(status, count(*) as c) from $table

ទិដ្ឋភាពទូទៅនៃផ្ទាំងគ្រប់គ្រង

ប្រៀបធៀប avg() និង quantile()

មធ្យម()

បរិមាណ()

សេចក្តីសន្និដ្ឋាន:

សង្ឃឹមថាសហគមន៍នឹងចូលរួមក្នុងការអភិវឌ្ឍន៍/សាកល្បង និងប្រើប្រាស់ nginx-log-collector។
ហើយនៅពេលដែលនរណាម្នាក់អនុវត្ត nginx-log-collector គាត់នឹងប្រាប់អ្នកពីចំនួនដែលគាត់បានរក្សាទុកថាស, RAM, CPU ។

បណ្តាញ Telegram៖

• ផ្ទះចុច
• Nginx
• វិហារនៃម៉ែត្រ
• ការប្រមូលនិងការវិភាគសារប្រព័ន្ធ
• ហ្គ្រេណាណា

មិល្លីវិនាទី៖

អ្នកណាខ្វល់អំពីមិល្លីវិនាទី សរសេរ ឬបោះឆ្នោត សូមក្នុងរឿងនេះ issue.

ប្រភព: www.habr.com