Nginx-log-collector është një mjet nga Avito për dërgimin e logeve nginx në Clickhouse

Në këtë artikull do të shqyrtojmë projektin nginx-log-collector, i cili do të lexojë log-et nginx dhe t'i dërgojë ato në klasterin Clickhouse. Zakonisht për log-e përdoret ElasticSearch. Për Clickhouse kërkohen më pak burime (hapësirë disk, RAM, CPU). Clickhouse shkruan të dhëna më shpejt. Clickhouse kompreson të dhënat, duke i bërë ato edhe më kompakte në disk. Avantazhet e Clickhouse duken sipas 2 slajdëve të prezantimit Si VK inserton të dhënat në ClickHouse nga dhjetëra mijëra serverë.

Për të parë analizat e log-eve, do të krijojmë një dashboard për Grafana.

Kush është i interesuar, është i mirëpritur poshtë.

Instalojmë nginx, grafana në mënyrën standarde.

Instalojmë klasterin clickhouse me ndihmën e ansible-playbook nga Denis Proskurin.

Krijimi i bazës së të dhënave dhe tabelave në Clickhouse

Në këtë skedar janë përshkruar pyetje SQL për krijimin e bazës së të dhënave dhe tabelave për nginx-log-collector në Clickhouse.

Çdo kërkesë e bëjmë njëra pas tjetrës në çdo server të klasterit Clickhouse.

Vërejtje e rëndësishme. Në këtë rresht, logs_cluster duhet të zëvendësohet me emrin e klasterit tuaj nga skedari clickhouse_remote_servers.xml mes "remote_servers" dhe "shard".

ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())

Instalimi dhe konfigurimi i nginx-log-collector-rpm

Nginx-log-collector nuk ka rpm. Këtu https://github.com/patsevanton/nginx-log-collector-rpm do ta krijojmë rpm. Do të ndërtohet rpm me ndihmën e Fedora Copr

Instalojmë paketën rpm nginx-log-collector-rpm

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collector

Rregullojmë konfigurimin /etc/nginx-log-collector/config.yaml:

  .......
  upload:
    table: nginx.access_log
    dsn: http://ip-adresa-e-klasterit-clickhouse:8123/

- tag: "nginx_error:"
  format: error  # access | error
  buffer_size: 1048576
  upload:
    table: nginx.error_log
    dsn: http://ip-adresa-e-klasterit-clickhouse:8123/

Konfigurimi i nginx

Konfigurimi i përgjithshëm nginx:

user  nginx;
worker_processes  auto;

#error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format avito_json escape=json
                     '{'
                     '"event_datetime": "$time_iso8601", '
                     '"server_name": "$server_name", '
                     '"remote_addr": "$remote_addr", '
                     '"remote_user": "$remote_user", '
                     '"http_x_real_ip": "$http_x_real_ip", '
                     '"status": "$status", '
                     '"scheme": "$scheme", '
                     '"request_method": "$request_method", '
                     '"request_uri": "$request_uri", '
                     '"server_protocol": "$server_protocol", '
                     '"body_bytes_sent": $body_bytes_sent, '
                     '"http_referer": "$http_referer", '
                     '"http_user_agent": "$http_user_agent", '
                     '"request_bytes": "$request_length", '
                     '"request_time": "$request_time", '
                     '"upstream_addr": "$upstream_addr", '
                     '"upstream_response_time": "$upstream_response_time", '
                     '"hostname": "$hostname", '
                     '"host": "$host"'
                     '}';

    access_log     syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
    error_log      syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse

    #access_log  /var/log/nginx/access.log  main;

    proxy_ignore_client_abort on;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}

Host-i virtual është një:

vhost1.conf:

upstream backend {
    server ip-adresa-e-serverit-me-stub_http_server:8080;
    server ip-adresa-e-serverit-me-stub_http_server:8080;
    server ip-adresa-e-serverit-me-stub_http_server:8080;
    server ip-adresa-e-serverit-me-stub_http_server:8080;
    server ip-adresa-e-serverit-me-stub_http_server:8080;
}

server {
    listen   80;
    server_name vhost1;
    location / {
        proxy_pass http://backend;
    }
}

Shtojmë në skedarin /etc/hosts hostet virtual:

ip-adresa-e-serverit-me-nginx vhost1

Emulator HTTP server

Si emulator të HTTP serverit do të përdorim nodejs-stub-server nga Maxim Ignatenko

Nodejs-stub-server nuk ka rpm. Këtu https://github.com/patsevanton/nodejs-stub-server do ta krijojmë rpm. Do të ndërtohet rpm me ndihmën e Fedora Copr

Instalojmë në nginx upstream paketën rpm nodejs-stub-server

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_server

Testimi i ngarkesës

Testimi kryhet me ndihmën e Apache benchmark.

Instalojmë atë:

yum install -y httpd-tools

Nisim testimin me ndihmën e Apache benchmark nga 5 server të ndryshëm:

while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done

Konfigurimi i Grafana

Në faqen zyrtare të Grafana nuk do të gjeni një dashboard.

Prandaj, do ta krijojmë atë manualisht.

Dashboard-in tim të ruajtur mund ta gjeni këtu.

Po ashtu duhet të krijoni një variabël table me përmbajtjen nginx.access_log.

Singlestat Total Requests:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

Singlestat Failed Requests:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t

Singlestat Failing Percent:

SELECT
 1 as t, (sum(status = 500 or status = 499)/sum(status = 200 or status = 201 or status = 401))*100 FROM $table
 WHERE $timeFilter GROUP BY t

Singlestat Avg Response Time:

SELECT
 1, avg(request_time) FROM $table
 WHERE $timeFilter GROUP BY 1

Singlestat Max Response Time:

SELECT
 1 as t, max(request_time) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

Count Status:

$columns(status, count(*) as c) from $table

Për të shfaqur të dhënat si tortë, duhet të instaloni plugin dhe ta rindezni grafana.

grafana-cli plugins install grafana-piechart-panel
service grafana-server restart

Pie TOP 5 Status:

SELECT
    1, /* vlera e rreme e timestamp */
    status,
    sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5

Do të vazhdoj të jap kërkesa pa screenshot-e:

Count http_user_agent:

$columns(http_user_agent, count(*) c) FROM $table

GoodRate/BadRate:

$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $table

Koha e përgjigjes:

$rate(avg(request_time) as request_time) FROM $table

Koha e përgjigjes upstream (koha e përgjigjes së 1-upstream):

$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $table

Statusi i Numrit të Tableve për të gjithë vhost:

$columns(status, count(*) as c) from $table

Pamja e përgjithshme e panelit

Krahasimi avg() dhe quantile()

avg()

quantile()

Dalja:

Shpresoj që komuniteti të angazhohet në zhvillimin/testimin dhe përdorimin e nginx-log-collector.
Dhe dikush kur të implementojë nginx-log-collector të tregojë sa ka kursyer në disk, RAM, CPU.

Kanalet Telegram:

• Clickhouse
• Nginx
• Kisha e metrikave
• Mbledhja dhe analiza e mesazheve sistemore
• Grafana

Millisekonda:

Kush i rëndësishme janë milisekondat, ju lutem shkruani ose votoni në këtë çështja.

Burimi: habr.com