Nginx-log-collector, ett verktyg från Avito för att skicka nginx-loggar till Clickhouse

Denna artikel kommer att behandla projektet nginx-log-collector, som kommer att läsa nginx-loggar och skicka dem till Clickhouse-klustret. Oftast används ElasticSearch för loggar. Clickhouse kräver färre resurser (diskutrymme, RAM, CPU). Clickhouse skriver data snabbare. Clickhouse komprimerar data, vilket gör att datan på disken blir ännu mer komprimerad. Fördelarna med Clickhouse syns i de två bilderna från presentationen Hur VK matar in data i ClickHouse från tiotusentals servrar.

För att se analysen av loggarna kommer vi att skapa en instrumentpanel för Grafana.

Den som är intresserad är välkommen att läsa vidare.

Vi installerar nginx och grafana på standard sätt.

Vi installerar Clickhouse-klustret med hjälp av ansible-playbook från Denis Proskurin.

Skapande av databas och tabeller i Clickhouse

I den här filen beskrivs SQL-frågor för att skapa databas och tabeller för nginx-log-collector i Clickhouse.

Vi kör varje fråga sekventiellt på varje server i Clickhouse-klustret.

Viktig notering. I denna rad måste logs_cluster ersättas med ert klusternamn från filen clickhouse_remote_servers.xml mellan "remote_servers" och "shard".

ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())

Installation och konfiguration av nginx-log-collector-rpm

Nginx-log-collector har ingen rpm. Här https://github.com/patsevanton/nginx-log-collector-rpm skapar vi en rpm för den. RPM kommer att byggas med hjälp av Fedora Copr

Vi installerar rpm-paketet nginx-log-collector-rpm

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collector

Vi redigerar konfigurationsfilen /etc/nginx-log-collector/config.yaml:

  .......
  upload:
    table: nginx.access_log
    dsn: http://ip-adress-kluster-clickhouse:8123/

- tag: "nginx_error:"
  format: error  # access | error
  buffer_size: 1048576
  upload:
    table: nginx.error_log
    dsn: http://ip-adress-kluster-clickhouse:8123/

Konfiguration av nginx

Generell konfiguration av nginx:

user  nginx;
worker_processes  auto;

#error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format avito_json escape=json
                     '{'
                     '"event_datetime": "$time_iso8601", '
                     '"server_name": "$server_name", '
                     '"remote_addr": "$remote_addr", '
                     '"remote_user": "$remote_user", '
                     '"http_x_real_ip": "$http_x_real_ip", '
                     '"status": "$status", '
                     '"scheme": "$scheme", '
                     '"request_method": "$request_method", '
                     '"request_uri": "$request_uri", '
                     '"server_protocol": "$server_protocol", '
                     '"body_bytes_sent": $body_bytes_sent, '
                     '"http_referer": "$http_referer", '
                     '"http_user_agent": "$http_user_agent", '
                     '"request_bytes": "$request_length", '
                     '"request_time": "$request_time", '
                     '"upstream_addr": "$upstream_addr", '
                     '"upstream_response_time": "$upstream_response_time", '
                     '"hostname": "$hostname", '
                     '"host": "$host"'
                     '}';

    access_log     syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
    error_log      syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse

    #access_log  /var/log/nginx/access.log  main;

    proxy_ignore_client_abort on;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}

Virtuell värd en:

vhost1.conf:

upstream backend {
    server server-ip-address-with-stub_http_server:8080;
    server server-ip-address-with-stub_http_server:8080;
    server server-ip-address-with-stub_http_server:8080;
    server server-ip-address-with-stub_http_server:8080;
    server server-ip-address-with-stub_http_server:8080;
}

server {
    listen   80;
    server_name vhost1;
    location / {
        proxy_pass http://backend;
    }
}

Lägg till virtuella värdar i filen /etc/hosts:

server-ip-address-with-nginx vhost1

HTTP server emulator

Som HTTP server emulator kommer vi att använda nodejs-stub-server från Maxim Ignatenko

Nodejs-stub-server har inget rpm. Här https://github.com/patsevanton/nodejs-stub-server skapar vi en rpm för den. RPM kommer att byggas med hjälp av Fedora Copr

Installerar nodejs-stub-server rpm paket på upstream nginx

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_server

Belastningstestning

Testningen utförs med hjälp av Apache benchmark.

Vi installerar det:

yum install -y httpd-tools

Vi startar testningen med hjälp av Apache benchmark från 5 olika servrar:

while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done

Grafana konfiguration

På Grafanas officiella webbplats hittar du ingen dashboard.

Därför kommer vi att göra det manuellt.

Min sparade instrumentpanel kan du hitta ). Ett typiskt exempel på användning:.

Du behöver också skapa en variabel table med innehållet nginx.access_log.

Singlestat Totala Förfrågningar:

VÄLJ
 1 som t,
 count(*) som c
 FRÅN $table
 DÄR $timeFilter GRUPPERA EFTER t

Singlestat Misslyckade Förfrågningar:

VÄLJ
 1 som t,
 count(*) som c
 FRÅN $table
 DÄR $timeFilter OCH status INTE I (200, 201, 401) GRUPPERA EFTER t

Singlestat Misslyckande Andel:

VÄLJ
 1 som t, (sum(status = 500 eller status = 499) / sum(status = 200 eller status = 201 eller status = 401)) * 100 FRÅN $table
 DÄR $timeFilter GRUPPERA EFTER t

Singlestat Genomsnittlig Svarstid:

VÄLJ
 1, avg(request_time) FRÅN $table
 DÄR $timeFilter GRUPPERA EFTER 1

Singlestat Max Svarstid:

VÄLJ
 1 som t, max(request_time) som c
 FRÅN $table
 DÄR $timeFilter GRUPPERA EFTER t

Räkna Status:

$columns(status, count(*) som c) FRÅN $table

För att visa data som ett cirkeldiagram, måste du installera pluginet och starta om grafana.

grafana-cli plugins installera grafana-piechart-panel
service grafana-server starta om

Cirkeldiagram Topp 5 Status:

VÄLJ
    1, 
    status,
    sum(status) AS Reqs
FRÅN $table
DÄR $timeFilter
GRUPPERA EFTER status
ORDNA EFTER Reqs desc
BEGRÄNSA 5

Vidare kommer jag att ge förfrågningar utan skärmbilder:

Räkna http_user_agent:

$columns(http_user_agent, count(*) c) FRÅN $table

Bra Rate/Dålig Rate:

$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FRÅN $table

Svarstider:

$rate(avg(request_time) som request_time) FRÅN $table

Upstream svarstid (svarstid från första upstream):

$rate(avg(arrayElement(upstream_response_time, 1)) som upstream_response_time) FRÅN $table

Tabell Räkna Status för alla vhost:

$columns(status, count(*) som c) FRÅN $table

Översikt av instrumentpanelen

Jämförelse avg() och quantile()

avg()

quantile()

Slutsats:

Jag hoppas att gemenskapen kommer att engagera sig i utveckling/testning och användning av nginx-log-collector.
Och någon som implementerar nginx-log-collector kommer att berätta hur mycket de har sparat i disk, RAM, CPU.

Telegram-kanaler:

• Clickhouse
• Nginx
• Metrikens kyrka
• Insamling och analys av systemmeddelanden
• Grafana

Millisekunder:

Om millisekunder är viktiga för dig, skriv eller rösta gärna i detta problem.

Källa: habr.com