🥇Nginx-log-collector-apuohjelma Avitolta nginx-lokien lähettämiseen Clickhouseen

Tässä artikkelissa käsitellään hanketta nginx-log-collector, joka lukee nginx-lokit ja lähettää ne Clickhouse-klusteriin. Yleensä lokeihin käytetään ElasticSearchia. Clickhouse vaatii vähemmän resursseja (levytilaa, RAM-muistia, CPU). Clickhouse kirjoittaa tietoja nopeammin. Clickhouse pakkaa tiedot, mikä tekee levyllä olevista tiedoista entistä kompaktimpia. Clickhousen edut näkyvät raportin kahdessa diassa Kuinka VK lisää tietoja ClickHouseen kymmeniltä tuhansilta palvelimilta.

Jos haluat tarkastella analytiikkaa lokien mukaan, luodaan Grafanalle kojelauta.

Ketä kiinnostaa, tervetuloa kissan alle.

Asenna nginx, grafana tavallisella tavalla.

Asenna clickhouse-klusteri ansible-playbookilla osoitteesta Denis Proskurin.

Tietokannan ja taulukoiden luominen Clickhousessa

tässä tiedosto Kuvataan SQL-kyselyt tietokantojen ja taulukoiden luomiseksi nginx-log-collectorille Clickhousessa.

Teemme jokaisen pyynnön vuorotellen jokaisella Clickhouse-klusterin palvelimella.

Tärkeä muistiinpano. Tällä rivillä logs_cluster tulee korvata klusterin nimellä clickhouse_remote_servers.xml-tiedostosta "remote_servers" ja "shard" välillä.

ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())

Asenna ja määritä nginx-log-collector-rpm

Nginx-log-collectorilla ei ole rpm. Tässä https://github.com/patsevanton/nginx-log-collector-rpm luo sille rpm. rpm rakennetaan käyttämällä Fedora Copr

Asenna rpm-paketti nginx-log-collector-rpm

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collector

Muokkaa konfiguraatiota /etc/nginx-log-collector/config.yaml:

  .......
  upload:
    table: nginx.access_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

- tag: "nginx_error:"
  format: error  # access | error
  buffer_size: 1048576
  upload:
    table: nginx.error_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

Asetetaan nginx

Yleinen nginx-asetus:

user  nginx;
worker_processes  auto;

#error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format avito_json escape=json
                     '{'
                     '"event_datetime": "$time_iso8601", '
                     '"server_name": "$server_name", '
                     '"remote_addr": "$remote_addr", '
                     '"remote_user": "$remote_user", '
                     '"http_x_real_ip": "$http_x_real_ip", '
                     '"status": "$status", '
                     '"scheme": "$scheme", '
                     '"request_method": "$request_method", '
                     '"request_uri": "$request_uri", '
                     '"server_protocol": "$server_protocol", '
                     '"body_bytes_sent": $body_bytes_sent, '
                     '"http_referer": "$http_referer", '
                     '"http_user_agent": "$http_user_agent", '
                     '"request_bytes": "$request_length", '
                     '"request_time": "$request_time", '
                     '"upstream_addr": "$upstream_addr", '
                     '"upstream_response_time": "$upstream_response_time", '
                     '"hostname": "$hostname", '
                     '"host": "$host"'
                     '}';

    access_log     syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
    error_log      syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse

    #access_log  /var/log/nginx/access.log  main;

    proxy_ignore_client_abort on;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}

Virtuaalinen isäntä yksi:

vhost1.conf:

upstream backend {
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
}

server {
    listen   80;
    server_name vhost1;
    location / {
        proxy_pass http://backend;
    }
}

Lisää virtuaalisia isäntiä /etc/hosts-tiedostoon:

ip-адрес-сервера-с-nginx vhost1

HTTP-palvelimen emulaattori

Käytämme HTTP-palvelinemulaattorina nodejs-stub-server alkaen Maxim Ignatenko

nodejs-stub-serverillä ei ole rpm. Tässä https://github.com/patsevanton/nodejs-stub-server luo sille rpm. rpm rakennetaan käyttämällä Fedora Copr

Asenna paketti nodejs-stub-server ylävirran nginx rpm:ään

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_server

Stressitestaus

Testaus suoritetaan Apache benchmarkilla.

Asenna se:

yum install -y httpd-tools

Aloitamme testaamisen Apache-benchmarkilla viideltä eri palvelimelta:

while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done

Grafanan asetukset

Et löydä kojelautaa Grafanan viralliselta verkkosivustolta.

Siksi teemme sen käsin.

Löydät tallennetun kojelautani täällä.

Sinun on myös luotava taulukkomuuttuja sisällön kanssa nginx.access_log.

Singlestat yhteensä pyynnöt:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

Singlestat epäonnistuneet pyynnöt:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t

Singlestat epäonnistumisprosentti:

SELECT
 1 as t, (sum(status = 500 or status = 499)/sum(status = 200 or status = 201 or status = 401))*100 FROM $table
 WHERE $timeFilter GROUP BY t

Singlestatin keskimääräinen vasteaika:

SELECT
 1, avg(request_time) FROM $table
 WHERE $timeFilter GROUP BY 1

Singlestat maksimi vasteaika:

SELECT
 1 as t, max(request_time) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

Laskun tila:

$columns(status, count(*) as c) from $table

Jos haluat tulostaa tietoja kuten piirakka, sinun on asennettava laajennus ja ladattava grafana uudelleen.

grafana-cli plugins install grafana-piechart-panel
service grafana-server restart

Piirakka TOP 5 -tila:

SELECT
    1, /* fake timestamp value */
    status,
    sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5

Lisäksi annan pyyntöjä ilman kuvakaappauksia:

Laske http_user_agent:

$columns(http_user_agent, count(*) c) FROM $table

GoodRate/BadRate:

$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $table

vastauksen ajoitus:

$rate(avg(request_time) as request_time) FROM $table

Vastausaika ylävirtaan (1. alkupään vasteaika):

$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $table

Taulukkomäärän tila kaikille vhosteille:

$columns(status, count(*) as c) from $table

Yleisnäkymä kojelaudasta

Avg()- ja kvantili()-arvojen vertailu

avg()

kvantili()

Johtopäätös:

Toivottavasti yhteisö osallistuu nginx-log-collectorin kehittämiseen/testaukseen ja käyttöön.
Ja kun joku ottaa käyttöön nginx-log-collectorin, hän kertoo kuinka paljon hän säästää levyä, RAM-muistia, CPU:ta.

Telegram-kanavat:

Millisekuntia:

Kuka välittää millisekunneista, kirjoita tai äänestä tässä kysymys.

Lähde: will.com

Aviton Nginx-log-collector -apuohjelma nginx-lokien lähettämiseen Clickhouseen