Az Nginx-log-collector egy eszköz az Avito-tól, amely a nginx naplókat a Clickhouse-ba küldi

Ebben a cikkben egy projekt kerül bemutatásra nginx-log-collector, amely az nginx naplókat olvas, és azokat a Clickhouse klaszterre küldi. A naplókhoz általában az ElasticSearch-ot használják. A Clickhouse kevesebb erőforrást igényel (tárhely, RAM, CPU). A Clickhouse gyorsabban írja a data-kat. A Clickhouse tömöríti az adatokat, ami még kompaktabbá teszi azokat a lemezen. A Clickhouse előnyei két dián láthatók a prezentációból Hogyan illeszti a VK a data-kat a ClickHouse-ba több ezer szerverről.

A naplók elemzéséhez létrehozunk egy műszerfalat a Grafana számára.

Aki érdeklődik, az jöjjön a folytatásra.

Az nginx-et és a grafanát a szokásos módon telepítjük.

A Clickhouse klasztert az Denis Proskurin által készített ansible-playbook segítségével telepítjük Denis Proskurin.

Adatbázis és táblák létrehozása a Clickhouse-ban

Ebben a fájlban SQL lekérdezések találhatók az nginx-log-collector adatbázis és táblák létrehozásához a Clickhouse-ban.

Minden lekérdezést kötelesek vagyunk egyenként végrehajtani a Clickhouse klaszter minden szerverén.

Fontos megjegyzés: Ebben a sorban a logs_cluster-t cserélje ki a Clickhouse_remote_servers.xml fájlban a "remote_servers" és "shard" között a saját klasztere nevére.

ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())

nginx-log-collector-rpm telepítése és konfigurálása

Az nginx-log-collector-nak nincs rpm je. Itt https://github.com/patsevanton/nginx-log-collector-rpm létrehozunk neki rpm-t. Az rpm a Fedora Copr segítségével fog elkészültni

Telepítjük az nginx-log-collector-rpm csomagot

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collector

Javítjuk a konfigurációt /etc/nginx-log-collector/config.yaml:

  .......
  upload:
    table: nginx.access_log
    dsn: http://ip-cím-a-clickhouse-klaszterhez:8123/

- tag: "nginx_error:"
  format: error  # accès | error
  buffer_size: 1048576
  upload:
    table: nginx.error_log
    dsn: http://ip-cím-a-clickhouse-klaszterhez:8123/

nginx beállítása

Az nginx általános konfigurációja:

felhasználó  nginx;
worker_processes  auto;

#error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format avito_json escape=json
                     '{'
                     '"event_datetime": "$time_iso8601", '
                     '"server_name": "$server_name", '
                     '"remote_addr": "$remote_addr", '
                     '"remote_user": "$remote_user", '
                     '"http_x_real_ip": "$http_x_real_ip", '
                     '"status": "$status", '
                     '"scheme": "$scheme", '
                     '"request_method": "$request_method", '
                     '"request_uri": "$request_uri", '
                     '"server_protocol": "$server_protocol", '
                     '"body_bytes_sent": $body_bytes_sent, '
                     '"http_referer": "$http_referer", '
                     '"http_user_agent": "$http_user_agent", '
                     '"request_bytes": "$request_length", '
                     '"request_time": "$request_time", '
                     '"upstream_addr": "$upstream_addr", '
                     '"upstream_response_time": "$upstream_response_time", '
                     '"hostname": "$hostname", '
                     '"host": "$host"'
                     '}';

    access_log     syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
    error_log      syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse

    #access_log  /var/log/nginx/access.log  main;

    proxy_ignore_client_abort on;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}

Egy virtuális házigazda:

vhost1.conf:

upstream backend {
    server ip-cím-a-szerviznek-stub_http_server:8080;
    server ip-cím-a-szerviznek-stub_http_server:8080;
    server ip-cím-a-szerviznek-stub_http_server:8080;
    server ip-cím-a-szerviznek-stub_http_server:8080;
    server ip-cím-a-szerviznek-stub_http_server:8080;
}

server {
    listen   80;
    server_name vhost1;
    location / {
        proxy_pass http://backend;
    }
}

Hozzáadunk virtuális házigazdákat a /etc/hosts fájlhoz:

ip-cím-a-szerviznek-nginx vhost1

HTTP szerver emulátor

HTTP szerver emulátorként fogjuk használni nodejs-stub-server tól Maxim Ignatenko

A Nodejs-stub-server nem rendelkezik rpm-mel. Itt https://github.com/patsevanton/nodejs-stub-server létrehozunk neki rpm-t. Az rpm a Fedora Copr segítségével fog elkészültni

Telepítjük az upstream nginx rpm csomagot nodejs-stub-server

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_server

Terheléses tesztelés

A tesztet Apache benchmark segítségével végezzük.

Telepítjük:

yum install -y httpd-tools

Teszttel indítjuk az Apache benchmarkot 5 különböző szerverrel:

while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done

Grafana beállítása

A Grafana hivatalos weboldalán nem található irányítópult.

Ezért manuálisan fogjuk elvégezni.

Elmentett műszerfalamat itt találhatja. itt.

Ezen kívül létre kell hoznia egy table változót a tartalommal. nginx.access_log.

Összes kérelem: Singlestat

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

Sikertelen kérések: Singlestat

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t

Sikertelen arány: Singlestat

SELECT
 1 as t, (sum(status = 500 or status = 499) / sum(status = 200 or status = 201 or status = 401)) * 100 FROM $table
 WHERE $timeFilter GROUP BY t

Átlagos válaszidő: Singlestat

SELECT
 1, avg(request_time) FROM $table
 WHERE $timeFilter GROUP BY 1

Maximális válaszidő: Singlestat

SELECT
 1 as t, max(request_time) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

Státuszkód számláló:

$columns(status, count(*) as c) from $table

A vizualizációnak torta formájában való megjelenítéséhez bővítményt kell telepítenie és újra kell indítania a grafanát.

grafana-cli plugins install grafana-piechart-panel
service grafana-server restart

Pie TOP 5 státusz:

SELECT
    1, 
    status,
    sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5

Következőben a lekérdezéseket képernyőképek nélkül fogom bemutatni:

HTTP_user_agent számláló:

$columns(http_user_agent, count(*) c) FROM $table

Jó/Rossz arány:

$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $table

Válaszidő:

$rate(avg(request_time) as request_time) FROM $table

Felső upstream válaszidő (1. upstream válaszideje):

$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $table

Tábla állapot számláló minden vhost számára:

$columns(status, count(*) as c) from $table

A műszerfal általános nézete

Összehasonlítás avg() és quantile() között

avg()

quantile()

Következtetés:

Remélem, a közösség csatlakozni fog a nginx-log-collector fejlesztéséhez/teszteléséhez és használatához.
És valaki, aki bevezeti a nginx-log-collectort, elmondja, mennyi lemez, RAM és CPU-t takarított meg.

Telegram csatornák:

• Clickhouse
• Nginx
• A metrikák egyháza
• Rendszermesemények gyűjtése és elemzése
• Grafanába

Milliszekundumok:

Aki számára fontosak a milliszekundumok, kérem, írjon vagy szavazzon ebben, Kérem. issue.

Forrás: habr.com