Nginx-log-collector օգտագլուխը Avito-ի կողմից, որպեսզի ուղարկել nginx-ական լոգերը Clickhouse

Այս հոդվածում կքննարկենք նախագիծը nginx-log-collector, որը կկարդա nginx-ի լոգերը, կուղարկի դրանք Clickhouse կլաստեր: Լոգերի համար սովորաբար օգտագործվում է ElasticSearch: Clickhouse-ը պահանջում է ավելի քիչ ռեսուրսներ (դիսկի տարածք, RAM, CPU): Clickhouse-ը ավելի արագ գրանցում է տվյալները: Clickhouse-ը ճնշում է տվյալները, ինչը դարձնում է դրանք ավելի կոմպակտ սկավառակում: Clickhouse-ի առավելությունները երեւում են 2 սլայդներից զեկուցման: Ինչպես VK-ն տվյալներ է մտցնում ClickHouse դեկտաբուրատելից հազարավոր սերվերներից:

Լոգերի վերլուծության համար ստեղծենք դաշբորդ Grafana համար:

Ովքեր հետաքրքրված են, ջերմորեն ողջունվում են:

Պետք է տեղադրենք nginx-ը, grafana որակյալ ձեւով:

Պետք է տեղադրենք Clickhouse կլաստերը Ansible-playbook-ի միջոցով Դենիս Պրոսկուրինի.

Ստեղծում ենք բազա և աղյուսակ Clickhouse-ում

Այս ֆայլում ներդրված են SQL հարցումներ nginx-log-collector-ի բազայի և աղյուսակների ստեղծման համար Clickhouse-ում:

Յուրաքանչյուր հարցումը կատարում ենք հերթով յուրաքանչյուր Clickhouse կլաստերի սերվերին:

Անշուշտ մեծ նշանակություն ունի: Այս տողում logs_cluster պետք է փոխարինեք ձեր կլաստերի անվամբ `clickhouse_remote_servers.xml` ֆայլում "remote_servers" և "shard" միջև:

ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())

nginx-log-collector-rpm-ի տեղադրում և կարգավորում

Nginx-log-collector-ը չունի rpm: Այստեղ https://github.com/patsevanton/nginx-log-collector-rpm ստեղծում ենք rpm: RPM-ը կհավաքվի Fedora Copr

Տեղադրում ենք nginx-log-collector-rpm rpm փաթեթը

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collector

Խմբագրում ենք config-ը /etc/nginx-log-collector/config.yaml:

  .......
  upload:
    table: nginx.access_log
    dsn: http://ip-կլաստերի-clickhouse:8123/

- tag: "nginx_error:"
  format: error  # access | error
  buffer_size: 1048576
  upload:
    table: nginx.error_log
    dsn: http://ip-կլաստերի-clickhouse:8123/

nginx-ի կարգավորում

Ընդհանուր nginx config:

user  nginx;
worker_processes  auto;

#error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format avito_json escape=json
                     '{'
                     '"event_datetime": "$time_iso8601", '
                     '"server_name": "$server_name", '
                     '"remote_addr": "$remote_addr", '
                     '"remote_user": "$remote_user", '
                     '"http_x_real_ip": "$http_x_real_ip", '
                     '"status": "$status", '
                     '"scheme": "$scheme", '
                     '"request_method": "$request_method", '
                     '"request_uri": "$request_uri", '
                     '"server_protocol": "$server_protocol", '
                     '"body_bytes_sent": $body_bytes_sent, '
                     '"http_referer": "$http_referer", '
                     '"http_user_agent": "$http_user_agent", '
                     '"request_bytes": "$request_length", '
                     '"request_time": "$request_time", '
                     '"upstream_addr": "$upstream_addr", '
                     '"upstream_response_time": "$upstream_response_time", '
                     '"hostname": "$hostname", '
                     '"host": "$host"'
                     '}';

    access_log     syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
    error_log      syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse

    #access_log  /var/log/nginx/access.log  main;

    proxy_ignore_client_abort on;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}

Մի վիրտուալ հոստ.

vhost1.conf:

առցանց backend {
    server ip-հասցե-server-ով-stub_http_server:8080;
    server ip-հասցե-server-ով-stub_http_server:8080;
    server ip-հասցե-server-ով-stub_http_server:8080;
    server ip-հասցե-server-ով-stub_http_server:8080;
    server ip-հասցե-server-ով-stub_http_server:8080;
}

server {
    listen   80;
    server_name vhost1;
    location / {
        proxy_pass http://backend;
    }
}

Ավելացնում ենք ֆայլի մեջ /etc/hosts վիրտուալ հոստեր:

ip-հասցե-server-ով-nginx vhost1

HTTP սերվերի Էմուլյատոր

HTTP սերվերի Էմուլյատոր որպես օգտագործելու ենք nodejs-stub-server ից Maxim Ignatenko

Nodejs-stub-server չունի rpm: Այստեղ https://github.com/patsevanton/nodejs-stub-server ստեղծում ենք rpm: RPM-ը կհավաքվի Fedora Copr

Նախագծում ենք upstream nginx rpm փաթեթ nodejs-stub-server

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_server

Բեռի փորձարկում

Փորձարկումը կատարում ենք Apache benchmark-ով:

Նախագծում ենք այն:

yum install -y httpd-tools

Լուրներին կատարում ենք փորձարկում Apache benchmark-ով 5 տարբեր սերվերներից:

while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done

Grafana-ի կարգավորում

Grafana-ի պաշտոնական կայքում դուք չեք գտնի դաշբորդ:

Ուրեմն մենք պետք է այն ստեղծենք ձեռքով:

Իմ պահպանված դաշբորդը դուք կարող եք գտնել այստեղ.

Այսպես ձեզ պետք է ստեղծել table փոփոխական, որի պարունակությունն է nginx.access_log.

Singlestat Ընդհանուր հարցումներ:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

Singlestat Մահացած հարցումներ:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t

Singlestat Նեվավի տոկոսի:

SELECT
 1 as t, (sum(status = 500 or status = 499)/sum(status = 200 or status = 201 or status = 401))*100 FROM $table
 WHERE $timeFilter GROUP BY t

Singlestat Ortalama արձագրման ժամանակ:

SELECT
 1, avg(request_time) FROM $table
 WHERE $timeFilter GROUP BY 1

Singlestat Քիչագույն արձագրման ժամանակ:

SELECT
 1 as t, max(request_time) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

Հաշվարկի վիճակը:

$columns(status, count(*) as c) from $table

Տվյալները կծառայեն որպես պիցա, պետք է տեղադրել պլագին և מחדש սկսել grafana:

grafana-cli plugins install grafana-piechart-panel
service grafana-server restart

Pie TOP 5 Վիճակներ:

SELECT
    1, /* կեղծ ժամանակով արժեք */
    status,
    sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5

Առաջիկայում կհայտնեմ հարցումները առանց էկրանային շապիկների:

Հաշվարկ http_user_agent:

$columns(http_user_agent, count(*) c) FROM $table

Լավ Խնայողություն/Վարիացման:

$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $table

Արձագրման ժամանակ:

$rate(avg(request_time) as request_time) FROM $table

Upstream-ի արձագրման ժամանակ (միավորի արձագման ժամանակ):

$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $table

Տեղադրման վիճակը բոլոր vhost-ների համար:

$columns(status, count(*) as c) from $table

Ամբողջ դաշբորդի տեսքը

Օրինակիչ avg() և quantile() համեմատ:

avg()

quantile()

Եզրակացություն:

Հույս ունեմ, որ համայնքը միանալու է nginx-log-collector-ի մշակման/փորձարկման և օգտագործման գործում:
Եվ ով-нибудь երբ ներդնի nginx-log-collector, պատմի թե ինչքան արտոնություն է խնայել սկիզբ, ՊՕՈՒ, CPU.

Telegram ալիքներ:

• Clickhouse
• Nginx
• Մետրի բացթողումը
• Հավաքման և համակարգի հաղորդագրությունների վերլուծություն
• Մեծ կլաստեր, թե շատ փոքրեր

Միլիսեկունդներ:

Ովքեր համարում են միլիսեկունդներ, խնդրում եմ գրեք կամ քվեարկեք, խնդրում եմ այս issue.

Ընտանիք: habr.com