Nginx-log-collector პროგრამა Avito-სგან nginx ჟურნალების გაგზავნისთვის Clickhouse-ში

ამ სტატიაში განვიხილავთ პროექტს nginx-log-კოლექტორი, რომელიც წაიკითხავს nginx ჟურნალებს და გააგზავნის Clickhouse კლასტერში. ჩვეულებრივ ElasticSearch გამოიყენება ჟურნალებისთვის. Clickhouse მოითხოვს ნაკლებ რესურსებს (დისკზე, RAM, CPU). Clickhouse აღრიცხავს მონაცემებს უფრო სწრაფად. Clickhouse შეკუმშავს მონაცემებს, რაც დისკზე მონაცემებს კიდევ უფრო კომპაქტურს ხდის. Clickhouse-ის უპირატესობები ჩანს მოხსენებიდან 2 სლაიდში როგორ აყენებს VK მონაცემებს ClickHouse-ში ათობით ათასი სერვერიდან.

ჟურნალებზე დაფუძნებული ანალიტიკის სანახავად, ჩვენ შევქმნით დაფას Grafana-სთვის.

ვისაც აინტერესებს, მოგესალმებით კატა.

დააინსტალირეთ nginx, grafana სტანდარტული გზით.

clickhouse კლასტერის დაყენება ansible-playbook from დენის პროსკურინი.

მონაცემთა ბაზებისა და ცხრილების შექმნა Clickhouse-ში

ამ ფაილი აღწერილია SQL მოთხოვნები მონაცემთა ბაზებისა და ცხრილების შესაქმნელად Clickhouse-ში nginx-log-collector-ისთვის.

ჩვენ ვაკეთებთ თითოეულ მოთხოვნას სათითაოდ თითოეულ სერვერზე Clickhouse კლასტერში.

Მნიშვნელოვანი ჩანაწერი. ამ სტრიქონში, logs_cluster უნდა შეიცვალოს თქვენი კლასტერის სახელით clickhouse_remote_servers.xml ფაილიდან "remote_servers" და "shard" შორის.

ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())

nginx-log-collector-rpm ინსტალაცია და კონფიგურაცია

Nginx-log-კოლექტორს არ აქვს rpm. Აქ https://github.com/patsevanton/nginx-log-collector-rpm შექმენით ბრუნი ამისთვის. rpm შედგენილი იქნება გამოყენებით Fedora Copr

დააინსტალირეთ rpm პაკეტი nginx-log-collector-rpm

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collector

შეცვალეთ კონფიგურაცია /etc/nginx-log-collector/config.yaml:

  .......
  upload:
    table: nginx.access_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

- tag: "nginx_error:"
  format: error  # access | error
  buffer_size: 1048576
  upload:
    table: nginx.error_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

nginx-ის დაყენება

ზოგადი nginx კონფიგურაცია:

user  nginx;
worker_processes  auto;

#error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format avito_json escape=json
                     '{'
                     '"event_datetime": "$time_iso8601", '
                     '"server_name": "$server_name", '
                     '"remote_addr": "$remote_addr", '
                     '"remote_user": "$remote_user", '
                     '"http_x_real_ip": "$http_x_real_ip", '
                     '"status": "$status", '
                     '"scheme": "$scheme", '
                     '"request_method": "$request_method", '
                     '"request_uri": "$request_uri", '
                     '"server_protocol": "$server_protocol", '
                     '"body_bytes_sent": $body_bytes_sent, '
                     '"http_referer": "$http_referer", '
                     '"http_user_agent": "$http_user_agent", '
                     '"request_bytes": "$request_length", '
                     '"request_time": "$request_time", '
                     '"upstream_addr": "$upstream_addr", '
                     '"upstream_response_time": "$upstream_response_time", '
                     '"hostname": "$hostname", '
                     '"host": "$host"'
                     '}';

    access_log     syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
    error_log      syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse

    #access_log  /var/log/nginx/access.log  main;

    proxy_ignore_client_abort on;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}

ერთი ვირტუალური მასპინძელი:

vhost1.conf:

upstream backend {
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
}

server {
    listen   80;
    server_name vhost1;
    location / {
        proxy_pass http://backend;
    }
}

დაამატეთ ვირტუალური ჰოსტები /etc/hosts ფაილს:

ip-адрес-сервера-с-nginx vhost1

HTTP სერვერის ემულატორი

როგორც HTTP სერვერის ემულატორი ჩვენ გამოვიყენებთ nodejs-stub-server საწყისი მაქსიმ იგნატენკო

Nodejs-stub-server-ს არ აქვს rpm. Აქ https://github.com/patsevanton/nodejs-stub-server შექმენით ბრუნი ამისთვის. rpm შედგენილი იქნება გამოყენებით Fedora Copr

დააინსტალირეთ nodejs-stub-server პაკეტი ზემოთ nginx rpm-ზე

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_server

სტრესის ტესტირება

ჩვენ ვაწარმოებთ ტესტირებას Apache-ის საორიენტაციო ნიშნის გამოყენებით.

დააინსტალირეთ:

yum install -y httpd-tools

ჩვენ ვიწყებთ ტესტირებას Apache ბენჩმარკის გამოყენებით 5 სხვადასხვა სერვერიდან:

while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done

Grafana-ს დაყენება

თქვენ ვერ იპოვით დაფას Grafana-ს ოფიციალურ ვებსაიტზე.

ამიტომ, ჩვენ ამას ხელით გავაკეთებთ.

თქვენ შეგიძლიათ იპოვოთ ჩემი შენახული დაფა აქ.

თქვენ ასევე უნდა შექმნათ ცხრილის ცვლადი შინაარსით nginx.access_log.

Singlestat სულ მოთხოვნები:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

Singlestat-ის წარუმატებელი მოთხოვნები:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t

Singlestat წარუმატებლობის პროცენტი:

SELECT
 1 as t, (sum(status = 500 or status = 499)/sum(status = 200 or status = 201 or status = 401))*100 FROM $table
 WHERE $timeFilter GROUP BY t

Singlestat საშუალო პასუხის დრო:

SELECT
 1, avg(request_time) FROM $table
 WHERE $timeFilter GROUP BY 1

Singlestat მაქსიმალური რეაგირების დრო:

SELECT
 1 as t, max(request_time) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

დათვლის სტატუსი:

$columns(status, count(*) as c) from $table

ტორტის მსგავსი მონაცემების გამოსატანად, თქვენ უნდა დააინსტალიროთ დანამატი და გადატვირთოთ grafana.

grafana-cli plugins install grafana-piechart-panel
service grafana-server restart

Pie TOP 5 სტატუსი:

SELECT
    1, /* fake timestamp value */
    status,
    sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5

შემდგომ მე მივცემ თხოვნებს ეკრანის ანაბეჭდების გარეშე:

დაითვალეთ http_user_agent:

$columns(http_user_agent, count(*) c) FROM $table

კარგი რეიტინგი/ცუდი შეფასება:

$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $table

რეაგირების დრო:

$rate(avg(request_time) as request_time) FROM $table

ზემო დინებაში რეაგირების დრო (პირველი დინების რეაგირების დრო):

$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $table

ცხრილის რაოდენობის სტატუსი ყველა vhost-ისთვის:

$columns(status, count(*) as c) from $table

დაფის ზოგადი ხედი

საშუალო() და quantile() შედარება

საშუალო ()

კვანტილი ()

დასკვნა:

იმედი მაქვს საზოგადოება ჩაერთვება nginx-log-collector-ის შემუშავებაში/ტესტირებაში და გამოყენებაში.
და როდესაც ვინმე ახორციელებს nginx-log-collector-ს, ის გეტყვით რამდენი დაზოგა დისკზე, RAM-ზე და CPU-ზე.

ტელეგრამის არხები:

• clickhouse
• ნინიქსი
• მეტრიკის ეკლესია
• სისტემის შეტყობინებების შეგროვება და ანალიზი
• გრაფანა

მილიწამები:

ვისაც მილიწამებს აქვს მნიშვნელობა, გთხოვთ, დაწეროთ ან მიეცით ხმა საკითხი.

წყარო: www.habr.com