Nginx-log-collector utility ຈາກ Avito ສໍາລັບການສົ່ງບັນທຶກ nginx ໄປ Clickhouse

ບົດຄວາມນີ້ຈະສົນທະນາກ່ຽວກັບໂຄງການ nginx-log-collector, ເຊິ່ງຈະອ່ານບັນທຶກ nginx, ສົ່ງພວກມັນໄປຫາກຸ່ມ Clickhouse. ປົກກະຕິແລ້ວ ElasticSearch ແມ່ນໃຊ້ສໍາລັບບັນທຶກ. Clickhouse ຕ້ອງການຊັບພະຍາກອນຫນ້ອຍ (ພື້ນທີ່ດິດ, RAM, CPU). Clickhouse ຂຽນຂໍ້ມູນໄວຂຶ້ນ. Clickhouse ບີບອັດຂໍ້ມູນ, ເຊິ່ງເຮັດໃຫ້ຂໍ້ມູນໃນແຜ່ນມີຄວາມຫນາແຫນ້ນຫຼາຍຂຶ້ນ. ຜົນປະໂຫຍດຂອງ Clickhouse ສາມາດເຫັນໄດ້ໃນ 2 slides ຈາກບົດລາຍງານ ວິທີການ VK ແຊກຂໍ້ມູນເຂົ້າໄປໃນ ClickHouse ຈາກຫລາຍສິບພັນເຄື່ອງແມ່ຂ່າຍ.

ເພື່ອເບິ່ງການວິເຄາະຕາມບັນທຶກ, ໃຫ້ສ້າງ dashboard ສໍາລັບ Grafana.

ໃຜສົນໃຈ, ຍິນດີຕ້ອນຮັບພາຍໃຕ້ cat.

ຕິດຕັ້ງ nginx, grafana ໃນທາງມາດຕະຖານ.

ຕິດຕັ້ງກຸ່ມ clickhouse ກັບ ansible-playbook ຈາກ Denis Proskurin.

ການສ້າງຖານຂໍ້ມູນແລະຕາຕະລາງໃນ Clickhouse

ໃນນີ້ ໄຟລ ຄໍາຖາມ SQL ສໍາລັບການສ້າງຖານຂໍ້ມູນແລະຕາຕະລາງສໍາລັບ nginx-log-collector ໃນ Clickhouse ໄດ້ຖືກອະທິບາຍ.

ພວກເຮົາເຮັດແຕ່ລະຄໍາຮ້ອງຂໍໃນແຕ່ລະເຄື່ອງແມ່ຂ່າຍຂອງກຸ່ມ Clickhouse.

ຫມາຍເຫດສໍາຄັນ. ໃນແຖວນີ້, logs_cluster ຄວນຖືກແທນທີ່ດ້ວຍຊື່ກຸ່ມຂອງທ່ານຈາກໄຟລ໌ clickhouse_remote_servers.xml ລະຫວ່າງ "remote_servers" ແລະ "shard".

ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())

ການຕິດຕັ້ງແລະກໍາຫນົດຄ່າ nginx-log-collector-rpm

Nginx-log-collector ບໍ່ມີ rpm. ທີ່ນີ້ https://github.com/patsevanton/nginx-log-collector-rpm ສ້າງ rpm ສໍາລັບມັນ. rpm ຈະຖືກສ້າງຂຶ້ນໂດຍໃຊ້ Fedora Copr

ຕິດຕັ້ງແພັກເກັດ rpm nginx-log-collector-rpm

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collector

ແກ້ໄຂການຕັ້ງຄ່າ /etc/nginx-log-collector/config.yaml:

  .......
  upload:
    table: nginx.access_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

- tag: "nginx_error:"
  format: error  # access | error
  buffer_size: 1048576
  upload:
    table: nginx.error_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

ຕັ້ງຄ່າ nginx

ການຕັ້ງຄ່າ nginx ທົ່ວໄປ:

user  nginx;
worker_processes  auto;

#error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format avito_json escape=json
                     '{'
                     '"event_datetime": "$time_iso8601", '
                     '"server_name": "$server_name", '
                     '"remote_addr": "$remote_addr", '
                     '"remote_user": "$remote_user", '
                     '"http_x_real_ip": "$http_x_real_ip", '
                     '"status": "$status", '
                     '"scheme": "$scheme", '
                     '"request_method": "$request_method", '
                     '"request_uri": "$request_uri", '
                     '"server_protocol": "$server_protocol", '
                     '"body_bytes_sent": $body_bytes_sent, '
                     '"http_referer": "$http_referer", '
                     '"http_user_agent": "$http_user_agent", '
                     '"request_bytes": "$request_length", '
                     '"request_time": "$request_time", '
                     '"upstream_addr": "$upstream_addr", '
                     '"upstream_response_time": "$upstream_response_time", '
                     '"hostname": "$hostname", '
                     '"host": "$host"'
                     '}';

    access_log     syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
    error_log      syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse

    #access_log  /var/log/nginx/access.log  main;

    proxy_ignore_client_abort on;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}

ເຈົ້າພາບສະເໝືອນຈິງ:

vhost1.conf:

upstream backend {
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
}

server {
    listen   80;
    server_name vhost1;
    location / {
        proxy_pass http://backend;
    }
}

ເພີ່ມ virtual hosts ໃສ່ໄຟລ໌ /etc/hosts:

ip-адрес-сервера-с-nginx vhost1

ຕົວຈຳລອງເຊີບເວີ HTTP

ໃນຖານະເປັນ emulator ເຄື່ອງແມ່ຂ່າຍ HTTP ພວກເຮົາຈະນໍາໃຊ້ nodejs-stub-server ຈາກ Maxim Ignatenko

nodejs-stub-server ບໍ່ມີ rpm. ທີ່ນີ້ https://github.com/patsevanton/nodejs-stub-server ສ້າງ rpm ສໍາລັບມັນ. rpm ຈະຖືກສ້າງຂຶ້ນໂດຍໃຊ້ Fedora Copr

ຕິດຕັ້ງແພັກເກັດເຊີບເວີ nodejs-stub-server ໃນ upstream nginx rpm

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_server

ການທົດສອບຄວາມກົດດັນ

ການທົດສອບແມ່ນດໍາເນີນໂດຍໃຊ້ Apache benchmark.

ຕິດຕັ້ງມັນ:

yum install -y httpd-tools

ພວກເຮົາເລີ່ມທົດສອບໂດຍໃຊ້ Apache benchmark ຈາກ 5 ເຊີບເວີທີ່ແຕກຕ່າງກັນ:

while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done

ການ​ຕັ້ງ​ຄ່າ Grafana​

ທ່ານຈະບໍ່ພົບ dashboard ຢູ່ໃນເວັບໄຊທ໌ຢ່າງເປັນທາງການ Grafana.

ເພາະສະນັ້ນ, ພວກເຮົາຈະເຮັດມັນດ້ວຍມື.

ທ່ານສາມາດຊອກຫາ dashboard ຂອງຂ້ອຍທີ່ບັນທຶກໄວ້ ທີ່ນີ້.

ນອກນັ້ນທ່ານຍັງຈໍາເປັນຕ້ອງສ້າງຕົວແປຕາຕະລາງທີ່ມີເນື້ອຫາ nginx.access_log.

ການຮ້ອງຂໍທັງໝົດ Singlestat:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

ການຮ້ອງຂໍ Singlestat ລົ້ມເຫລວ:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t

ເປີເຊັນຄວາມລົ້ມເຫລວ Singlestat:

SELECT
 1 as t, (sum(status = 500 or status = 499)/sum(status = 200 or status = 201 or status = 401))*100 FROM $table
 WHERE $timeFilter GROUP BY t

ເວລາຕອບໂຕ້ສະເລ່ຍ Singlestat:

SELECT
 1, avg(request_time) FROM $table
 WHERE $timeFilter GROUP BY 1

ເວລາຕອບຮັບສູງສຸດ Singlestat:

SELECT
 1 as t, max(request_time) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

ສະຖານະການນັບ:

$columns(status, count(*) as c) from $table

ເພື່ອໃຫ້ຂໍ້ມູນອອກມາຄືກັບ pie, ທ່ານຈໍາເປັນຕ້ອງຕິດຕັ້ງ plugin ແລະໂຫຼດ grafana ຄືນໃໝ່.

grafana-cli plugins install grafana-piechart-panel
service grafana-server restart

Pie TOP 5 ສະຖານະ:

SELECT
    1, /* fake timestamp value */
    status,
    sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5

ນອກຈາກນັ້ນ, ຂ້າພະເຈົ້າຈະໃຫ້ຄໍາຮ້ອງຂໍໂດຍບໍ່ມີການ screenshots:

ນັບ http_user_agent:

$columns(http_user_agent, count(*) c) FROM $table

ອັດຕາດີ/ອັດຕາບໍ່ດີ:

$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $table

ເວລາຕອບສະຫນອງ:

$rate(avg(request_time) as request_time) FROM $table

ເວ​ລາ​ຕອບ​ສະ​ຫນອງ​ຢູ່​ເທິງ​ນ​້​ໍ​າ (ທີ່​ໃຊ້​ເວ​ລາ​ຕອບ​ສະ​ຫນອງ​ຂອງ​ການ​ຕອບ​ສະ​ຫນອງ​ຄັ້ງ​ທີ 1​)​:

$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $table

ສະຖານະການນັບຕາຕະລາງສໍາລັບ vhosts ທັງຫມົດ:

$columns(status, count(*) as c) from $table

ມຸມມອງທົ່ວໄປຂອງ dashboard

ປຽບທຽບ avg() ແລະ quantile()

ສະເລ່ຍ()

quantile()

ສະຫຼຸບ:

ຫວັງວ່າຊຸມຊົນຈະມີສ່ວນຮ່ວມໃນການພັດທະນາ / ການທົດສອບແລະການນໍາໃຊ້ nginx-log-collector.
ແລະໃນເວລາທີ່ຜູ້ໃດຜູ້ຫນຶ່ງປະຕິບັດ nginx-log-collector, ລາວຈະບອກທ່ານວ່າລາວໄດ້ບັນທຶກແຜ່ນ, RAM, CPU ຫຼາຍປານໃດ.

ຊ່ອງ Telegram:

• clickhouse
• Nginx
• ໂບດ Metrics
• ການເກັບກໍາແລະການວິເຄາະຂໍ້ຄວາມລະບົບ
• ກຣາຟານາ

ມິນລິວິນາທີ:

ໃຜສົນໃຈ milliseconds, ຂຽນຫຼືລົງຄະແນນສຽງ, ກະລຸນາ, ໃນນີ້ ບັນຫາ.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com