Ky artikull do të diskutojë projektin , i cili do të lexojë regjistrat e nginx dhe do t'i dërgojë ato në grupin Clickhouse. Zakonisht ElasticSearch përdoret për regjistrat. Clickhouse kërkon më pak burime (hapësirë në disk, RAM, CPU). Clickhouse regjistron të dhënat më shpejt. Clickhouse ngjesh të dhënat, duke i bërë të dhënat në disk edhe më kompakte. Përparësitë e Clickhouse janë të dukshme në 2 rrëshqitje nga raporti
Për të parë analitikën bazuar në regjistrat, ne do të krijojmë një panel kontrolli për Grafana.
Kushdo që është i interesuar, i mirëpritur në cat.
Instaloni nginx, grafana në mënyrën standarde.
Instalimi i një grupi clickhouse duke përdorur ansible-playbook from .
Krijimi i bazave të të dhënave dhe tabelave në Clickhouse
Në këtë Përshkruhen pyetjet SQL për krijimin e bazave të të dhënave dhe tabelave për nginx-log-collector në Clickhouse.
Ne bëjmë secilën kërkesë një nga një në secilin server në grupin Clickhouse.
Shënim i rëndësishëm. Në këtë rresht, logs_cluster duhet të zëvendësohet me emrin e grupit tuaj nga skedari clickhouse_remote_servers.xml midis "remote_servers" dhe "shard".
ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())Instalimi dhe konfigurimi i nginx-log-collector-rpm
Nginx-log-collector nuk ka një rpm. Këtu krijoni rpm për të. rpm do të përpilohet duke përdorur
Instaloni paketën rpm nginx-log-collector-rpm
yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collectorRedaktoni konfigurimin /etc/nginx-log-collector/config.yaml:
.......
upload:
table: nginx.access_log
dsn: http://ip-адрес-кластера-clickhouse:8123/
- tag: "nginx_error:"
format: error # access | error
buffer_size: 1048576
upload:
table: nginx.error_log
dsn: http://ip-адрес-кластера-clickhouse:8123/Konfigurimi i nginx
Konfigurimi i përgjithshëm i nginx:
user nginx;
worker_processes auto;
#error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
log_format avito_json escape=json
'{'
'"event_datetime": "$time_iso8601", '
'"server_name": "$server_name", '
'"remote_addr": "$remote_addr", '
'"remote_user": "$remote_user", '
'"http_x_real_ip": "$http_x_real_ip", '
'"status": "$status", '
'"scheme": "$scheme", '
'"request_method": "$request_method", '
'"request_uri": "$request_uri", '
'"server_protocol": "$server_protocol", '
'"body_bytes_sent": $body_bytes_sent, '
'"http_referer": "$http_referer", '
'"http_user_agent": "$http_user_agent", '
'"request_bytes": "$request_length", '
'"request_time": "$request_time", '
'"upstream_addr": "$upstream_addr", '
'"upstream_response_time": "$upstream_response_time", '
'"hostname": "$hostname", '
'"host": "$host"'
'}';
access_log syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
error_log syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse
#access_log /var/log/nginx/access.log main;
proxy_ignore_client_abort on;
sendfile on;
keepalive_timeout 65;
include /etc/nginx/conf.d/*.conf;
}
Një host virtual:
vhost1.conf:
upstream backend {
server ip-адрес-сервера-с-stub_http_server:8080;
server ip-адрес-сервера-с-stub_http_server:8080;
server ip-адрес-сервера-с-stub_http_server:8080;
server ip-адрес-сервера-с-stub_http_server:8080;
server ip-адрес-сервера-с-stub_http_server:8080;
}
server {
listen 80;
server_name vhost1;
location / {
proxy_pass http://backend;
}
}Shtoni host virtual në skedarin /etc/hosts:
ip-адрес-сервера-с-nginx vhost1Emulatori i serverit HTTP
Ne do të përdorim si një emulator të serverit HTTP nga
Nodejs-stub-server nuk ka një rpm. Këtu krijoni rpm për të. rpm do të përpilohet duke përdorur
Instaloni paketën nodejs-stub-server në rrjedhën e sipërme nginx rpm
yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_serverTestimi i stresit
Ne kryejmë testimin duke përdorur standardin Apache.
Instaloni atë:
yum install -y httpd-toolsNe fillojmë të testojmë duke përdorur standardin Apache nga 5 serverë të ndryshëm:
while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; doneVendosja e Grafanës
Nuk do të gjeni një panel kontrolli në faqen zyrtare të Grafana-s.
Prandaj, ne do ta bëjmë atë me dorë.
Mund të gjesh panelin tim të ruajtur .
Ju gjithashtu duhet të krijoni një variabël tabele me përmbajtjen nginx.access_log.
Kërkesat totale të Singlestat:
SELECT
1 as t,
count(*) as c
FROM $table
WHERE $timeFilter GROUP BY t
Kërkesat e dështuara të Singlestat:
SELECT
1 as t,
count(*) as c
FROM $table
WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t
Përqindja e dështimit të një statusi të vetëm:
SELECT
1 as t, (sum(status = 500 or status = 499)/sum(status = 200 or status = 201 or status = 401))*100 FROM $table
WHERE $timeFilter GROUP BY t
Koha mesatare e përgjigjes në Singlestat:
SELECT
1, avg(request_time) FROM $table
WHERE $timeFilter GROUP BY 1
Koha maksimale e përgjigjes së Singlestat:
SELECT
1 as t, max(request_time) as c
FROM $table
WHERE $timeFilter GROUP BY t
Statusi i numërimit:
$columns(status, count(*) as c) from $table
Për të nxjerrë të dhëna si një byrek, duhet të instaloni shtesën dhe të rinisni grafana.
grafana-cli plugins install grafana-piechart-panel
service grafana-server restartStatusi i Pie TOP 5:
SELECT
1, /* fake timestamp value */
status,
sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5
Më tej do të jap kërkesa pa pamje nga ekrani:
Numëroni http_user_agent:
$columns(http_user_agent, count(*) c) FROM $tableNorma e mirë / Norma e keqe:
$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $tableKoha e përgjigjes:
$rate(avg(request_time) as request_time) FROM $tableKoha e përgjigjes në rrjedhën e sipërme (koha e parë e përgjigjes në rrjedhën e sipërme):
$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $tableStatusi i numërimit të tabelës për të gjithë vhost:
$columns(status, count(*) as c) from $tablePamje e përgjithshme e pultit
Krahasimi i mesatares () dhe sasisë ()
mesatare ()
kuantile ()
Përfundim:
Shpresoj se komuniteti do të përfshihet në zhvillimin/testimin dhe përdorimin e nginx-log-collector.
Dhe kur dikush zbaton nginx-log-collector, ata do t'ju tregojnë se sa ka kursyer në disk, RAM dhe CPU.
Kanalet e telegramit:
Milisekonda:
Për të cilët milisekonda kanë rëndësi, ju lutemi shkruani ose votoni në këtë .
Burimi: www.habr.com