Este artigo discutirá o projeto , que lerá os logs do nginx e os enviará para o cluster Clickhouse. Normalmente o ElasticSearch é usado para logs. Clickhouse requer menos recursos (espaço em disco, RAM, CPU). Clickhouse registra dados com mais rapidez. Clickhouse compacta dados, tornando os dados em disco ainda mais compactos. As vantagens do Clickhouse ficam visíveis em 2 slides do relatório
Para visualizar análises baseadas em logs, criaremos um painel para Grafana.
Quem estiver interessado, seja bem-vindo ao gato.
Instale o nginx, grafana da maneira padrão.
Instalando um cluster clickhouse usando ansible-playbook de .
Criando bancos de dados e tabelas no Clickhouse
Neste São descritas consultas SQL para criação de bancos de dados e tabelas para nginx-log-collector em Clickhouse.
Fazemos cada solicitação uma por uma em cada servidor do cluster Clickhouse.
Nota importante. Nesta linha, logs_cluster precisa ser substituído pelo nome do cluster do arquivo clickhouse_remote_servers.xml entre "remote_servers" e "shard".
ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())Instalando e configurando nginx-log-collector-rpm
O Nginx-log-collector não possui rpm. Aqui crie rpm para ele. rpm será compilado usando
Instale o pacote rpm nginx-log-collector-rpm
yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collectorEdite a configuração /etc/nginx-log-collector/config.yaml:
.......
upload:
table: nginx.access_log
dsn: http://ip-адрес-кластера-clickhouse:8123/
- tag: "nginx_error:"
format: error # access | error
buffer_size: 1048576
upload:
table: nginx.error_log
dsn: http://ip-адрес-кластера-clickhouse:8123/Configurando o nginx
Configuração geral do nginx:
user nginx;
worker_processes auto;
#error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
log_format avito_json escape=json
'{'
'"event_datetime": "$time_iso8601", '
'"server_name": "$server_name", '
'"remote_addr": "$remote_addr", '
'"remote_user": "$remote_user", '
'"http_x_real_ip": "$http_x_real_ip", '
'"status": "$status", '
'"scheme": "$scheme", '
'"request_method": "$request_method", '
'"request_uri": "$request_uri", '
'"server_protocol": "$server_protocol", '
'"body_bytes_sent": $body_bytes_sent, '
'"http_referer": "$http_referer", '
'"http_user_agent": "$http_user_agent", '
'"request_bytes": "$request_length", '
'"request_time": "$request_time", '
'"upstream_addr": "$upstream_addr", '
'"upstream_response_time": "$upstream_response_time", '
'"hostname": "$hostname", '
'"host": "$host"'
'}';
access_log syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
error_log syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse
#access_log /var/log/nginx/access.log main;
proxy_ignore_client_abort on;
sendfile on;
keepalive_timeout 65;
include /etc/nginx/conf.d/*.conf;
}
Um host virtual:
vhost1.conf:
upstream backend {
server ip-адрес-сервера-с-stub_http_server:8080;
server ip-адрес-сервера-с-stub_http_server:8080;
server ip-адрес-сервера-с-stub_http_server:8080;
server ip-адрес-сервера-с-stub_http_server:8080;
server ip-адрес-сервера-с-stub_http_server:8080;
}
server {
listen 80;
server_name vhost1;
location / {
proxy_pass http://backend;
}
}Adicione hosts virtuais ao arquivo /etc/hosts:
ip-адрес-сервера-с-nginx vhost1Emulador de servidor HTTP
Como emulador de servidor HTTP usaremos de
Nodejs-stub-server não possui rpm. Aqui crie rpm para ele. rpm será compilado usando
Instale o pacote nodejs-stub-server no upstream nginx rpm
yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_serverTeste de estresse
Realizamos testes usando o benchmark Apache.
Instale-o:
yum install -y httpd-toolsComeçamos os testes usando o benchmark Apache de 5 servidores diferentes:
while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; doneConfigurando o Grafana
Você não encontrará um painel no site oficial do Grafana.
Portanto, faremos isso manualmente.
Você pode encontrar meu painel salvo .
Você também precisa criar uma variável de tabela com o conteúdo nginx.access_log.
Total de solicitações do Singlestat:
SELECT
1 as t,
count(*) as c
FROM $table
WHERE $timeFilter GROUP BY t
Solicitações com falha no Singlestat:
SELECT
1 as t,
count(*) as c
FROM $table
WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t
Porcentagem de falha do Singlestat:
SELECT
1 as t, (sum(status = 500 or status = 499)/sum(status = 200 or status = 201 or status = 401))*100 FROM $table
WHERE $timeFilter GROUP BY t
Tempo médio de resposta do Singlestat:
SELECT
1, avg(request_time) FROM $table
WHERE $timeFilter GROUP BY 1
Tempo máximo de resposta do Singlestat:
SELECT
1 as t, max(request_time) as c
FROM $table
WHERE $timeFilter GROUP BY t
Status da contagem:
$columns(status, count(*) as c) from $table
Para gerar dados como uma torta, você precisa instalar o plugin e reiniciar o grafana.
grafana-cli plugins install grafana-piechart-panel
service grafana-server restartTorta TOP 5 Status:
SELECT
1, /* fake timestamp value */
status,
sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5
Além disso, darei solicitações sem capturas de tela:
Contagem http_user_agent:
$columns(http_user_agent, count(*) c) FROM $tableTaxa boa/taxa ruim:
$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $tableTempo de resposta:
$rate(avg(request_time) as request_time) FROM $tableTempo de resposta upstream (1º tempo de resposta upstream):
$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $tableStatus de contagem de tabelas para todos os vhost:
$columns(status, count(*) as c) from $tableVisão geral do painel
Comparação de avg() e quantil()
média()
quantil()
Conclusão:
Espero que a comunidade se envolva no desenvolvimento/teste e no uso do nginx-log-collector.
E quando alguém implementa o nginx-log-collector, ele dirá quanto disco, RAM e CPU economizaram.
Canais de telegrama:
Milissegundos:
Para quem os milissegundos importam, por favor escreva ou vote neste .
Fonte: habr.com