Clickhouse-ലേക്ക് nginx ലോഗുകൾ അയക്കുന്നതിനായി Avito-യിൽ നിന്നുള്ള Nginx-log-collector utility

ഈ ലേഖനം പദ്ധതി ചർച്ച ചെയ്യും nginx-log-കളക്ടർ, അത് nginx ലോഗുകൾ വായിക്കും, അവ ക്ലിക്ക്ഹൗസ് ക്ലസ്റ്ററിലേക്ക് അയയ്ക്കുക. സാധാരണയായി ഇലാസ്റ്റിക് സെർച്ച് ലോഗുകൾക്കായി ഉപയോഗിക്കുന്നു. ക്ലിക്ക്ഹൗസിന് കുറച്ച് ഉറവിടങ്ങൾ ആവശ്യമാണ് (ഡിസ്ക് സ്പേസ്, റാം, സിപിയു). ക്ലിക്ക്ഹൗസ് ഡാറ്റ വേഗത്തിൽ എഴുതുന്നു. ക്ലിക്ക്ഹൗസ് ഡാറ്റ കംപ്രസ്സുചെയ്യുന്നു, ഇത് ഡിസ്കിലെ ഡാറ്റയെ കൂടുതൽ ഒതുക്കമുള്ളതാക്കുന്നു. ക്ലിക്ക്ഹൗസിന്റെ പ്രയോജനങ്ങൾ റിപ്പോർട്ടിൽ നിന്നുള്ള 2 സ്ലൈഡുകളിൽ കാണാം പതിനായിരക്കണക്കിന് സെർവറുകളിൽ നിന്ന് വികെ എങ്ങനെയാണ് ക്ലിക്ക്ഹൗസിലേക്ക് ഡാറ്റ ചേർക്കുന്നത്.

ലോഗുകൾ ഉപയോഗിച്ച് അനലിറ്റിക്‌സ് കാണുന്നതിന്, നമുക്ക് ഗ്രാഫാനയ്‌ക്കായി ഒരു ഡാഷ്‌ബോർഡ് സൃഷ്‌ടിക്കാം.

ആരാണ് ശ്രദ്ധിക്കുന്നത്, പൂച്ചയ്ക്ക് കീഴിൽ സ്വാഗതം.

സ്റ്റാൻഡേർഡ് രീതിയിൽ nginx, grafana ഇൻസ്റ്റാൾ ചെയ്യുക.

അൻസിബിൾ-പ്ലേബുക്ക് ഉപയോഗിച്ച് ക്ലിക്ക്ഹൗസ് ക്ലസ്റ്റർ ഇൻസ്റ്റാൾ ചെയ്യുക ഡെനിസ് പ്രോസ്കുരിൻ.

ക്ലിക്ക്ഹൗസിൽ ഒരു ഡാറ്റാബേസും പട്ടികകളും സൃഷ്ടിക്കുന്നു

ഇതിൽ ഫയൽ ക്ലിക്ക്ഹൗസിൽ nginx-log-collector-നുള്ള ഡാറ്റാബേസുകളും പട്ടികകളും സൃഷ്ടിക്കുന്നതിനുള്ള SQL അന്വേഷണങ്ങൾ വിവരിച്ചിരിക്കുന്നു.

ക്ലിക്ക്ഹൗസ് ക്ലസ്റ്ററിന്റെ ഓരോ സെർവറിലും ഞങ്ങൾ ഓരോ അഭ്യർത്ഥനയും നടത്തുന്നു.

പ്രധാന കുറിപ്പ്. ഈ വരിയിൽ, "remote_servers", "shard" എന്നിവയ്‌ക്കിടയിലുള്ള clickhouse_remote_servers.xml ഫയലിൽ നിന്ന് logs_cluster നിങ്ങളുടെ ക്ലസ്റ്റർ നാമം ഉപയോഗിച്ച് മാറ്റിസ്ഥാപിക്കേണ്ടതാണ്.

ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())

nginx-log-collector-rpm ഇൻസ്റ്റാൾ ചെയ്യുകയും ക്രമീകരിക്കുകയും ചെയ്യുന്നു

Nginx-log-collector-ന് ഒരു rpm ഇല്ല. ഇവിടെ https://github.com/patsevanton/nginx-log-collector-rpm അതിനായി rpm ഉണ്ടാക്കുക. rpm ഉപയോഗിച്ച് നിർമ്മിക്കും ഫെഡോറ കോപ്പർ

rpm പാക്കേജ് nginx-log-collector-rpm ഇൻസ്റ്റാൾ ചെയ്യുക

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collector

config /etc/nginx-log-collector/config.yaml എഡിറ്റ് ചെയ്യുക:

  .......
  upload:
    table: nginx.access_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

- tag: "nginx_error:"
  format: error  # access | error
  buffer_size: 1048576
  upload:
    table: nginx.error_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

nginx സജ്ജീകരിക്കുന്നു

പൊതുവായ nginx കോൺഫിഗറേഷൻ:

user  nginx;
worker_processes  auto;

#error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format avito_json escape=json
                     '{'
                     '"event_datetime": "$time_iso8601", '
                     '"server_name": "$server_name", '
                     '"remote_addr": "$remote_addr", '
                     '"remote_user": "$remote_user", '
                     '"http_x_real_ip": "$http_x_real_ip", '
                     '"status": "$status", '
                     '"scheme": "$scheme", '
                     '"request_method": "$request_method", '
                     '"request_uri": "$request_uri", '
                     '"server_protocol": "$server_protocol", '
                     '"body_bytes_sent": $body_bytes_sent, '
                     '"http_referer": "$http_referer", '
                     '"http_user_agent": "$http_user_agent", '
                     '"request_bytes": "$request_length", '
                     '"request_time": "$request_time", '
                     '"upstream_addr": "$upstream_addr", '
                     '"upstream_response_time": "$upstream_response_time", '
                     '"hostname": "$hostname", '
                     '"host": "$host"'
                     '}';

    access_log     syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
    error_log      syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse

    #access_log  /var/log/nginx/access.log  main;

    proxy_ignore_client_abort on;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}

വെർച്വൽ ഹോസ്റ്റ് ഒന്ന്:

vhost1.conf:

upstream backend {
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
}

server {
    listen   80;
    server_name vhost1;
    location / {
        proxy_pass http://backend;
    }
}

/etc/hosts ഫയലിലേക്ക് വെർച്വൽ ഹോസ്റ്റുകൾ ചേർക്കുക:

ip-адрес-сервера-с-nginx vhost1

HTTP സെർവർ എമുലേറ്റർ

ഒരു HTTP സെർവർ എമുലേറ്റർ എന്ന നിലയിൽ ഞങ്ങൾ ഉപയോഗിക്കും nodejs-stub-server от മാക്സിം ഇഗ്നതെങ്കോ

nodejs-stub-server-ന് rpm ഇല്ല. ഇവിടെ https://github.com/patsevanton/nodejs-stub-server അതിനായി rpm ഉണ്ടാക്കുക. rpm ഉപയോഗിച്ച് നിർമ്മിക്കും ഫെഡോറ കോപ്പർ

upstream nginx rpm-ൽ nodejs-stub-server പാക്കേജ് ഇൻസ്റ്റാൾ ചെയ്യുക

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_server

സ്ട്രെസ് ടെസ്റ്റിംഗ്

അപ്പാച്ചെ ബെഞ്ച്മാർക്ക് ഉപയോഗിച്ചാണ് പരിശോധന നടത്തുന്നത്.

ഇത് ഇൻസ്റ്റാൾ ചെയ്യുക:

yum install -y httpd-tools

ഞങ്ങൾ 5 വ്യത്യസ്ത സെർവറുകളിൽ നിന്ന് അപ്പാച്ചെ ബെഞ്ച്മാർക്ക് ഉപയോഗിച്ച് പരീക്ഷിക്കാൻ തുടങ്ങുന്നു:

while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done

ഗ്രാഫാന സ്ഥാപിക്കുന്നു

ഔദ്യോഗിക ഗ്രാഫാന വെബ്‌സൈറ്റിൽ നിങ്ങൾക്ക് ഒരു ഡാഷ്‌ബോർഡ് കാണാനാകില്ല.

അതിനാൽ, ഞങ്ങൾ അത് കൈകൊണ്ട് ചെയ്യും.

എന്റെ സംരക്ഷിച്ച ഡാഷ്‌ബോർഡ് നിങ്ങൾക്ക് കണ്ടെത്താനാകും ഇവിടെ.

ഉള്ളടക്കം ഉപയോഗിച്ച് നിങ്ങൾ ഒരു ടേബിൾ വേരിയബിളും സൃഷ്ടിക്കേണ്ടതുണ്ട് nginx.access_log.

സിംഗിൾസ്റ്റാറ്റ് ആകെ അഭ്യർത്ഥനകൾ:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

സിംഗിൾസ്റ്റാറ്റ് പരാജയപ്പെട്ട അഭ്യർത്ഥനകൾ:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t

സിംഗിൾസ്റ്റാറ്റ് പരാജയപ്പെടുന്ന ശതമാനം:

SELECT
 1 as t, (sum(status = 500 or status = 499)/sum(status = 200 or status = 201 or status = 401))*100 FROM $table
 WHERE $timeFilter GROUP BY t

സിംഗിൾസ്റ്റാറ്റ് ശരാശരി പ്രതികരണ സമയം:

SELECT
 1, avg(request_time) FROM $table
 WHERE $timeFilter GROUP BY 1

സിംഗിൾസ്റ്റാറ്റ് പരമാവധി പ്രതികരണ സമയം:

SELECT
 1 as t, max(request_time) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

കൗണ്ട് നില:

$columns(status, count(*) as c) from $table

ഒരു പൈ പോലെയുള്ള ഡാറ്റ ഔട്ട്പുട്ട് ചെയ്യുന്നതിന്, നിങ്ങൾ പ്ലഗിൻ ഇൻസ്റ്റാൾ ചെയ്യുകയും ഗ്രാഫാന റീലോഡ് ചെയ്യുകയും വേണം.

grafana-cli plugins install grafana-piechart-panel
service grafana-server restart

പൈ ടോപ്പ് 5 നില:

SELECT
    1, /* fake timestamp value */
    status,
    sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5

സ്ക്രീൻഷോട്ടുകളില്ലാതെ ഞാൻ അഭ്യർത്ഥനകൾ നൽകും:

എണ്ണം http_user_agent:

$columns(http_user_agent, count(*) c) FROM $table

നല്ല നിരക്ക്/മോശം നിരക്ക്:

$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $table

പ്രതികരണ സമയം:

$rate(avg(request_time) as request_time) FROM $table

അപ്‌സ്ട്രീം പ്രതികരണ സമയം (ഒന്നാം അപ്‌സ്ട്രീമിന്റെ പ്രതികരണ സമയം):

$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $table

എല്ലാ vhost-കൾക്കുമായുള്ള ടേബിൾ കൗണ്ട് നില:

$columns(status, count(*) as c) from $table

ഡാഷ്‌ബോർഡിന്റെ പൊതുവായ കാഴ്ച

ശരാശരി(), ക്വാണ്ടൈൽ() എന്നിവ താരതമ്യം ചെയ്യുന്നു

ശരാശരി()

അളവ് ()

തീരുമാനം:

nginx-log-collector വികസിപ്പിക്കുന്നതിലും/ടെസ്റ്റിംഗ് ചെയ്യുന്നതിലും സമൂഹം ഏർപ്പെടുമെന്ന് പ്രതീക്ഷിക്കുന്നു.
ആരെങ്കിലും nginx-log-collector നടപ്പിലാക്കുമ്പോൾ, അവൻ എത്രത്തോളം ഡിസ്ക്, റാം, CPU എന്നിവ സംരക്ഷിച്ചുവെന്ന് അവൻ നിങ്ങളോട് പറയും.

ടെലിഗ്രാം ചാനലുകൾ:

• ക്ലിക്ക്ഹൗസ്
• നിക്കിക്സ്
• ചർച്ച് ഓഫ് മെട്രിക്സ്
• സിസ്റ്റം സന്ദേശങ്ങളുടെ ശേഖരണവും വിശകലനവും
• ഗ്രാഫാന

മില്ലിസെക്കൻഡ്:

മില്ലിസെക്കൻഡിനെക്കുറിച്ച് ആർക്കാണ് താൽപ്പര്യമുള്ളത്, എഴുതുക അല്ലെങ്കിൽ വോട്ടുചെയ്യുക, ദയവായി ഇതിൽ ഇഷ്യൂ.

അവലംബം: www.habr.com