כלי Nginx-log-collector מ-Avito לשליחת יומני nginx ל-Clickhouse

מאמר זה ידון בפרויקט nginx-log-collector, שיקרא יומני nginx, שלח אותם לאשכול Clickhouse. בדרך כלל ElasticSearch משמש עבור יומנים. Clickhouse דורש פחות משאבים (שטח דיסק, זיכרון RAM, CPU). Clickhouse כותב נתונים מהר יותר. Clickhouse דוחס את הנתונים, מה שהופך את הנתונים בדיסק אפילו יותר קומפקטיים. ניתן לראות את היתרונות של Clickhouse ב-2 שקופיות מהדוח כיצד VK מכניס נתונים ל-ClickHouse מעשרות אלפי שרתים.

כדי להציג ניתוח לפי יומנים, בואו ניצור לוח מחוונים עבור Grafana.

למי אכפת, ברוך הבא מתחת לחתול.

התקן nginx, grafana בצורה הסטנדרטית.

התקן אשכול קליקהאוס עם אנסible-playbook מ דניס פרוסקורין.

יצירת מסד נתונים וטבלאות בקליקהאוס

בזה קובץ מתוארות שאילתות SQL ליצירת מסדי נתונים וטבלאות עבור nginx-log-collector ב-Clickhouse.

אנו מבצעים כל בקשה בתורה בכל שרת של אשכול Clickhouse.

הערה חשובה. בשורה זו, יש להחליף logs_cluster בשם האשכול שלך מהקובץ clickhouse_remote_servers.xml בין "remote_servers" ו-"shard".

ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())

התקנה והגדרה של nginx-log-collector-rpm

ל-Nginx-log-collector אין סל"ד. כאן https://github.com/patsevanton/nginx-log-collector-rpm ליצור עבורו סל"ד. סל"ד ייבנה באמצעות פדורה קופר

התקן את חבילת rpm nginx-log-collector-rpm

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collector

ערוך את התצורה /etc/nginx-log-collector/config.yaml:

  .......
  upload:
    table: nginx.access_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

- tag: "nginx_error:"
  format: error  # access | error
  buffer_size: 1048576
  upload:
    table: nginx.error_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

הגדרת nginx

תצורת nginx כללית:

user  nginx;
worker_processes  auto;

#error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format avito_json escape=json
                     '{'
                     '"event_datetime": "$time_iso8601", '
                     '"server_name": "$server_name", '
                     '"remote_addr": "$remote_addr", '
                     '"remote_user": "$remote_user", '
                     '"http_x_real_ip": "$http_x_real_ip", '
                     '"status": "$status", '
                     '"scheme": "$scheme", '
                     '"request_method": "$request_method", '
                     '"request_uri": "$request_uri", '
                     '"server_protocol": "$server_protocol", '
                     '"body_bytes_sent": $body_bytes_sent, '
                     '"http_referer": "$http_referer", '
                     '"http_user_agent": "$http_user_agent", '
                     '"request_bytes": "$request_length", '
                     '"request_time": "$request_time", '
                     '"upstream_addr": "$upstream_addr", '
                     '"upstream_response_time": "$upstream_response_time", '
                     '"hostname": "$hostname", '
                     '"host": "$host"'
                     '}';

    access_log     syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
    error_log      syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse

    #access_log  /var/log/nginx/access.log  main;

    proxy_ignore_client_abort on;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}

מארח וירטואלי אחד:

vhost1.conf:

upstream backend {
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
}

server {
    listen   80;
    server_name vhost1;
    location / {
        proxy_pass http://backend;
    }
}

הוסף מארחים וירטואליים לקובץ /etc/hosts:

ip-адрес-сервера-с-nginx vhost1

אמולטור שרת HTTP

כאמולטור שרת HTTP נשתמש nodejs-stub-server מ מקסים איגנטנקו

ל-nodejs-stub-server אין סל"ד. כאן https://github.com/patsevanton/nodejs-stub-server ליצור עבורו סל"ד. סל"ד ייבנה באמצעות פדורה קופר

התקן את חבילת nodejs-stub-server ב-nginx rpm במעלה הזרם

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_server

מבחן לחץ

הבדיקה מתבצעת באמצעות רף Apache.

התקן את זה:

yum install -y httpd-tools

אנו מתחילים לבחון באמצעות benchmark של Apache מ-5 שרתים שונים:

while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done

הקמת גרפאנה

לא תמצא לוח מחוונים באתר הרשמי של Grafana.

לכן, נעשה זאת ביד.

אתה יכול למצוא את לוח המחוונים השמור שלי כאן.

אתה גם צריך ליצור משתנה טבלה עם התוכן nginx.access_log.

סה"כ בקשות Singlestat:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

בקשות שנכשלו ב-Singlestat:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t

אחוז כשל בסינגל-סטט:

SELECT
 1 as t, (sum(status = 500 or status = 499)/sum(status = 200 or status = 201 or status = 401))*100 FROM $table
 WHERE $timeFilter GROUP BY t

זמן תגובה ממוצע של Singlestat:

SELECT
 1, avg(request_time) FROM $table
 WHERE $timeFilter GROUP BY 1

זמן תגובה מקסימלי של Singlestat:

SELECT
 1 as t, max(request_time) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

סטטוס ספירה:

$columns(status, count(*) as c) from $table

כדי להוציא נתונים כמו עוגה, עליך להתקין את התוסף ולטעון מחדש את הגראנה.

grafana-cli plugins install grafana-piechart-panel
service grafana-server restart

סטטוס עוגה טופ 5:

SELECT
    1, /* fake timestamp value */
    status,
    sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5

בהמשך אתן בקשות ללא צילומי מסך:

ספירה http_user_agent:

$columns(http_user_agent, count(*) c) FROM $table

GoodRate/BadRate:

$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $table

תזמון תגובה:

$rate(avg(request_time) as request_time) FROM $table

זמן תגובה במעלה הזרם (זמן תגובה של ה-1 במעלה הזרם):

$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $table

סטטוס ספירת טבלה עבור כל ה-vhosts:

$columns(status, count(*) as c) from $table

תצוגה כללית של לוח המחוונים

השוואת avg() ו-quantile()

avg()

quantile()

מסקנה:

מקווה שהקהילה תהיה מעורבת בפיתוח/בדיקה ושימוש ב-nginx-log-collector.
וכשמישהו מיישם את nginx-log-collector, הוא יגיד לך כמה הוא חסך בדיסק, RAM, CPU.

ערוצי טלגרם:

• בית קליק
• nginx
• כנסיית המדדים
• איסוף וניתוח הודעות מערכת
• גרפנה

אלפיות שניות:

למי אכפת מאלפיות שניות, כתוב או הצביע, בבקשה, בזה סוגיה.

מקור: www.habr.com