🥇 Clickhouse এ nginx লগ পাঠানোর জন্য Avito থেকে Nginx-log-collector ইউটিলিটি

এই নিবন্ধটি প্রকল্প নিয়ে আলোচনা করবে nginx-লগ-সংগ্রাহক, যা nginx লগগুলি পড়বে, সেগুলিকে ক্লিকহাউস ক্লাস্টারে পাঠাবে। সাধারণত লগের জন্য ইলাস্টিক সার্চ ব্যবহার করা হয়। ক্লিকহাউসের জন্য কম সংস্থান প্রয়োজন (ডিস্ক স্পেস, RAM, CPU)। ক্লিকহাউস ডাটা দ্রুত লিখে। ক্লিকহাউস ডেটা সংকুচিত করে, যা ডিস্কের ডেটাকে আরও কমপ্যাক্ট করে তোলে। প্রতিবেদন থেকে 2টি স্লাইডে ক্লিকহাউসের সুবিধাগুলি দেখা যাবে৷ ভিকে কীভাবে হাজার হাজার সার্ভার থেকে ক্লিকহাউসে ডেটা সন্নিবেশ করায়।

লগ দ্বারা বিশ্লেষণ দেখতে, আসুন Grafana-এর জন্য একটি ড্যাশবোর্ড তৈরি করি।

কে যত্ন করে, বিড়াল অধীনে স্বাগতম.

স্ট্যান্ডার্ড উপায়ে nginx, grafana ইনস্টল করুন।

থেকে উত্তরযোগ্য-প্লেবুক সহ ক্লিকহাউস ক্লাস্টার ইনস্টল করুন ডেনিস প্রসকুরিন.

ক্লিকহাউসে একটি ডাটাবেস এবং টেবিল তৈরি করা

তার মধ্যে ফাইল ক্লিকহাউসে nginx-log-colector এর জন্য ডাটাবেস এবং টেবিল তৈরির জন্য SQL কোয়েরি বর্ণনা করা হয়েছে।

আমরা ক্লিকহাউস ক্লাস্টারের প্রতিটি সার্ভারে প্রতিটি অনুরোধ করি।

গুরুত্বপূর্ণ তথ্য. এই লাইনে, "remote_servers" এবং "shard" এর মধ্যে clickhouse_remote_servers.xml ফাইল থেকে logs_cluster আপনার ক্লাস্টার নামের সাথে প্রতিস্থাপন করা উচিত।

ENGINE = Distributed('logs_cluster', 'nginx', 'access_log_shard', rand())

nginx-log-collector-rpm ইনস্টল এবং কনফিগার করা হচ্ছে

Nginx-log-colector এর একটি rpm নেই। এখানে https://github.com/patsevanton/nginx-log-collector-rpm এটির জন্য rpm তৈরি করুন। rpm ব্যবহার করে নির্মিত হবে ফেডোরা কর্পোরেশন

rpm প্যাকেজ nginx-log-collector-rpm ইনস্টল করুন

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nginx-log-collector-rpm
yum -y install nginx-log-collector
systemctl start nginx-log-collector

কনফিগার সম্পাদনা করুন /etc/nginx-log-collector/config.yaml:

  .......
  upload:
    table: nginx.access_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

- tag: "nginx_error:"
  format: error  # access | error
  buffer_size: 1048576
  upload:
    table: nginx.error_log
    dsn: http://ip-адрес-кластера-clickhouse:8123/

nginx সেট আপ করা হচ্ছে

সাধারণ nginx কনফিগারেশন:

user  nginx;
worker_processes  auto;

#error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

events {
    worker_connections  1024;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    log_format avito_json escape=json
                     '{'
                     '"event_datetime": "$time_iso8601", '
                     '"server_name": "$server_name", '
                     '"remote_addr": "$remote_addr", '
                     '"remote_user": "$remote_user", '
                     '"http_x_real_ip": "$http_x_real_ip", '
                     '"status": "$status", '
                     '"scheme": "$scheme", '
                     '"request_method": "$request_method", '
                     '"request_uri": "$request_uri", '
                     '"server_protocol": "$server_protocol", '
                     '"body_bytes_sent": $body_bytes_sent, '
                     '"http_referer": "$http_referer", '
                     '"http_user_agent": "$http_user_agent", '
                     '"request_bytes": "$request_length", '
                     '"request_time": "$request_time", '
                     '"upstream_addr": "$upstream_addr", '
                     '"upstream_response_time": "$upstream_response_time", '
                     '"hostname": "$hostname", '
                     '"host": "$host"'
                     '}';

    access_log     syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx avito_json; #ClickHouse
    error_log      syslog_server=unix:/var/run/nginx_log.sock,nohostname,tag=nginx_error; #ClickHouse

    #access_log  /var/log/nginx/access.log  main;

    proxy_ignore_client_abort on;
    sendfile        on;
    keepalive_timeout  65;
    include /etc/nginx/conf.d/*.conf;
}

ভার্চুয়াল হোস্ট এক:

vhost1.conf:

upstream backend {
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
    server ip-адрес-сервера-с-stub_http_server:8080;
}

server {
    listen   80;
    server_name vhost1;
    location / {
        proxy_pass http://backend;
    }
}

/etc/hosts ফাইলে ভার্চুয়াল হোস্ট যোগ করুন:

ip-адрес-сервера-с-nginx vhost1

HTTP সার্ভার এমুলেটর

একটি HTTP সার্ভার এমুলেটর হিসাবে আমরা ব্যবহার করব nodejs-stub-server থেকে ম্যাক্সিম ইগনাটেনকো

nodejs-stub-server এর rpm নেই। এখানে https://github.com/patsevanton/nodejs-stub-server এটির জন্য rpm তৈরি করুন। rpm ব্যবহার করে নির্মিত হবে ফেডোরা কর্পোরেশন

আপস্ট্রিম nginx rpm-এ nodejs-stub-server প্যাকেজ ইনস্টল করুন

yum -y install yum-plugin-copr
yum copr enable antonpatsev/nodejs-stub-server
yum -y install stub_http_server
systemctl start stub_http_server

চাপ পরীক্ষা

Apache বেঞ্চমার্ক ব্যবহার করে পরীক্ষা করা হয়।

এটি ইনস্টল করুন:

yum install -y httpd-tools

আমরা 5টি ভিন্ন সার্ভার থেকে Apache বেঞ্চমার্ক ব্যবহার করে পরীক্ষা শুরু করি:

while true; do ab -H "User-Agent: 1server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 2server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 3server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 4server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done
while true; do ab -H "User-Agent: 5server" -c 10 -n 10 -t 10 http://vhost1/; sleep 1; done

Grafana সেট আপ করা হচ্ছে

আপনি অফিসিয়াল Grafana ওয়েবসাইটে একটি ড্যাশবোর্ড পাবেন না।

অতএব, আমরা এটি হাতে করব।

আপনি আমার সংরক্ষিত ড্যাশবোর্ড খুঁজে পেতে পারেন এখানে.

আপনাকে বিষয়বস্তুর সাথে একটি টেবিল ভেরিয়েবলও তৈরি করতে হবে nginx.access_log.

Singlestat মোট অনুরোধ:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

Singlestat ব্যর্থ অনুরোধ:

SELECT
 1 as t,
 count(*) as c
 FROM $table
 WHERE $timeFilter AND status NOT IN (200, 201, 401) GROUP BY t

Singlestat ব্যর্থতা শতাংশ:

SELECT
 1 as t, (sum(status = 500 or status = 499)/sum(status = 200 or status = 201 or status = 401))*100 FROM $table
 WHERE $timeFilter GROUP BY t

Singlestat গড় প্রতিক্রিয়া সময়:

SELECT
 1, avg(request_time) FROM $table
 WHERE $timeFilter GROUP BY 1

Singlestat সর্বোচ্চ প্রতিক্রিয়া সময়:

SELECT
 1 as t, max(request_time) as c
 FROM $table
 WHERE $timeFilter GROUP BY t

গণনা স্থিতি:

$columns(status, count(*) as c) from $table

পাইয়ের মতো ডেটা আউটপুট করতে, আপনাকে প্লাগইন ইনস্টল করতে হবে এবং গ্রাফনা পুনরায় লোড করতে হবে।

grafana-cli plugins install grafana-piechart-panel
service grafana-server restart

পাই শীর্ষ 5 স্থিতি:

SELECT
    1, /* fake timestamp value */
    status,
    sum(status) AS Reqs
FROM $table
WHERE $timeFilter
GROUP BY status
ORDER BY Reqs desc
LIMIT 5

আরও আমি স্ক্রিনশট ছাড়াই অনুরোধ দেব:

গণনা http_user_agent:

$columns(http_user_agent, count(*) c) FROM $table

ভালো হার/খারাপ হার:

$rate(countIf(status = 200) AS good, countIf(status != 200) AS bad) FROM $table

প্রতিক্রিয়া সময়:

$rate(avg(request_time) as request_time) FROM $table

আপস্ট্রিম প্রতিক্রিয়া সময় (প্রথম আপস্ট্রিমের প্রতিক্রিয়া সময়):

$rate(avg(arrayElement(upstream_response_time,1)) as upstream_response_time) FROM $table

সমস্ত ভহোস্টের জন্য টেবিল গণনা স্থিতি:

$columns(status, count(*) as c) from $table

ড্যাশবোর্ডের সাধারণ দৃশ্য

avg() এবং কোয়ান্টাইল() তুলনা করা হচ্ছে

গড়()

কোয়ান্টাইল()

উপসংহার:

আশা করি সম্প্রদায়টি nginx-log-colector এর বিকাশ/পরীক্ষা এবং ব্যবহারে জড়িত হবে।
এবং যখন কেউ nginx-log-collector প্রয়োগ করে, তখন সে আপনাকে বলে দেবে সে কতটা ডিস্ক, RAM, CPU সংরক্ষণ করেছে।

টেলিগ্রাম চ্যানেল:

মিলিসেকেন্ড:

কে মিলিসেকেন্ড সম্পর্কে যত্নশীল, লিখুন বা ভোট, দয়া করে, এই সমস্যা.

উত্স: www.habr.com

Clickhouse এ nginx লগ পাঠানোর জন্য Avito থেকে Nginx-log-collector ইউটিলিটি