ক্লিকহাউস এবং ইলাস্টিকসার্চে ভেক্টর ব্যবহার করে Nginx json লগ পাঠানো হচ্ছে

ভেক্টর, লগ ডেটা, মেট্রিক্স এবং ইভেন্টগুলি সংগ্রহ, রূপান্তর এবং পাঠাতে ডিজাইন করা হয়েছে৷

→ গিটহাব

মরিচা ভাষায় লেখা হচ্ছে, এটির অ্যানালগগুলির তুলনায় উচ্চ কার্যক্ষমতা এবং কম RAM খরচ দ্বারা চিহ্নিত করা হয়। এছাড়াও, সঠিকতার সাথে সম্পর্কিত ফাংশনগুলিতে অনেক মনোযোগ দেওয়া হয়, বিশেষত, অপ্রেরিত ইভেন্টগুলি ডিস্কের বাফারে সংরক্ষণ করার এবং ফাইলগুলি ঘোরানোর ক্ষমতা।

স্থাপত্যগতভাবে, ভেক্টর একটি ইভেন্ট রাউটার যা এক বা একাধিক থেকে বার্তা গ্রহণ করে উত্স, ঐচ্ছিকভাবে এই বার্তাগুলির উপর প্রয়োগ করা রূপান্তর, এবং তাদের এক বা একাধিক পাঠাচ্ছে ড্রেন.

ভেক্টর হল ফাইলবিট এবং লগস্ট্যাশের একটি প্রতিস্থাপন ওয়েবসাইট.

লগস্ট্যাশে চেইনটি ইনপুট → ফিল্টার → আউটপুট হিসাবে নির্মিত হলে ভেক্টরে এটি সূত্র → রূপান্তরগুলির → কুন্ড

উদাহরণ ডকুমেন্টেশন পাওয়া যাবে.

এই নির্দেশ থেকে একটি সংশোধিত নির্দেশ ব্যাচেস্লাভ রাখিনস্কি. মূল নির্দেশাবলীতে জিওআইপি প্রক্রিয়াকরণ রয়েছে। একটি অভ্যন্তরীণ নেটওয়ার্ক থেকে জিওআইপি পরীক্ষা করার সময়, ভেক্টর একটি ত্রুটি দিয়েছে।

Aug 05 06:25:31.889 DEBUG transform{name=nginx_parse_rename_fields type=rename_fields}: vector::transforms::rename_fields: Field did not exist field=«geoip.country_name» rate_limit_secs=30

যদি কেউ জিওআইপি প্রক্রিয়া করার প্রয়োজন হয়, তাহলে মূল নির্দেশাবলী পড়ুন ব্যাচেস্লাভ রাখিনস্কি.

আমরা Nginx (অ্যাক্সেস লগ) → ভেক্টর (ক্লায়েন্ট | ফাইলবিট) → ভেক্টর (সার্ভার | লগস্ট্যাশ) → আলাদাভাবে ক্লিকহাউসে এবং ইলাস্টিকসার্চে আলাদাভাবে সমন্বয়টি কনফিগার করব। আমরা 4টি সার্ভার ইনস্টল করব। যদিও আপনি 3 সার্ভার দিয়ে এটি বাইপাস করতে পারেন।

স্কিমটি এরকম কিছু।

আপনার সমস্ত সার্ভারে সেলিনাক্স অক্ষম করুন

sed -i 's/^SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config
reboot

আমরা সমস্ত সার্ভারে একটি HTTP সার্ভার এমুলেটর + ইউটিলিটি ইনস্টল করি

একটি HTTP সার্ভার এমুলেটর হিসাবে আমরা ব্যবহার করব nodejs-stub-server থেকে ম্যাক্সিম ইগনাটেনকো

Nodejs-stub-server এর একটি rpm নেই। এটা হল এটির জন্য rpm তৈরি করুন। rpm ব্যবহার করে নির্মিত হবে ফেডোরা কর্পোরেশন

সংগ্রহস্থল antonpatsev/nodejs-stub-server যোগ করুন

yum -y install yum-plugin-copr epel-release
yes | yum copr enable antonpatsev/nodejs-stub-server

সমস্ত সার্ভারে nodejs-stub-server, Apache বেঞ্চমার্ক এবং স্ক্রিন টার্মিনাল মাল্টিপ্লেক্সার ইনস্টল করুন

yum -y install stub_http_server screen mc httpd-tools screen

আমি /var/lib/stub_http_server/stub_http_server.js ফাইলে stub_http_server প্রতিক্রিয়া সময় সংশোধন করেছি যাতে আরও লগ ছিল।

var max_sleep = 10;

আসুন stub_http_server চালু করি।

systemctl start stub_http_server
systemctl enable stub_http_server

ক্লিকহাউস ইনস্টলেশন সার্ভার 3 এ

ClickHouse SSE 4.2 নির্দেশ সেট ব্যবহার করে, তাই অন্যথায় নির্দিষ্ট না হলে, ব্যবহৃত প্রসেসরে এটির জন্য সমর্থন একটি অতিরিক্ত সিস্টেমের প্রয়োজন হয়ে ওঠে। বর্তমান প্রসেসর SSE 4.2 সমর্থন করে কিনা তা পরীক্ষা করার জন্য এখানে কমান্ড রয়েছে:

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

প্রথমে আপনাকে অফিসিয়াল রিপোজিটরি সংযোগ করতে হবে:

sudo yum install -y yum-utils
sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64

প্যাকেজ ইনস্টল করার জন্য আপনাকে নিম্নলিখিত কমান্ডগুলি চালাতে হবে:

sudo yum install -y clickhouse-server clickhouse-client

ক্লিকহাউস-সার্ভারকে /etc/clickhouse-server/config.xml ফাইলে নেটওয়ার্ক কার্ড শোনার অনুমতি দিন

<listen_host>0.0.0.0</listen_host>

ট্রেস থেকে ডিবাগ পর্যন্ত লগিং লেভেল পরিবর্তন করা হচ্ছে

ডেবাগ্ করা

স্ট্যান্ডার্ড কম্প্রেশন সেটিংস:

min_compress_block_size  65536
max_compress_block_size  1048576

Zstd কম্প্রেশন সক্রিয় করতে, কনফিগারে স্পর্শ না করার জন্য, বরং DDL ব্যবহার করার পরামর্শ দেওয়া হয়েছিল।

আমি Google-এ DDL এর মাধ্যমে zstd কম্প্রেশন কীভাবে ব্যবহার করব তা খুঁজে পাইনি। তাই আমি এটা যেমন আছে.

সহকর্মীরা যারা Clickhouse এ zstd কম্প্রেশন ব্যবহার করেন, অনুগ্রহ করে নির্দেশাবলী শেয়ার করুন।

একটি ডেমন হিসাবে সার্ভার শুরু করতে, চালান:

service clickhouse-server start

এখন ক্লিকহাউস সেট আপ করা যাক

ক্লিকহাউসে যান

clickhouse-client -h 172.26.10.109 -m

172.26.10.109 — সার্ভারের আইপি যেখানে ক্লিকহাউস ইনস্টল করা আছে।

আসুন একটি ভেক্টর ডাটাবেস তৈরি করি

CREATE DATABASE vector;

এর ডাটাবেস বিদ্যমান কিনা পরীক্ষা করা যাক.

show databases;

একটি vector.logs টেবিল তৈরি করুন।

/* Это таблица где хранятся логи как есть */

CREATE TABLE vector.logs
(
    `node_name` String,
    `timestamp` DateTime,
    `server_name` String,
    `user_id` String,
    `request_full` String,
    `request_user_agent` String,
    `request_http_host` String,
    `request_uri` String,
    `request_scheme` String,
    `request_method` String,
    `request_length` UInt64,
    `request_time` Float32,
    `request_referrer` String,
    `response_status` UInt16,
    `response_body_bytes_sent` UInt64,
    `response_content_type` String,
    `remote_addr` IPv4,
    `remote_port` UInt32,
    `remote_user` String,
    `upstream_addr` IPv4,
    `upstream_port` UInt32,
    `upstream_bytes_received` UInt64,
    `upstream_bytes_sent` UInt64,
    `upstream_cache_status` String,
    `upstream_connect_time` Float32,
    `upstream_header_time` Float32,
    `upstream_response_length` UInt64,
    `upstream_response_time` Float32,
    `upstream_status` UInt16,
    `upstream_content_type` String,
    INDEX idx_http_host request_http_host TYPE set(0) GRANULARITY 1
)
ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(timestamp)
ORDER BY timestamp
TTL timestamp + toIntervalMonth(1)
SETTINGS index_granularity = 8192;

আমরা পরীক্ষা করি যে টেবিলগুলি তৈরি করা হয়েছে। এর লঞ্চ করা যাক clickhouse-client এবং একটি অনুরোধ করুন।

আসুন ভেক্টর ডাটাবেসে যাই।

use vector;

Ok.

0 rows in set. Elapsed: 0.001 sec.

এর টেবিল তাকান.

show tables;

┌─name────────────────┐
│ logs                │
└─────────────────────┘

ক্লিকহাউসের সাথে তুলনা করার জন্য ইলাস্টিকসার্চে একই ডেটা পাঠাতে চতুর্থ সার্ভারে ইলাস্টিকসার্চ ইনস্টল করা হচ্ছে

একটি পাবলিক rpm কী যোগ করুন

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

আসুন 2টি রেপো তৈরি করি:

/etc/yum.repos.d/elasticsearch.repo

[elasticsearch]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=1
type=rpm-md

/etc/yum.repos.d/kibana.repo

[kibana-7.x]
name=Kibana repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

ইলাস্টিক সার্চ এবং কিবানা ইনস্টল করুন

yum install -y kibana elasticsearch

যেহেতু এটি 1 কপিতে থাকবে, তাই আপনাকে নিম্নলিখিতটি /etc/elasticsearch/elasticsearch.yml ফাইলে যোগ করতে হবে:

discovery.type: single-node

যাতে ভেক্টর অন্য সার্ভার থেকে ইলাস্টিক সার্চে ডেটা পাঠাতে পারে, আসুন network.host পরিবর্তন করি।

network.host: 0.0.0.0

কিবানার সাথে সংযোগ করতে, /etc/kibana/kibana.yml ফাইলে server.host প্যারামিটার পরিবর্তন করুন

server.host: "0.0.0.0"

পুরানো এবং অটোস্টার্টে ইলাস্টিক সার্চ অন্তর্ভুক্ত করুন

systemctl enable elasticsearch
systemctl start elasticsearch

এবং কিবানা

systemctl enable kibana
systemctl start kibana

একক-নোড মোড 1 শার্ড, 0 প্রতিরূপের জন্য ইলাস্টিকসার্চ কনফিগার করা হচ্ছে। সম্ভবত আপনার কাছে প্রচুর সংখ্যক সার্ভারের ক্লাস্টার থাকবে এবং আপনার এটি করার দরকার নেই।

ভবিষ্যতের সূচীগুলির জন্য, ডিফল্ট টেমপ্লেট আপডেট করুন:

curl -X PUT http://localhost:9200/_template/default -H 'Content-Type: application/json' -d '{"index_patterns": ["*"],"order": -1,"settings": {"number_of_shards": "1","number_of_replicas": "0"}}' 

বিন্যাস ভেক্টর সার্ভার 2 এ Logstash এর প্রতিস্থাপন হিসাবে

yum install -y https://packages.timber.io/vector/0.9.X/vector-x86_64.rpm mc httpd-tools screen

Logstash এর প্রতিস্থাপন হিসাবে ভেক্টর সেট আপ করা যাক। ফাইল সম্পাদনা করা হচ্ছে /etc/vector/vector.toml

# /etc/vector/vector.toml

data_dir = "/var/lib/vector"

[sources.nginx_input_vector]
  # General
  type                          = "vector"
  address                       = "0.0.0.0:9876"
  shutdown_timeout_secs         = 30

[transforms.nginx_parse_json]
  inputs                        = [ "nginx_input_vector" ]
  type                          = "json_parser"

[transforms.nginx_parse_add_defaults]
  inputs                        = [ "nginx_parse_json" ]
  type                          = "lua"
  version                       = "2"

  hooks.process = """
  function (event, emit)

    function split_first(s, delimiter)
      result = {};
      for match in (s..delimiter):gmatch("(.-)"..delimiter) do
          table.insert(result, match);
      end
      return result[1];
    end

    function split_last(s, delimiter)
      result = {};
      for match in (s..delimiter):gmatch("(.-)"..delimiter) do
          table.insert(result, match);
      end
      return result[#result];
    end

    event.log.upstream_addr             = split_first(split_last(event.log.upstream_addr, ', '), ':')
    event.log.upstream_bytes_received   = split_last(event.log.upstream_bytes_received, ', ')
    event.log.upstream_bytes_sent       = split_last(event.log.upstream_bytes_sent, ', ')
    event.log.upstream_connect_time     = split_last(event.log.upstream_connect_time, ', ')
    event.log.upstream_header_time      = split_last(event.log.upstream_header_time, ', ')
    event.log.upstream_response_length  = split_last(event.log.upstream_response_length, ', ')
    event.log.upstream_response_time    = split_last(event.log.upstream_response_time, ', ')
    event.log.upstream_status           = split_last(event.log.upstream_status, ', ')

    if event.log.upstream_addr == "" then
        event.log.upstream_addr = "127.0.0.1"
    end

    if (event.log.upstream_bytes_received == "-" or event.log.upstream_bytes_received == "") then
        event.log.upstream_bytes_received = "0"
    end

    if (event.log.upstream_bytes_sent == "-" or event.log.upstream_bytes_sent == "") then
        event.log.upstream_bytes_sent = "0"
    end

    if event.log.upstream_cache_status == "" then
        event.log.upstream_cache_status = "DISABLED"
    end

    if (event.log.upstream_connect_time == "-" or event.log.upstream_connect_time == "") then
        event.log.upstream_connect_time = "0"
    end

    if (event.log.upstream_header_time == "-" or event.log.upstream_header_time == "") then
        event.log.upstream_header_time = "0"
    end

    if (event.log.upstream_response_length == "-" or event.log.upstream_response_length == "") then
        event.log.upstream_response_length = "0"
    end

    if (event.log.upstream_response_time == "-" or event.log.upstream_response_time == "") then
        event.log.upstream_response_time = "0"
    end

    if (event.log.upstream_status == "-" or event.log.upstream_status == "") then
        event.log.upstream_status = "0"
    end

    emit(event)

  end
  """

[transforms.nginx_parse_remove_fields]
    inputs                              = [ "nginx_parse_add_defaults" ]
    type                                = "remove_fields"
    fields                              = ["data", "file", "host", "source_type"]

[transforms.nginx_parse_coercer]

    type                                = "coercer"
    inputs                              = ["nginx_parse_remove_fields"]

    types.request_length = "int"
    types.request_time = "float"

    types.response_status = "int"
    types.response_body_bytes_sent = "int"

    types.remote_port = "int"

    types.upstream_bytes_received = "int"
    types.upstream_bytes_send = "int"
    types.upstream_connect_time = "float"
    types.upstream_header_time = "float"
    types.upstream_response_length = "int"
    types.upstream_response_time = "float"
    types.upstream_status = "int"

    types.timestamp = "timestamp"

[sinks.nginx_output_clickhouse]
    inputs   = ["nginx_parse_coercer"]
    type     = "clickhouse"

    database = "vector"
    healthcheck = true
    host = "http://172.26.10.109:8123" #  Адрес Clickhouse
    table = "logs"

    encoding.timestamp_format = "unix"

    buffer.type = "disk"
    buffer.max_size = 104900000
    buffer.when_full = "block"

    request.in_flight_limit = 20

[sinks.elasticsearch]
    type = "elasticsearch"
    inputs   = ["nginx_parse_coercer"]
    compression = "none"
    healthcheck = true
    # 172.26.10.116 - сервер где установен elasticsearch
    host = "http://172.26.10.116:9200" 
    index = "vector-%Y-%m-%d"

আপনি transforms.nginx_parse_add_defaults বিভাগটি সামঞ্জস্য করতে পারেন।

যেহেতু ব্যাচেস্লাভ রাখিনস্কি একটি ছোট CDN এর জন্য এই কনফিগারেশনগুলি ব্যবহার করে এবং আপস্ট্রিম_* এ বেশ কয়েকটি মান থাকতে পারে

উদাহরণস্বরূপ:

"upstream_addr": "128.66.0.10:443, 128.66.0.11:443, 128.66.0.12:443"
"upstream_bytes_received": "-, -, 123"
"upstream_status": "502, 502, 200"

যদি এটি আপনার পরিস্থিতি না হয়, তাহলে এই বিভাগটি সরলীকৃত করা যেতে পারে

আসুন systemd /etc/systemd/system/vector.service এর জন্য পরিষেবা সেটিংস তৈরি করি

# /etc/systemd/system/vector.service

[Unit]
Description=Vector
After=network-online.target
Requires=network-online.target

[Service]
User=vector
Group=vector
ExecStart=/usr/bin/vector
ExecReload=/bin/kill -HUP $MAINPID
Restart=no
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=vector

[Install]
WantedBy=multi-user.target

টেবিল তৈরি করার পরে, আপনি ভেক্টর চালাতে পারেন

systemctl enable vector
systemctl start vector

ভেক্টর লগ এই মত দেখা যেতে পারে:

journalctl -f -u vector

লগগুলিতে এইরকম এন্ট্রি থাকা উচিত

INFO vector::topology::builder: Healthcheck: Passed.
INFO vector::topology::builder: Healthcheck: Passed.

ক্লায়েন্টে (ওয়েব সার্ভার) - ১ম সার্ভার

Nginx এর সাথে সার্ভারে, আপনাকে ipv6 নিষ্ক্রিয় করতে হবে, যেহেতু ক্লিকহাউসের লগ টেবিলটি ক্ষেত্রটি ব্যবহার করে upstream_addr IPv4, যেহেতু আমি নেটওয়ার্কের ভিতরে ipv6 ব্যবহার করি না। যদি ipv6 বন্ধ না করা হয়, তাহলে ত্রুটি থাকবে:

DB::Exception: Invalid IPv4 value.: (while read the value of key upstream_addr)

সম্ভবত পাঠক, ipv6 সমর্থন যোগ করুন।

ফাইল তৈরি করুন /etc/sysctl.d/98-disable-ipv6.conf

net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

সেটিংস প্রয়োগ করা হচ্ছে

sysctl --system

nginx ইন্সটল করা যাক।

nginx সংগ্রহস্থল ফাইল যোগ করা হয়েছে /etc/yum.repos.d/nginx.repo

[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

nginx প্যাকেজ ইনস্টল করুন

yum install -y nginx

প্রথমে, আমাদের /etc/nginx/nginx.conf ফাইলে Nginx-এ লগ ফরম্যাট কনফিগার করতে হবে

user  nginx;
# you must set worker processes based on your CPU cores, nginx does not benefit from setting more than that
worker_processes auto; #some last versions calculate it automatically

# number of file descriptors used for nginx
# the limit for the maximum FDs on the server is usually set by the OS.
# if you don't set FD's then OS settings will be used which is by default 2000
worker_rlimit_nofile 100000;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

# provides the configuration file context in which the directives that affect connection processing are specified.
events {
    # determines how much clients will be served per worker
    # max clients = worker_connections * worker_processes
    # max clients is also limited by the number of socket connections available on the system (~64k)
    worker_connections 4000;

    # optimized to serve many clients with each thread, essential for linux -- for testing environment
    use epoll;

    # accept as many connections as possible, may flood worker connections if set too low -- for testing environment
    multi_accept on;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

log_format vector escape=json
    '{'
        '"node_name":"nginx-vector",'
        '"timestamp":"$time_iso8601",'
        '"server_name":"$server_name",'
        '"request_full": "$request",'
        '"request_user_agent":"$http_user_agent",'
        '"request_http_host":"$http_host",'
        '"request_uri":"$request_uri",'
        '"request_scheme": "$scheme",'
        '"request_method":"$request_method",'
        '"request_length":"$request_length",'
        '"request_time": "$request_time",'
        '"request_referrer":"$http_referer",'
        '"response_status": "$status",'
        '"response_body_bytes_sent":"$body_bytes_sent",'
        '"response_content_type":"$sent_http_content_type",'
        '"remote_addr": "$remote_addr",'
        '"remote_port": "$remote_port",'
        '"remote_user": "$remote_user",'
        '"upstream_addr": "$upstream_addr",'
        '"upstream_bytes_received": "$upstream_bytes_received",'
        '"upstream_bytes_sent": "$upstream_bytes_sent",'
        '"upstream_cache_status":"$upstream_cache_status",'
        '"upstream_connect_time":"$upstream_connect_time",'
        '"upstream_header_time":"$upstream_header_time",'
        '"upstream_response_length":"$upstream_response_length",'
        '"upstream_response_time":"$upstream_response_time",'
        '"upstream_status": "$upstream_status",'
        '"upstream_content_type":"$upstream_http_content_type"'
    '}';

    access_log  /var/log/nginx/access.log  main;
    access_log  /var/log/nginx/access.json.log vector;      # Новый лог в формате json

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    include /etc/nginx/conf.d/*.conf;
}

আপনার বর্তমান কনফিগারেশন ভাঙ্গা না করার জন্য, Nginx আপনাকে বেশ কয়েকটি অ্যাক্সেস_লগ নির্দেশিকা থাকতে দেয়

access_log  /var/log/nginx/access.log  main;            # Стандартный лог
access_log  /var/log/nginx/access.json.log vector;      # Новый лог в формате json

নতুন লগের জন্য লগরোটেট করার জন্য একটি নিয়ম যোগ করতে ভুলবেন না (যদি লগ ফাইলটি .log দিয়ে শেষ না হয়)

/etc/nginx/conf.d/ থেকে default.conf সরান

rm -f /etc/nginx/conf.d/default.conf

ভার্চুয়াল হোস্ট যোগ করুন /etc/nginx/conf.d/vhost1.conf

server {
    listen 80;
    server_name vhost1;
    location / {
        proxy_pass http://172.26.10.106:8080;
    }
}

ভার্চুয়াল হোস্ট যোগ করুন /etc/nginx/conf.d/vhost2.conf

server {
    listen 80;
    server_name vhost2;
    location / {
        proxy_pass http://172.26.10.108:8080;
    }
}

ভার্চুয়াল হোস্ট যোগ করুন /etc/nginx/conf.d/vhost3.conf

server {
    listen 80;
    server_name vhost3;
    location / {
        proxy_pass http://172.26.10.109:8080;
    }
}

ভার্চুয়াল হোস্ট যোগ করুন /etc/nginx/conf.d/vhost4.conf

server {
    listen 80;
    server_name vhost4;
    location / {
        proxy_pass http://172.26.10.116:8080;
    }
}

/etc/hosts ফাইলে সমস্ত সার্ভারে ভার্চুয়াল হোস্ট (সার্ভারের 172.26.10.106 আইপি যেখানে nginx ইনস্টল করা আছে) যোগ করুন:

172.26.10.106 vhost1
172.26.10.106 vhost2
172.26.10.106 vhost3
172.26.10.106 vhost4

এবং যদি সবকিছু প্রস্তুত থাকে

nginx -t 
systemctl restart nginx

এখন এর নিজেরাই ইনস্টল করা যাক ভেক্টর

yum install -y https://packages.timber.io/vector/0.9.X/vector-x86_64.rpm

চলুন systemd /etc/systemd/system/vector.service এর জন্য একটি সেটিংস ফাইল তৈরি করি

[Unit]
Description=Vector
After=network-online.target
Requires=network-online.target

[Service]
User=vector
Group=vector
ExecStart=/usr/bin/vector
ExecReload=/bin/kill -HUP $MAINPID
Restart=no
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=vector

[Install]
WantedBy=multi-user.target

এবং /etc/vector/vector.toml কনফিগারেশনে Filebeat প্রতিস্থাপন কনফিগার করুন। IP ঠিকানা 172.26.10.108 হল লগ সার্ভারের IP ঠিকানা (ভেক্টর-সার্ভার)

data_dir = "/var/lib/vector"

[sources.nginx_file]
  type                          = "file"
  include                       = [ "/var/log/nginx/access.json.log" ]
  start_at_beginning            = false
  fingerprinting.strategy       = "device_and_inode"

[sinks.nginx_output_vector]
  type                          = "vector"
  inputs                        = [ "nginx_file" ]

  address                       = "172.26.10.108:9876"

ভেক্টর ব্যবহারকারীকে প্রয়োজনীয় গোষ্ঠীতে যুক্ত করতে ভুলবেন না যাতে সে লগ ফাইল পড়তে পারে। উদাহরণস্বরূপ, centos-এ nginx adm গ্রুপ অধিকার সহ লগ তৈরি করে।

usermod -a -G adm vector

ভেক্টর সার্ভিস শুরু করা যাক

systemctl enable vector
systemctl start vector

ভেক্টর লগ এই মত দেখা যেতে পারে:

journalctl -f -u vector

লগগুলিতে এইরকম একটি এন্ট্রি থাকা উচিত

INFO vector::topology::builder: Healthcheck: Passed.

চাপ পরীক্ষা

Apache বেঞ্চমার্ক ব্যবহার করে পরীক্ষা করা হয়।

httpd-tools প্যাকেজটি সমস্ত সার্ভারে ইনস্টল করা হয়েছে

আমরা স্ক্রীনে 4টি ভিন্ন সার্ভার থেকে Apache বেঞ্চমার্ক ব্যবহার করে পরীক্ষা শুরু করি। প্রথমে, আমরা স্ক্রিন টার্মিনাল মাল্টিপ্লেক্সার চালু করি, এবং তারপরে আমরা Apache বেঞ্চমার্ক ব্যবহার করে পরীক্ষা শুরু করি। আপনি খুঁজে পেতে পারেন পর্দা সঙ্গে কাজ কিভাবে প্রবন্ধ.

১ম সার্ভার থেকে

while true; do ab -H "User-Agent: 1server" -c 100 -n 10 -t 10 http://vhost1/; sleep 1; done

১ম সার্ভার থেকে

while true; do ab -H "User-Agent: 2server" -c 100 -n 10 -t 10 http://vhost2/; sleep 1; done

১ম সার্ভার থেকে

while true; do ab -H "User-Agent: 3server" -c 100 -n 10 -t 10 http://vhost3/; sleep 1; done

১ম সার্ভার থেকে

while true; do ab -H "User-Agent: 4server" -c 100 -n 10 -t 10 http://vhost4/; sleep 1; done

আসুন ক্লিকহাউসে ডেটা পরীক্ষা করি

ক্লিকহাউসে যান

clickhouse-client -h 172.26.10.109 -m

একটি এসকিউএল কোয়েরি করা হচ্ছে

SELECT * FROM vector.logs;

┌─node_name────┬───────────timestamp─┬─server_name─┬─user_id─┬─request_full───┬─request_user_agent─┬─request_http_host─┬─request_uri─┬─request_scheme─┬─request_method─┬─request_length─┬─request_time─┬─request_referrer─┬─response_status─┬─response_body_bytes_sent─┬─response_content_type─┬───remote_addr─┬─remote_port─┬─remote_user─┬─upstream_addr─┬─upstream_port─┬─upstream_bytes_received─┬─upstream_bytes_sent─┬─upstream_cache_status─┬─upstream_connect_time─┬─upstream_header_time─┬─upstream_response_length─┬─upstream_response_time─┬─upstream_status─┬─upstream_content_type─┐
│ nginx-vector │ 2020-08-07 04:32:42 │ vhost1      │         │ GET / HTTP/1.0 │ 1server            │ vhost1            │ /           │ http           │ GET            │             66 │        0.028 │                  │             404 │                       27 │                       │ 172.26.10.106 │       45886 │             │ 172.26.10.106 │             0 │                     109 │                  97 │ DISABLED              │                     0 │                0.025 │                       27 │                  0.029 │             404 │                       │
└──────────────┴─────────────────────┴─────────────┴─────────┴────────────────┴────────────────────┴───────────────────┴─────────────┴────────────────┴────────────────┴────────────────┴──────────────┴──────────────────┴─────────────────┴──────────────────────────┴───────────────────────┴───────────────┴─────────────┴─────────────┴───────────────┴───────────────┴─────────────────────────┴─────────────────────┴───────────────────────┴───────────────────────┴──────────────────────┴──────────────────────────┴────────────────────────┴─────────────────┴───────────────────────

ক্লিকহাউসে টেবিলের আকার খুঁজে বের করুন

select concat(database, '.', table)                         as table,
       formatReadableSize(sum(bytes))                       as size,
       sum(rows)                                            as rows,
       max(modification_time)                               as latest_modification,
       sum(bytes)                                           as bytes_size,
       any(engine)                                          as engine,
       formatReadableSize(sum(primary_key_bytes_in_memory)) as primary_keys_size
from system.parts
where active
group by database, table
order by bytes_size desc;

ক্লিকহাউসে কত লগ নেওয়া হয়েছে তা খুঁজে বের করা যাক।

লগ টেবিলের আকার 857.19 MB।

ইলাস্টিকসার্চে সূচকে একই ডেটার আকার 4,5GB।

যদি আপনি প্যারামিটারে ভেক্টরে ডেটা নির্দিষ্ট না করেন, তাহলে Clickhouse ইলাস্টিকসার্চের তুলনায় 4500/857.19 = 5.24 গুণ কম নেয়।

ভেক্টরে, কম্প্রেশন ক্ষেত্রটি ডিফল্টরূপে ব্যবহৃত হয়।

টেলিগ্রাম চ্যাট দ্বারা ক্লিক হাউস
টেলিগ্রাম চ্যাট দ্বারা Elasticsearch
টেলিগ্রাম চ্যাট দ্বারা "সিস্টেমের সংগ্রহ এবং বিশ্লেষণ বার্তা"

উত্স: www.habr.com