Nginx json ჟურნალების გაგზავნა Vector-ის გამოყენებით Clickhouse-სა და Elasticsearch-ში

Vector, შექმნილია ჟურნალის მონაცემების, მეტრიკისა და მოვლენების შესაგროვებლად, ტრანსფორმაციისა და გაგზავნისთვის.

→ Github

Rust-ის ენაზე დაწერილი, ანალოგებთან შედარებით მაღალი შესრულებით და RAM-ის დაბალი მოხმარებით ხასიათდება. გარდა ამისა, დიდი ყურადღება ეთმობა სისწორესთან დაკავშირებულ ფუნქციებს, კერძოდ, დისკზე გამოგზავნილი მოვლენების ბუფერში შენახვისა და ფაილების როტაციის შესაძლებლობას.

არქიტექტურულად, Vector არის მოვლენის როუტერი, რომელიც იღებს შეტყობინებებს ერთი ან მეტისგან წყაროები, სურვილისამებრ ვრცელდება ამ შეტყობინებებზე გარდაქმნები, და მათი გაგზავნა ერთ ან მეტთან სანიაღვრეები.

ვექტორი არის filebeat-ისა და logstash-ის ჩანაცვლება, მას შეუძლია იმოქმედოს ორივე როლში (ლოგების მიღება და გაგზავნა), მათზე მეტი დეტალი ონლაინი.

თუ Logstash-ში ჯაჭვი აგებულია როგორც შემავალი → ფილტრი → გამომავალი, მაშინ ის არის ვექტორში წყაროები → გარდაქმნის → ნიჟარები

მაგალითები შეგიძლიათ იხილოთ დოკუმენტაციაში.

ეს ინსტრუქცია არის შესწორებული ინსტრუქცია ვიაჩესლავ რახინსკი. ორიგინალური ინსტრუქციები შეიცავს geoip დამუშავებას. შიდა ქსელიდან გეოიპის ტესტირებისას ვექტორმა შეცდომა დაუშვა.

Aug 05 06:25:31.889 DEBUG transform{name=nginx_parse_rename_fields type=rename_fields}: vector::transforms::rename_fields: Field did not exist field=«geoip.country_name» rate_limit_secs=30

თუ ვინმეს სჭირდება geoip-ის დამუშავება, მაშინ მიმართეთ ორიგინალურ ინსტრუქციებს ვიაჩესლავ რახინსკი.

ჩვენ დავაკონფიგურირებთ Nginx-ის კომბინაციას (წვდომის ჟურნალი) → ვექტორი (კლიენტი | ფაილების დარტყმა) → ვექტორი (სერვერი | Logstash) → ცალკე Clickhouse-ში და ცალკე Elasticsearch-ში. ჩვენ დავაყენებთ 4 სერვერს. მიუხედავად იმისა, რომ თქვენ შეგიძლიათ მისი გვერდის ავლით 3 სერვერი.

სქემა დაახლოებით ასეთია.

გამორთეთ Selinux ყველა თქვენს სერვერზე

sed -i 's/^SELINUX=.*/SELINUX=disabled/g' /etc/selinux/config
reboot

ჩვენ ვაყენებთ HTTP სერვერის ემულატორს + კომუნალურ პროგრამებს ყველა სერვერზე

როგორც HTTP სერვერის ემულატორი ჩვენ გამოვიყენებთ nodejs-stub-server საწყისი მაქსიმ იგნატენკო

Nodejs-stub-server-ს არ აქვს rpm. აქ შექმენით ბრუნი ამისთვის. rpm შედგენილი იქნება გამოყენებით Fedora Copr

დაამატეთ antonpatsev/nodejs-stub-server საცავი

yum -y install yum-plugin-copr epel-release
yes | yum copr enable antonpatsev/nodejs-stub-server

დააინსტალირეთ nodejs-stub-server, Apache ბენჩმარკი და ეკრანის ტერმინალის მულტიპლექსერი ყველა სერვერზე

yum -y install stub_http_server screen mc httpd-tools screen

მე შევასწორე stub_http_server პასუხის დრო /var/lib/stub_http_server/stub_http_server.js ფაილში ისე, რომ მეტი ჟურნალი იყო.

var max_sleep = 10;

მოდით გავუშვათ stub_http_server.

systemctl start stub_http_server
systemctl enable stub_http_server

Clickhouse ინსტალაცია სერვერზე 3

ClickHouse იყენებს SSE 4.2 ინსტრუქციების კომპლექტს, ასე რომ, თუ სხვა რამ არ არის მითითებული, მისი მხარდაჭერა გამოყენებულ პროცესორში ხდება დამატებითი სისტემის მოთხოვნა. აქ არის ბრძანება, რომ შეამოწმოთ, აქვს თუ არა მიმდინარე პროცესორი SSE 4.2-ის მხარდაჭერას:

grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not supported"

ჯერ უნდა დააკავშიროთ ოფიციალური საცავი:

sudo yum install -y yum-utils
sudo rpm --import https://repo.clickhouse.tech/CLICKHOUSE-KEY.GPG
sudo yum-config-manager --add-repo https://repo.clickhouse.tech/rpm/stable/x86_64

პაკეტების ინსტალაციისთვის, თქვენ უნდა შეასრულოთ შემდეგი ბრძანებები:

sudo yum install -y clickhouse-server clickhouse-client

მიეცით საშუალება clickhouse-სერვერს მოუსმინოს ქსელის ბარათს ფაილში /etc/clickhouse-server/config.xml

<listen_host>0.0.0.0</listen_host>

შესვლის დონის შეცვლა კვალიდან გამართვამდე

გამართვის

სტანდარტული შეკუმშვის პარამეტრები:

min_compress_block_size  65536
max_compress_block_size  1048576

Zstd შეკუმშვის გასააქტიურებლად, ურჩია არ შეეხოთ კონფიგურაციას, არამედ გამოიყენოთ DDL.

მე ვერ ვიპოვე, როგორ გამოვიყენო zstd შეკუმშვა DDL-ით Google-ში. ამიტომ დავტოვე როგორც არის.

კოლეგებს, რომლებიც იყენებენ zstd შეკუმშვას Clickhouse-ში, გთხოვთ, გააზიაროთ ინსტრუქციები.

სერვერის დემონად დასაწყებად, გაუშვით:

service clickhouse-server start

ახლა მოდით გადავიდეთ Clickhouse-ის დაყენებაზე

გადადით Clickhouse-ში

clickhouse-client -h 172.26.10.109 -m

172.26.10.109 — სერვერის IP, სადაც დაინსტალირებულია Clickhouse.

შევქმნათ ვექტორული მონაცემთა ბაზა

CREATE DATABASE vector;

მოდით შევამოწმოთ, რომ მონაცემთა ბაზა არსებობს.

show databases;

შექმენით vector.logs ცხრილი.

/* Это таблица где хранятся логи как есть */

CREATE TABLE vector.logs
(
    `node_name` String,
    `timestamp` DateTime,
    `server_name` String,
    `user_id` String,
    `request_full` String,
    `request_user_agent` String,
    `request_http_host` String,
    `request_uri` String,
    `request_scheme` String,
    `request_method` String,
    `request_length` UInt64,
    `request_time` Float32,
    `request_referrer` String,
    `response_status` UInt16,
    `response_body_bytes_sent` UInt64,
    `response_content_type` String,
    `remote_addr` IPv4,
    `remote_port` UInt32,
    `remote_user` String,
    `upstream_addr` IPv4,
    `upstream_port` UInt32,
    `upstream_bytes_received` UInt64,
    `upstream_bytes_sent` UInt64,
    `upstream_cache_status` String,
    `upstream_connect_time` Float32,
    `upstream_header_time` Float32,
    `upstream_response_length` UInt64,
    `upstream_response_time` Float32,
    `upstream_status` UInt16,
    `upstream_content_type` String,
    INDEX idx_http_host request_http_host TYPE set(0) GRANULARITY 1
)
ENGINE = MergeTree()
PARTITION BY toYYYYMMDD(timestamp)
ORDER BY timestamp
TTL timestamp + toIntervalMonth(1)
SETTINGS index_granularity = 8192;

ჩვენ ვამოწმებთ, რომ ცხრილები შეიქმნა. დავიწყოთ clickhouse-client და გააკეთე მოთხოვნა.

მოდით გადავიდეთ ვექტორულ მონაცემთა ბაზაში.

use vector;

Ok.

0 rows in set. Elapsed: 0.001 sec.

მოდით გადავხედოთ ცხრილებს.

show tables;

┌─name────────────────┐
│ logs                │
└─────────────────────┘

elasticsearch-ის ინსტალაცია მე-4 სერვერზე, რათა იგივე მონაცემები გაგზავნოს Elasticsearch-ში Clickhouse-თან შესადარებლად

დაამატეთ საჯარო rpm გასაღები

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

მოდით შევქმნათ 2 რეპო:

/etc/yum.repos.d/elasticsearch.repo

[elasticsearch]
name=Elasticsearch repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=0
autorefresh=1
type=rpm-md

/etc/yum.repos.d/kibana.repo

[kibana-7.x]
name=Kibana repository for 7.x packages
baseurl=https://artifacts.elastic.co/packages/7.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

დააინსტალირეთ elasticsearch და kibana

yum install -y kibana elasticsearch

ვინაიდან ის იქნება 1 ეგზემპლარად, თქვენ უნდა დაამატოთ შემდეგი ფაილი /etc/elasticsearch/elasticsearch.yml:

discovery.type: single-node

ამ ვექტორს შეუძლია მონაცემების გაგზავნა elasticsearch-ში სხვა სერვერიდან, მოდით შევცვალოთ network.host.

network.host: 0.0.0.0

kibana-სთან დასაკავშირებლად შეცვალეთ server.host პარამეტრი ფაილში /etc/kibana/kibana.yml.

server.host: "0.0.0.0"

ძველი და ჩართეთ elasticsearch ავტოსტარტში

systemctl enable elasticsearch
systemctl start elasticsearch

და კიბანა

systemctl enable kibana
systemctl start kibana

Elasticsearch-ის კონფიგურაცია ერთი კვანძის რეჟიმისთვის 1 ფრაგმენტი, 0 რეპლიკა. დიდი ალბათობით გექნებათ სერვერების დიდი რაოდენობის კლასტერი და ამის გაკეთება არ გჭირდებათ.

მომავალი ინდექსებისთვის განაახლეთ ნაგულისხმევი შაბლონი:

curl -X PUT http://localhost:9200/_template/default -H 'Content-Type: application/json' -d '{"index_patterns": ["*"],"order": -1,"settings": {"number_of_shards": "1","number_of_replicas": "0"}}' 

დაყენების Vector როგორც Logstash-ის შემცვლელი სერვერზე 2

yum install -y https://packages.timber.io/vector/0.9.X/vector-x86_64.rpm mc httpd-tools screen

მოდით დავაყენოთ Vector, როგორც Logstash-ის შემცვლელი. ფაილის რედაქტირება /etc/vector/vector.toml

# /etc/vector/vector.toml

data_dir = "/var/lib/vector"

[sources.nginx_input_vector]
  # General
  type                          = "vector"
  address                       = "0.0.0.0:9876"
  shutdown_timeout_secs         = 30

[transforms.nginx_parse_json]
  inputs                        = [ "nginx_input_vector" ]
  type                          = "json_parser"

[transforms.nginx_parse_add_defaults]
  inputs                        = [ "nginx_parse_json" ]
  type                          = "lua"
  version                       = "2"

  hooks.process = """
  function (event, emit)

    function split_first(s, delimiter)
      result = {};
      for match in (s..delimiter):gmatch("(.-)"..delimiter) do
          table.insert(result, match);
      end
      return result[1];
    end

    function split_last(s, delimiter)
      result = {};
      for match in (s..delimiter):gmatch("(.-)"..delimiter) do
          table.insert(result, match);
      end
      return result[#result];
    end

    event.log.upstream_addr             = split_first(split_last(event.log.upstream_addr, ', '), ':')
    event.log.upstream_bytes_received   = split_last(event.log.upstream_bytes_received, ', ')
    event.log.upstream_bytes_sent       = split_last(event.log.upstream_bytes_sent, ', ')
    event.log.upstream_connect_time     = split_last(event.log.upstream_connect_time, ', ')
    event.log.upstream_header_time      = split_last(event.log.upstream_header_time, ', ')
    event.log.upstream_response_length  = split_last(event.log.upstream_response_length, ', ')
    event.log.upstream_response_time    = split_last(event.log.upstream_response_time, ', ')
    event.log.upstream_status           = split_last(event.log.upstream_status, ', ')

    if event.log.upstream_addr == "" then
        event.log.upstream_addr = "127.0.0.1"
    end

    if (event.log.upstream_bytes_received == "-" or event.log.upstream_bytes_received == "") then
        event.log.upstream_bytes_received = "0"
    end

    if (event.log.upstream_bytes_sent == "-" or event.log.upstream_bytes_sent == "") then
        event.log.upstream_bytes_sent = "0"
    end

    if event.log.upstream_cache_status == "" then
        event.log.upstream_cache_status = "DISABLED"
    end

    if (event.log.upstream_connect_time == "-" or event.log.upstream_connect_time == "") then
        event.log.upstream_connect_time = "0"
    end

    if (event.log.upstream_header_time == "-" or event.log.upstream_header_time == "") then
        event.log.upstream_header_time = "0"
    end

    if (event.log.upstream_response_length == "-" or event.log.upstream_response_length == "") then
        event.log.upstream_response_length = "0"
    end

    if (event.log.upstream_response_time == "-" or event.log.upstream_response_time == "") then
        event.log.upstream_response_time = "0"
    end

    if (event.log.upstream_status == "-" or event.log.upstream_status == "") then
        event.log.upstream_status = "0"
    end

    emit(event)

  end
  """

[transforms.nginx_parse_remove_fields]
    inputs                              = [ "nginx_parse_add_defaults" ]
    type                                = "remove_fields"
    fields                              = ["data", "file", "host", "source_type"]

[transforms.nginx_parse_coercer]

    type                                = "coercer"
    inputs                              = ["nginx_parse_remove_fields"]

    types.request_length = "int"
    types.request_time = "float"

    types.response_status = "int"
    types.response_body_bytes_sent = "int"

    types.remote_port = "int"

    types.upstream_bytes_received = "int"
    types.upstream_bytes_send = "int"
    types.upstream_connect_time = "float"
    types.upstream_header_time = "float"
    types.upstream_response_length = "int"
    types.upstream_response_time = "float"
    types.upstream_status = "int"

    types.timestamp = "timestamp"

[sinks.nginx_output_clickhouse]
    inputs   = ["nginx_parse_coercer"]
    type     = "clickhouse"

    database = "vector"
    healthcheck = true
    host = "http://172.26.10.109:8123" #  Адрес Clickhouse
    table = "logs"

    encoding.timestamp_format = "unix"

    buffer.type = "disk"
    buffer.max_size = 104900000
    buffer.when_full = "block"

    request.in_flight_limit = 20

[sinks.elasticsearch]
    type = "elasticsearch"
    inputs   = ["nginx_parse_coercer"]
    compression = "none"
    healthcheck = true
    # 172.26.10.116 - сервер где установен elasticsearch
    host = "http://172.26.10.116:9200" 
    index = "vector-%Y-%m-%d"

შეგიძლიათ დაარეგულიროთ transforms.nginx_parse_add_defaults განყოფილება.

როგორც ვიაჩესლავ რახინსკი იყენებს ამ კონფიგურაციებს მცირე CDN-სთვის და შეიძლება იყოს რამდენიმე მნიშვნელობა upstream_*-ში

მაგალითად:

"upstream_addr": "128.66.0.10:443, 128.66.0.11:443, 128.66.0.12:443"
"upstream_bytes_received": "-, -, 123"
"upstream_status": "502, 502, 200"

თუ ეს არ არის თქვენი სიტუაცია, მაშინ ეს განყოფილება შეიძლება გამარტივდეს

მოდით შევქმნათ სერვისის პარამეტრები systemd /etc/systemd/system/vector.service-ისთვის

# /etc/systemd/system/vector.service

[Unit]
Description=Vector
After=network-online.target
Requires=network-online.target

[Service]
User=vector
Group=vector
ExecStart=/usr/bin/vector
ExecReload=/bin/kill -HUP $MAINPID
Restart=no
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=vector

[Install]
WantedBy=multi-user.target

ცხრილების შექმნის შემდეგ შეგიძლიათ გაუშვათ Vector

systemctl enable vector
systemctl start vector

ვექტორული ჟურნალის ნახვა შეიძლება ასე:

journalctl -f -u vector

ჟურნალებში უნდა იყოს ასეთი ჩანაწერები

INFO vector::topology::builder: Healthcheck: Passed.
INFO vector::topology::builder: Healthcheck: Passed.

კლიენტზე (ვებ სერვერზე) - 1 სერვერი

nginx სერვერზე, თქვენ უნდა გამორთოთ ipv6, რადგან clickhouse-ის ჟურნალების ცხრილი იყენებს ველს upstream_addr IPv4, რადგან მე არ ვიყენებ ipv6 ქსელში. თუ ipv6 არ არის გამორთული, იქნება შეცდომები:

DB::Exception: Invalid IPv4 value.: (while read the value of key upstream_addr)

ალბათ მკითხველებო, დაამატეთ ipv6 მხარდაჭერა.

შექმენით ფაილი /etc/sysctl.d/98-disable-ipv6.conf

net.ipv6.conf.all.disable_ipv6 = 1
net.ipv6.conf.default.disable_ipv6 = 1
net.ipv6.conf.lo.disable_ipv6 = 1

პარამეტრების გამოყენება

sysctl --system

მოდით დავაყენოთ nginx.

დამატებულია nginx საცავის ფაილი /etc/yum.repos.d/nginx.repo

[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

დააინსტალირეთ nginx პაკეტი

yum install -y nginx

პირველ რიგში, ჩვენ უნდა დავაკონფიგურიროთ ჟურნალის ფორმატი Nginx-ში ფაილში /etc/nginx/nginx.conf

user  nginx;
# you must set worker processes based on your CPU cores, nginx does not benefit from setting more than that
worker_processes auto; #some last versions calculate it automatically

# number of file descriptors used for nginx
# the limit for the maximum FDs on the server is usually set by the OS.
# if you don't set FD's then OS settings will be used which is by default 2000
worker_rlimit_nofile 100000;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;

# provides the configuration file context in which the directives that affect connection processing are specified.
events {
    # determines how much clients will be served per worker
    # max clients = worker_connections * worker_processes
    # max clients is also limited by the number of socket connections available on the system (~64k)
    worker_connections 4000;

    # optimized to serve many clients with each thread, essential for linux -- for testing environment
    use epoll;

    # accept as many connections as possible, may flood worker connections if set too low -- for testing environment
    multi_accept on;
}

http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

log_format vector escape=json
    '{'
        '"node_name":"nginx-vector",'
        '"timestamp":"$time_iso8601",'
        '"server_name":"$server_name",'
        '"request_full": "$request",'
        '"request_user_agent":"$http_user_agent",'
        '"request_http_host":"$http_host",'
        '"request_uri":"$request_uri",'
        '"request_scheme": "$scheme",'
        '"request_method":"$request_method",'
        '"request_length":"$request_length",'
        '"request_time": "$request_time",'
        '"request_referrer":"$http_referer",'
        '"response_status": "$status",'
        '"response_body_bytes_sent":"$body_bytes_sent",'
        '"response_content_type":"$sent_http_content_type",'
        '"remote_addr": "$remote_addr",'
        '"remote_port": "$remote_port",'
        '"remote_user": "$remote_user",'
        '"upstream_addr": "$upstream_addr",'
        '"upstream_bytes_received": "$upstream_bytes_received",'
        '"upstream_bytes_sent": "$upstream_bytes_sent",'
        '"upstream_cache_status":"$upstream_cache_status",'
        '"upstream_connect_time":"$upstream_connect_time",'
        '"upstream_header_time":"$upstream_header_time",'
        '"upstream_response_length":"$upstream_response_length",'
        '"upstream_response_time":"$upstream_response_time",'
        '"upstream_status": "$upstream_status",'
        '"upstream_content_type":"$upstream_http_content_type"'
    '}';

    access_log  /var/log/nginx/access.log  main;
    access_log  /var/log/nginx/access.json.log vector;      # Новый лог в формате json

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    include /etc/nginx/conf.d/*.conf;
}

იმისათვის, რომ არ დაირღვეს თქვენი მიმდინარე კონფიგურაცია, Nginx გაძლევთ საშუალებას გქონდეთ რამდენიმე access_log დირექტივა

access_log  /var/log/nginx/access.log  main;            # Стандартный лог
access_log  /var/log/nginx/access.json.log vector;      # Новый лог в формате json

არ დაგავიწყდეთ ახალი ჟურნალების ლოგროტაციის წესის დამატება (თუ ჟურნალის ფაილი არ მთავრდება .log-ით)

წაშალეთ default.conf /etc/nginx/conf.d/-დან

rm -f /etc/nginx/conf.d/default.conf

დაამატეთ ვირტუალური ჰოსტი /etc/nginx/conf.d/vhost1.conf

server {
    listen 80;
    server_name vhost1;
    location / {
        proxy_pass http://172.26.10.106:8080;
    }
}

დაამატეთ ვირტუალური ჰოსტი /etc/nginx/conf.d/vhost2.conf

server {
    listen 80;
    server_name vhost2;
    location / {
        proxy_pass http://172.26.10.108:8080;
    }
}

დაამატეთ ვირტუალური ჰოსტი /etc/nginx/conf.d/vhost3.conf

server {
    listen 80;
    server_name vhost3;
    location / {
        proxy_pass http://172.26.10.109:8080;
    }
}

დაამატეთ ვირტუალური ჰოსტი /etc/nginx/conf.d/vhost4.conf

server {
    listen 80;
    server_name vhost4;
    location / {
        proxy_pass http://172.26.10.116:8080;
    }
}

დაამატეთ ვირტუალური ჰოსტები (სერვერის 172.26.10.106 ip, სადაც nginx არის დაინსტალირებული) ყველა სერვერს /etc/hosts ფაილში:

172.26.10.106 vhost1
172.26.10.106 vhost2
172.26.10.106 vhost3
172.26.10.106 vhost4

და თუ ყველაფერი მზად არის მაშინ

nginx -t 
systemctl restart nginx

ახლა ჩვენ თვითონ დავაინსტალიროთ Vector

yum install -y https://packages.timber.io/vector/0.9.X/vector-x86_64.rpm

მოდით შევქმნათ პარამეტრების ფაილი systemd /etc/systemd/system/vector.service-ისთვის

[Unit]
Description=Vector
After=network-online.target
Requires=network-online.target

[Service]
User=vector
Group=vector
ExecStart=/usr/bin/vector
ExecReload=/bin/kill -HUP $MAINPID
Restart=no
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=vector

[Install]
WantedBy=multi-user.target

და დააკონფიგურირეთ Filebeat ჩანაცვლება /etc/vector/vector.toml კონფიგურაციაში. IP მისამართი 172.26.10.108 არის ჟურნალის სერვერის IP მისამართი (Vector-Server)

data_dir = "/var/lib/vector"

[sources.nginx_file]
  type                          = "file"
  include                       = [ "/var/log/nginx/access.json.log" ]
  start_at_beginning            = false
  fingerprinting.strategy       = "device_and_inode"

[sinks.nginx_output_vector]
  type                          = "vector"
  inputs                        = [ "nginx_file" ]

  address                       = "172.26.10.108:9876"

არ დაგავიწყდეთ ვექტორული მომხმარებლის დამატება საჭირო ჯგუფში, რათა მან შეძლოს ჟურნალის ფაილების წაკითხვა. მაგალითად, nginx in centos ქმნის ჟურნალებს adm ჯგუფის უფლებებით.

usermod -a -G adm vector

დავიწყოთ ვექტორული სერვისი

systemctl enable vector
systemctl start vector

ვექტორული ჟურნალის ნახვა შეიძლება ასე:

journalctl -f -u vector

ჟურნალში უნდა იყოს ასეთი ჩანაწერი

INFO vector::topology::builder: Healthcheck: Passed.

სტრესის ტესტირება

ჩვენ ვაწარმოებთ ტესტირებას Apache-ის საორიენტაციო ნიშნის გამოყენებით.

httpd-tools პაკეტი დაინსტალირებული იყო ყველა სერვერზე

ჩვენ ვიწყებთ ტესტირებას Apache ბენჩმარკის გამოყენებით ეკრანზე 4 სხვადასხვა სერვერიდან. პირველ რიგში, ჩვენ გავუშვით ეკრანის ტერმინალის მულტიპლექსერი, შემდეგ კი ვიწყებთ ტესტირებას Apache-ის საორიენტაციო ნიშნის გამოყენებით. როგორ ვიმუშაოთ ეკრანთან, შეგიძლიათ იპოვოთ მუხლი.

პირველი სერვერიდან

while true; do ab -H "User-Agent: 1server" -c 100 -n 10 -t 10 http://vhost1/; sleep 1; done

პირველი სერვერიდან

while true; do ab -H "User-Agent: 2server" -c 100 -n 10 -t 10 http://vhost2/; sleep 1; done

პირველი სერვერიდან

while true; do ab -H "User-Agent: 3server" -c 100 -n 10 -t 10 http://vhost3/; sleep 1; done

პირველი სერვერიდან

while true; do ab -H "User-Agent: 4server" -c 100 -n 10 -t 10 http://vhost4/; sleep 1; done

მოდით შევამოწმოთ მონაცემები Clickhouse-ში

გადადით Clickhouse-ში

clickhouse-client -h 172.26.10.109 -m

SQL შეკითხვის გაკეთება

SELECT * FROM vector.logs;

┌─node_name────┬───────────timestamp─┬─server_name─┬─user_id─┬─request_full───┬─request_user_agent─┬─request_http_host─┬─request_uri─┬─request_scheme─┬─request_method─┬─request_length─┬─request_time─┬─request_referrer─┬─response_status─┬─response_body_bytes_sent─┬─response_content_type─┬───remote_addr─┬─remote_port─┬─remote_user─┬─upstream_addr─┬─upstream_port─┬─upstream_bytes_received─┬─upstream_bytes_sent─┬─upstream_cache_status─┬─upstream_connect_time─┬─upstream_header_time─┬─upstream_response_length─┬─upstream_response_time─┬─upstream_status─┬─upstream_content_type─┐
│ nginx-vector │ 2020-08-07 04:32:42 │ vhost1      │         │ GET / HTTP/1.0 │ 1server            │ vhost1            │ /           │ http           │ GET            │             66 │        0.028 │                  │             404 │                       27 │                       │ 172.26.10.106 │       45886 │             │ 172.26.10.106 │             0 │                     109 │                  97 │ DISABLED              │                     0 │                0.025 │                       27 │                  0.029 │             404 │                       │
└──────────────┴─────────────────────┴─────────────┴─────────┴────────────────┴────────────────────┴───────────────────┴─────────────┴────────────────┴────────────────┴────────────────┴──────────────┴──────────────────┴─────────────────┴──────────────────────────┴───────────────────────┴───────────────┴─────────────┴─────────────┴───────────────┴───────────────┴─────────────────────────┴─────────────────────┴───────────────────────┴───────────────────────┴──────────────────────┴──────────────────────────┴────────────────────────┴─────────────────┴───────────────────────

შეიტყვეთ ცხრილების ზომა Clickhouse-ში

select concat(database, '.', table)                         as table,
       formatReadableSize(sum(bytes))                       as size,
       sum(rows)                                            as rows,
       max(modification_time)                               as latest_modification,
       sum(bytes)                                           as bytes_size,
       any(engine)                                          as engine,
       formatReadableSize(sum(primary_key_bytes_in_memory)) as primary_keys_size
from system.parts
where active
group by database, table
order by bytes_size desc;

მოდით გავარკვიოთ რამდენი ჟურნალი დაიჭირა Clickhouse-ში.

ჟურნალების ცხრილის ზომაა 857.19 მბ.

იგივე მონაცემების ზომა ინდექსში Elasticsearch-ში არის 4,5 GB.

თუ პარამეტრებში არ მიუთითებთ მონაცემებს ვექტორში, Clickhouse იღებს 4500/857.19 = 5.24-ჯერ ნაკლებს, ვიდრე Elasticsearch-ში.

ვექტორში, შეკუმშვის ველი გამოიყენება ნაგულისხმევად.

Telegram ჩატი მიერ clickhouse
Telegram ჩატი მიერ ელასტიური ძებნა
Telegram ჩატი მიერ "სისტემის შეგროვება და ანალიზი პოსტი"

წყარო: www.habr.com