मानवांसाठी किंवा एलियन टेक्नॉलॉजीजसाठी क्लिक हाऊस डेटाबेस

अलेक्से लिझुनोव्ह, एमकेबीच्या माहिती तंत्रज्ञान संचालनालयाच्या रिमोट सर्व्हिस चॅनेलसाठी सक्षमता केंद्राचे प्रमुख

ELK स्टॅकला पर्याय म्हणून (ElasticSearch, Logstash, Kibana), आम्ही लॉगसाठी डेटा स्टोअर म्हणून ClickHouse डेटाबेस वापरण्यावर संशोधन करत आहोत.

या लेखात, आम्ही क्लिकहाऊस डेटाबेस वापरण्याच्या आमच्या अनुभवाबद्दल आणि पायलट ऑपरेशनच्या प्राथमिक परिणामांबद्दल बोलू इच्छितो. हे लगेच लक्षात घेतले पाहिजे की परिणाम प्रभावी होते.

पुढे, आम्ही आमची सिस्टीम कशी कॉन्फिगर केली आहे आणि त्यात कोणते घटक आहेत याचे अधिक तपशीलवार वर्णन करू. परंतु आता मला या डेटाबेसबद्दल थोडेसे बोलायचे आहे आणि त्याकडे लक्ष देणे योग्य का आहे. क्लिकहाऊस डेटाबेस हा Yandex कडील उच्च-कार्यक्षमता विश्लेषणात्मक स्तंभीय डेटाबेस आहे. हे Yandex सेवांमध्ये वापरले जाते, सुरुवातीला ते Yandex.Metrica साठी मुख्य डेटा स्टोरेज आहे. मुक्त-स्रोत प्रणाली, विनामूल्य. विकसकाच्या दृष्टिकोनातून, मला नेहमीच आश्चर्य वाटले की त्यांनी ते कसे अंमलात आणले, कारण विलक्षण मोठा डेटा आहे. आणि मेट्रिकाचा वापरकर्ता इंटरफेस स्वतःच खूप लवचिक आणि वेगवान आहे. या डेटाबेसच्या पहिल्या ओळखीच्या वेळी, छाप अशी आहे: “ठीक आहे, शेवटी! लोकांसाठी बनवलेले! इंस्टॉलेशन प्रक्रियेपासून प्रारंभ करणे आणि विनंत्या पाठविण्यावर समाप्त होणे.

या डेटाबेसमध्ये खूप कमी एंट्री थ्रेशोल्ड आहे. सरासरी-कुशल विकासक देखील काही मिनिटांत हा डेटाबेस स्थापित करू शकतो आणि त्याचा वापर सुरू करू शकतो. सर्व काही स्पष्टपणे कार्य करते. Linux मध्ये नवीन असलेले लोक देखील इन्स्टॉलेशन त्वरीत हाताळू शकतात आणि सर्वात सोपी ऑपरेशन्स करू शकतात. जर पूर्वी, बिग डेटा, हडूप, गुगल बिगटेबल, एचडीएफएस या शब्दांसह, एखाद्या सामान्य विकासकाला कल्पना असेल की हे काही टेराबाइट्स, पेटाबाइट्सबद्दल आहे, काही अतिमानव या प्रणालींच्या सेटिंग्ज आणि विकासामध्ये गुंतलेले आहेत, तर क्लिकहाऊसच्या आगमनाने. डेटाबेस, आम्हाला एक साधे, समजण्याजोगे साधन मिळाले आहे ज्याद्वारे तुम्ही पूर्वीच्या अप्राप्य श्रेणीची कार्ये सोडवू शकता. फक्त एक बऱ्यापैकी सरासरी मशीन आणि स्थापित करण्यासाठी पाच मिनिटे लागतात. म्हणजेच, आम्हाला असा डेटाबेस मिळाला आहे, उदाहरणार्थ, MySql, परंतु केवळ अब्जावधी रेकॉर्ड संग्रहित करण्यासाठी! SQL भाषेसह एक विशिष्ट सुपर-आर्काइव्हर. जणू काही लोकांना एलियनची शस्त्रे देण्यात आली होती.

आमच्या लॉगिंग सिस्टमबद्दल

माहिती संकलित करण्यासाठी, मानक फॉर्मेट वेब ऍप्लिकेशन्सच्या IIS लॉग फाईल्स वापरल्या जातात (आम्ही सध्या ऍप्लिकेशन लॉगचे पार्सिंग करत आहोत, परंतु पायलट स्टेजवर मुख्य लक्ष्य IIS लॉग गोळा करणे आहे).

विविध कारणांमुळे, आम्ही ELK स्टॅक पूर्णपणे सोडू शकलो नाही, आणि आम्ही LogStash आणि Filebeat घटक वापरणे सुरू ठेवतो, ज्यांनी स्वतःला चांगले सिद्ध केले आहे आणि बरेच विश्वासार्ह आणि अंदाजानुसार काम केले आहे.

सामान्य लॉगिंग योजना खालील आकृतीमध्ये दर्शविली आहे:

क्लिकहाऊस डेटाबेसमध्ये डेटा लिहिण्याचे वैशिष्ट्य म्हणजे क्वचितच (प्रति सेकंद एकदा) मोठ्या बॅचेसमध्ये रेकॉर्ड समाविष्ट करणे. हे, वरवर पाहता, क्लिकहाऊस डेटाबेससह काम करण्याचा अनुभव घेताना तुम्हाला आढळणारा सर्वात "समस्याग्रस्त" भाग आहे: योजना थोडी अधिक क्लिष्ट होते.
LogStash साठी प्लगइन, जे थेट क्लिकहाऊसमध्ये डेटा समाविष्ट करते, येथे खूप मदत केली. हा घटक डेटाबेस प्रमाणेच सर्व्हरवर तैनात केला जातो. म्हणून, सर्वसाधारणपणे, हे करण्याची शिफारस केली जात नाही, परंतु व्यावहारिक दृष्टिकोनातून, जेणेकरून ते एकाच सर्व्हरवर तैनात असताना वेगळे सर्व्हर तयार करू नये. आम्ही डेटाबेससह कोणतेही अपयश किंवा संसाधन संघर्ष पाहिला नाही. याव्यतिरिक्त, हे लक्षात घ्यावे की प्लगइनमध्ये त्रुटी आढळल्यास पुन्हा प्रयत्न करण्याची यंत्रणा आहे. आणि त्रुटींच्या बाबतीत, प्लगइन डिस्कवर डेटाच्या बॅचवर लिहिते जे समाविष्ट केले जाऊ शकत नाही (फाइल स्वरूप सोयीस्कर आहे: संपादन केल्यानंतर, क्लिकहाऊस-क्लायंट वापरून आपण सहजपणे दुरुस्त केलेला बॅच समाविष्ट करू शकता).

योजनेत वापरलेल्या सॉफ्टवेअरची संपूर्ण यादी टेबलमध्ये सादर केली आहे:

वापरलेल्या सॉफ्टवेअरची यादी

शीर्षक

वर्णन

वितरण लिंक

एनजीएनएक्स

पोर्टद्वारे प्रवेश प्रतिबंधित करण्यासाठी आणि अधिकृतता आयोजित करण्यासाठी रिव्हर्स-प्रॉक्सी

सध्या योजनेमध्ये वापरले जात नाही

https://nginx.org/ru/download.html

https://nginx.org/download/nginx-1.16.0.tar.gz

फाइलबीट

फाइल लॉगचे हस्तांतरण.

https://www.elastic.co/downloads/beats/filebeat (विंडोज 64 बिटसाठी वितरण किट).

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-windows-x86_64.zip

लॉगस्टॅश

लॉग कलेक्टर.

FileBeat वरून लॉग गोळा करण्यासाठी, तसेच RabbitMQ रांगेतून लॉग गोळा करण्यासाठी वापरले जाते (DMZ मध्ये असलेल्या सर्व्हरसाठी.)

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

लॉगस्टॅश-आउटपुट-क्लिकहाऊस

बॅचेसमध्ये क्लिकहाऊस डेटाबेसमध्ये लॉग हस्तांतरित करण्यासाठी लॉगस्टॅश प्लगइन

https://github.com/mikechris/logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin logstash-output-clickhouse स्थापित करा

/usr/share/logstash/bin/logstash-plugin logstash-filter-prune स्थापित करा

/usr/share/logstash/bin/logstash-plugin logstash-filter-multiline स्थापित करा

क्लिकहाऊस

लॉग स्टोरेज https://clickhouse.yandex/docs/ru/

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-19.5.3.8-1.el7.x86_64.rpm

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-client-19.5.3.8-1.el7.x86_64.rpm

नोंद. ऑगस्ट 2018 पासून, RHEL साठी "सामान्य" rpm बिल्ड Yandex रेपॉजिटरीमध्ये दिसू लागले, जेणेकरून तुम्ही त्यांचा वापर करण्याचा प्रयत्न करू शकता. स्थापनेच्या वेळी, आम्ही Altinity द्वारे तयार केलेले पॅकेज वापरत होतो.

ग्राफाना

लॉग व्हिज्युअलायझेशन. डॅशबोर्ड सेट करत आहे

https://grafana.com/

https://grafana.com/grafana/download

Redhat आणि Centos (64 बिट) - नवीनतम आवृत्ती

Grafana 4.6+ साठी क्लिकहाऊस डेटास्रोत

क्लिकहाऊस डेटा स्रोतासह ग्राफानासाठी प्लगइन

https://grafana.com/plugins/vertamedia-clickhouse-datasource

https://grafana.com/api/plugins/vertamedia-clickhouse-datasource/versions/1.8.1/download

लॉगस्टॅश

FileBeat वरून RabbitMQ रांगेत राउटर लॉग करा.

नोंद. दुर्दैवाने FileBeat थेट RabbitMQ वर आउटपुट करत नाही, म्हणून लॉगस्टॅशच्या स्वरूपात एक इंटरमीडिएट लिंक आवश्यक आहे

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

ससा MQ

संदेश रांग. हा DMZ मधील लॉग बफर आहे

https://www.rabbitmq.com/download.html

https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.14/rabbitmq-server-3.7.14-1.el7.noarch.rpm

Erlang रनटाइम (RabbitMQ साठी आवश्यक)

Erlang रनटाइम. RabbitMQ कार्य करण्यासाठी आवश्यक आहे

http://www.erlang.org/download.html

https://www.rabbitmq.com/install-rpm.html#install-erlang http://www.erlang.org/downloads/21.3

क्लिकहाऊस डेटाबेससह सर्व्हर कॉन्फिगरेशन खालील सारणीमध्ये सादर केले आहे:

शीर्षक

मूल्य

शेरा

कॉन्फिगरेशन

HDD: 40GB
रॅम: 8GB
प्रोसेसर: कोर 2 2Ghz

क्लिकहाऊस डेटाबेस ऑपरेट करण्यासाठी टिपांकडे लक्ष देणे आवश्यक आहे (https://clickhouse.yandex/docs/ru/operations/tips/)

सामान्य सिस्टम सॉफ्टवेअर

OS: Red Hat Enterprise Linux सर्व्हर (Maipo)

JRE (Java 8)

 

जसे आपण पाहू शकता, हे एक सामान्य वर्कस्टेशन आहे.

नोंदी साठवण्यासाठी टेबलची रचना खालीलप्रमाणे आहे:

log_web.sql

CREATE TABLE log_web (
  logdate Date,
  logdatetime DateTime CODEC(Delta, LZ4HC),
   
  fld_log_file_name LowCardinality( String ),
  fld_server_name LowCardinality( String ),
  fld_app_name LowCardinality( String ),
  fld_app_module LowCardinality( String ),
  fld_website_name LowCardinality( String ),
 
  serverIP LowCardinality( String ),
  method LowCardinality( String ),
  uriStem String,
  uriQuery String,
  port UInt32,
  username LowCardinality( String ),
  clientIP String,
  clientRealIP String,
  userAgent String,
  referer String,
  response String,
  subresponse String,
  win32response String,
  timetaken UInt64
   
  , uriQuery__utm_medium String
  , uriQuery__utm_source String
  , uriQuery__utm_campaign String
  , uriQuery__utm_term String
  , uriQuery__utm_content String
  , uriQuery__yclid String
  , uriQuery__region String
 
) Engine = MergeTree()
PARTITION BY toYYYYMM(logdate)
ORDER BY (fld_app_name, fld_app_module, logdatetime)
SETTINGS index_granularity = 8192;

आम्ही डीफॉल्ट विभाजन (महिन्यानुसार) आणि निर्देशांक ग्रॅन्युलॅरिटी वापरतो. HTTP विनंत्या लॉगिंग करण्यासाठी सर्व फील्ड व्यावहारिकपणे IIS लॉग एंट्रीशी संबंधित आहेत. स्वतंत्रपणे, आम्ही लक्षात घेतो की यूटीएम-टॅग संचयित करण्यासाठी स्वतंत्र फील्ड आहेत (ते क्वेरी स्ट्रिंग फील्डमधून टेबलमध्ये घालण्याच्या टप्प्यावर विश्लेषित केले जातात).

तसेच, सिस्टम, घटक, सर्व्हर बद्दल माहिती संग्रहित करण्यासाठी टेबलमध्ये अनेक सिस्टम फील्ड जोडली गेली आहेत. या फील्डच्या वर्णनासाठी खालील तक्ता पहा. एका टेबलमध्ये, आम्ही अनेक प्रणालींसाठी लॉग संग्रहित करतो.

शीर्षक

वर्णन

उदाहरण:

fld_app_नाव

अनुप्रयोग/सिस्टमचे नाव
वैध मूल्ये:

• site1.domain.com बाह्य साइट 1
• site2.domain.com बाह्य साइट 2
• internal-site1.domain.local अंतर्गत साइट 1

site1.domain.com

fld_app_module

सिस्टम मॉड्यूल
वैध मूल्ये:

• वेब - वेबसाइट
• svc - वेब साइट सेवा
• intgr - एकीकरण वेब सेवा
• bo - प्रशासन (बॅकऑफिस)

वेब

fld_website_name

IIS मध्ये साइटचे नाव

एका सर्व्हरवर अनेक सिस्टीम तैनात केल्या जाऊ शकतात, किंवा एका सिस्टीम मॉड्यूलच्या अनेक उदाहरणे

वेब मुख्य

fld_server_name

सर्व्हरचे नाव

web1.domain.com

fld_log_file_name

सर्व्हरवरील लॉग फाइलचा मार्ग

C:inetpublogsLogFiles
W3SVC1u_ex190711.log

हे तुम्हाला ग्राफानामध्ये कार्यक्षमतेने आलेख तयार करण्यास अनुमती देते. उदाहरणार्थ, विशिष्ट प्रणालीच्या फ्रंटएंडमधून विनंत्या पहा. हे Yandex.Metrica मधील साइट काउंटरसारखेच आहे.

दोन महिन्यांसाठी डेटाबेसच्या वापराची काही आकडेवारी येथे आहे.

सिस्टम आणि त्यांच्या घटकांद्वारे खंडित केलेल्या रेकॉर्डची संख्या

SELECT
    fld_app_name,
    fld_app_module,
    count(fld_app_name) AS rows_count
FROM log_web
GROUP BY
    fld_app_name,
    fld_app_module
    WITH TOTALS
ORDER BY
    fld_app_name ASC,
    rows_count DESC
 
┌─fld_app_name─────┬─fld_app_module─┬─rows_count─┐
│ site1.domain.ru  │ web            │     131441 │
│ site2.domain.ru  │ web            │    1751081 │
│ site3.domain.ru  │ web            │  106887543 │
│ site3.domain.ru  │ svc            │   44908603 │
│ site3.domain.ru  │ intgr          │    9813911 │
│ site4.domain.ru  │ web            │     772095 │
│ site5.domain.ru  │ web            │   17037221 │
│ site5.domain.ru  │ intgr          │     838559 │
│ site5.domain.ru  │ bo             │       7404 │
│ site6.domain.ru  │ web            │     595877 │
│ site7.domain.ru  │ web            │   27778858 │
└──────────────────┴────────────────┴────────────┘
 
Totals:
┌─fld_app_name─┬─fld_app_module─┬─rows_count─┐
│              │                │  210522593 │
└──────────────┴────────────────┴────────────┘
 
11 rows in set. Elapsed: 4.874 sec. Processed 210.52 million rows, 421.67 MB (43.19 million rows/s., 86.51 MB/s.)

डिस्कवरील डेटाचे प्रमाण

SELECT
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed,
    sum(rows) AS total_rows
FROM system.parts
WHERE table = 'log_web'
 
┌─uncompressed─┬─compressed─┬─total_rows─┐
│ 54.50 GiB    │ 4.86 GiB   │  211427094 │
└──────────────┴────────────┴────────────┘
 
1 rows in set. Elapsed: 0.035 sec.

स्तंभांमध्ये डेटा कॉम्प्रेशनची डिग्री

SELECT
    name,
    formatReadableSize(data_uncompressed_bytes) AS uncompressed,
    formatReadableSize(data_compressed_bytes) AS compressed,
    data_uncompressed_bytes / data_compressed_bytes AS compress_ratio
FROM system.columns
WHERE table = 'log_web'
 
┌─name───────────────────┬─uncompressed─┬─compressed─┬─────compress_ratio─┐
│ logdate                │ 401.53 MiB   │ 1.80 MiB   │ 223.16665968777315 │
│ logdatetime            │ 803.06 MiB   │ 35.91 MiB  │ 22.363966401202305 │
│ fld_log_file_name      │ 220.66 MiB   │ 2.60 MiB   │  84.99905736932571 │
│ fld_server_name        │ 201.54 MiB   │ 50.63 MiB  │  3.980924816977078 │
│ fld_app_name           │ 201.17 MiB   │ 969.17 KiB │ 212.55518183686877 │
│ fld_app_module         │ 201.17 MiB   │ 968.60 KiB │ 212.67805817411906 │
│ fld_website_name       │ 201.54 MiB   │ 1.24 MiB   │  162.7204926761546 │
│ serverIP               │ 201.54 MiB   │ 50.25 MiB  │  4.010824061219731 │
│ method                 │ 201.53 MiB   │ 43.64 MiB  │  4.617721053304486 │
│ uriStem                │ 5.13 GiB     │ 832.51 MiB │  6.311522291936919 │
│ uriQuery               │ 2.58 GiB     │ 501.06 MiB │  5.269731450124478 │
│ port                   │ 803.06 MiB   │ 3.98 MiB   │ 201.91673864241824 │
│ username               │ 318.08 MiB   │ 26.93 MiB  │ 11.812513794583598 │
│ clientIP               │ 2.35 GiB     │ 82.59 MiB  │ 29.132328640073343 │
│ clientRealIP           │ 2.49 GiB     │ 465.05 MiB │  5.478382297052563 │
│ userAgent              │ 18.34 GiB    │ 764.08 MiB │  24.57905114484208 │
│ referer                │ 14.71 GiB    │ 1.37 GiB   │ 10.736792723669906 │
│ response               │ 803.06 MiB   │ 83.81 MiB  │  9.582334090987247 │
│ subresponse            │ 399.87 MiB   │ 1.83 MiB   │  218.4831068635027 │
│ win32response          │ 407.86 MiB   │ 7.41 MiB   │ 55.050315514606815 │
│ timetaken              │ 1.57 GiB     │ 402.06 MiB │ 3.9947395692010637 │
│ uriQuery__utm_medium   │ 208.17 MiB   │ 12.29 MiB  │ 16.936148912472955 │
│ uriQuery__utm_source   │ 215.18 MiB   │ 13.00 MiB  │ 16.548367623199912 │
│ uriQuery__utm_campaign │ 381.46 MiB   │ 37.94 MiB  │ 10.055156353418509 │
│ uriQuery__utm_term     │ 231.82 MiB   │ 10.78 MiB  │ 21.502540454070672 │
│ uriQuery__utm_content  │ 441.34 MiB   │ 87.60 MiB  │  5.038260760449327 │
│ uriQuery__yclid        │ 216.88 MiB   │ 16.58 MiB  │  13.07721335008116 │
│ uriQuery__region       │ 204.35 MiB   │ 9.49 MiB   │  21.52661903446796 │
└────────────────────────┴──────────────┴────────────┴────────────────────┘
 
28 rows in set. Elapsed: 0.005 sec.

वापरलेल्या घटकांचे वर्णन

फाइलबीट. फाइल लॉग ट्रान्सफर करत आहे

हा घटक डिस्कवरील लॉग फाइल्समधील बदलांचा मागोवा घेतो आणि माहिती LogStash ला देतो. सर्व सर्व्हरवर स्थापित केले जाते जेथे लॉग फाइल्स लिहिल्या जातात (सामान्यतः IIS). टेल मोडमध्ये कार्य करते (म्हणजे केवळ जोडलेले रेकॉर्ड फाइलमध्ये हस्तांतरित करते). परंतु स्वतंत्रपणे ते संपूर्ण फायली हस्तांतरित करण्यासाठी कॉन्फिगर केले जाऊ शकते. जेव्हा तुम्हाला मागील महिन्यांतील डेटा डाउनलोड करण्याची आवश्यकता असेल तेव्हा हे उपयुक्त आहे. फक्त लॉग फाइल एका फोल्डरमध्ये ठेवा आणि ती संपूर्णपणे वाचेल.

सेवा बंद केल्यावर, डेटा यापुढे स्टोरेजमध्ये हस्तांतरित केला जात नाही.

एक उदाहरण कॉन्फिगरेशन असे दिसते:

filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/W3SVC1/*.log
  exclude_files: ['.gz$','.zip$']
  tail_files: true
  ignore_older: 24h
  fields:
    fld_server_name: "site1.domain.ru"
    fld_app_name: "site1.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
 
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/__Import/access_log-*
  exclude_files: ['.gz$','.zip$']
  tail_files: false
  fields:
    fld_server_name: "site2.domain.ru"
    fld_app_name: "site2.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
    fld_logformat: "logformat__apache"
 
 
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  reload.period: 2s
 
output.logstash:
  hosts: ["log.domain.com:5044"]
 
  ssl.enabled: true
  ssl.certificate_authorities: ["C:/filebeat/certs/ca.pem", "C:/filebeat/certs/ca-issuing.pem"]
  ssl.certificate: "C:/filebeat/certs/site1.domain.ru.cer"
  ssl.key: "C:/filebeat/certs/site1.domain.ru.key"
 
#================================ Processors =====================================
 
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

लॉगस्टॅश लॉग कलेक्टर

हा घटक FileBeat (किंवा RabbitMQ रांगेद्वारे) लॉग एंट्री प्राप्त करण्यासाठी, क्लिकहाऊस डेटाबेसमध्ये बॅचेस पार्स करण्यासाठी आणि समाविष्ट करण्यासाठी डिझाइन केले आहे.

ClickHouse मध्ये समाविष्ट करण्यासाठी, Logstash-output-clickhouse प्लगइन वापरले जाते. लॉगस्टॅश प्लगइनमध्ये विनंती पुन्हा प्रयत्न करण्याची यंत्रणा आहे, परंतु नियमित शटडाउनसह, सेवा स्वतःच थांबवणे चांगले आहे. जेव्हा थांबवले जाते, तेव्हा संदेश RabbitMQ रांगेत जमा होतील, म्हणून जर थांबा बराच काळ असेल, तर सर्व्हरवर फाइलबीट्स थांबवणे चांगले. ज्या योजनेत RabbitMQ वापरले जात नाही (स्थानिक नेटवर्कवर, Filebeat थेट Logstash ला लॉग पाठवते), Filebeats अगदी स्वीकार्य आणि सुरक्षितपणे कार्य करतात, त्यामुळे त्यांच्यासाठी आउटपुट पासची अनुपलब्धता परिणामांशिवाय होते.

एक उदाहरण कॉन्फिगरेशन असे दिसते:

log_web__filebeat_clickhouse.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/logstash/certs/ca.cer", "/etc/logstash/certs/ca-issuing.cer"]
        ssl_certificate => "/etc/logstash/certs/server.cer"
        ssl_key => "/etc/logstash/certs/server-pkcs8.key"
        ssl_verify_mode => "peer"
 
            add_field => {
                "fld_server_name" => "%{[fields][fld_server_name]}"
                "fld_app_name" => "%{[fields][fld_app_name]}"
                "fld_app_module" => "%{[fields][fld_app_module]}"
                "fld_website_name" => "%{[fields][fld_website_name]}"
                "fld_log_file_name" => "%{source}"
                "fld_logformat" => "%{[fields][fld_logformat]}"
            }
    }
 
    rabbitmq {
        host => "queue.domain.com"
        port => 5671
        user => "q-reader"
        password => "password"
        queue => "web_log"
        heartbeat => 30
        durable => true
        ssl => true
        #ssl_certificate_path => "/etc/logstash/certs/server.p12"
        #ssl_certificate_password => "password"
 
        add_field => {
            "fld_server_name" => "%{[fields][fld_server_name]}"
            "fld_app_name" => "%{[fields][fld_app_name]}"
            "fld_app_module" => "%{[fields][fld_app_module]}"
            "fld_website_name" => "%{[fields][fld_website_name]}"
            "fld_log_file_name" => "%{source}"
            "fld_logformat" => "%{[fields][fld_logformat]}"
        }
    }
 
}
 
filter { 
 
      if [message] =~ "^#" {
        drop {}
      }
 
      if [fld_logformat] == "logformat__iis_with_xrealip" {
     
          grok {
            match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken} %{NOTSPACE:xrealIP} %{NOTSPACE:xforwarderfor}"]
          }
      } else {
   
          grok {
             match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken}"]
          }
 
      }
 
      date {
        match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
          timezone => "Etc/UTC"
        remove_field => [ "log_timestamp", "@timestamp" ]
        target => [ "log_timestamp2" ]
      }
 
        ruby {
            code => "tstamp = event.get('log_timestamp2').to_i
                        event.set('logdatetime', Time.at(tstamp).strftime('%Y-%m-%d %H:%M:%S'))
                        event.set('logdate', Time.at(tstamp).strftime('%Y-%m-%d'))"
        }
 
      if [bytesSent] {
        ruby {
          code => "event['kilobytesSent'] = event['bytesSent'].to_i / 1024.0"
        }
      }
 
 
      if [bytesReceived] {
        ruby {
          code => "event['kilobytesReceived'] = event['bytesReceived'].to_i / 1024.0"
        }
      }
 
   
        ruby {
            code => "event.set('clientRealIP', event.get('clientIP'))"
        }
        if [xrealIP] {
            ruby {
                code => "event.set('clientRealIP', event.get('xrealIP'))"
            }
        }
        if [xforwarderfor] {
            ruby {
                code => "event.set('clientRealIP', event.get('xforwarderfor'))"
            }
        }
 
      mutate {
        convert => ["bytesSent", "integer"]
        convert => ["bytesReceived", "integer"]
        convert => ["timetaken", "integer"] 
        convert => ["port", "integer"]
 
        add_field => {
            "clientHostname" => "%{clientIP}"
        }
      }
 
        useragent {
            source=> "useragent"
            prefix=> "browser"
        }
 
        kv {
            source => "uriQuery"
            prefix => "uriQuery__"
            allow_duplicate_values => false
            field_split => "&"
            include_keys => [ "utm_medium", "utm_source", "utm_campaign", "utm_term", "utm_content", "yclid", "region" ]
        }
 
        mutate {
            join => { "uriQuery__utm_source" => "," }
            join => { "uriQuery__utm_medium" => "," }
            join => { "uriQuery__utm_campaign" => "," }
            join => { "uriQuery__utm_term" => "," }
            join => { "uriQuery__utm_content" => "," }
            join => { "uriQuery__yclid" => "," }
            join => { "uriQuery__region" => "," }
        }
 
}
 
output { 
  #stdout {codec => rubydebug}
    clickhouse {
      headers => ["Authorization", "Basic abcdsfks..."]
      http_hosts => ["http://127.0.0.1:8123"]
      save_dir => "/etc/logstash/tmp"
      table => "log_web"
      request_tolerance => 1
      flush_size => 10000
      idle_flush_time => 1
        mutations => {
            "fld_log_file_name" => "fld_log_file_name"
            "fld_server_name" => "fld_server_name"
            "fld_app_name" => "fld_app_name"
            "fld_app_module" => "fld_app_module"
            "fld_website_name" => "fld_website_name"
 
            "logdatetime" => "logdatetime"
            "logdate" => "logdate"
            "serverIP" => "serverIP"
            "method" => "method"
            "uriStem" => "uriStem"
            "uriQuery" => "uriQuery"
            "port" => "port"
            "username" => "username"
            "clientIP" => "clientIP"
            "clientRealIP" => "clientRealIP"
            "userAgent" => "userAgent"
            "referer" => "referer"
            "response" => "response"
            "subresponse" => "subresponse"
            "win32response" => "win32response"
            "timetaken" => "timetaken"
             
            "uriQuery__utm_medium" => "uriQuery__utm_medium"
            "uriQuery__utm_source" => "uriQuery__utm_source"
            "uriQuery__utm_campaign" => "uriQuery__utm_campaign"
            "uriQuery__utm_term" => "uriQuery__utm_term"
            "uriQuery__utm_content" => "uriQuery__utm_content"
            "uriQuery__yclid" => "uriQuery__yclid"
            "uriQuery__region" => "uriQuery__region"
        }
    }
 
}

pipelines.yml

# This file is where you define your pipelines. You can define multiple.
# For more information on multiple pipelines, see the documentation:
#   https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
 
- pipeline.id: log_web__filebeat_clickhouse
  path.config: "/etc/logstash/log_web__filebeat_clickhouse.conf"

क्लिकहाऊस लॉग स्टोरेज

सर्व सिस्टमसाठी लॉग एका टेबलमध्ये संग्रहित केले जातात (लेखाच्या सुरुवातीला पहा). हे विनंत्यांबद्दल माहिती संचयित करण्याच्या उद्देशाने आहे: सर्व पॅरामीटर्स वेगवेगळ्या फॉरमॅटसाठी समान आहेत, जसे की IIS लॉग, apache आणि nginx लॉग. ऍप्लिकेशन लॉगसाठी, ज्यामध्ये, उदाहरणार्थ, त्रुटी, माहिती संदेश, चेतावणी रेकॉर्ड केल्या जातात, योग्य संरचनेसह एक स्वतंत्र टेबल प्रदान केला जाईल (सध्या डिझाइन टप्प्यावर).

टेबल डिझाइन करताना, प्राथमिक की (ज्याद्वारे स्टोरेज दरम्यान डेटा क्रमवारी लावला जाईल) वर निर्णय घेणे फार महत्वाचे आहे. डेटा कॉम्प्रेशन आणि क्वेरी गतीची डिग्री यावर अवलंबून असते. आमच्या उदाहरणात, की आहे
ऑर्डर करा (fld_app_name, fld_app_module, logdatetime)
म्हणजेच, सिस्टमच्या नावानुसार, सिस्टम घटकाचे नाव आणि इव्हेंटची तारीख. सुरुवातीला कार्यक्रमाची तारीख आधी आली. ते शेवटच्या ठिकाणी हलवल्यानंतर, क्वेरीने दुप्पट वेगाने काम करण्यास सुरुवात केली. प्राथमिक की बदलण्यासाठी टेबल पुन्हा तयार करणे आणि डेटा रीलोड करणे आवश्यक आहे जेणेकरून क्लिकहाऊस डिस्कवरील डेटाची पुन्हा क्रमवारी लावेल. हे एक भारी ऑपरेशन आहे, म्हणून क्रमवारी की मध्ये काय समाविष्ट केले पाहिजे याबद्दल खूप विचार करणे चांगली कल्पना आहे.

हे देखील लक्षात घेतले पाहिजे की कमी कार्डिनॅलिटी डेटा प्रकार तुलनेने अलीकडील आवृत्त्यांमध्ये दिसून आला आहे. ते वापरताना, कमी कार्डिनॅलिटी (काही पर्याय) असलेल्या फील्डसाठी संकुचित डेटाचा आकार खूपच कमी केला जातो.

आवृत्ती 19.6 सध्या वापरात आहे आणि आम्ही नवीनतम आवृत्तीवर अद्यतनित करण्याचा प्रयत्न करू इच्छित आहोत. त्यांच्याकडे अ‍ॅडॉप्टिव्ह ग्रॅन्युलॅरिटी, स्किपिंग इंडेक्स आणि डबलडेल्टा कोडेक यांसारखी अद्भुत वैशिष्ट्ये आहेत, उदाहरणार्थ.

डीफॉल्टनुसार, स्थापनेदरम्यान, लॉगिंग पातळी ट्रेसवर सेट केली जाते. लॉग फिरवले जातात आणि संग्रहित केले जातात, परंतु त्याच वेळी ते गीगाबाइटपर्यंत विस्तृत होतात. जर गरज नसेल तर आपण चेतावणी पातळी सेट करू शकता, नंतर लॉगचा आकार मोठ्या प्रमाणात कमी केला जाईल. लॉगिंग सेटिंग config.xml फाइलमध्ये सेट केली आहे:

<!-- Possible levels: https://github.com/pocoproject/poco/blob/develop/Foundation/include/Poco/Logger. h#L105 -->
<level>warning</level>

काही उपयुक्त आज्ञा

Поскольку оригинальные пакеты установки собираются по Debian, то для других версий Linux необходимо использовать пакеты собранные компанией Altinity.
 
Вот по этой ссылке есть инструкции с ссылками на их репозиторий: https://www.altinity.com/blog/2017/12/18/logstash-with-clickhouse
sudo yum search clickhouse-server
sudo yum install clickhouse-server.noarch
  
1. проверка статуса
sudo systemctl status clickhouse-server
 
2. остановка сервера
sudo systemctl stop clickhouse-server
 
3. запуск сервера
sudo systemctl start clickhouse-server
 
Запуск для выполнения запросов в многострочном режиме (выполнение после знака ";")
clickhouse-client --multiline
clickhouse-client --multiline --host 127.0.0.1 --password pa55w0rd
clickhouse-client --multiline --host 127.0.0.1 --port 9440 --secure --user default --password pa55w0rd
 
Плагин кликлауза для логстеш в случае ошибки в одной строке сохраняет всю пачку в файл /tmp/log_web_failed.json
Можно вручную исправить этот файл и попробовать залить его в БД вручную:
clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /tmp/log_web_failed__fixed.json
 
sudo mv /etc/logstash/tmp/log_web_failed.json /etc/logstash/tmp/log_web_failed__fixed.json
sudo chown user_dev /etc/logstash/tmp/log_web_failed__fixed.json
sudo clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /etc/logstash/tmp/log_web_failed__fixed.json
sudo mv /etc/logstash/tmp/log_web_failed__fixed.json /etc/logstash/tmp/log_web_failed__fixed_.json
 
выход из командной строки
quit;
## Настройка TLS
https://www.altinity.com/blog/2019/3/5/clickhouse-networking-part-2
 
openssl s_client -connect log.domain.com:9440 < /dev/null

लॉगस्टॅश FileBeat वरून RabbitMQ रांगेत राउटर लॉग करा

हा घटक FileBeat वरून RabbitMQ रांगेत येणारे लॉग रूट करण्यासाठी वापरला जातो. येथे दोन मुद्दे आहेत:

1. दुर्दैवाने, RabbitMQ वर थेट लिहिण्यासाठी FileBeat कडे आउटपुट प्लगइन नाही. आणि अशी कार्यक्षमता, त्यांच्या गीथबवरील मुद्द्याचा आधार घेत, अंमलबजावणीसाठी नियोजित नाही. काफ्कासाठी एक प्लगइन आहे, परंतु काही कारणास्तव आम्ही ते घरी वापरू शकत नाही.
2. DMZ मध्ये लॉग गोळा करण्यासाठी आवश्यकता आहेत. त्यांच्या आधारावर, लॉग प्रथम रांगेत जोडले जाणे आवश्यक आहे आणि नंतर लॉगस्टॅश बाहेरून रांगेतील नोंदी वाचतो.

म्हणून, DMZ मध्ये सर्व्हर असलेल्या बाबतीत अशी थोडी क्लिष्ट योजना वापरावी लागते. एक उदाहरण कॉन्फिगरेशन असे दिसते:

iis_w3c_logs__filebeat_rabbitmq.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/pki/tls/certs/app/ca.pem", "/etc/pki/tls/certs/app/ca-issuing.pem"]
        ssl_certificate => "/etc/pki/tls/certs/app/queue.domain.com.cer"
        ssl_key => "/etc/pki/tls/certs/app/queue.domain.com-pkcs8.key"
        ssl_verify_mode => "peer"
    }
 
}
 
output { 
  #stdout {codec => rubydebug}
 
    rabbitmq {
        host => "127.0.0.1"
        port => 5672
        exchange => "monitor.direct"
        exchange_type => "direct"
        key => "%{[fields][fld_app_name]}"
        user => "q-writer"
        password => "password"
        ssl => false
    }
}

RabbitMQ. संदेश रांग

हा घटक DMZ मध्ये लॉग एंट्री बफर करण्यासाठी वापरला जातो. रेकॉर्डिंग Filebeat → LogStash च्या समूहाद्वारे केले जाते. DMZ च्या बाहेरून LogStash द्वारे वाचन केले जाते. RabboitMQ द्वारे ऑपरेट करताना, प्रति सेकंद सुमारे 4 हजार संदेशांवर प्रक्रिया केली जाते.

संदेश राउटिंग सिस्टम नावाने कॉन्फिगर केले आहे, म्हणजे फाइलबीट कॉन्फिगरेशन डेटावर आधारित. सर्व संदेश एका रांगेत जातात. काही कारणास्तव रांगेत सेवा थांबवल्यास, यामुळे संदेशांचे नुकसान होणार नाही: FileBeats ला कनेक्शन त्रुटी प्राप्त होतील आणि पाठवणे तात्पुरते निलंबित केले जाईल. आणि LogStash जो रांगेतून वाचतो त्याला नेटवर्क त्रुटी देखील प्राप्त होतील आणि कनेक्शन पुनर्संचयित होण्याची प्रतीक्षा करा. या प्रकरणात, डेटा, अर्थातच, यापुढे डेटाबेसवर लिहिला जाणार नाही.

रांग तयार करण्यासाठी आणि कॉन्फिगर करण्यासाठी खालील सूचना वापरल्या जातात:

sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare exchange --vhost=/ name=monitor.direct type=direct sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare queue --vhost=/ name=web_log durable=true
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site1.domain.ru"
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site2.domain.ru"

ग्राफना. डॅशबोर्ड

हा घटक मॉनिटरिंग डेटाचे दृश्यमान करण्यासाठी वापरला जातो. या प्रकरणात, तुम्हाला Grafana 4.6+ प्लगइनसाठी ClickHouse डेटासोर्स स्थापित करणे आवश्यक आहे. डॅशबोर्डवर SQL फिल्टर्सची प्रक्रिया करण्याची कार्यक्षमता सुधारण्यासाठी आम्हाला त्यात थोडासा बदल करावा लागला.

उदाहरणार्थ, आम्ही व्हेरिएबल्स वापरतो, आणि जर ते फिल्टर फील्डमध्ये सेट केलेले नसतील, तर आम्हाला फॉर्मच्या WHERE ( uriStem = » AND uriStem != » ) मध्ये स्थिती निर्माण करू नये असे वाटते. या प्रकरणात, ClickHouse uriStem स्तंभ वाचेल. सर्वसाधारणपणे, आम्ही भिन्न पर्याय वापरून पाहिले आणि शेवटी प्लगइन ($valueIfEmpty मॅक्रो) दुरुस्त केले जेणेकरून रिक्त मूल्याच्या बाबतीत ते स्तंभाचा उल्लेख न करता 1 परत करेल.

आणि आता तुम्ही ही क्वेरी ग्राफसाठी वापरू शकता

$columns(response, count(*) c) from $table where $adhoc
and $valueIfEmpty($fld_app_name, 1, fld_app_name = '$fld_app_name')
and $valueIfEmpty($fld_app_module, 1, fld_app_module = '$fld_app_module') and $valueIfEmpty($fld_server_name, 1, fld_server_name = '$fld_server_name') and $valueIfEmpty($uriStem, 1, uriStem like '%$uriStem%')
and $valueIfEmpty($clientRealIP, 1, clientRealIP = '$clientRealIP')

जे या SQL मध्ये भाषांतरित करते (लक्षात ठेवा की रिक्त uriStem फील्ड फक्त 1 मध्ये रूपांतरित केले गेले आहेत)

SELECT
t,
groupArray((response, c)) AS groupArr
FROM (
SELECT
(intDiv(toUInt32(logdatetime), 60) * 60) * 1000 AS t, response,
count(*) AS c FROM default.log_web
WHERE (logdate >= toDate(1565061982)) AND (logdatetime >= toDateTime(1565061982)) AND 1 AND (fld_app_name = 'site1.domain.ru') AND (fld_app_module = 'web') AND 1 AND 1 AND 1
GROUP BY
t, response
ORDER BY
t ASC,
response ASC
)
GROUP BY t ORDER BY t ASC

निष्कर्ष

क्लिकहाऊस डेटाबेस दिसणे ही बाजारपेठेतील एक महत्त्वाची घटना बनली आहे. हे कल्पना करणे कठिण होते की, पूर्णपणे विनामूल्य, एका झटक्यात आम्ही मोठ्या डेटासह कार्य करण्यासाठी शक्तिशाली आणि व्यावहारिक साधनाने सज्ज होतो. अर्थात, वाढत्या गरजांसह (उदाहरणार्थ, अनेक सर्व्हरवर शार्डिंग आणि प्रतिकृती), योजना अधिक क्लिष्ट होईल. परंतु पहिल्या इंप्रेशनवर, या डेटाबेससह कार्य करणे खूप आनंददायी आहे. हे पाहिले जाऊ शकते की उत्पादन "लोकांसाठी" बनविले आहे.

ElasticSearch च्या तुलनेत, लॉग संचयित करण्याची आणि प्रक्रिया करण्याची किंमत पाच ते दहा पट कमी होण्याचा अंदाज आहे. दुस-या शब्दात सांगायचे तर, जर सध्याच्या डेटासाठी आम्हाला अनेक मशीन्सचा क्लस्टर सेट करावा लागेल, तर क्लिकहाऊस वापरताना, आमच्यासाठी एक कमी-पावर मशीन पुरेसे आहे. होय, अर्थातच, ElasticSearch मध्ये ऑन-डिस्क डेटा कॉम्प्रेशन मेकॅनिझम आणि इतर वैशिष्ट्ये देखील आहेत जी संसाधनांचा वापर लक्षणीयरीत्या कमी करू शकतात, परंतु क्लिकहाऊसच्या तुलनेत, हे अधिक महाग असेल.

आमच्याकडून कोणत्याही विशेष ऑप्टिमायझेशनशिवाय, डीफॉल्ट सेटिंग्जवर, डेटा लोड करणे आणि डेटाबेसमधून निवड करणे हे आश्चर्यकारक वेगाने कार्य करते. आमच्याकडे अद्याप जास्त डेटा नाही (सुमारे 200 दशलक्ष रेकॉर्ड), परंतु सर्व्हर स्वतःच कमकुवत आहे. आम्ही हे साधन भविष्यात लॉग संग्रहित करण्याशी संबंधित नसलेल्या इतर कारणांसाठी वापरू शकतो. उदाहरणार्थ, एंड-टू-एंड विश्लेषणासाठी, सुरक्षिततेच्या क्षेत्रात, मशीन लर्निंग.

शेवटी, साधक आणि बाधक बद्दल थोडे.

मिनिन्स

1. मोठ्या बॅचमध्ये रेकॉर्ड लोड करत आहे. एकीकडे, हे एक वैशिष्ट्य आहे, परंतु तरीही तुम्हाला बफरिंग रेकॉर्डसाठी अतिरिक्त घटक वापरावे लागतील. हे कार्य नेहमीच सोपे नसते, परंतु तरीही सोडवता येते. आणि मला योजना सोपी करायची आहे.
2. काही विदेशी कार्यक्षमता किंवा नवीन वैशिष्ट्ये अनेकदा नवीन आवृत्त्यांमध्ये खंडित होतात. यामुळे चिंता निर्माण होते, नवीन आवृत्तीवर अपग्रेड करण्याची इच्छा कमी होते. उदाहरणार्थ, काफ्का टेबल इंजिन हे एक अतिशय उपयुक्त वैशिष्ट्य आहे जे आपल्याला ग्राहकांना लागू न करता थेट काफ्कामधील इव्हेंट वाचण्याची परवानगी देते. परंतु गिथबवरील समस्यांच्या संख्येनुसार, आम्ही अद्याप उत्पादनात हे इंजिन वापरू नये याची काळजी घेत आहोत. तथापि, आपण बाजूला अचानक हातवारे न केल्यास आणि मुख्य कार्यक्षमता वापरल्यास, ते स्थिरपणे कार्य करते.

Плюсы

1. गती कमी होत नाही.
2. कमी प्रवेश थ्रेशोल्ड.
3. मुक्त स्रोत.
4. फुकट.
5. चांगले स्केल (शेर्डिंग/बॉक्सच्या बाहेर प्रतिकृती)
6. दळणवळण मंत्रालयाने शिफारस केलेल्या रशियन सॉफ्टवेअरच्या रजिस्टरमध्ये समाविष्ट आहे.
7. यांडेक्सकडून अधिकृत समर्थनाची उपस्थिती.

स्त्रोत: www.habr.com