🥇मानव, या एलियन प्रौद्योगिकियों के लिए क्लिकहाउस डेटाबेस

एलेक्सी लिज़ुनोव, एमकेबी के सूचना प्रौद्योगिकी निदेशालय के दूरस्थ सेवा चैनलों के लिए सक्षमता केंद्र के प्रमुख

ईएलके स्टैक (इलास्टिकसर्च, लॉगस्टैश, किबाना) के विकल्प के रूप में, हम लॉग के लिए डेटा स्टोर के रूप में क्लिकहाउस डेटाबेस का उपयोग करने पर शोध कर रहे हैं।

इस लेख में, हम ClickHouse डेटाबेस का उपयोग करने के अपने अनुभव और पायलट ऑपरेशन के प्रारंभिक परिणामों के बारे में बात करना चाहेंगे। यह तुरंत ध्यान दिया जाना चाहिए कि परिणाम प्रभावशाली थे।

आगे, हम और अधिक विस्तार से वर्णन करेंगे कि हमारा सिस्टम कैसे कॉन्फ़िगर किया गया है, और इसमें कौन से घटक शामिल हैं। लेकिन अब मैं समग्र रूप से इस डेटाबेस के बारे में थोड़ी बात करना चाहूंगा, और यह ध्यान देने योग्य क्यों है। ClickHouse डेटाबेस Yandex का एक उच्च-प्रदर्शन विश्लेषणात्मक स्तंभ डेटाबेस है। इसका उपयोग Yandex सेवाओं में किया जाता है, प्रारंभ में यह Yandex.Metrica के लिए मुख्य डेटा भंडारण है। ओपन-सोर्स सिस्टम, मुफ़्त। एक डेवलपर के दृष्टिकोण से, मुझे हमेशा आश्चर्य होता है कि उन्होंने इसे कैसे लागू किया, क्योंकि इसमें बहुत बड़ा डेटा है। और मेट्रिका का यूजर इंटरफ़ेस अपने आप में बहुत लचीला और तेज़ है। इस डेटाबेस से पहली बार परिचित होने पर, धारणा यह है: “ठीक है, अंततः! लोगों के लिए बनाया गया! इंस्टॉलेशन प्रक्रिया से शुरू होकर अनुरोध भेजने तक समाप्त होती है।

इस डेटाबेस में प्रवेश सीमा बहुत कम है। यहां तक कि एक औसत-कुशल डेवलपर भी इस डेटाबेस को कुछ ही मिनटों में स्थापित कर सकता है और इसका उपयोग शुरू कर सकता है। सब कुछ स्पष्ट रूप से काम करता है. यहां तक कि जो लोग लिनक्स में नए हैं वे भी इंस्टॉलेशन को तुरंत संभाल सकते हैं और सबसे सरल ऑपरेशन कर सकते हैं। यदि पहले, बिग डेटा, Hadoop, Google BigTable, HDFS शब्दों के साथ, एक सामान्य डेवलपर के पास यह विचार था कि यह कुछ टेराबाइट्स, पेटाबाइट्स के बारे में था, कि कुछ सुपरह्यूमन इन प्रणालियों के लिए सेटिंग्स और विकास में शामिल हैं, तो ClickHouse के आगमन के साथ डेटाबेस, हमें एक सरल, समझने योग्य उपकरण मिला है जिसके साथ आप पहले से अप्राप्य कार्यों को हल कर सकते हैं। इसे स्थापित करने में केवल एक औसत मशीन और पांच मिनट लगते हैं। अर्थात्, हमें ऐसा डेटाबेस मिला, उदाहरण के लिए, MySql, लेकिन केवल अरबों रिकॉर्ड संग्रहीत करने के लिए! SQL भाषा के साथ एक निश्चित सुपर-आर्काइवर। यह ऐसा है जैसे लोगों को एलियंस के हथियार सौंप दिए गए हों।

हमारे लॉगिंग सिस्टम के बारे में

जानकारी एकत्र करने के लिए, मानक प्रारूप वेब अनुप्रयोगों की आईआईएस लॉग फ़ाइलों का उपयोग किया जाता है (हम वर्तमान में एप्लिकेशन लॉग भी पार्स कर रहे हैं, लेकिन पायलट चरण में मुख्य लक्ष्य आईआईएस लॉग एकत्र करना है)।

विभिन्न कारणों से, हम ईएलके स्टैक को पूरी तरह से नहीं छोड़ सके, और हम लॉगस्टैश और फाइलबीट घटकों का उपयोग करना जारी रखते हैं, जिन्होंने खुद को अच्छी तरह से साबित किया है और काफी विश्वसनीय और अनुमानित रूप से काम करते हैं।

सामान्य लॉगिंग योजना नीचे दिए गए चित्र में दिखाई गई है:

ClickHouse डेटाबेस में डेटा लिखने की एक विशेषता बड़े बैचों में रिकॉर्ड को कभी-कभार (प्रति सेकंड एक बार) सम्मिलित करना है। यह, जाहिरा तौर पर, सबसे "समस्याग्रस्त" हिस्सा है जिसका सामना आप तब करते हैं जब आप पहली बार ClickHouse डेटाबेस के साथ काम करने का अनुभव करते हैं: योजना थोड़ी अधिक जटिल हो जाती है।
लॉगस्टैश के लिए प्लगइन, जो सीधे ClickHouse में डेटा डालता है, ने यहां बहुत मदद की। यह घटक डेटाबेस के समान सर्वर पर ही तैनात किया गया है। इसलिए, आम तौर पर बोलते हुए, ऐसा करने की अनुशंसा नहीं की जाती है, लेकिन व्यावहारिक दृष्टिकोण से, ताकि एक ही सर्वर पर तैनात होने पर अलग-अलग सर्वर का उत्पादन न किया जा सके। हमने डेटाबेस के साथ कोई विफलता या संसाधन टकराव नहीं देखा। इसके अलावा, यह ध्यान दिया जाना चाहिए कि त्रुटियों के मामले में प्लगइन में पुनः प्रयास तंत्र है। और त्रुटियों के मामले में, प्लगइन डिस्क पर डेटा का एक बैच लिखता है जिसे डाला नहीं जा सका (फ़ाइल प्रारूप सुविधाजनक है: संपादन के बाद, आप क्लिकहाउस-क्लाइंट का उपयोग करके आसानी से सही बैच सम्मिलित कर सकते हैं)।

योजना में प्रयुक्त सॉफ़्टवेयर की पूरी सूची तालिका में प्रस्तुत की गई है:

प्रयुक्त सॉफ्टवेयर की सूची

नाम

विवरण

वितरण लिंक

nginx

बंदरगाहों तक पहुंच को प्रतिबंधित करने और प्राधिकरण को व्यवस्थित करने के लिए रिवर्स-प्रॉक्सी

वर्तमान में योजना में उपयोग नहीं किया गया है

https://nginx.org/ru/download.html

https://nginx.org/download/nginx-1.16.0.tar.gz

फाइलबीट

फ़ाइल लॉग का स्थानांतरण.

https://www.elastic.co/downloads/beats/filebeat (विंडोज 64 बिट के लिए वितरण किट)।

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-windows-x86_64.zip

लॉगस्टैश

लॉग संग्राहक.

FileBeat से लॉग एकत्र करने के लिए, साथ ही RabbitMQ कतार से लॉग एकत्र करने के लिए उपयोग किया जाता है (उन सर्वरों के लिए जो DMZ में हैं।)

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

लॉगस्टैश-आउटपुट-क्लिकहाउस

बैचों में क्लिकहाउस डेटाबेस में लॉग स्थानांतरित करने के लिए लॉगस्टैश प्लगइन

https://github.com/mikechris/logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin इंस्टॉल लॉगस्टैश-आउटपुट-क्लिकहाउस

/usr/share/logstash/bin/logstash-plugin इंस्टॉल लॉगस्टैश-फ़िल्टर-प्रून

/usr/share/logstash/bin/logstash-plugin इंस्टॉल लॉगस्टैश-फ़िल्टर-मल्टीलाइन

क्लिकहाउस

लॉग भंडारण https://clickhouse.yandex/docs/ru/

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-19.5.3.8-1.el7.x86_64.rpm

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-client-19.5.3.8-1.el7.x86_64.rpm

टिप्पणी। अगस्त 2018 से, आरएचईएल के लिए "सामान्य" आरपीएम बिल्ड यैंडेक्स रिपॉजिटरी में दिखाई दिए, इसलिए आप उनका उपयोग करने का प्रयास कर सकते हैं। स्थापना के समय, हम Altinity द्वारा निर्मित पैकेजों का उपयोग कर रहे थे।

ग्राफाना

लॉग विज़ुअलाइज़ेशन. डैशबोर्ड सेट करना

https://grafana.com/

https://grafana.com/grafana/download

रेडहैट और सेंटोस(64 बिट) - नवीनतम संस्करण

ग्राफाना 4.6+ के लिए क्लिकहाउस डेटास्रोत

क्लिकहाउस डेटा स्रोत के साथ ग्राफाना के लिए प्लगइन

https://grafana.com/plugins/vertamedia-clickhouse-datasource

https://grafana.com/api/plugins/vertamedia-clickhouse-datasource/versions/1.8.1/download

लॉगस्टैश

फ़ाइलबीट से RabbitMQ कतार में राउटर लॉग करें।

टिप्पणी। दुर्भाग्य से FileBeat सीधे RabbitMQ पर आउटपुट नहीं करता है, इसलिए लॉगस्टैश के रूप में एक मध्यवर्ती लिंक की आवश्यकता होती है

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

RabbitMQ

संदेश कतार. यह DMZ में लॉग बफ़र है

https://www.rabbitmq.com/download.html

https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.14/rabbitmq-server-3.7.14-1.el7.noarch.rpm

एर्लांग रनटाइम (RabbitMQ के लिए आवश्यक)

एर्लांग रनटाइम. RabbitMQ के काम करने के लिए आवश्यक है

http://www.erlang.org/download.html

https://www.rabbitmq.com/install-rpm.html#install-erlang http://www.erlang.org/downloads/21.3

ClickHouse डेटाबेस के साथ सर्वर कॉन्फ़िगरेशन निम्न तालिका में प्रस्तुत किया गया है:

नाम

मूल्य

नोट

विन्यास

एचडीडी: 40GB
राम: 8GB
प्रोसेसर: कोर 2 2 गीगाहर्ट्ज़

ClickHouse डेटाबेस को संचालित करने के लिए युक्तियों पर ध्यान देना आवश्यक है (https://clickhouse.yandex/docs/ru/operations/tips/)

सामान्य सिस्टम सॉफ्टवेयर

ओएस: रेड हैट एंटरप्राइज लिनक्स सर्वर (माइपो)

जेआरई (जावा 8)

जैसा कि आप देख सकते हैं, यह एक साधारण कार्य केंद्र है।

लॉग संग्रहीत करने के लिए तालिका की संरचना इस प्रकार है:

log_web.sql

CREATE TABLE log_web (
  logdate Date,
  logdatetime DateTime CODEC(Delta, LZ4HC),
   
  fld_log_file_name LowCardinality( String ),
  fld_server_name LowCardinality( String ),
  fld_app_name LowCardinality( String ),
  fld_app_module LowCardinality( String ),
  fld_website_name LowCardinality( String ),
 
  serverIP LowCardinality( String ),
  method LowCardinality( String ),
  uriStem String,
  uriQuery String,
  port UInt32,
  username LowCardinality( String ),
  clientIP String,
  clientRealIP String,
  userAgent String,
  referer String,
  response String,
  subresponse String,
  win32response String,
  timetaken UInt64
   
  , uriQuery__utm_medium String
  , uriQuery__utm_source String
  , uriQuery__utm_campaign String
  , uriQuery__utm_term String
  , uriQuery__utm_content String
  , uriQuery__yclid String
  , uriQuery__region String
 
) Engine = MergeTree()
PARTITION BY toYYYYMM(logdate)
ORDER BY (fld_app_name, fld_app_module, logdatetime)
SETTINGS index_granularity = 8192;

हम डिफ़ॉल्ट विभाजन (महीने के अनुसार) और सूचकांक ग्रैन्युलैरिटी का उपयोग करते हैं। http अनुरोधों को लॉग करने के लिए सभी फ़ील्ड व्यावहारिक रूप से IIS लॉग प्रविष्टियों के अनुरूप हैं। अलग से, हम ध्यान दें कि यूटीएम-टैग को संग्रहीत करने के लिए अलग-अलग फ़ील्ड हैं (उन्हें क्वेरी स्ट्रिंग फ़ील्ड से तालिका में डालने के चरण में पार्स किया जाता है)।

साथ ही, सिस्टम, घटकों, सर्वर के बारे में जानकारी संग्रहीत करने के लिए तालिका में कई सिस्टम फ़ील्ड जोड़े गए हैं। इन क्षेत्रों के विवरण के लिए नीचे दी गई तालिका देखें। एक तालिका में, हम कई प्रणालियों के लिए लॉग संग्रहीत करते हैं।

नाम

विवरण

उदाहरण

fld_app_name

एप्लिकेशन/सिस्टम का नाम
मान्य मान:

site1.domain.com बाहरी साइट 1
site2.domain.com बाहरी साइट 2
आंतरिक साइट1.डोमेन.स्थानीय आंतरिक साइट 1

site1.domain.com

fld_app_module

सिस्टम मॉड्यूल
मान्य मान:

वेब - वेबसाइट
एसवीसी - वेब साइट सेवा
intgr - एकीकरण वेब सेवा
बो - एडमिन (बैकऑफ़िस)

वेब

fld_वेबसाइट_नाम

IIS में साइट का नाम

एक सर्वर पर कई सिस्टम तैनात किए जा सकते हैं, या एक सिस्टम मॉड्यूल के कई उदाहरण भी तैनात किए जा सकते हैं

वेब मुख्य

fld_server_name

सर्वर का नाम

web1.domain.com

fld_log_file_name

सर्वर पर लॉग फ़ाइल का पथ

C:inetpublogsLogFiles
W3SVC1u_ex190711.log

यह आपको ग्राफाना में कुशलतापूर्वक ग्राफ़ बनाने की अनुमति देता है। उदाहरण के लिए, किसी विशेष सिस्टम के फ्रंटएंड से अनुरोध देखें। यह Yandex.Metrica में साइट काउंटर के समान है।

यहां दो महीनों के लिए डेटाबेस के उपयोग पर कुछ आँकड़े दिए गए हैं।

सिस्टम और उनके घटकों द्वारा तोड़े गए रिकॉर्ड की संख्या

SELECT
    fld_app_name,
    fld_app_module,
    count(fld_app_name) AS rows_count
FROM log_web
GROUP BY
    fld_app_name,
    fld_app_module
    WITH TOTALS
ORDER BY
    fld_app_name ASC,
    rows_count DESC
 
┌─fld_app_name─────┬─fld_app_module─┬─rows_count─┐
│ site1.domain.ru  │ web            │     131441 │
│ site2.domain.ru  │ web            │    1751081 │
│ site3.domain.ru  │ web            │  106887543 │
│ site3.domain.ru  │ svc            │   44908603 │
│ site3.domain.ru  │ intgr          │    9813911 │
│ site4.domain.ru  │ web            │     772095 │
│ site5.domain.ru  │ web            │   17037221 │
│ site5.domain.ru  │ intgr          │     838559 │
│ site5.domain.ru  │ bo             │       7404 │
│ site6.domain.ru  │ web            │     595877 │
│ site7.domain.ru  │ web            │   27778858 │
└──────────────────┴────────────────┴────────────┘
 
Totals:
┌─fld_app_name─┬─fld_app_module─┬─rows_count─┐
│              │                │  210522593 │
└──────────────┴────────────────┴────────────┘
 
11 rows in set. Elapsed: 4.874 sec. Processed 210.52 million rows, 421.67 MB (43.19 million rows/s., 86.51 MB/s.)

डिस्क पर डेटा की मात्रा

SELECT
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed,
    sum(rows) AS total_rows
FROM system.parts
WHERE table = 'log_web'
 
┌─uncompressed─┬─compressed─┬─total_rows─┐
│ 54.50 GiB    │ 4.86 GiB   │  211427094 │
└──────────────┴────────────┴────────────┘
 
1 rows in set. Elapsed: 0.035 sec.

स्तंभों में डेटा संपीड़न की डिग्री

SELECT
    name,
    formatReadableSize(data_uncompressed_bytes) AS uncompressed,
    formatReadableSize(data_compressed_bytes) AS compressed,
    data_uncompressed_bytes / data_compressed_bytes AS compress_ratio
FROM system.columns
WHERE table = 'log_web'
 
┌─name───────────────────┬─uncompressed─┬─compressed─┬─────compress_ratio─┐
│ logdate                │ 401.53 MiB   │ 1.80 MiB   │ 223.16665968777315 │
│ logdatetime            │ 803.06 MiB   │ 35.91 MiB  │ 22.363966401202305 │
│ fld_log_file_name      │ 220.66 MiB   │ 2.60 MiB   │  84.99905736932571 │
│ fld_server_name        │ 201.54 MiB   │ 50.63 MiB  │  3.980924816977078 │
│ fld_app_name           │ 201.17 MiB   │ 969.17 KiB │ 212.55518183686877 │
│ fld_app_module         │ 201.17 MiB   │ 968.60 KiB │ 212.67805817411906 │
│ fld_website_name       │ 201.54 MiB   │ 1.24 MiB   │  162.7204926761546 │
│ serverIP               │ 201.54 MiB   │ 50.25 MiB  │  4.010824061219731 │
│ method                 │ 201.53 MiB   │ 43.64 MiB  │  4.617721053304486 │
│ uriStem                │ 5.13 GiB     │ 832.51 MiB │  6.311522291936919 │
│ uriQuery               │ 2.58 GiB     │ 501.06 MiB │  5.269731450124478 │
│ port                   │ 803.06 MiB   │ 3.98 MiB   │ 201.91673864241824 │
│ username               │ 318.08 MiB   │ 26.93 MiB  │ 11.812513794583598 │
│ clientIP               │ 2.35 GiB     │ 82.59 MiB  │ 29.132328640073343 │
│ clientRealIP           │ 2.49 GiB     │ 465.05 MiB │  5.478382297052563 │
│ userAgent              │ 18.34 GiB    │ 764.08 MiB │  24.57905114484208 │
│ referer                │ 14.71 GiB    │ 1.37 GiB   │ 10.736792723669906 │
│ response               │ 803.06 MiB   │ 83.81 MiB  │  9.582334090987247 │
│ subresponse            │ 399.87 MiB   │ 1.83 MiB   │  218.4831068635027 │
│ win32response          │ 407.86 MiB   │ 7.41 MiB   │ 55.050315514606815 │
│ timetaken              │ 1.57 GiB     │ 402.06 MiB │ 3.9947395692010637 │
│ uriQuery__utm_medium   │ 208.17 MiB   │ 12.29 MiB  │ 16.936148912472955 │
│ uriQuery__utm_source   │ 215.18 MiB   │ 13.00 MiB  │ 16.548367623199912 │
│ uriQuery__utm_campaign │ 381.46 MiB   │ 37.94 MiB  │ 10.055156353418509 │
│ uriQuery__utm_term     │ 231.82 MiB   │ 10.78 MiB  │ 21.502540454070672 │
│ uriQuery__utm_content  │ 441.34 MiB   │ 87.60 MiB  │  5.038260760449327 │
│ uriQuery__yclid        │ 216.88 MiB   │ 16.58 MiB  │  13.07721335008116 │
│ uriQuery__region       │ 204.35 MiB   │ 9.49 MiB   │  21.52661903446796 │
└────────────────────────┴──────────────┴────────────┴────────────────────┘
 
28 rows in set. Elapsed: 0.005 sec.

प्रयुक्त घटकों का विवरण

फाइलबीट। फ़ाइल लॉग स्थानांतरित करना

यह घटक डिस्क पर लॉग फ़ाइलों में परिवर्तनों को ट्रैक करता है और जानकारी को लॉगस्टैश तक भेजता है। उन सभी सर्वरों पर स्थापित किया गया है जहां लॉग फ़ाइलें लिखी जाती हैं (आमतौर पर IIS)। टेल मोड में काम करता है (यानी केवल जोड़े गए रिकॉर्ड को फ़ाइल में स्थानांतरित करता है)। लेकिन संपूर्ण फ़ाइलों को स्थानांतरित करने के लिए इसे अलग से कॉन्फ़िगर किया जा सकता है। यह तब उपयोगी होता है जब आपको पिछले महीनों का डेटा डाउनलोड करने की आवश्यकता होती है। बस लॉग फ़ाइल को एक फ़ोल्डर में रखें और यह इसे पूरी तरह से पढ़ेगा।

जब सेवा बंद हो जाती है, तो डेटा आगे स्टोरेज में स्थानांतरित नहीं होता है।

एक उदाहरण कॉन्फ़िगरेशन इस तरह दिखता है:

फ़ाइलबीट.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/W3SVC1/*.log
  exclude_files: ['.gz$','.zip$']
  tail_files: true
  ignore_older: 24h
  fields:
    fld_server_name: "site1.domain.ru"
    fld_app_name: "site1.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
 
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/__Import/access_log-*
  exclude_files: ['.gz$','.zip$']
  tail_files: false
  fields:
    fld_server_name: "site2.domain.ru"
    fld_app_name: "site2.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
    fld_logformat: "logformat__apache"
 
 
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  reload.period: 2s
 
output.logstash:
  hosts: ["log.domain.com:5044"]
 
  ssl.enabled: true
  ssl.certificate_authorities: ["C:/filebeat/certs/ca.pem", "C:/filebeat/certs/ca-issuing.pem"]
  ssl.certificate: "C:/filebeat/certs/site1.domain.ru.cer"
  ssl.key: "C:/filebeat/certs/site1.domain.ru.key"
 
#================================ Processors =====================================
 
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

लॉगस्टैश. लॉग कलेक्टर

इस घटक को FileBeat (या RabbitMQ कतार के माध्यम से) से लॉग प्रविष्टियाँ प्राप्त करने, क्लिकहाउस डेटाबेस में बैचों को पार्स करने और सम्मिलित करने के लिए डिज़ाइन किया गया है।

ClickHouse में प्रविष्टि के लिए, लॉगस्टैश-आउटपुट-क्लिकहाउस प्लगइन का उपयोग किया जाता है। लॉगस्टैश प्लगइन में एक अनुरोध पुनः प्रयास तंत्र है, लेकिन नियमित शटडाउन के साथ, सेवा को स्वयं बंद करना बेहतर है। रुकने पर, संदेश RabbitMQ कतार में जमा हो जाएंगे, इसलिए यदि स्टॉप लंबे समय तक है, तो सर्वर पर फ़ाइलबीट्स को रोकना बेहतर है। ऐसी योजना में जहां RabbitMQ का उपयोग नहीं किया जाता है (स्थानीय नेटवर्क पर, फ़ाइलबीट सीधे लॉगस्टैश पर लॉग भेजता है), फ़ाइलबीट काफी स्वीकार्य और सुरक्षित रूप से काम करता है, इसलिए उनके लिए आउटपुट की अनुपलब्धता बिना किसी परिणाम के गुजरती है।

एक उदाहरण कॉन्फ़िगरेशन इस तरह दिखता है:

log_web__file Beat_clickhouse.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/logstash/certs/ca.cer", "/etc/logstash/certs/ca-issuing.cer"]
        ssl_certificate => "/etc/logstash/certs/server.cer"
        ssl_key => "/etc/logstash/certs/server-pkcs8.key"
        ssl_verify_mode => "peer"
 
            add_field => {
                "fld_server_name" => "%{[fields][fld_server_name]}"
                "fld_app_name" => "%{[fields][fld_app_name]}"
                "fld_app_module" => "%{[fields][fld_app_module]}"
                "fld_website_name" => "%{[fields][fld_website_name]}"
                "fld_log_file_name" => "%{source}"
                "fld_logformat" => "%{[fields][fld_logformat]}"
            }
    }
 
    rabbitmq {
        host => "queue.domain.com"
        port => 5671
        user => "q-reader"
        password => "password"
        queue => "web_log"
        heartbeat => 30
        durable => true
        ssl => true
        #ssl_certificate_path => "/etc/logstash/certs/server.p12"
        #ssl_certificate_password => "password"
 
        add_field => {
            "fld_server_name" => "%{[fields][fld_server_name]}"
            "fld_app_name" => "%{[fields][fld_app_name]}"
            "fld_app_module" => "%{[fields][fld_app_module]}"
            "fld_website_name" => "%{[fields][fld_website_name]}"
            "fld_log_file_name" => "%{source}"
            "fld_logformat" => "%{[fields][fld_logformat]}"
        }
    }
 
}
 
filter { 
 
      if [message] =~ "^#" {
        drop {}
      }
 
      if [fld_logformat] == "logformat__iis_with_xrealip" {
     
          grok {
            match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken} %{NOTSPACE:xrealIP} %{NOTSPACE:xforwarderfor}"]
          }
      } else {
   
          grok {
             match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken}"]
          }
 
      }
 
      date {
        match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
          timezone => "Etc/UTC"
        remove_field => [ "log_timestamp", "@timestamp" ]
        target => [ "log_timestamp2" ]
      }
 
        ruby {
            code => "tstamp = event.get('log_timestamp2').to_i
                        event.set('logdatetime', Time.at(tstamp).strftime('%Y-%m-%d %H:%M:%S'))
                        event.set('logdate', Time.at(tstamp).strftime('%Y-%m-%d'))"
        }
 
      if [bytesSent] {
        ruby {
          code => "event['kilobytesSent'] = event['bytesSent'].to_i / 1024.0"
        }
      }
 
 
      if [bytesReceived] {
        ruby {
          code => "event['kilobytesReceived'] = event['bytesReceived'].to_i / 1024.0"
        }
      }
 
   
        ruby {
            code => "event.set('clientRealIP', event.get('clientIP'))"
        }
        if [xrealIP] {
            ruby {
                code => "event.set('clientRealIP', event.get('xrealIP'))"
            }
        }
        if [xforwarderfor] {
            ruby {
                code => "event.set('clientRealIP', event.get('xforwarderfor'))"
            }
        }
 
      mutate {
        convert => ["bytesSent", "integer"]
        convert => ["bytesReceived", "integer"]
        convert => ["timetaken", "integer"] 
        convert => ["port", "integer"]
 
        add_field => {
            "clientHostname" => "%{clientIP}"
        }
      }
 
        useragent {
            source=> "useragent"
            prefix=> "browser"
        }
 
        kv {
            source => "uriQuery"
            prefix => "uriQuery__"
            allow_duplicate_values => false
            field_split => "&"
            include_keys => [ "utm_medium", "utm_source", "utm_campaign", "utm_term", "utm_content", "yclid", "region" ]
        }
 
        mutate {
            join => { "uriQuery__utm_source" => "," }
            join => { "uriQuery__utm_medium" => "," }
            join => { "uriQuery__utm_campaign" => "," }
            join => { "uriQuery__utm_term" => "," }
            join => { "uriQuery__utm_content" => "," }
            join => { "uriQuery__yclid" => "," }
            join => { "uriQuery__region" => "," }
        }
 
}
 
output { 
  #stdout {codec => rubydebug}
    clickhouse {
      headers => ["Authorization", "Basic abcdsfks..."]
      http_hosts => ["http://127.0.0.1:8123"]
      save_dir => "/etc/logstash/tmp"
      table => "log_web"
      request_tolerance => 1
      flush_size => 10000
      idle_flush_time => 1
        mutations => {
            "fld_log_file_name" => "fld_log_file_name"
            "fld_server_name" => "fld_server_name"
            "fld_app_name" => "fld_app_name"
            "fld_app_module" => "fld_app_module"
            "fld_website_name" => "fld_website_name"
 
            "logdatetime" => "logdatetime"
            "logdate" => "logdate"
            "serverIP" => "serverIP"
            "method" => "method"
            "uriStem" => "uriStem"
            "uriQuery" => "uriQuery"
            "port" => "port"
            "username" => "username"
            "clientIP" => "clientIP"
            "clientRealIP" => "clientRealIP"
            "userAgent" => "userAgent"
            "referer" => "referer"
            "response" => "response"
            "subresponse" => "subresponse"
            "win32response" => "win32response"
            "timetaken" => "timetaken"
             
            "uriQuery__utm_medium" => "uriQuery__utm_medium"
            "uriQuery__utm_source" => "uriQuery__utm_source"
            "uriQuery__utm_campaign" => "uriQuery__utm_campaign"
            "uriQuery__utm_term" => "uriQuery__utm_term"
            "uriQuery__utm_content" => "uriQuery__utm_content"
            "uriQuery__yclid" => "uriQuery__yclid"
            "uriQuery__region" => "uriQuery__region"
        }
    }
 
}

पाइपलाइन.yml

# This file is where you define your pipelines. You can define multiple.
# For more information on multiple pipelines, see the documentation:
#   https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
 
- pipeline.id: log_web__filebeat_clickhouse
  path.config: "/etc/logstash/log_web__filebeat_clickhouse.conf"

clickhouse. लॉग भंडारण

सभी प्रणालियों के लॉग एक तालिका में संग्रहीत हैं (लेख की शुरुआत में देखें)। इसका उद्देश्य अनुरोधों के बारे में जानकारी संग्रहीत करना है: सभी पैरामीटर विभिन्न प्रारूपों के लिए समान हैं, जैसे IIS लॉग, अपाचे और nginx लॉग। एप्लिकेशन लॉग के लिए, जिसमें, उदाहरण के लिए, त्रुटियाँ, सूचना संदेश, चेतावनियाँ दर्ज की जाती हैं, उपयुक्त संरचना (वर्तमान में डिज़ाइन चरण में) के साथ एक अलग तालिका प्रदान की जाएगी।

तालिका डिज़ाइन करते समय, प्राथमिक कुंजी (जिसके द्वारा भंडारण के दौरान डेटा को सॉर्ट किया जाएगा) पर निर्णय लेना बहुत महत्वपूर्ण है। डेटा संपीड़न और क्वेरी गति की डिग्री इस पर निर्भर करती है। हमारे उदाहरण में, कुंजी है
द्वारा ऑर्डर करें (fld_app_name, fld_app_module, logdatetime)
यानी सिस्टम के नाम से, सिस्टम घटक के नाम से और घटना की तारीख से। शुरुआत में आयोजन की तारीख सबसे पहले आती थी. इसे अंतिम स्थान पर ले जाने के बाद, क्वेरीज़ लगभग दोगुनी तेज़ी से काम करने लगीं। प्राथमिक कुंजी को बदलने के लिए तालिका को फिर से बनाने और डेटा को फिर से लोड करने की आवश्यकता होगी ताकि ClickHouse डिस्क पर डेटा को फिर से सॉर्ट कर सके। यह एक भारी ऑपरेशन है, इसलिए सॉर्ट कुंजी में क्या शामिल किया जाना चाहिए, इसके बारे में बहुत कुछ सोचना एक अच्छा विचार है।

यह भी ध्यान दिया जाना चाहिए कि लोकार्डिनैलिटी डेटा प्रकार अपेक्षाकृत हाल के संस्करणों में दिखाई दिया है। इसका उपयोग करते समय, उन क्षेत्रों के लिए संपीड़ित डेटा का आकार काफी कम हो जाता है जिनमें कम कार्डिनैलिटी (कुछ विकल्प) होते हैं।

संस्करण 19.6 वर्तमान में उपयोग में है और हम नवीनतम संस्करण में अपडेट करने का प्रयास करने की योजना बना रहे हैं। उदाहरण के लिए, उनके पास एडाप्टिव ग्रैन्युलैरिटी, स्किपिंग इंडेक्स और डबलडेल्टा कोडेक जैसी अद्भुत विशेषताएं हैं।

डिफ़ॉल्ट रूप से, इंस्टॉलेशन के दौरान, लॉगिंग स्तर को ट्रेस करने के लिए सेट किया जाता है। लॉग को घुमाया और संग्रहीत किया जाता है, लेकिन साथ ही वे एक गीगाबाइट तक विस्तारित हो जाते हैं। यदि कोई आवश्यकता नहीं है, तो आप चेतावनी स्तर सेट कर सकते हैं, फिर लॉग का आकार काफी कम हो जाता है। लॉगिंग सेटिंग config.xml फ़ाइल में सेट की गई है:

<!-- Possible levels: https://github.com/pocoproject/poco/blob/develop/Foundation/include/Poco/Logger. h#L105 -->
<level>warning</level>

कुछ उपयोगी आदेश

Поскольку оригинальные пакеты установки собираются по Debian, то для других версий Linux необходимо использовать пакеты собранные компанией Altinity.
 
Вот по этой ссылке есть инструкции с ссылками на их репозиторий: https://www.altinity.com/blog/2017/12/18/logstash-with-clickhouse
sudo yum search clickhouse-server
sudo yum install clickhouse-server.noarch
  
1. проверка статуса
sudo systemctl status clickhouse-server
 
2. остановка сервера
sudo systemctl stop clickhouse-server
 
3. запуск сервера
sudo systemctl start clickhouse-server
 
Запуск для выполнения запросов в многострочном режиме (выполнение после знака ";")
clickhouse-client --multiline
clickhouse-client --multiline --host 127.0.0.1 --password pa55w0rd
clickhouse-client --multiline --host 127.0.0.1 --port 9440 --secure --user default --password pa55w0rd
 
Плагин кликлауза для логстеш в случае ошибки в одной строке сохраняет всю пачку в файл /tmp/log_web_failed.json
Можно вручную исправить этот файл и попробовать залить его в БД вручную:
clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /tmp/log_web_failed__fixed.json
 
sudo mv /etc/logstash/tmp/log_web_failed.json /etc/logstash/tmp/log_web_failed__fixed.json
sudo chown user_dev /etc/logstash/tmp/log_web_failed__fixed.json
sudo clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /etc/logstash/tmp/log_web_failed__fixed.json
sudo mv /etc/logstash/tmp/log_web_failed__fixed.json /etc/logstash/tmp/log_web_failed__fixed_.json
 
выход из командной строки
quit;
## Настройка TLS
https://www.altinity.com/blog/2019/3/5/clickhouse-networking-part-2
 
openssl s_client -connect log.domain.com:9440 < /dev/null

लॉगस्टैश. फ़ाइलबीट से RabbitMQ कतार में राउटर लॉग करें

इस घटक का उपयोग FileBeat से RabbitMQ कतार में आने वाले लॉग को रूट करने के लिए किया जाता है। यहां दो बिंदु हैं:

दुर्भाग्य से, FileBeat में सीधे RabbitMQ पर लिखने के लिए कोई आउटपुट प्लगइन नहीं है। और ऐसी कार्यक्षमता, उनके जीथब पर मुद्दे को देखते हुए, कार्यान्वयन की योजना नहीं बनाई गई है। काफ्का के लिए एक प्लगइन है, लेकिन किसी कारण से हम इसे घर पर उपयोग नहीं कर सकते हैं।
डीएमजेड में लॉग एकत्र करने की आवश्यकताएं हैं। उनके आधार पर, लॉग को पहले कतार में जोड़ा जाना चाहिए और फिर लॉगस्टैश बाहर से कतार की प्रविष्टियों को पढ़ता है।

इसलिए, यह उस मामले के लिए है जहां सर्वर डीएमजेड में स्थित हैं, किसी को ऐसी थोड़ी जटिल योजना का उपयोग करना होगा। एक उदाहरण कॉन्फ़िगरेशन इस तरह दिखता है:

iis_w3c_logs__file Beat_rabbitmq.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/pki/tls/certs/app/ca.pem", "/etc/pki/tls/certs/app/ca-issuing.pem"]
        ssl_certificate => "/etc/pki/tls/certs/app/queue.domain.com.cer"
        ssl_key => "/etc/pki/tls/certs/app/queue.domain.com-pkcs8.key"
        ssl_verify_mode => "peer"
    }
 
}
 
output { 
  #stdout {codec => rubydebug}
 
    rabbitmq {
        host => "127.0.0.1"
        port => 5672
        exchange => "monitor.direct"
        exchange_type => "direct"
        key => "%{[fields][fld_app_name]}"
        user => "q-writer"
        password => "password"
        ssl => false
    }
}

खरगोशएमक्यू। संदेश कतार

इस घटक का उपयोग DMZ में लॉग प्रविष्टियों को बफर करने के लिए किया जाता है। रिकॉर्डिंग फ़ाइलबीट → लॉगस्टैश के एक समूह के माध्यम से की जाती है। रीडिंग डीएमजेड के बाहर से लॉगस्टैश के माध्यम से की जाती है। RabboitMQ के माध्यम से संचालन करते समय, प्रति सेकंड लगभग 4 हजार संदेश संसाधित होते हैं।

संदेश रूटिंग को सिस्टम नाम से कॉन्फ़िगर किया गया है, यानी फ़ाइलबीट कॉन्फ़िगरेशन डेटा के आधार पर। सभी संदेश एक कतार में जाते हैं. यदि किसी कारण से कतारबद्ध सेवा बंद कर दी जाती है, तो इससे संदेशों का नुकसान नहीं होगा: फ़ाइलबीट्स को कनेक्शन त्रुटियां प्राप्त होंगी और अस्थायी रूप से भेजना निलंबित कर दिया जाएगा। और कतार से पढ़ने वाले लॉगस्टैश को भी नेटवर्क त्रुटियां प्राप्त होंगी और कनेक्शन बहाल होने की प्रतीक्षा करनी होगी। इस मामले में, डेटा, निश्चित रूप से, अब डेटाबेस में नहीं लिखा जाएगा।

क्यू बनाने और कॉन्फ़िगर करने के लिए निम्नलिखित निर्देशों का उपयोग किया जाता है:

sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare exchange --vhost=/ name=monitor.direct type=direct sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare queue --vhost=/ name=web_log durable=true
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site1.domain.ru"
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site2.domain.ru"

ग्राफाना। डैशबोर्ड

इस घटक का उपयोग मॉनिटरिंग डेटा को विज़ुअलाइज़ करने के लिए किया जाता है। इस मामले में, आपको ग्राफाना 4.6+ प्लगइन के लिए क्लिकहाउस डेटासोर्स इंस्टॉल करना होगा। डैशबोर्ड पर SQL फ़िल्टर को संसाधित करने की दक्षता में सुधार करने के लिए हमें इसमें थोड़ा बदलाव करना पड़ा।

उदाहरण के लिए, हम वेरिएबल्स का उपयोग करते हैं, और यदि वे फ़िल्टर फ़ील्ड में सेट नहीं हैं, तो हम चाहेंगे कि फॉर्म के WHERE ( uriStem = » और uriStem != » ) में कोई शर्त उत्पन्न न हो। इस स्थिति में, ClickHouse uriStem कॉलम को पढ़ेगा। सामान्य तौर पर, हमने विभिन्न विकल्पों की कोशिश की और अंततः प्लगइन ($valueIfEmpty मैक्रो) को सही किया ताकि खाली मान के मामले में यह कॉलम का उल्लेख किए बिना 1 लौटाए।

और अब आप इस क्वेरी का उपयोग ग्राफ़ के लिए कर सकते हैं

$columns(response, count(*) c) from $table where $adhoc
and $valueIfEmpty($fld_app_name, 1, fld_app_name = '$fld_app_name')
and $valueIfEmpty($fld_app_module, 1, fld_app_module = '$fld_app_module') and $valueIfEmpty($fld_server_name, 1, fld_server_name = '$fld_server_name') and $valueIfEmpty($uriStem, 1, uriStem like '%$uriStem%')
and $valueIfEmpty($clientRealIP, 1, clientRealIP = '$clientRealIP')

जो इस एसक्यूएल में अनुवाद करता है (ध्यान दें कि खाली यूरीस्टेम फ़ील्ड को केवल 1 में परिवर्तित कर दिया गया है)

SELECT
t,
groupArray((response, c)) AS groupArr
FROM (
SELECT
(intDiv(toUInt32(logdatetime), 60) * 60) * 1000 AS t, response,
count(*) AS c FROM default.log_web
WHERE (logdate >= toDate(1565061982)) AND (logdatetime >= toDateTime(1565061982)) AND 1 AND (fld_app_name = 'site1.domain.ru') AND (fld_app_module = 'web') AND 1 AND 1 AND 1
GROUP BY
t, response
ORDER BY
t ASC,
response ASC
)
GROUP BY t ORDER BY t ASC

निष्कर्ष

ClickHouse डेटाबेस की उपस्थिति बाज़ार में एक ऐतिहासिक घटना बन गई है। यह कल्पना करना कठिन था कि, पूरी तरह से नि:शुल्क, एक पल में हम बड़े डेटा के साथ काम करने के लिए एक शक्तिशाली और व्यावहारिक उपकरण से लैस थे। बेशक, बढ़ती जरूरतों (उदाहरण के लिए, कई सर्वरों पर शेयरिंग और प्रतिकृति) के साथ, योजना और अधिक जटिल हो जाएगी। लेकिन पहली नज़र में, इस डेटाबेस के साथ काम करना बहुत सुखद है। यह देखा जा सकता है कि उत्पाद "लोगों के लिए" बनाया गया है।

ElasticSearch की तुलना में, लॉग के भंडारण और प्रसंस्करण की लागत पांच से दस गुना कम होने का अनुमान है। दूसरे शब्दों में, यदि डेटा की वर्तमान मात्रा के लिए हमें कई मशीनों का एक क्लस्टर स्थापित करना होगा, तो ClickHouse का उपयोग करते समय, एक कम-शक्ति वाली मशीन हमारे लिए पर्याप्त है। हां, निश्चित रूप से, ElasticSearch में ऑन-डिस्क डेटा संपीड़न तंत्र और अन्य सुविधाएं भी हैं जो संसाधन खपत को काफी कम कर सकती हैं, लेकिन ClickHouse की तुलना में, यह अधिक महंगा होगा।

हमारी ओर से किसी विशेष अनुकूलन के बिना, डिफ़ॉल्ट सेटिंग्स पर, डेटा लोड करना और डेटाबेस से चयन करना अद्भुत गति से काम करता है। हमारे पास अभी तक अधिक डेटा (लगभग 200 मिलियन रिकॉर्ड) नहीं है, लेकिन सर्वर स्वयं कमजोर है। हम भविष्य में इस उपकरण का उपयोग अन्य उद्देश्यों के लिए कर सकते हैं जो लॉग भंडारण से संबंधित नहीं हैं। उदाहरण के लिए, एंड-टू-एंड एनालिटिक्स के लिए, सुरक्षा, मशीन लर्निंग के क्षेत्र में।

अंत में, पेशेवरों और विपक्षों के बारे में थोड़ा।

विपक्ष

बड़े बैचों में रिकॉर्ड लोड हो रहा है। एक ओर, यह एक सुविधा है, लेकिन आपको अभी भी रिकॉर्ड को बफर करने के लिए अतिरिक्त घटकों का उपयोग करना होगा। यह कार्य हमेशा आसान नहीं होता, लेकिन फिर भी हल किया जा सकता है। और मैं इस योजना को सरल बनाना चाहूंगा।
कुछ विदेशी कार्यक्षमताएँ या नई सुविधाएँ अक्सर नए संस्करणों में टूट जाती हैं। यह चिंता का कारण बनता है, जिससे नए संस्करण में अपग्रेड करने की इच्छा कम हो जाती है। उदाहरण के लिए, काफ्का टेबल इंजन एक बहुत ही उपयोगी सुविधा है जो आपको उपभोक्ताओं को लागू किए बिना सीधे काफ्का से घटनाओं को पढ़ने की अनुमति देती है। लेकिन जीथब पर मुद्दों की संख्या को देखते हुए, हम अभी भी सावधान हैं कि उत्पादन में इस इंजन का उपयोग न करें। हालाँकि, यदि आप किनारे की ओर अचानक इशारा नहीं करते हैं और मुख्य कार्यक्षमता का उपयोग करते हैं, तो यह स्थिर रूप से काम करता है।

पेशेवरों

धीमा नहीं होता.
कम प्रवेश सीमा।
खुला स्त्रोत।
मुक्त।
स्केल अच्छी तरह से (बॉक्स से बाहर शार्डिंग/प्रतिकृति)
संचार मंत्रालय द्वारा अनुशंसित रूसी सॉफ्टवेयर के रजिस्टर में शामिल।
यांडेक्स से आधिकारिक समर्थन की उपस्थिति।

स्रोत: www.habr.com

इंसानों के लिए क्लिकहाउस डाटाबेस, या एलियन टेक्नोलॉजीज

हमारे लॉगिंग सिस्टम के बारे में

प्रयुक्त घटकों का विवरण

फाइलबीट। फ़ाइल लॉग स्थानांतरित करना

लॉगस्टैश. लॉग कलेक्टर

clickhouse. लॉग भंडारण

लॉगस्टैश. फ़ाइलबीट से RabbitMQ कतार में राउटर लॉग करें

खरगोशएमक्यू। संदेश कतार

ग्राफाना। डैशबोर्ड

निष्कर्ष

विपक्ष

पेशेवरों

एक टिप्पणी जोड़ें उत्तर रद्द

इंसानों के लिए क्लिकहाउस डाटाबेस, या एलियन टेक्नोलॉजीज

हमारे लॉगिंग सिस्टम के बारे में

प्रयुक्त घटकों का विवरण फाइलबीट। फ़ाइल लॉग स्थानांतरित करना

लॉगस्टैश. लॉग कलेक्टर

clickhouse. लॉग भंडारण

लॉगस्टैश. फ़ाइलबीट से RabbitMQ कतार में राउटर लॉग करें

खरगोशएमक्यू। संदेश कतार

ग्राफाना। डैशबोर्ड

निष्कर्ष

विपक्ष

पेशेवरों

एक टिप्पणी जोड़ें उत्तर रद्द

प्रयुक्त घटकों का विवरण

फाइलबीट। फ़ाइल लॉग स्थानांतरित करना