🥇 ClickHouse Database for People, or Alien Technologies

Aleksey Lizunov, MKB को सूचना प्रविधि निदेशालय को रिमोट सर्भिस च्यानलहरूको लागि योग्यता केन्द्रको प्रमुख

ELK स्ट्याक (ElasticSearch, Logstash, Kibana) को विकल्पको रूपमा, हामी लगहरूको लागि डाटा भण्डारको रूपमा ClickHouse डाटाबेस प्रयोग गर्ने बारे अनुसन्धान गर्दैछौं।

यस लेखमा, हामी क्लिकहाउस डाटाबेस प्रयोग गर्ने हाम्रो अनुभव र पाइलट सञ्चालनको प्रारम्भिक नतिजाहरूको बारेमा कुरा गर्न चाहन्छौं। यो तुरुन्तै ध्यान दिनुपर्छ कि परिणाम प्रभावशाली थिए।

अर्को, हामी हाम्रो प्रणाली कसरी कन्फिगर गरिएको छ, र यसमा कुन कम्पोनेन्टहरू समावेश छन् भनेर थप विवरणमा वर्णन गर्नेछौं। तर अब म यस डाटाबेसको बारेमा थोरै कुरा गर्न चाहन्छु, र किन यो ध्यान दिन लायक छ। ClickHouse डाटाबेस Yandex बाट उच्च प्रदर्शन विश्लेषणात्मक स्तम्भ डाटाबेस हो। यो Yandex सेवाहरूमा प्रयोग गरिन्छ, सुरुमा यो Yandex.Metrica को लागि मुख्य डाटा भण्डारण हो। खुला स्रोत प्रणाली, नि: शुल्क। विकासकर्ताको दृष्टिकोणबाट, मैले सधैं सोचेको छु कि उनीहरूले यसलाई कसरी लागू गरे, किनभने त्यहाँ उत्कृष्ट डेटा छ। र Metrica को प्रयोगकर्ता इन्टरफेस आफैंमा धेरै लचिलो र छिटो छ। यो डाटाबेस संग पहिलो परिचित मा, छाप छ: "ठीक छ, अन्तमा! जनताको लागि बनाइएको! स्थापना प्रक्रियाबाट सुरु गर्दै र अनुरोधहरू पठाएर समाप्त हुन्छ।

यस डाटाबेसमा धेरै कम प्रविष्टि थ्रेसहोल्ड छ। औसत-दक्ष विकासकर्ताले पनि केही मिनेटमा यो डाटाबेस स्थापना गर्न र प्रयोग गर्न सुरु गर्न सक्छ। सबै कुरा स्पष्ट रूपमा काम गर्दछ। लिनक्समा नयाँ भएका व्यक्तिहरूले पनि स्थापनालाई द्रुत रूपमा ह्यान्डल गर्न र सरल कार्यहरू गर्न सक्छन्। यदि पहिले, बिग डाटा, हडूप, गुगल बिगटेबल, एचडीएफएस शब्दहरूको साथ, एक साधारण विकासकर्ताको विचार थियो कि यो केहि टेराबाइट्स, पेटाबाइट्सको बारेमा हो, कि केहि अतिमानवहरू यी प्रणालीहरूको सेटिङ र विकासमा संलग्न छन्, त्यसपछि क्लिकहाउसको आगमनको साथ। डाटाबेस, हामीले एउटा सरल, बुझ्न सकिने उपकरण पाएका छौं जसको साथ तपाईंले कार्यहरूको पहिले अप्राप्य दायरा समाधान गर्न सक्नुहुन्छ। यसलाई स्थापना गर्नको लागि केवल एक औसत मेसिन र पाँच मिनेट लाग्छ। त्यो हो, हामीले यस्तो डाटाबेस पायौं, उदाहरणका लागि, MySql, तर केवल अरबौं रेकर्डहरू भण्डारण गर्नका लागि! SQL भाषाको साथ एक निश्चित सुपर-आर्काइभर। मानिसहरूलाई विदेशीहरूको हतियार हस्तान्तरण गरिएको जस्तो छ।

हाम्रो लगिङ प्रणाली बारे

जानकारी सङ्कलन गर्न, मानक ढाँचा वेब अनुप्रयोगहरूको IIS लग फाइलहरू प्रयोग गरिन्छ (हामी हाल अनुप्रयोग लगहरू पार्स गर्दैछौं, तर पायलट चरणमा मुख्य लक्ष्य IIS लगहरू सङ्कलन गर्नु हो)।

विभिन्न कारणहरूका लागि, हामीले ELK स्ट्याकलाई पूर्ण रूपमा त्याग्न सकेनौं, र हामी LogStash र Filebeat कम्पोनेन्टहरू प्रयोग गर्न जारी राख्छौं, जसले आफूलाई राम्रोसँग प्रमाणित गरेको छ र धेरै भरपर्दो र अनुमानित रूपमा काम गर्दछ।

सामान्य लगिङ योजना तलको चित्रमा देखाइएको छ:

ClickHouse डाटाबेसमा डाटा लेख्ने विशेषता भनेको ठूला ब्याचहरूमा रेकर्डहरू विरलै (प्रति सेकेन्डमा एक पटक) सम्मिलित हुनु हो। यो, स्पष्ट रूपमा, सबैभन्दा "समस्याग्रस्त" भाग हो जुन तपाईंले पहिलो पटक क्लिकहाउस डाटाबेससँग काम गर्ने अनुभव गर्दा सामना गर्नुहुन्छ: योजना अलि बढी जटिल हुन्छ।
LogStash को लागी प्लगइन, जसले सीधै क्लिकहाउस मा डाटा सम्मिलित गर्दछ, यहाँ धेरै मद्दत गर्यो। यो कम्पोनेन्ट डाटाबेस जस्तै सर्भरमा तैनात गरिएको छ। त्यसोभए, सामान्यतया भन्नुपर्दा, यो गर्न सिफारिस गरिएको छैन, तर व्यावहारिक दृष्टिकोणबाट, ताकि एउटै सर्भरमा तैनात हुँदा छुट्टै सर्भरहरू उत्पादन नगर्नुहोस्। हामीले डेटाबेससँग कुनै पनि असफलता वा स्रोत द्वन्द्वहरू अवलोकन गरेका छैनौं। थप रूपमा, यो याद गर्नुपर्दछ कि प्लगइनमा त्रुटिहरूको अवस्थामा पुन: प्रयास गर्ने संयन्त्र छ। र त्रुटिहरूको अवस्थामा, प्लगइनले सम्मिलित गर्न नसकिने डाटाको ब्याच डिस्कमा लेख्छ (फाइल ढाँचा सुविधाजनक छ: सम्पादन पछि, तपाइँ क्लिकहाउस-क्लायन्ट प्रयोग गरेर सजिलैसँग सही ब्याच सम्मिलित गर्न सक्नुहुन्छ)।

योजनामा प्रयोग गरिएको सफ्टवेयरको पूर्ण सूची तालिकामा प्रस्तुत गरिएको छ:

प्रयोग गरिएको सफ्टवेयरको सूची

शीर्षक

विवरण

वितरण लिङ्क

NGINX

पोर्टहरूद्वारा पहुँच प्रतिबन्धित गर्न र प्राधिकरणलाई व्यवस्थित गर्न रिभर्स-प्रोक्सी

हाल योजनामा प्रयोग गरिएको छैन

https://nginx.org/ru/download.html

https://nginx.org/download/nginx-1.16.0.tar.gz

फाइलबिट

फाइल लग को स्थानान्तरण।

https://www.elastic.co/downloads/beats/filebeat (विन्डोज ६४ बिटको लागि वितरण किट)।

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-windows-x86_64.zip

logstash

लग कलेक्टर।

FileBeat बाट लगहरू सङ्कलन गर्न, साथै RabbitMQ कतारबाट लगहरू सङ्कलन गर्न प्रयोग गरिन्छ (DMZ मा भएका सर्भरहरूका लागि।)

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

Logstash-आउटपुट-क्लिकहाउस

ब्याचहरूमा क्लिकहाउस डाटाबेसमा लगहरू स्थानान्तरण गर्नको लागि Loagstash प्लगइन

https://github.com/mikechris/logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin logstash-output-clickhouse स्थापना गर्नुहोस्

/usr/share/logstash/bin/logstash-plugin logstash-filter-prune स्थापना गर्नुहोस्

/usr/share/logstash/bin/logstash-plugin logstash-filter-multiline स्थापना गर्नुहोस्

क्लिकहाउस

लग भण्डारण https://clickhouse.yandex/docs/ru/

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-19.5.3.8-1.el7.x86_64.rpm

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-client-19.5.3.8-1.el7.x86_64.rpm

नोट। अगस्ट 2018 देखि, RHEL को लागि "सामान्य" rpm निर्माणहरू Yandex भण्डारमा देखा पर्‍यो, त्यसैले तपाईंले तिनीहरूलाई प्रयोग गर्ने प्रयास गर्न सक्नुहुन्छ। स्थापनाको समयमा, हामीले Altinity द्वारा निर्मित प्याकेजहरू प्रयोग गरिरहेका थियौं।

ग्राफाना

लग भिजुअलाइजेशन। ड्यासबोर्डहरू सेटअप गर्दै

https://grafana.com/

https://grafana.com/grafana/download

Redhat र Centos (64 बिट) - नवीनतम संस्करण

Grafana 4.6+ को लागि क्लिक हाउस डाटा स्रोत

क्लिकहाउस डाटा स्रोतको साथ ग्राफानाका लागि प्लगइन

https://grafana.com/plugins/vertamedia-clickhouse-datasource

https://grafana.com/api/plugins/vertamedia-clickhouse-datasource/versions/1.8.1/download

logstash

FileBeat बाट RabbitMQ कतारमा राउटर लग गर्नुहोस्।

नोट। दुर्भाग्यवश, FileBeat सँग RabbitMQ मा सीधा आउटपुट छैन, त्यसैले Logstash को रूप मा एक मध्यवर्ती लिङ्क आवश्यक छ।

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

खरगोश MQ

सन्देश लाइन। यो DMZ मा लग बफर हो

https://www.rabbitmq.com/download.html

https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.14/rabbitmq-server-3.7.14-1.el7.noarch.rpm

Erlang रनटाइम (RabbitMQ को लागि आवश्यक)

Erlang रनटाइम। RabbitMQ लाई काम गर्न आवश्यक छ

http://www.erlang.org/download.html

https://www.rabbitmq.com/install-rpm.html#install-erlang http://www.erlang.org/downloads/21.3

क्लिकहाउस डाटाबेसको साथ सर्भर कन्फिगरेसन निम्न तालिकामा प्रस्तुत गरिएको छ:

शीर्षक

मूल्य

भन्नु

कन्फिगरेसन

HDD: 40GB
RAM: 8GB
प्रोसेसर: कोर 2 2GHz

क्लिकहाउस डाटाबेस सञ्चालन गर्नका लागि सुझावहरूमा ध्यान दिन आवश्यक छ (https://clickhouse.yandex/docs/ru/operations/tips/)

सामान्य प्रणाली सफ्टवेयर

OS: Red Hat Enterprise Linux सर्भर (Maipo)

JRE (जाभा ८)

तपाईं देख्न सक्नुहुन्छ, यो एक साधारण कार्यस्थान हो।

लगहरू भण्डारण गर्नको लागि तालिकाको संरचना निम्नानुसार छ:

log_web.sql

CREATE TABLE log_web (
  logdate Date,
  logdatetime DateTime CODEC(Delta, LZ4HC),
   
  fld_log_file_name LowCardinality( String ),
  fld_server_name LowCardinality( String ),
  fld_app_name LowCardinality( String ),
  fld_app_module LowCardinality( String ),
  fld_website_name LowCardinality( String ),
 
  serverIP LowCardinality( String ),
  method LowCardinality( String ),
  uriStem String,
  uriQuery String,
  port UInt32,
  username LowCardinality( String ),
  clientIP String,
  clientRealIP String,
  userAgent String,
  referer String,
  response String,
  subresponse String,
  win32response String,
  timetaken UInt64
   
  , uriQuery__utm_medium String
  , uriQuery__utm_source String
  , uriQuery__utm_campaign String
  , uriQuery__utm_term String
  , uriQuery__utm_content String
  , uriQuery__yclid String
  , uriQuery__region String
 
) Engine = MergeTree()
PARTITION BY toYYYYMM(logdate)
ORDER BY (fld_app_name, fld_app_module, logdatetime)
SETTINGS index_granularity = 8192;

हामी पूर्वनिर्धारित विभाजन (महिना द्वारा) र अनुक्रमणिका ग्रेन्युलेरिटी प्रयोग गर्दछौं। HTTP अनुरोधहरू लग गर्नका लागि सबै क्षेत्रहरू व्यावहारिक रूपमा IIS लग प्रविष्टिहरूसँग मेल खान्छ। अलग रूपमा, हामी नोट गर्छौं कि utm-ट्यागहरू भण्डारण गर्नका लागि छुट्टै क्षेत्रहरू छन् (तिनीहरू क्वेरी स्ट्रिङ क्षेत्रबाट तालिकामा सम्मिलित गर्ने चरणमा पार्स गरिएका छन्)।

साथै, प्रणालीहरू, कम्पोनेन्टहरू, सर्भरहरू बारे जानकारी भण्डारण गर्न तालिकामा धेरै प्रणाली क्षेत्रहरू थपिएका छन्। यी क्षेत्रहरूको विवरणको लागि तलको तालिका हेर्नुहोस्। एउटा तालिकामा, हामी धेरै प्रणालीहरूको लागि लगहरू भण्डारण गर्छौं।

शीर्षक

विवरण

उदाहरण:

fld_app_name

आवेदन/प्रणाली नाम
मान्य मानहरू:

site1.domain.com बाह्य साइट १
site2.domain.com बाह्य साइट १
आन्तरिक साइट १.domain.local आन्तरिक साइट १

site1.domain.com

fld_app_module

प्रणाली मोड्युल
मान्य मानहरू:

वेब - वेबसाइट
svc - वेब साइट सेवा
intgr - एकीकरण वेब सेवा
bo - व्यवस्थापक (BackOffice)

वेब

fld_website_name

IIS मा साइट नाम

धेरै प्रणालीहरू एक सर्भरमा तैनात गर्न सकिन्छ, वा एक प्रणाली मोड्युलको धेरै उदाहरणहरू पनि

वेब मुख्य

fld_server_name

सर्भर नाम

web1.domain.com

fld_log_file_name

सर्भरमा लग फाइलमा मार्ग

C: inetpublogsLogFiles
W3SVC1u_ex190711.log

यसले तपाईंलाई ग्राफनामा प्रभावकारी रूपमा ग्राफहरू निर्माण गर्न अनुमति दिन्छ। उदाहरणका लागि, विशेष प्रणालीको फ्रन्टएन्डबाट अनुरोधहरू हेर्नुहोस्। यो Yandex.Metrica मा साइट काउन्टर जस्तै छ।

यहाँ दुई महिनाको लागि डाटाबेस प्रयोगको केही तथ्याङ्कहरू छन्।

प्रणाली र तिनका कम्पोनेन्टहरूद्वारा विच्छेद गरिएका रेकर्डहरूको सङ्ख्या

SELECT
    fld_app_name,
    fld_app_module,
    count(fld_app_name) AS rows_count
FROM log_web
GROUP BY
    fld_app_name,
    fld_app_module
    WITH TOTALS
ORDER BY
    fld_app_name ASC,
    rows_count DESC
 
┌─fld_app_name─────┬─fld_app_module─┬─rows_count─┐
│ site1.domain.ru  │ web            │     131441 │
│ site2.domain.ru  │ web            │    1751081 │
│ site3.domain.ru  │ web            │  106887543 │
│ site3.domain.ru  │ svc            │   44908603 │
│ site3.domain.ru  │ intgr          │    9813911 │
│ site4.domain.ru  │ web            │     772095 │
│ site5.domain.ru  │ web            │   17037221 │
│ site5.domain.ru  │ intgr          │     838559 │
│ site5.domain.ru  │ bo             │       7404 │
│ site6.domain.ru  │ web            │     595877 │
│ site7.domain.ru  │ web            │   27778858 │
└──────────────────┴────────────────┴────────────┘
 
Totals:
┌─fld_app_name─┬─fld_app_module─┬─rows_count─┐
│              │                │  210522593 │
└──────────────┴────────────────┴────────────┘
 
11 rows in set. Elapsed: 4.874 sec. Processed 210.52 million rows, 421.67 MB (43.19 million rows/s., 86.51 MB/s.)

डिस्क मा डाटा को मात्रा

SELECT
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed,
    sum(rows) AS total_rows
FROM system.parts
WHERE table = 'log_web'
 
┌─uncompressed─┬─compressed─┬─total_rows─┐
│ 54.50 GiB    │ 4.86 GiB   │  211427094 │
└──────────────┴────────────┴────────────┘
 
1 rows in set. Elapsed: 0.035 sec.

स्तम्भहरूमा डेटा सङ्कुचन को डिग्री

SELECT
    name,
    formatReadableSize(data_uncompressed_bytes) AS uncompressed,
    formatReadableSize(data_compressed_bytes) AS compressed,
    data_uncompressed_bytes / data_compressed_bytes AS compress_ratio
FROM system.columns
WHERE table = 'log_web'
 
┌─name───────────────────┬─uncompressed─┬─compressed─┬─────compress_ratio─┐
│ logdate                │ 401.53 MiB   │ 1.80 MiB   │ 223.16665968777315 │
│ logdatetime            │ 803.06 MiB   │ 35.91 MiB  │ 22.363966401202305 │
│ fld_log_file_name      │ 220.66 MiB   │ 2.60 MiB   │  84.99905736932571 │
│ fld_server_name        │ 201.54 MiB   │ 50.63 MiB  │  3.980924816977078 │
│ fld_app_name           │ 201.17 MiB   │ 969.17 KiB │ 212.55518183686877 │
│ fld_app_module         │ 201.17 MiB   │ 968.60 KiB │ 212.67805817411906 │
│ fld_website_name       │ 201.54 MiB   │ 1.24 MiB   │  162.7204926761546 │
│ serverIP               │ 201.54 MiB   │ 50.25 MiB  │  4.010824061219731 │
│ method                 │ 201.53 MiB   │ 43.64 MiB  │  4.617721053304486 │
│ uriStem                │ 5.13 GiB     │ 832.51 MiB │  6.311522291936919 │
│ uriQuery               │ 2.58 GiB     │ 501.06 MiB │  5.269731450124478 │
│ port                   │ 803.06 MiB   │ 3.98 MiB   │ 201.91673864241824 │
│ username               │ 318.08 MiB   │ 26.93 MiB  │ 11.812513794583598 │
│ clientIP               │ 2.35 GiB     │ 82.59 MiB  │ 29.132328640073343 │
│ clientRealIP           │ 2.49 GiB     │ 465.05 MiB │  5.478382297052563 │
│ userAgent              │ 18.34 GiB    │ 764.08 MiB │  24.57905114484208 │
│ referer                │ 14.71 GiB    │ 1.37 GiB   │ 10.736792723669906 │
│ response               │ 803.06 MiB   │ 83.81 MiB  │  9.582334090987247 │
│ subresponse            │ 399.87 MiB   │ 1.83 MiB   │  218.4831068635027 │
│ win32response          │ 407.86 MiB   │ 7.41 MiB   │ 55.050315514606815 │
│ timetaken              │ 1.57 GiB     │ 402.06 MiB │ 3.9947395692010637 │
│ uriQuery__utm_medium   │ 208.17 MiB   │ 12.29 MiB  │ 16.936148912472955 │
│ uriQuery__utm_source   │ 215.18 MiB   │ 13.00 MiB  │ 16.548367623199912 │
│ uriQuery__utm_campaign │ 381.46 MiB   │ 37.94 MiB  │ 10.055156353418509 │
│ uriQuery__utm_term     │ 231.82 MiB   │ 10.78 MiB  │ 21.502540454070672 │
│ uriQuery__utm_content  │ 441.34 MiB   │ 87.60 MiB  │  5.038260760449327 │
│ uriQuery__yclid        │ 216.88 MiB   │ 16.58 MiB  │  13.07721335008116 │
│ uriQuery__region       │ 204.35 MiB   │ 9.49 MiB   │  21.52661903446796 │
└────────────────────────┴──────────────┴────────────┴────────────────────┘
 
28 rows in set. Elapsed: 0.005 sec.

प्रयोग गरिएका अवयवहरूको विवरण

फाइलबिट। फाइल लगहरू स्थानान्तरण गर्दै

यो घटकले डिस्कमा लग फाइलहरूमा परिवर्तनहरू ट्र्याक गर्दछ र LogStash मा जानकारी पास गर्दछ। लग फाइलहरू लेखिएका सबै सर्भरहरूमा स्थापना गरिन्छ (सामान्यतया IIS)। टेल मोडमा काम गर्दछ (अर्थात् फाइलमा थपिएका रेकर्डहरू मात्र स्थानान्तरण गर्दछ)। तर छुट्टै यो सम्पूर्ण फाइलहरू स्थानान्तरण गर्न कन्फिगर गर्न सकिन्छ। तपाईंले अघिल्लो महिनाको डेटा डाउनलोड गर्न आवश्यक हुँदा यो उपयोगी हुन्छ। लग फाइललाई फोल्डरमा राख्नुहोस् र यसले यसलाई पूर्ण रूपमा पढ्नेछ।

जब सेवा बन्द हुन्छ, डाटा अब भण्डारणमा स्थानान्तरण हुँदैन।

एउटा उदाहरण कन्फिगरेसन यस्तो देखिन्छ:

filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/W3SVC1/*.log
  exclude_files: ['.gz$','.zip$']
  tail_files: true
  ignore_older: 24h
  fields:
    fld_server_name: "site1.domain.ru"
    fld_app_name: "site1.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
 
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/__Import/access_log-*
  exclude_files: ['.gz$','.zip$']
  tail_files: false
  fields:
    fld_server_name: "site2.domain.ru"
    fld_app_name: "site2.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
    fld_logformat: "logformat__apache"
 
 
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  reload.period: 2s
 
output.logstash:
  hosts: ["log.domain.com:5044"]
 
  ssl.enabled: true
  ssl.certificate_authorities: ["C:/filebeat/certs/ca.pem", "C:/filebeat/certs/ca-issuing.pem"]
  ssl.certificate: "C:/filebeat/certs/site1.domain.ru.cer"
  ssl.key: "C:/filebeat/certs/site1.domain.ru.key"
 
#================================ Processors =====================================
 
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

logstash। लग कलेक्टर

यो कम्पोनेन्ट FileBeat (वा RabbitMQ कतार मार्फत) लग प्रविष्टिहरू प्राप्त गर्न डिजाइन गरिएको हो, क्लिकहाउस डाटाबेसमा ब्याचहरू पार्स गर्न र सम्मिलित गर्न।

ClickHouse मा सम्मिलित गर्न को लागी, Logstash-output-clickhouse प्लगइन प्रयोग गरिन्छ। Logstash प्लगइनमा अनुरोध पुन: प्रयास संयन्त्र छ, तर नियमित बन्दको साथ, यो सेवा आफैं रोक्न राम्रो छ। जब रोकिन्छ, सन्देशहरू RabbitMQ लाममा जम्मा हुनेछन्, त्यसैले यदि स्टप लामो समयको लागि हो भने, सर्भरहरूमा फाइलबिट्स रोक्नु राम्रो हुन्छ। एउटा योजनामा जहाँ RabbitMQ प्रयोग गरिएको छैन (स्थानीय नेटवर्कमा, Filebeat ले Logstash मा लगहरू सिधै पठाउँछ), Filebeats ले एकदम स्वीकार्य र सुरक्षित रूपमा काम गर्दछ, त्यसैले तिनीहरूका लागि आउटपुट पासको अनुपलब्धता बिना परिणामहरू।

एउटा उदाहरण कन्फिगरेसन यस्तो देखिन्छ:

log_web__filebeat_clickhouse.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/logstash/certs/ca.cer", "/etc/logstash/certs/ca-issuing.cer"]
        ssl_certificate => "/etc/logstash/certs/server.cer"
        ssl_key => "/etc/logstash/certs/server-pkcs8.key"
        ssl_verify_mode => "peer"
 
            add_field => {
                "fld_server_name" => "%{[fields][fld_server_name]}"
                "fld_app_name" => "%{[fields][fld_app_name]}"
                "fld_app_module" => "%{[fields][fld_app_module]}"
                "fld_website_name" => "%{[fields][fld_website_name]}"
                "fld_log_file_name" => "%{source}"
                "fld_logformat" => "%{[fields][fld_logformat]}"
            }
    }
 
    rabbitmq {
        host => "queue.domain.com"
        port => 5671
        user => "q-reader"
        password => "password"
        queue => "web_log"
        heartbeat => 30
        durable => true
        ssl => true
        #ssl_certificate_path => "/etc/logstash/certs/server.p12"
        #ssl_certificate_password => "password"
 
        add_field => {
            "fld_server_name" => "%{[fields][fld_server_name]}"
            "fld_app_name" => "%{[fields][fld_app_name]}"
            "fld_app_module" => "%{[fields][fld_app_module]}"
            "fld_website_name" => "%{[fields][fld_website_name]}"
            "fld_log_file_name" => "%{source}"
            "fld_logformat" => "%{[fields][fld_logformat]}"
        }
    }
 
}
 
filter { 
 
      if [message] =~ "^#" {
        drop {}
      }
 
      if [fld_logformat] == "logformat__iis_with_xrealip" {
     
          grok {
            match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken} %{NOTSPACE:xrealIP} %{NOTSPACE:xforwarderfor}"]
          }
      } else {
   
          grok {
             match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken}"]
          }
 
      }
 
      date {
        match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
          timezone => "Etc/UTC"
        remove_field => [ "log_timestamp", "@timestamp" ]
        target => [ "log_timestamp2" ]
      }
 
        ruby {
            code => "tstamp = event.get('log_timestamp2').to_i
                        event.set('logdatetime', Time.at(tstamp).strftime('%Y-%m-%d %H:%M:%S'))
                        event.set('logdate', Time.at(tstamp).strftime('%Y-%m-%d'))"
        }
 
      if [bytesSent] {
        ruby {
          code => "event['kilobytesSent'] = event['bytesSent'].to_i / 1024.0"
        }
      }
 
 
      if [bytesReceived] {
        ruby {
          code => "event['kilobytesReceived'] = event['bytesReceived'].to_i / 1024.0"
        }
      }
 
   
        ruby {
            code => "event.set('clientRealIP', event.get('clientIP'))"
        }
        if [xrealIP] {
            ruby {
                code => "event.set('clientRealIP', event.get('xrealIP'))"
            }
        }
        if [xforwarderfor] {
            ruby {
                code => "event.set('clientRealIP', event.get('xforwarderfor'))"
            }
        }
 
      mutate {
        convert => ["bytesSent", "integer"]
        convert => ["bytesReceived", "integer"]
        convert => ["timetaken", "integer"] 
        convert => ["port", "integer"]
 
        add_field => {
            "clientHostname" => "%{clientIP}"
        }
      }
 
        useragent {
            source=> "useragent"
            prefix=> "browser"
        }
 
        kv {
            source => "uriQuery"
            prefix => "uriQuery__"
            allow_duplicate_values => false
            field_split => "&"
            include_keys => [ "utm_medium", "utm_source", "utm_campaign", "utm_term", "utm_content", "yclid", "region" ]
        }
 
        mutate {
            join => { "uriQuery__utm_source" => "," }
            join => { "uriQuery__utm_medium" => "," }
            join => { "uriQuery__utm_campaign" => "," }
            join => { "uriQuery__utm_term" => "," }
            join => { "uriQuery__utm_content" => "," }
            join => { "uriQuery__yclid" => "," }
            join => { "uriQuery__region" => "," }
        }
 
}
 
output { 
  #stdout {codec => rubydebug}
    clickhouse {
      headers => ["Authorization", "Basic abcdsfks..."]
      http_hosts => ["http://127.0.0.1:8123"]
      save_dir => "/etc/logstash/tmp"
      table => "log_web"
      request_tolerance => 1
      flush_size => 10000
      idle_flush_time => 1
        mutations => {
            "fld_log_file_name" => "fld_log_file_name"
            "fld_server_name" => "fld_server_name"
            "fld_app_name" => "fld_app_name"
            "fld_app_module" => "fld_app_module"
            "fld_website_name" => "fld_website_name"
 
            "logdatetime" => "logdatetime"
            "logdate" => "logdate"
            "serverIP" => "serverIP"
            "method" => "method"
            "uriStem" => "uriStem"
            "uriQuery" => "uriQuery"
            "port" => "port"
            "username" => "username"
            "clientIP" => "clientIP"
            "clientRealIP" => "clientRealIP"
            "userAgent" => "userAgent"
            "referer" => "referer"
            "response" => "response"
            "subresponse" => "subresponse"
            "win32response" => "win32response"
            "timetaken" => "timetaken"
             
            "uriQuery__utm_medium" => "uriQuery__utm_medium"
            "uriQuery__utm_source" => "uriQuery__utm_source"
            "uriQuery__utm_campaign" => "uriQuery__utm_campaign"
            "uriQuery__utm_term" => "uriQuery__utm_term"
            "uriQuery__utm_content" => "uriQuery__utm_content"
            "uriQuery__yclid" => "uriQuery__yclid"
            "uriQuery__region" => "uriQuery__region"
        }
    }
 
}

pipelines.yml

# This file is where you define your pipelines. You can define multiple.
# For more information on multiple pipelines, see the documentation:
#   https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
 
- pipeline.id: log_web__filebeat_clickhouse
  path.config: "/etc/logstash/log_web__filebeat_clickhouse.conf"

क्लिकहाउस। लग भण्डारण

सबै प्रणालीहरूको लागि लगहरू एउटै तालिकामा भण्डार गरिएको छ (लेखको सुरुमा हेर्नुहोस्)। यो अनुरोधहरूको बारेमा जानकारी भण्डारण गर्ने उद्देश्यले हो: सबै प्यारामिटरहरू विभिन्न ढाँचाहरू जस्तै IIS लगहरू, apache र nginx लगहरूका लागि समान छन्। अनुप्रयोग लगहरूका लागि, जसमा, उदाहरणका लागि, त्रुटिहरू, सूचना सन्देशहरू, चेतावनीहरू रेकर्ड गरिएका छन्, उपयुक्त संरचनाको साथ छुट्टै तालिका प्रदान गरिनेछ (हाल डिजाइन चरणमा)।

तालिका डिजाइन गर्दा, प्राथमिक कुञ्जी (जसद्वारा डाटा भण्डारण समयमा क्रमबद्ध गरिनेछ) मा निर्णय गर्न धेरै महत्त्वपूर्ण छ। डाटा कम्प्रेसन र क्वेरी गति को डिग्री यो मा निर्भर गर्दछ। हाम्रो उदाहरणमा, कुञ्जी हो
अर्डर गर्नुहोस् (fld_app_name, fld_app_module, logdatetime)
त्यो हो, प्रणालीको नामबाट, प्रणाली घटकको नाम र घटनाको मिति। सुरुमा, कार्यक्रमको मिति पहिले आयो। अन्तिम स्थानमा सारिसकेपछि, प्रश्नहरू लगभग दोब्बर छिटो काम गर्न थाले। प्राथमिक कुञ्जी परिवर्तन गर्नको लागि तालिका पुन: सिर्जना गर्न र डाटा पुन: लोड गर्न आवश्यक पर्दछ ताकि क्लिकहाउसले डिस्कमा डाटा पुन: क्रमबद्ध गर्दछ। यो एक भारी अपरेशन हो, त्यसैले क्रमबद्ध कुञ्जीमा के समावेश गर्नुपर्छ भन्ने बारे धेरै सोच्नु राम्रो विचार हो।

यो पनि ध्यान दिनुपर्छ कि LowCardinality डाटा प्रकार हालका संस्करणहरूमा अपेक्षाकृत देखा परेको छ। यसलाई प्रयोग गर्दा, कम कार्डिनलिटी (केही विकल्पहरू) भएका क्षेत्रहरूका लागि संकुचित डाटाको आकार एकदमै घटाइन्छ।

संस्करण 19.6 हाल प्रयोगमा छ र हामी नवीनतम संस्करणमा अद्यावधिक गर्ने प्रयास गर्ने योजना गर्छौं। तिनीहरूसँग अनुकूली ग्रेन्युलारिटी, स्किपिङ सूचकांक र डबलडेल्टा कोडेक जस्ता अद्भुत सुविधाहरू छन्, उदाहरणका लागि।

पूर्वनिर्धारित रूपमा, स्थापनाको क्रममा, लगिङ स्तर ट्रेस गर्न सेट गरिएको छ। लगहरू घुमाइन्छ र अभिलेख राखिएको छ, तर एकै समयमा तिनीहरू एक गीगाबाइटसम्म विस्तार हुन्छन्। यदि त्यहाँ कुनै आवश्यकता छैन भने, त्यसपछि तपाइँ चेतावनी स्तर सेट गर्न सक्नुहुन्छ, त्यसपछि लग को आकार एकदम कम छ। लगिङ सेटिङ config.xml फाइलमा सेट गरिएको छ:

<!-- Possible levels: https://github.com/pocoproject/poco/blob/develop/Foundation/include/Poco/Logger. h#L105 -->
<level>warning</level>

केही उपयोगी आदेशहरू

Поскольку оригинальные пакеты установки собираются по Debian, то для других версий Linux необходимо использовать пакеты собранные компанией Altinity.
 
Вот по этой ссылке есть инструкции с ссылками на их репозиторий: https://www.altinity.com/blog/2017/12/18/logstash-with-clickhouse
sudo yum search clickhouse-server
sudo yum install clickhouse-server.noarch
  
1. проверка статуса
sudo systemctl status clickhouse-server
 
2. остановка сервера
sudo systemctl stop clickhouse-server
 
3. запуск сервера
sudo systemctl start clickhouse-server
 
Запуск для выполнения запросов в многострочном режиме (выполнение после знака ";")
clickhouse-client --multiline
clickhouse-client --multiline --host 127.0.0.1 --password pa55w0rd
clickhouse-client --multiline --host 127.0.0.1 --port 9440 --secure --user default --password pa55w0rd
 
Плагин кликлауза для логстеш в случае ошибки в одной строке сохраняет всю пачку в файл /tmp/log_web_failed.json
Можно вручную исправить этот файл и попробовать залить его в БД вручную:
clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /tmp/log_web_failed__fixed.json
 
sudo mv /etc/logstash/tmp/log_web_failed.json /etc/logstash/tmp/log_web_failed__fixed.json
sudo chown user_dev /etc/logstash/tmp/log_web_failed__fixed.json
sudo clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /etc/logstash/tmp/log_web_failed__fixed.json
sudo mv /etc/logstash/tmp/log_web_failed__fixed.json /etc/logstash/tmp/log_web_failed__fixed_.json
 
выход из командной строки
quit;
## Настройка TLS
https://www.altinity.com/blog/2019/3/5/clickhouse-networking-part-2
 
openssl s_client -connect log.domain.com:9440 < /dev/null

logstash। FileBeat बाट RabbitMQ कतारमा राउटर लग गर्नुहोस्

यो कम्पोनेन्ट FileBeat बाट RabbitMQ कतारमा आउने लगहरू रुट गर्न प्रयोग गरिन्छ। यहाँ दुई बिन्दुहरू छन्:

दुर्भाग्यवश, RabbitMQ मा सिधै लेख्नको लागि FileBeat सँग आउटपुट प्लगइन छैन। र यस्तो कार्यक्षमता, तिनीहरूको github मा मुद्दा द्वारा न्याय, कार्यान्वयनको लागि योजना बनाईएको छैन। त्यहाँ काफ्काको लागि प्लगइन छ, तर केही कारणले हामी यसलाई घरमा प्रयोग गर्न सक्दैनौं।
DMZ मा लगहरू सङ्कलन गर्नका लागि आवश्यकताहरू छन्। तिनीहरूको आधारमा, लगहरू पहिले लाममा थपिनुपर्छ र त्यसपछि LogStash ले बाहिरबाट लामबाट प्रविष्टिहरू पढ्छ।

त्यसकारण, यो केसको लागि हो जहाँ सर्भरहरू DMZ मा अवस्थित छन् कि एकले यस्तो थोरै जटिल योजना प्रयोग गर्नुपर्छ। एउटा उदाहरण कन्फिगरेसन यस्तो देखिन्छ:

iis_w3c_logs__filebeat_rabbitmq.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/pki/tls/certs/app/ca.pem", "/etc/pki/tls/certs/app/ca-issuing.pem"]
        ssl_certificate => "/etc/pki/tls/certs/app/queue.domain.com.cer"
        ssl_key => "/etc/pki/tls/certs/app/queue.domain.com-pkcs8.key"
        ssl_verify_mode => "peer"
    }
 
}
 
output { 
  #stdout {codec => rubydebug}
 
    rabbitmq {
        host => "127.0.0.1"
        port => 5672
        exchange => "monitor.direct"
        exchange_type => "direct"
        key => "%{[fields][fld_app_name]}"
        user => "q-writer"
        password => "password"
        ssl => false
    }
}

RabbitMQ। सन्देश लाइन

यो कम्पोनेन्ट DMZ मा लग प्रविष्टिहरू बफर गर्न प्रयोग गरिन्छ। रेकर्डिङ Filebeat → LogStash को गुच्छा मार्फत गरिन्छ। पढाइ LogStash मार्फत DMZ बाहिरबाट गरिन्छ। RabboitMQ मार्फत सञ्चालन गर्दा, प्रति सेकेन्ड लगभग 4 हजार सन्देशहरू प्रशोधन गरिन्छ।

सन्देश राउटिङ प्रणाली नाम द्वारा कन्फिगर गरिएको छ, अर्थात् FileBeat कन्फिगरेसन डाटामा आधारित। सबै सन्देशहरू एक लाममा जान्छन्। यदि कुनै कारणले लाइनिङ सेवा रोकिएको छ भने, त्यसपछि यसले सन्देशहरू गुमाउनेछैन: फाइलबिट्सले जडान त्रुटिहरू प्राप्त गर्नेछ र पठाउनलाई अस्थायी रूपमा निलम्बन गर्नेछ। र LogStash जुन लामबाट पढिन्छ नेटवर्क त्रुटिहरू पनि प्राप्त हुनेछ र जडान पुनर्स्थापनाको लागि पर्खनुहोस्। यस अवस्थामा, डाटा, अवश्य पनि, अब डेटाबेसमा लेखिनेछैन।

निम्न निर्देशनहरू लामहरू सिर्जना गर्न र कन्फिगर गर्न प्रयोग गरिन्छ:

sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare exchange --vhost=/ name=monitor.direct type=direct sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare queue --vhost=/ name=web_log durable=true
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site1.domain.ru"
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site2.domain.ru"

ग्राफाना। ड्यासबोर्डहरू

यो कम्पोनेन्ट अनुगमन डाटा कल्पना गर्न प्रयोग गरिन्छ। यस अवस्थामा, तपाईंले Grafana 4.6+ प्लगइनको लागि ClickHouse डाटा स्रोत स्थापना गर्न आवश्यक छ। ड्यासबोर्डमा SQL फिल्टरहरू प्रशोधन गर्ने दक्षता सुधार गर्न हामीले यसलाई अलिकति ट्वीक गर्नुपर्‍यो।

उदाहरणका लागि, हामी चरहरू प्रयोग गर्छौं, र यदि तिनीहरू फिल्टर फिल्डमा सेट गरिएको छैन भने, हामी यसलाई फारमको कहाँ ( uriStem = » AND uriStem != ») मा अवस्था उत्पन्न नगर्न चाहन्छौं। यस अवस्थामा, ClickHouse ले uriStem स्तम्भ पढ्नेछ। सामान्यतया, हामीले विभिन्न विकल्पहरू प्रयास गर्यौं र अन्ततः प्लगइन ($valueIfEmpty म्याक्रो) लाई सच्यायौं ताकि खाली मानको अवस्थामा यसले स्तम्भ नै उल्लेख नगरी 1 फर्काउँछ।

र अब तपाईले ग्राफको लागि यो क्वेरी प्रयोग गर्न सक्नुहुन्छ

$columns(response, count(*) c) from $table where $adhoc
and $valueIfEmpty($fld_app_name, 1, fld_app_name = '$fld_app_name')
and $valueIfEmpty($fld_app_module, 1, fld_app_module = '$fld_app_module') and $valueIfEmpty($fld_server_name, 1, fld_server_name = '$fld_server_name') and $valueIfEmpty($uriStem, 1, uriStem like '%$uriStem%')
and $valueIfEmpty($clientRealIP, 1, clientRealIP = '$clientRealIP')

जसले यो SQL मा अनुवाद गर्दछ (ध्यान दिनुहोस् कि खाली uriStem क्षेत्रहरू केवल 1 मा रूपान्तरण गरिएको छ)

SELECT
t,
groupArray((response, c)) AS groupArr
FROM (
SELECT
(intDiv(toUInt32(logdatetime), 60) * 60) * 1000 AS t, response,
count(*) AS c FROM default.log_web
WHERE (logdate >= toDate(1565061982)) AND (logdatetime >= toDateTime(1565061982)) AND 1 AND (fld_app_name = 'site1.domain.ru') AND (fld_app_module = 'web') AND 1 AND 1 AND 1
GROUP BY
t, response
ORDER BY
t ASC,
response ASC
)
GROUP BY t ORDER BY t ASC

निष्कर्षमा

ClickHouse डाटाबेस को उपस्थिति बजार मा एक ऐतिहासिक घटना भएको छ। यो कल्पना गर्न गाह्रो थियो कि, पूर्ण रूपमा नि: शुल्क, एक क्षणमा हामी ठूलो डेटा संग काम गर्न को लागी एक शक्तिशाली र व्यावहारिक उपकरण संग सशस्त्र थियो। निस्सन्देह, बढ्दो आवश्यकताहरूको साथ (उदाहरणका लागि, धेरै सर्भरहरूमा शेर्डिङ र प्रतिकृति), योजना थप जटिल हुनेछ। तर पहिलो छाप मा, यो डाटाबेस संग काम धेरै रमाइलो छ। यो उत्पादन "मानिसहरूको लागि" बनाइएको देख्न सकिन्छ।

ElasticSearch को तुलनामा, लगहरू भण्डारण र प्रशोधन गर्ने लागत पाँच देखि दस गुणाले कम हुने अनुमान गरिएको छ। अर्को शब्दमा, यदि डेटाको हालको मात्राको लागि हामीले धेरै मेसिनहरूको क्लस्टर सेटअप गर्नुपर्नेछ, त्यसपछि क्लिकहाउस प्रयोग गर्दा, हाम्रो लागि एउटा कम-शक्ति मेसिन पर्याप्त छ। हो, निस्सन्देह, ElasticSearch सँग अन-डिस्क डाटा कम्प्रेसन मेकानिजम र अन्य सुविधाहरू पनि छन् जसले स्रोतको खपतलाई उल्लेखनीय रूपमा घटाउन सक्छ, तर ClickHouse को तुलनामा, यो अधिक महँगो हुनेछ।

हाम्रो तर्फबाट कुनै पनि विशेष अप्टिमाइजेसन बिना, पूर्वनिर्धारित सेटिङहरूमा, डाटा लोड गर्दै र डाटाबेसबाट चयनले अद्भुत गतिमा काम गर्दछ। हामीसँग अझै धेरै डाटा छैन (लगभग 200 मिलियन रेकर्डहरू), तर सर्भर आफै कमजोर छ। हामी भविष्यमा लग भण्डारणसँग सम्बन्धित नभएका अन्य उद्देश्यका लागि यो उपकरण प्रयोग गर्न सक्छौं। उदाहरणका लागि, एन्ड-टु-इन्ड एनालिटिक्सका लागि, सुरक्षाको क्षेत्रमा, मेसिन लर्निङ।

अन्त्यमा, फाइदा र बेफाइदाको बारेमा थोरै।

Минусы

ठूला ब्याचहरूमा रेकर्डहरू लोड गर्दै। एकातिर, यो एक सुविधा हो, तर तपाईले अझै पनि रेकर्ड बफरिङका लागि अतिरिक्त कम्पोनेन्टहरू प्रयोग गर्नुपर्छ। यो कार्य सधैं सजिलो छैन, तर अझै पनि समाधान गर्न सकिन्छ। र म योजनालाई सरल बनाउन चाहन्छु।
केही विदेशी कार्यक्षमता वा नयाँ सुविधाहरू प्रायः नयाँ संस्करणहरूमा तोडिन्छन्। यसले चिन्ताको कारण बनाउँछ, नयाँ संस्करणमा स्तरवृद्धि गर्ने इच्छालाई कम गर्छ। उदाहरणका लागि, काफ्का टेबल इन्जिन एक धेरै उपयोगी सुविधा हो जसले तपाईंलाई उपभोक्ताहरूलाई लागू नगरी काफ्काबाट घटनाहरू सीधै पढ्न अनुमति दिन्छ। तर github मा मुद्दाहरूको संख्या द्वारा न्याय गर्दै, हामी अझै पनि यो इन्जिन उत्पादनमा प्रयोग नगर्न सावधान छौं। यद्यपि, यदि तपाइँ छेउमा अचानक इशाराहरू गर्नुहुन्न र मुख्य कार्यक्षमता प्रयोग गर्नुहुन्न भने, यसले स्थिर रूपमा काम गर्दछ।

Плюсы

ढिलो गर्दैन।
कम प्रवेश थ्रेसहोल्ड।
खुला स्रोत।
नि:शुल्क।
राम्रोसँग स्केलहरू (बाकस बाहिर सेर्डिङ/प्रतिकृति)
सञ्चार मन्त्रालयले सिफारिस गरेको रूसी सफ्टवेयरको दर्तामा समावेश गरिएको छ।
Yandex बाट आधिकारिक समर्थन को उपस्थिति।

स्रोत: www.habr.com

मानिसका लागि हाउस डाटाबेस, वा एलियन टेक्नोलोजीहरू क्लिक गर्नुहोस्

हाम्रो लगिङ प्रणाली बारे

प्रयोग गरिएका अवयवहरूको विवरण

फाइलबिट। फाइल लगहरू स्थानान्तरण गर्दै

logstash। लग कलेक्टर

क्लिकहाउस। लग भण्डारण

logstash। FileBeat बाट RabbitMQ कतारमा राउटर लग गर्नुहोस्

RabbitMQ। सन्देश लाइन

ग्राफाना। ड्यासबोर्डहरू

निष्कर्षमा

Минусы

Плюсы

एक टिप्पणी थप्न Отменить ответ

मानिसका लागि हाउस डाटाबेस, वा एलियन टेक्नोलोजीहरू क्लिक गर्नुहोस्

हाम्रो लगिङ प्रणाली बारे

प्रयोग गरिएका अवयवहरूको विवरण फाइलबिट। फाइल लगहरू स्थानान्तरण गर्दै

logstash। लग कलेक्टर

क्लिकहाउस। लग भण्डारण

logstash। FileBeat बाट RabbitMQ कतारमा राउटर लग गर्नुहोस्

RabbitMQ। सन्देश लाइन

ग्राफाना। ड्यासबोर्डहरू

निष्कर्षमा

Минусы

Плюсы

एक टिप्पणी थप्न Отменить ответ

प्रयोग गरिएका अवयवहरूको विवरण

फाइलबिट। फाइल लगहरू स्थानान्तरण गर्दै