মানুষের জন্য ক্লিক হাউস ডাটাবেস, বা এলিয়েন টেকনোলজিস

আলেক্সি লিজুনভ, MKB-এর তথ্য প্রযুক্তি অধিদপ্তরের রিমোট সার্ভিস চ্যানেলের জন্য সক্ষমতা কেন্দ্রের প্রধান

ELK স্ট্যাকের (ElasticSearch, Logstash, Kibana) বিকল্প হিসেবে, আমরা লগের ডেটা স্টোর হিসেবে ClickHouse ডাটাবেস ব্যবহার করার বিষয়ে গবেষণা করছি।

এই নিবন্ধে, আমরা ClickHouse ডাটাবেস ব্যবহার করার আমাদের অভিজ্ঞতা এবং পাইলট অপারেশনের প্রাথমিক ফলাফল সম্পর্কে কথা বলতে চাই। এটি অবিলম্বে উল্লেখ করা উচিত যে ফলাফলগুলি চিত্তাকর্ষক ছিল।

এর পরে, আমরা আমাদের সিস্টেমটি কীভাবে কনফিগার করা হয়েছে এবং এতে কী কী উপাদান রয়েছে তা আমরা আরও বিশদে বর্ণনা করব। কিন্তু এখন আমি সামগ্রিকভাবে এই ডাটাবেস সম্পর্কে একটু কথা বলতে চাই এবং কেন এটি মনোযোগ দেওয়ার মতো। ClickHouse ডাটাবেস হল ইয়ানডেক্সের একটি উচ্চ-কার্যকারিতা বিশ্লেষণমূলক কলামার ডাটাবেস। এটি Yandex পরিষেবাগুলিতে ব্যবহৃত হয়, প্রাথমিকভাবে এটি Yandex.Metrica-এর জন্য প্রধান ডেটা স্টোরেজ। ওপেন সোর্স সিস্টেম, বিনামূল্যে। একটি বিকাশকারীর দৃষ্টিকোণ থেকে, আমি সর্বদা ভাবি যে তারা কীভাবে এটি বাস্তবায়ন করেছে, কারণ সেখানে দুর্দান্তভাবে বড় ডেটা রয়েছে। এবং মেট্রিকার ইউজার ইন্টারফেস নিজেই খুব নমনীয় এবং দ্রুত। এই ডাটাবেসের সাথে প্রথম পরিচিতিতে, ছাপটি হল: "আচ্ছা, অবশেষে! মানুষের জন্য তৈরি! ইনস্টলেশন প্রক্রিয়া থেকে শুরু করে এবং অনুরোধ পাঠানোর মাধ্যমে শেষ হয়।

এই ডাটাবেস একটি খুব কম এন্ট্রি থ্রেশহোল্ড আছে. এমনকি একজন গড়-দক্ষ বিকাশকারীও কয়েক মিনিটের মধ্যে এই ডাটাবেসটি ইনস্টল করতে পারেন এবং এটি ব্যবহার শুরু করতে পারেন। সবকিছু পরিষ্কারভাবে কাজ করে। এমনকি যারা লিনাক্সে নতুন তারাও দ্রুত ইনস্টলেশন পরিচালনা করতে পারে এবং সহজতম অপারেশন করতে পারে। যদি আগে, বিগ ডেটা, হ্যাডুপ, গুগল বিগটেবল, এইচডিএফএস শব্দগুলির সাথে, একজন সাধারণ বিকাশকারীর ধারণা ছিল যে এটি কিছু টেরাবাইট, পেটাবাইট সম্পর্কে, কিছু অতিমানব এই সিস্টেমগুলির সেটিংস এবং বিকাশে নিযুক্ত রয়েছে, তাহলে ক্লিকহাউসের আবির্ভাবের সাথে। ডাটাবেস, আমরা একটি সহজ, বোধগম্য টুল পেয়েছি যার সাহায্যে আপনি পূর্বে অপ্রাপ্য পরিসরের কাজগুলি সমাধান করতে পারেন। এটি শুধুমাত্র একটি মোটামুটি গড় মেশিন এবং ইনস্টল করতে পাঁচ মিনিট সময় নেয়। অর্থাৎ, আমরা যেমন একটি ডাটাবেস পেয়েছি, উদাহরণস্বরূপ, মাইএসকিউএল, কিন্তু শুধুমাত্র কোটি কোটি রেকর্ড সংরক্ষণের জন্য! এসকিউএল ভাষার সাথে একটি নির্দিষ্ট সুপার আর্কাইভার। যেন মানুষের হাতে এলিয়েনদের অস্ত্র তুলে দেওয়া হয়েছিল।

আমাদের লগিং সিস্টেম সম্পর্কে

তথ্য সংগ্রহ করতে, স্ট্যান্ডার্ড ফর্ম্যাট ওয়েব অ্যাপ্লিকেশনগুলির IIS লগ ফাইলগুলি ব্যবহার করা হয় (আমরা বর্তমানে অ্যাপ্লিকেশন লগগুলিকে পার্স করছি, তবে পাইলট পর্যায়ে মূল লক্ষ্য হল IIS লগ সংগ্রহ করা)।

বিভিন্ন কারণে, আমরা ELK স্ট্যাক সম্পূর্ণরূপে পরিত্যাগ করতে পারিনি, এবং আমরা LogStash এবং Filebeat উপাদানগুলি ব্যবহার করা চালিয়ে যাচ্ছি, যা নিজেদেরকে ভালভাবে প্রমাণ করেছে এবং বেশ নির্ভরযোগ্য এবং অনুমানযোগ্যভাবে কাজ করে।

সাধারণ লগিং স্কিমটি নীচের চিত্রে দেখানো হয়েছে:

ক্লিকহাউস ডাটাবেসে ডেটা লেখার একটি বৈশিষ্ট্য হল বিরল (প্রতি সেকেন্ডে একবার) বড় ব্যাচে রেকর্ড সন্নিবেশ করা। এটি, দৃশ্যত, সবচেয়ে "সমস্যামূলক" অংশ যা আপনি সম্মুখীন হন যখন আপনি প্রথম ক্লিকহাউস ডাটাবেসের সাথে কাজ করার অভিজ্ঞতা পান: স্কিমটি একটু বেশি জটিল হয়ে যায়।
লগস্ট্যাশের প্লাগইন, যা সরাসরি ক্লিকহাউসে ডেটা সন্নিবেশ করে, এখানে অনেক সাহায্য করেছে। এই উপাদানটি ডাটাবেসের মতো একই সার্ভারে স্থাপন করা হয়। সুতরাং, সাধারণভাবে বলতে গেলে, এটি করার সুপারিশ করা হয় না, তবে একটি ব্যবহারিক দৃষ্টিকোণ থেকে, যাতে একই সার্ভারে স্থাপন করার সময় আলাদা সার্ভার তৈরি না হয়। আমরা ডাটাবেসের সাথে কোনো ব্যর্থতা বা সম্পদের দ্বন্দ্ব পর্যবেক্ষণ করিনি। উপরন্তু, এটি লক্ষ করা উচিত যে প্লাগইনটিতে ত্রুটির ক্ষেত্রে পুনরায় চেষ্টা করার পদ্ধতি রয়েছে। এবং ত্রুটির ক্ষেত্রে, প্লাগইনটি ঢোকানো যায়নি এমন ডেটার একটি ব্যাচ ডিস্কে লিখে (ফাইল বিন্যাস সুবিধাজনক: সম্পাদনা করার পরে, আপনি ক্লিকহাউস-ক্লায়েন্ট ব্যবহার করে সহজেই সংশোধন করা ব্যাচ সন্নিবেশ করতে পারেন)।

স্কিমটিতে ব্যবহৃত সফ্টওয়্যারগুলির একটি সম্পূর্ণ তালিকা টেবিলে উপস্থাপন করা হয়েছে:

ব্যবহৃত সফ্টওয়্যার তালিকা

নাম

বিবরণ

বিতরণ লিঙ্ক

nginx

রিভার্স-প্রক্সি পোর্ট দ্বারা অ্যাক্সেস সীমাবদ্ধ করতে এবং অনুমোদনের ব্যবস্থা করতে

বর্তমানে স্কিম ব্যবহার করা হয় না

https://nginx.org/ru/download.html

https://nginx.org/download/nginx-1.16.0.tar.gz

ফাইলবিট

ফাইল লগ স্থানান্তর.

https://www.elastic.co/downloads/beats/filebeat (উইন্ডোজ 64 বিটের জন্য বিতরণ কিট)।

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-windows-x86_64.zip

লগস্ট্যাশ

লগ সংগ্রাহক।

ফাইলবিট থেকে লগ সংগ্রহ করতে ব্যবহৃত হয়, সেইসাথে RabbitMQ সারি থেকে লগ সংগ্রহ করতে (DMZ-এ থাকা সার্ভারগুলির জন্য)

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

লগস্ট্যাশ-আউটপুট-ক্লিকহাউস

ব্যাচে ক্লিকহাউস ডাটাবেসে লগ স্থানান্তর করার জন্য Loagstash প্লাগইন

https://github.com/mikechris/logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin logstash-output-clickhouse ইনস্টল করুন

/usr/share/logstash/bin/logstash-plugin logstash-filter-prune ইনস্টল করুন

/usr/share/logstash/bin/logstash-plugin logstash-filter-multiline ইনস্টল করুন

ক্লিকহাউস

লগ স্টোরেজ https://clickhouse.yandex/docs/ru/

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-19.5.3.8-1.el7.x86_64.rpm

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-client-19.5.3.8-1.el7.x86_64.rpm

বিঃদ্রঃ. আগস্ট 2018 থেকে শুরু করে, RHEL-এর জন্য "স্বাভাবিক" rpm বিল্ডগুলি Yandex সংগ্রহস্থলে উপস্থিত হয়েছে, তাই আপনি সেগুলি ব্যবহার করার চেষ্টা করতে পারেন৷ ইনস্টলেশনের সময়, আমরা Altinity দ্বারা নির্মিত প্যাকেজ ব্যবহার করছিলাম।

গ্রাফানা

লগ ভিজ্যুয়ালাইজেশন। ড্যাশবোর্ড সেট আপ করা হচ্ছে

https://grafana.com/

https://grafana.com/grafana/download

Redhat & Centos (64 বিট) - সর্বশেষ সংস্করণ

Grafana 4.6+ এর জন্য ক্লিক হাউস ডেটাসোর্স

ClickHouse ডেটা উৎস সহ Grafana-এর জন্য প্লাগইন

https://grafana.com/plugins/vertamedia-clickhouse-datasource

https://grafana.com/api/plugins/vertamedia-clickhouse-datasource/versions/1.8.1/download

লগস্ট্যাশ

FileBeat থেকে RabbitMQ সারিতে রাউটার লগ করুন।

বিঃদ্রঃ. দুর্ভাগ্যবশত FileBeat সরাসরি RabbitMQ তে আউটপুট দেয় না, তাই Logstash আকারে একটি মধ্যবর্তী লিঙ্ক প্রয়োজন

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

RabbitMQ

বার্তা সারি। এটি DMZ-এ লগ বাফার

https://www.rabbitmq.com/download.html

https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.14/rabbitmq-server-3.7.14-1.el7.noarch.rpm

Erlang রানটাইম (RabbitMQ এর জন্য প্রয়োজনীয়)

Erlang রানটাইম. RabbitMQ কাজ করার জন্য প্রয়োজন

http://www.erlang.org/download.html

https://www.rabbitmq.com/install-rpm.html#install-erlang http://www.erlang.org/downloads/21.3

ক্লিকহাউস ডাটাবেসের সাথে সার্ভার কনফিগারেশন নিম্নলিখিত টেবিলে উপস্থাপন করা হয়েছে:

নাম

মান

মন্তব্য

কনফিগারেশন

এইচডিডি: 40 জিবি
র্যাম: 8GB
প্রসেসর: কোর 2 2 গিগাহার্জ

ক্লিকহাউস ডাটাবেস পরিচালনার জন্য টিপসগুলিতে মনোযোগ দেওয়া প্রয়োজন (https://clickhouse.yandex/docs/ru/operations/tips/)

সাধারণ সিস্টেম সফটওয়্যার

OS: Red Hat Enterprise Linux সার্ভার (Maipo)

JRE (জাভা 8)

 

আপনি দেখতে পাচ্ছেন, এটি একটি সাধারণ ওয়ার্কস্টেশন।

লগ সংরক্ষণের জন্য টেবিলের গঠন নিম্নরূপ:

log_web.sql

CREATE TABLE log_web (
  logdate Date,
  logdatetime DateTime CODEC(Delta, LZ4HC),
   
  fld_log_file_name LowCardinality( String ),
  fld_server_name LowCardinality( String ),
  fld_app_name LowCardinality( String ),
  fld_app_module LowCardinality( String ),
  fld_website_name LowCardinality( String ),
 
  serverIP LowCardinality( String ),
  method LowCardinality( String ),
  uriStem String,
  uriQuery String,
  port UInt32,
  username LowCardinality( String ),
  clientIP String,
  clientRealIP String,
  userAgent String,
  referer String,
  response String,
  subresponse String,
  win32response String,
  timetaken UInt64
   
  , uriQuery__utm_medium String
  , uriQuery__utm_source String
  , uriQuery__utm_campaign String
  , uriQuery__utm_term String
  , uriQuery__utm_content String
  , uriQuery__yclid String
  , uriQuery__region String
 
) Engine = MergeTree()
PARTITION BY toYYYYMM(logdate)
ORDER BY (fld_app_name, fld_app_module, logdatetime)
SETTINGS index_granularity = 8192;

আমরা ডিফল্ট পার্টিশনিং (মাস অনুসারে) এবং সূচক গ্রানুলারিটি ব্যবহার করি। সমস্ত ক্ষেত্র ব্যবহারিকভাবে http অনুরোধগুলি লগ করার জন্য IIS লগ এন্ট্রির সাথে মিল রয়েছে৷ আলাদাভাবে, আমরা লক্ষ্য করি যে utm-ট্যাগগুলি সংরক্ষণ করার জন্য আলাদা ক্ষেত্র রয়েছে (ক্যোয়ারী স্ট্রিং ক্ষেত্র থেকে টেবিলে সন্নিবেশ করার পর্যায়ে সেগুলি পার্স করা হয়)।

এছাড়াও, সিস্টেম, উপাদান, সার্ভার সম্পর্কে তথ্য সংরক্ষণ করার জন্য টেবিলে বেশ কয়েকটি সিস্টেম ক্ষেত্র যুক্ত করা হয়েছে। এই ক্ষেত্রগুলির বর্ণনার জন্য নীচের টেবিলটি দেখুন। একটি টেবিলে, আমরা বিভিন্ন সিস্টেমের জন্য লগ সংরক্ষণ করি।

নাম

বিবরণ

উদাহরণ

fld_app_name

অ্যাপ্লিকেশন/সিস্টেম নাম
বৈধ মান:

• site1.domain.com বাহ্যিক সাইট 1
• site2.domain.com বাহ্যিক সাইট 2
• internal-site1.domain.local অভ্যন্তরীণ সাইট 1

site1.domain.com

fld_app_module

সিস্টেম মডিউল
বৈধ মান:

• ওয়েব - ওয়েবসাইট
• svc - ওয়েব সাইট পরিষেবা
• intgr - ইন্টিগ্রেশন ওয়েব সার্ভিস
• bo - অ্যাডমিন (ব্যাকঅফিস)

ওয়েব

fld_website_name

IIS-এ সাইটের নাম

একটি সার্ভারে একাধিক সিস্টেম স্থাপন করা যেতে পারে, এমনকি একটি সিস্টেম মডিউলের একাধিক উদাহরণ

ওয়েব প্রধান

fld_server_name

সার্ভার নাম

web1.domain.com

fld_log_file_name

সার্ভারে লগ ফাইলের পাথ

C:inetpublogsLogFiles
W3SVC1u_ex190711.log

এটি আপনাকে গ্রাফনায় দক্ষতার সাথে গ্রাফ তৈরি করতে দেয়। উদাহরণস্বরূপ, একটি নির্দিষ্ট সিস্টেমের ফ্রন্টএন্ড থেকে অনুরোধগুলি দেখুন। এটি Yandex.Metrica-এর সাইট কাউন্টারের মতো।

এখানে দুই মাসের জন্য ডাটাবেস ব্যবহারের কিছু পরিসংখ্যান রয়েছে।

সিস্টেম এবং তাদের উপাদান দ্বারা ভাঙ্গা রেকর্ডের সংখ্যা

SELECT
    fld_app_name,
    fld_app_module,
    count(fld_app_name) AS rows_count
FROM log_web
GROUP BY
    fld_app_name,
    fld_app_module
    WITH TOTALS
ORDER BY
    fld_app_name ASC,
    rows_count DESC
 
┌─fld_app_name─────┬─fld_app_module─┬─rows_count─┐
│ site1.domain.ru  │ web            │     131441 │
│ site2.domain.ru  │ web            │    1751081 │
│ site3.domain.ru  │ web            │  106887543 │
│ site3.domain.ru  │ svc            │   44908603 │
│ site3.domain.ru  │ intgr          │    9813911 │
│ site4.domain.ru  │ web            │     772095 │
│ site5.domain.ru  │ web            │   17037221 │
│ site5.domain.ru  │ intgr          │     838559 │
│ site5.domain.ru  │ bo             │       7404 │
│ site6.domain.ru  │ web            │     595877 │
│ site7.domain.ru  │ web            │   27778858 │
└──────────────────┴────────────────┴────────────┘
 
Totals:
┌─fld_app_name─┬─fld_app_module─┬─rows_count─┐
│              │                │  210522593 │
└──────────────┴────────────────┴────────────┘
 
11 rows in set. Elapsed: 4.874 sec. Processed 210.52 million rows, 421.67 MB (43.19 million rows/s., 86.51 MB/s.)

ডিস্কে ডেটার পরিমাণ

SELECT
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed,
    sum(rows) AS total_rows
FROM system.parts
WHERE table = 'log_web'
 
┌─uncompressed─┬─compressed─┬─total_rows─┐
│ 54.50 GiB    │ 4.86 GiB   │  211427094 │
└──────────────┴────────────┴────────────┘
 
1 rows in set. Elapsed: 0.035 sec.

কলামে ডেটা কম্প্রেশনের ডিগ্রি

SELECT
    name,
    formatReadableSize(data_uncompressed_bytes) AS uncompressed,
    formatReadableSize(data_compressed_bytes) AS compressed,
    data_uncompressed_bytes / data_compressed_bytes AS compress_ratio
FROM system.columns
WHERE table = 'log_web'
 
┌─name───────────────────┬─uncompressed─┬─compressed─┬─────compress_ratio─┐
│ logdate                │ 401.53 MiB   │ 1.80 MiB   │ 223.16665968777315 │
│ logdatetime            │ 803.06 MiB   │ 35.91 MiB  │ 22.363966401202305 │
│ fld_log_file_name      │ 220.66 MiB   │ 2.60 MiB   │  84.99905736932571 │
│ fld_server_name        │ 201.54 MiB   │ 50.63 MiB  │  3.980924816977078 │
│ fld_app_name           │ 201.17 MiB   │ 969.17 KiB │ 212.55518183686877 │
│ fld_app_module         │ 201.17 MiB   │ 968.60 KiB │ 212.67805817411906 │
│ fld_website_name       │ 201.54 MiB   │ 1.24 MiB   │  162.7204926761546 │
│ serverIP               │ 201.54 MiB   │ 50.25 MiB  │  4.010824061219731 │
│ method                 │ 201.53 MiB   │ 43.64 MiB  │  4.617721053304486 │
│ uriStem                │ 5.13 GiB     │ 832.51 MiB │  6.311522291936919 │
│ uriQuery               │ 2.58 GiB     │ 501.06 MiB │  5.269731450124478 │
│ port                   │ 803.06 MiB   │ 3.98 MiB   │ 201.91673864241824 │
│ username               │ 318.08 MiB   │ 26.93 MiB  │ 11.812513794583598 │
│ clientIP               │ 2.35 GiB     │ 82.59 MiB  │ 29.132328640073343 │
│ clientRealIP           │ 2.49 GiB     │ 465.05 MiB │  5.478382297052563 │
│ userAgent              │ 18.34 GiB    │ 764.08 MiB │  24.57905114484208 │
│ referer                │ 14.71 GiB    │ 1.37 GiB   │ 10.736792723669906 │
│ response               │ 803.06 MiB   │ 83.81 MiB  │  9.582334090987247 │
│ subresponse            │ 399.87 MiB   │ 1.83 MiB   │  218.4831068635027 │
│ win32response          │ 407.86 MiB   │ 7.41 MiB   │ 55.050315514606815 │
│ timetaken              │ 1.57 GiB     │ 402.06 MiB │ 3.9947395692010637 │
│ uriQuery__utm_medium   │ 208.17 MiB   │ 12.29 MiB  │ 16.936148912472955 │
│ uriQuery__utm_source   │ 215.18 MiB   │ 13.00 MiB  │ 16.548367623199912 │
│ uriQuery__utm_campaign │ 381.46 MiB   │ 37.94 MiB  │ 10.055156353418509 │
│ uriQuery__utm_term     │ 231.82 MiB   │ 10.78 MiB  │ 21.502540454070672 │
│ uriQuery__utm_content  │ 441.34 MiB   │ 87.60 MiB  │  5.038260760449327 │
│ uriQuery__yclid        │ 216.88 MiB   │ 16.58 MiB  │  13.07721335008116 │
│ uriQuery__region       │ 204.35 MiB   │ 9.49 MiB   │  21.52661903446796 │
└────────────────────────┴──────────────┴────────────┴────────────────────┘
 
28 rows in set. Elapsed: 0.005 sec.

ব্যবহৃত উপাদানের বর্ণনা

ফাইলবিট। ফাইল লগ স্থানান্তর করা হচ্ছে

এই উপাদানটি ডিস্কের লগ ফাইলের পরিবর্তনগুলি ট্র্যাক করে এবং LogStash-এ তথ্য পাঠায়। সমস্ত সার্ভারে ইনস্টল করা হয় যেখানে লগ ফাইল লেখা থাকে (সাধারণত IIS)। টেল মোডে কাজ করে (অর্থাৎ ফাইলে শুধুমাত্র যোগ করা রেকর্ড স্থানান্তর করে)। কিন্তু আলাদাভাবে এটি সম্পূর্ণ ফাইল স্থানান্তর করতে কনফিগার করা যেতে পারে। আপনি যখন আগের মাসের ডেটা ডাউনলোড করতে চান তখন এটি কার্যকর। শুধু একটি ফোল্ডারে লগ ফাইল রাখুন এবং এটি সম্পূর্ণরূপে এটি পড়বে।

পরিষেবাটি বন্ধ হয়ে গেলে, ডেটা আর স্টোরেজে স্থানান্তরিত হয় না।

একটি উদাহরণ কনফিগারেশন এই মত দেখায়:

filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/W3SVC1/*.log
  exclude_files: ['.gz$','.zip$']
  tail_files: true
  ignore_older: 24h
  fields:
    fld_server_name: "site1.domain.ru"
    fld_app_name: "site1.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
 
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/__Import/access_log-*
  exclude_files: ['.gz$','.zip$']
  tail_files: false
  fields:
    fld_server_name: "site2.domain.ru"
    fld_app_name: "site2.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
    fld_logformat: "logformat__apache"
 
 
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  reload.period: 2s
 
output.logstash:
  hosts: ["log.domain.com:5044"]
 
  ssl.enabled: true
  ssl.certificate_authorities: ["C:/filebeat/certs/ca.pem", "C:/filebeat/certs/ca-issuing.pem"]
  ssl.certificate: "C:/filebeat/certs/site1.domain.ru.cer"
  ssl.key: "C:/filebeat/certs/site1.domain.ru.key"
 
#================================ Processors =====================================
 
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

লগস্ট্যাশ লগ কালেক্টর

এই উপাদানটি FileBeat (বা RabbitMQ সারির মাধ্যমে) থেকে লগ এন্ট্রি গ্রহণ করার জন্য ডিজাইন করা হয়েছে, ক্লিক হাউস ডাটাবেসে ব্যাচগুলি পার্সিং এবং সন্নিবেশ করানো।

ClickHouse-এ সন্নিবেশের জন্য, Logstash-output-clickhouse প্লাগইন ব্যবহার করা হয়। Logstash প্লাগইনটিতে একটি অনুরোধ পুনঃপ্রচেষ্টার পদ্ধতি রয়েছে, কিন্তু নিয়মিত শাটডাউনের সাথে, পরিষেবাটি নিজেই বন্ধ করা ভাল। যখন থামানো হয়, বার্তাগুলি RabbitMQ সারিতে জমা হবে, তাই যদি স্টপটি দীর্ঘ সময়ের জন্য থাকে, তাহলে সার্ভারে Filebeats বন্ধ করা ভাল। একটি স্কিমে যেখানে RabbitMQ ব্যবহার করা হয় না (স্থানীয় নেটওয়ার্কে, ফাইলবিট সরাসরি লগস্ট্যাশে লগ পাঠায়), ফাইলবিটগুলি বেশ গ্রহণযোগ্য এবং নিরাপদে কাজ করে, তাই তাদের জন্য ফলাফল ছাড়াই আউটপুট পাসের অনুপলব্ধতা।

একটি উদাহরণ কনফিগারেশন এই মত দেখায়:

log_web__filebeat_clickhouse.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/logstash/certs/ca.cer", "/etc/logstash/certs/ca-issuing.cer"]
        ssl_certificate => "/etc/logstash/certs/server.cer"
        ssl_key => "/etc/logstash/certs/server-pkcs8.key"
        ssl_verify_mode => "peer"
 
            add_field => {
                "fld_server_name" => "%{[fields][fld_server_name]}"
                "fld_app_name" => "%{[fields][fld_app_name]}"
                "fld_app_module" => "%{[fields][fld_app_module]}"
                "fld_website_name" => "%{[fields][fld_website_name]}"
                "fld_log_file_name" => "%{source}"
                "fld_logformat" => "%{[fields][fld_logformat]}"
            }
    }
 
    rabbitmq {
        host => "queue.domain.com"
        port => 5671
        user => "q-reader"
        password => "password"
        queue => "web_log"
        heartbeat => 30
        durable => true
        ssl => true
        #ssl_certificate_path => "/etc/logstash/certs/server.p12"
        #ssl_certificate_password => "password"
 
        add_field => {
            "fld_server_name" => "%{[fields][fld_server_name]}"
            "fld_app_name" => "%{[fields][fld_app_name]}"
            "fld_app_module" => "%{[fields][fld_app_module]}"
            "fld_website_name" => "%{[fields][fld_website_name]}"
            "fld_log_file_name" => "%{source}"
            "fld_logformat" => "%{[fields][fld_logformat]}"
        }
    }
 
}
 
filter { 
 
      if [message] =~ "^#" {
        drop {}
      }
 
      if [fld_logformat] == "logformat__iis_with_xrealip" {
     
          grok {
            match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken} %{NOTSPACE:xrealIP} %{NOTSPACE:xforwarderfor}"]
          }
      } else {
   
          grok {
             match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken}"]
          }
 
      }
 
      date {
        match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
          timezone => "Etc/UTC"
        remove_field => [ "log_timestamp", "@timestamp" ]
        target => [ "log_timestamp2" ]
      }
 
        ruby {
            code => "tstamp = event.get('log_timestamp2').to_i
                        event.set('logdatetime', Time.at(tstamp).strftime('%Y-%m-%d %H:%M:%S'))
                        event.set('logdate', Time.at(tstamp).strftime('%Y-%m-%d'))"
        }
 
      if [bytesSent] {
        ruby {
          code => "event['kilobytesSent'] = event['bytesSent'].to_i / 1024.0"
        }
      }
 
 
      if [bytesReceived] {
        ruby {
          code => "event['kilobytesReceived'] = event['bytesReceived'].to_i / 1024.0"
        }
      }
 
   
        ruby {
            code => "event.set('clientRealIP', event.get('clientIP'))"
        }
        if [xrealIP] {
            ruby {
                code => "event.set('clientRealIP', event.get('xrealIP'))"
            }
        }
        if [xforwarderfor] {
            ruby {
                code => "event.set('clientRealIP', event.get('xforwarderfor'))"
            }
        }
 
      mutate {
        convert => ["bytesSent", "integer"]
        convert => ["bytesReceived", "integer"]
        convert => ["timetaken", "integer"] 
        convert => ["port", "integer"]
 
        add_field => {
            "clientHostname" => "%{clientIP}"
        }
      }
 
        useragent {
            source=> "useragent"
            prefix=> "browser"
        }
 
        kv {
            source => "uriQuery"
            prefix => "uriQuery__"
            allow_duplicate_values => false
            field_split => "&"
            include_keys => [ "utm_medium", "utm_source", "utm_campaign", "utm_term", "utm_content", "yclid", "region" ]
        }
 
        mutate {
            join => { "uriQuery__utm_source" => "," }
            join => { "uriQuery__utm_medium" => "," }
            join => { "uriQuery__utm_campaign" => "," }
            join => { "uriQuery__utm_term" => "," }
            join => { "uriQuery__utm_content" => "," }
            join => { "uriQuery__yclid" => "," }
            join => { "uriQuery__region" => "," }
        }
 
}
 
output { 
  #stdout {codec => rubydebug}
    clickhouse {
      headers => ["Authorization", "Basic abcdsfks..."]
      http_hosts => ["http://127.0.0.1:8123"]
      save_dir => "/etc/logstash/tmp"
      table => "log_web"
      request_tolerance => 1
      flush_size => 10000
      idle_flush_time => 1
        mutations => {
            "fld_log_file_name" => "fld_log_file_name"
            "fld_server_name" => "fld_server_name"
            "fld_app_name" => "fld_app_name"
            "fld_app_module" => "fld_app_module"
            "fld_website_name" => "fld_website_name"
 
            "logdatetime" => "logdatetime"
            "logdate" => "logdate"
            "serverIP" => "serverIP"
            "method" => "method"
            "uriStem" => "uriStem"
            "uriQuery" => "uriQuery"
            "port" => "port"
            "username" => "username"
            "clientIP" => "clientIP"
            "clientRealIP" => "clientRealIP"
            "userAgent" => "userAgent"
            "referer" => "referer"
            "response" => "response"
            "subresponse" => "subresponse"
            "win32response" => "win32response"
            "timetaken" => "timetaken"
             
            "uriQuery__utm_medium" => "uriQuery__utm_medium"
            "uriQuery__utm_source" => "uriQuery__utm_source"
            "uriQuery__utm_campaign" => "uriQuery__utm_campaign"
            "uriQuery__utm_term" => "uriQuery__utm_term"
            "uriQuery__utm_content" => "uriQuery__utm_content"
            "uriQuery__yclid" => "uriQuery__yclid"
            "uriQuery__region" => "uriQuery__region"
        }
    }
 
}

pipelines.yml

# This file is where you define your pipelines. You can define multiple.
# For more information on multiple pipelines, see the documentation:
#   https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
 
- pipeline.id: log_web__filebeat_clickhouse
  path.config: "/etc/logstash/log_web__filebeat_clickhouse.conf"

ক্লিক হাউস লগ স্টোরেজ

সমস্ত সিস্টেমের লগগুলি একটি টেবিলে সংরক্ষণ করা হয় (নিবন্ধের শুরুতে দেখুন)। এটি অনুরোধ সম্পর্কে তথ্য সংরক্ষণ করার উদ্দেশ্যে করা হয়েছে: সমস্ত পরামিতি বিভিন্ন ফরম্যাটের জন্য একই রকম, যেমন IIS লগ, অ্যাপাচি এবং nginx লগ। অ্যাপ্লিকেশন লগগুলির জন্য, যেখানে, উদাহরণস্বরূপ, ত্রুটি, তথ্য বার্তা, সতর্কতা রেকর্ড করা হয়, উপযুক্ত কাঠামোর সাথে একটি পৃথক টেবিল সরবরাহ করা হবে (বর্তমানে নকশা পর্যায়ে)।

একটি টেবিল ডিজাইন করার সময়, প্রাথমিক কী (যার মাধ্যমে স্টোরেজের সময় ডেটা সাজানো হবে) সিদ্ধান্ত নেওয়া খুবই গুরুত্বপূর্ণ। ডেটা কম্প্রেশন এবং ক্যোয়ারী স্পিড এর উপর নির্ভর করে। আমাদের উদাহরণে, কী হল
অর্ডার করুন (fld_app_name, fld_app_module, logdatetime)
অর্থাৎ সিস্টেমের নাম অনুসারে সিস্টেম কম্পোনেন্টের নাম এবং ইভেন্টের তারিখ। প্রাথমিকভাবে, অনুষ্ঠানের তারিখটি প্রথমে এসেছিল। এটিকে শেষ জায়গায় নিয়ে যাওয়ার পরে, প্রশ্নগুলি প্রায় দ্বিগুণ দ্রুত কাজ করতে শুরু করে৷ প্রাথমিক কী পরিবর্তন করার জন্য টেবিলটি পুনরায় তৈরি করতে হবে এবং ডেটা পুনরায় লোড করতে হবে যাতে ক্লিকহাউস ডিস্কের ডেটা পুনরায় সাজাতে পারে। এটি একটি ভারী অপারেশন, তাই সাজানোর কীটিতে কী অন্তর্ভুক্ত করা উচিত সে সম্পর্কে অনেক চিন্তা করা ভাল।

এটাও লক্ষ করা উচিত যে লোকার্ডিনালিটি ডেটা টাইপ সাম্প্রতিক সংস্করণগুলিতে তুলনামূলকভাবে উপস্থিত হয়েছে। এটি ব্যবহার করার সময়, কম কার্ডিনালিটি (কয়েকটি বিকল্প) রয়েছে এমন ক্ষেত্রের জন্য সংকুচিত ডেটার আকার ব্যাপকভাবে হ্রাস করা হয়।

সংস্করণ 19.6 বর্তমানে ব্যবহার করা হচ্ছে এবং আমরা সর্বশেষ সংস্করণে আপডেট করার চেষ্টা করার পরিকল্পনা করছি। তাদের মধ্যে অ্যাডাপ্টিভ গ্রানুলারিটি, স্কিপিং সূচক এবং ডাবলডেল্টা কোডেক এর মতো চমৎকার বৈশিষ্ট্য রয়েছে।

ডিফল্টরূপে, ইনস্টলেশনের সময়, লগিং স্তর ট্রেস সেট করা হয়। লগগুলি ঘোরানো এবং সংরক্ষণাগারভুক্ত করা হয়, কিন্তু একই সময়ে তারা একটি গিগাবাইট পর্যন্ত প্রসারিত হয়। যদি কোন প্রয়োজন না হয়, তাহলে আপনি সতর্কতা স্তর সেট করতে পারেন, তারপর লগের আকার ব্যাপকভাবে হ্রাস করা হয়। লগিং সেটিং config.xml ফাইলে সেট করা আছে:

<!-- Possible levels: https://github.com/pocoproject/poco/blob/develop/Foundation/include/Poco/Logger. h#L105 -->
<level>warning</level>

কিছু দরকারী কমান্ড

Поскольку оригинальные пакеты установки собираются по Debian, то для других версий Linux необходимо использовать пакеты собранные компанией Altinity.
 
Вот по этой ссылке есть инструкции с ссылками на их репозиторий: https://www.altinity.com/blog/2017/12/18/logstash-with-clickhouse
sudo yum search clickhouse-server
sudo yum install clickhouse-server.noarch
  
1. проверка статуса
sudo systemctl status clickhouse-server
 
2. остановка сервера
sudo systemctl stop clickhouse-server
 
3. запуск сервера
sudo systemctl start clickhouse-server
 
Запуск для выполнения запросов в многострочном режиме (выполнение после знака ";")
clickhouse-client --multiline
clickhouse-client --multiline --host 127.0.0.1 --password pa55w0rd
clickhouse-client --multiline --host 127.0.0.1 --port 9440 --secure --user default --password pa55w0rd
 
Плагин кликлауза для логстеш в случае ошибки в одной строке сохраняет всю пачку в файл /tmp/log_web_failed.json
Можно вручную исправить этот файл и попробовать залить его в БД вручную:
clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /tmp/log_web_failed__fixed.json
 
sudo mv /etc/logstash/tmp/log_web_failed.json /etc/logstash/tmp/log_web_failed__fixed.json
sudo chown user_dev /etc/logstash/tmp/log_web_failed__fixed.json
sudo clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /etc/logstash/tmp/log_web_failed__fixed.json
sudo mv /etc/logstash/tmp/log_web_failed__fixed.json /etc/logstash/tmp/log_web_failed__fixed_.json
 
выход из командной строки
quit;
## Настройка TLS
https://www.altinity.com/blog/2019/3/5/clickhouse-networking-part-2
 
openssl s_client -connect log.domain.com:9440 < /dev/null

লগস্ট্যাশ FileBeat থেকে RabbitMQ সারিতে রাউটার লগ করুন

এই উপাদানটি ফাইলবিট থেকে RabbitMQ সারিতে আসা লগগুলিকে রুট করতে ব্যবহৃত হয়। এখানে দুটি পয়েন্ট আছে:

1. দুর্ভাগ্যবশত, RabbitMQ-তে সরাসরি লেখার জন্য FileBeat-এর কোনো আউটপুট প্লাগইন নেই। এবং এই ধরনের কার্যকারিতা, তাদের গিথুবের সমস্যা দ্বারা বিচার করা, বাস্তবায়নের জন্য পরিকল্পনা করা হয় না। কাফকার জন্য একটি প্লাগইন আছে, কিন্তু কিছু কারণে আমরা এটি বাড়িতে ব্যবহার করতে পারি না।
2. DMZ-এ লগ সংগ্রহের জন্য প্রয়োজনীয়তা রয়েছে। তাদের উপর ভিত্তি করে, লগগুলিকে প্রথমে সারিতে যোগ করতে হবে এবং তারপর LogStash বাইরে থেকে সারি থেকে এন্ট্রিগুলি পড়ে।

অতএব, এটি এমন ক্ষেত্রে যেখানে সার্ভারগুলি DMZ এ অবস্থিত যে একজনকে এইরকম একটি সামান্য জটিল স্কিম ব্যবহার করতে হবে। একটি উদাহরণ কনফিগারেশন এই মত দেখায়:

iis_w3c_logs__filebeat_rabbitmq.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/pki/tls/certs/app/ca.pem", "/etc/pki/tls/certs/app/ca-issuing.pem"]
        ssl_certificate => "/etc/pki/tls/certs/app/queue.domain.com.cer"
        ssl_key => "/etc/pki/tls/certs/app/queue.domain.com-pkcs8.key"
        ssl_verify_mode => "peer"
    }
 
}
 
output { 
  #stdout {codec => rubydebug}
 
    rabbitmq {
        host => "127.0.0.1"
        port => 5672
        exchange => "monitor.direct"
        exchange_type => "direct"
        key => "%{[fields][fld_app_name]}"
        user => "q-writer"
        password => "password"
        ssl => false
    }
}

খরগোশ এমকিউ। বার্তা সারি

এই উপাদানটি DMZ এ লগ এন্ট্রি বাফার করতে ব্যবহৃত হয়। ফাইলবিট → LogStash-এর একগুচ্ছ মাধ্যমে রেকর্ডিং করা হয়। LogStash এর মাধ্যমে DMZ এর বাইরে থেকে পড়া হয়। RabboitMQ এর মাধ্যমে কাজ করার সময়, প্রতি সেকেন্ডে প্রায় 4 হাজার বার্তা প্রক্রিয়া করা হয়।

বার্তা রাউটিং সিস্টেমের নাম দ্বারা কনফিগার করা হয়, অর্থাত্ FileBeat কনফিগারেশন ডেটার উপর ভিত্তি করে৷ সমস্ত বার্তা এক সারিতে যায়। যদি কোনো কারণে সারিবদ্ধ পরিষেবা বন্ধ করা হয়, তাহলে এটি বার্তাগুলির ক্ষতির দিকে পরিচালিত করবে না: FileBeats সংযোগ ত্রুটিগুলি পাবে এবং অস্থায়ীভাবে পাঠানো স্থগিত করবে। এবং LogStash যেটি সারি থেকে পড়ে সেটিও নেটওয়ার্ক ত্রুটিগুলি পাবে এবং সংযোগটি পুনরুদ্ধারের জন্য অপেক্ষা করবে৷ এই ক্ষেত্রে, ডেটা, অবশ্যই, আর ডাটাবেসে লেখা হবে না।

সারি তৈরি এবং কনফিগার করতে নিম্নলিখিত নির্দেশাবলী ব্যবহার করা হয়:

sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare exchange --vhost=/ name=monitor.direct type=direct sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare queue --vhost=/ name=web_log durable=true
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site1.domain.ru"
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site2.domain.ru"

গ্রাফনা। ড্যাশবোর্ড

এই উপাদানটি মনিটরিং ডেটা কল্পনা করতে ব্যবহৃত হয়। এই ক্ষেত্রে, আপনাকে Grafana 4.6+ প্লাগইনের জন্য ক্লিকহাউস ডেটাসোর্স ইনস্টল করতে হবে। ড্যাশবোর্ডে এসকিউএল ফিল্টার প্রক্রিয়াকরণের দক্ষতা উন্নত করতে আমাদের এটিকে কিছুটা পরিবর্তন করতে হয়েছিল।

উদাহরণস্বরূপ, আমরা ভেরিয়েবল ব্যবহার করি, এবং যদি সেগুলি ফিল্টার ক্ষেত্রে সেট করা না থাকে, তাহলে আমরা চাই যে ফর্মের কোথায় একটি শর্ত তৈরি না করা ( uriStem = » AND uriStem != » )। এই ক্ষেত্রে, ClickHouse ইউরিস্টেম কলামটি পড়বে। সাধারণভাবে, আমরা বিভিন্ন বিকল্প চেষ্টা করেছি এবং অবশেষে প্লাগইনটি সংশোধন করেছি ($valueIfEmpty ম্যাক্রো) যাতে একটি খালি মানের ক্ষেত্রে এটি 1 প্রদান করে, কলামটি উল্লেখ না করে।

এবং এখন আপনি গ্রাফের জন্য এই প্রশ্নটি ব্যবহার করতে পারেন

$columns(response, count(*) c) from $table where $adhoc
and $valueIfEmpty($fld_app_name, 1, fld_app_name = '$fld_app_name')
and $valueIfEmpty($fld_app_module, 1, fld_app_module = '$fld_app_module') and $valueIfEmpty($fld_server_name, 1, fld_server_name = '$fld_server_name') and $valueIfEmpty($uriStem, 1, uriStem like '%$uriStem%')
and $valueIfEmpty($clientRealIP, 1, clientRealIP = '$clientRealIP')

যা এই এসকিউএল-এ অনুবাদ করে (উল্লেখ্য যে খালি ইউরিস্টেম ক্ষেত্রগুলি মাত্র 1 এ রূপান্তরিত হয়েছে)

SELECT
t,
groupArray((response, c)) AS groupArr
FROM (
SELECT
(intDiv(toUInt32(logdatetime), 60) * 60) * 1000 AS t, response,
count(*) AS c FROM default.log_web
WHERE (logdate >= toDate(1565061982)) AND (logdatetime >= toDateTime(1565061982)) AND 1 AND (fld_app_name = 'site1.domain.ru') AND (fld_app_module = 'web') AND 1 AND 1 AND 1
GROUP BY
t, response
ORDER BY
t ASC,
response ASC
)
GROUP BY t ORDER BY t ASC

উপসংহার

ক্লিকহাউস ডাটাবেসের উপস্থিতি বাজারে একটি যুগান্তকারী ঘটনা হয়ে উঠেছে। এটা কল্পনা করা কঠিন ছিল যে, সম্পূর্ণ বিনামূল্যে, এক মুহূর্তের মধ্যে আমরা বড় ডেটা নিয়ে কাজ করার জন্য একটি শক্তিশালী এবং ব্যবহারিক টুল দিয়ে সজ্জিত হয়েছি। অবশ্যই, ক্রমবর্ধমান চাহিদার সাথে (উদাহরণস্বরূপ, একাধিক সার্ভারে শার্ডিং এবং প্রতিলিপি), স্কিমটি আরও জটিল হয়ে উঠবে। কিন্তু প্রথম ইম্প্রেশনে, এই ডাটাবেসের সাথে কাজ করা খুবই আনন্দদায়ক। এটি দেখা যায় যে পণ্যটি "মানুষের জন্য" তৈরি করা হয়েছে।

ইলাস্টিক সার্চের তুলনায়, লগ সংরক্ষণ এবং প্রক্রিয়াকরণের খরচ পাঁচ থেকে দশ গুণ কম হবে বলে অনুমান করা হয়। অন্য কথায়, যদি বর্তমান পরিমাণ ডেটার জন্য আমাদের বেশ কয়েকটি মেশিনের ক্লাস্টার সেট আপ করতে হয়, তাহলে ক্লিকহাউস ব্যবহার করার সময়, একটি কম-পাওয়ার মেশিন আমাদের জন্য যথেষ্ট। হ্যাঁ, অবশ্যই, ইলাস্টিক সার্চে অন-ডিস্ক ডেটা কম্প্রেশন প্রক্রিয়া এবং অন্যান্য বৈশিষ্ট্য রয়েছে যা উল্লেখযোগ্যভাবে সম্পদ খরচ কমাতে পারে, কিন্তু ক্লিকহাউসের তুলনায়, এটি আরও ব্যয়বহুল হবে।

আমাদের পক্ষ থেকে কোনো বিশেষ অপ্টিমাইজেশন ছাড়াই, ডিফল্ট সেটিংসে, ডেটা লোড করা এবং ডাটাবেস থেকে নির্বাচন করা একটি আশ্চর্যজনক গতিতে কাজ করে। আমাদের কাছে এখনও বেশি ডেটা নেই (প্রায় 200 মিলিয়ন রেকর্ড), তবে সার্ভারটি নিজেই দুর্বল। লগ সংরক্ষণের সাথে সম্পর্কিত নয় এমন অন্যান্য উদ্দেশ্যে আমরা ভবিষ্যতে এই টুলটি ব্যবহার করতে পারি। উদাহরণস্বরূপ, এন্ড-টু-এন্ড অ্যানালিটিক্সের জন্য, নিরাপত্তার ক্ষেত্রে, মেশিন লার্নিং।

শেষে, সুবিধা এবং অসুবিধা সম্পর্কে একটু।

Минусы

1. বড় ব্যাচে রেকর্ড লোড হচ্ছে। একদিকে, এটি একটি বৈশিষ্ট্য, তবে আপনাকে এখনও বাফারিং রেকর্ডের জন্য অতিরিক্ত উপাদান ব্যবহার করতে হবে। এই কাজটি সর্বদা সহজ নয়, তবে এখনও সমাধানযোগ্য। এবং আমি স্কিম সহজ করতে চাই.
2. কিছু বহিরাগত কার্যকারিতা বা নতুন বৈশিষ্ট্য প্রায়ই নতুন সংস্করণে বিরতি. এটি একটি নতুন সংস্করণে আপগ্রেড করার ইচ্ছা হ্রাস করে উদ্বেগের কারণ হয়৷ উদাহরণস্বরূপ, কাফকা টেবিল ইঞ্জিন একটি খুব দরকারী বৈশিষ্ট্য যা আপনাকে সরাসরি কাফকা থেকে ইভেন্ট পড়তে দেয়, গ্রাহকদের বাস্তবায়ন ছাড়াই। কিন্তু গিথুবে ইস্যুগুলির সংখ্যা দ্বারা বিচার করে, আমরা এখনও এই ইঞ্জিনটি উত্পাদনে ব্যবহার না করার বিষয়ে সতর্ক আছি। যাইহোক, আপনি যদি পাশের দিকে আকস্মিক অঙ্গভঙ্গি না করেন এবং প্রধান কার্যকারিতা ব্যবহার করেন তবে এটি স্থিরভাবে কাজ করে।

Плюсы

1. মন্থর করে না।
2. স্বল্প প্রবেশ প্রবেশদ্বার
3. মুক্ত উৎস.
4. ফ্রি
5. স্কেল ভাল করে (বক্সের বাইরে ভাগ করা/প্রতিলিপি)
6. যোগাযোগ মন্ত্রক দ্বারা সুপারিশকৃত রাশিয়ান সফ্টওয়্যারের রেজিস্টারে অন্তর্ভুক্ত।
7. Yandex থেকে সরকারী সমর্থন উপস্থিতি.

উত্স: www.habr.com