മനുഷ്യർക്കുള്ള ക്ലിക്ക്ഹൗസ് ഡാറ്റാബേസ്, അല്ലെങ്കിൽ ഏലിയൻ ടെക്നോളജീസ്

അലക്സി ലിസുനോവ്, എംകെബിയുടെ ഇൻഫർമേഷൻ ടെക്നോളജീസ് ഡയറക്ടറേറ്റിന്റെ റിമോട്ട് സർവീസ് ചാനലുകൾക്കായുള്ള കോമ്പറ്റൻസ് സെന്റർ മേധാവി

ELK സ്റ്റാക്കിന് (ElasticSearch, Logstash, Kibana) ഒരു ബദലായി, ലോഗുകൾക്കായുള്ള ഒരു ഡാറ്റ സ്റ്റോറായി ClickHouse ഡാറ്റാബേസ് ഉപയോഗിക്കുന്നതിനെക്കുറിച്ച് ഞങ്ങൾ ഗവേഷണം നടത്തുകയാണ്.

ഈ ലേഖനത്തിൽ, ക്ലിക്ക്ഹൗസ് ഡാറ്റാബേസ് ഉപയോഗിച്ചതിന്റെ അനുഭവത്തെക്കുറിച്ചും പൈലറ്റ് പ്രവർത്തനത്തിന്റെ പ്രാഥമിക ഫലങ്ങളെക്കുറിച്ചും സംസാരിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. ഫലങ്ങൾ ശ്രദ്ധേയമായിരുന്നു എന്നത് ഉടനടി ശ്രദ്ധിക്കേണ്ടതാണ്.

അടുത്തതായി, ഞങ്ങളുടെ സിസ്റ്റം എങ്ങനെയാണ് കോൺഫിഗർ ചെയ്തിരിക്കുന്നതെന്നും അതിൽ അടങ്ങിയിരിക്കുന്ന ഘടകങ്ങൾ എന്താണെന്നും ഞങ്ങൾ കൂടുതൽ വിശദമായി വിവരിക്കും. എന്നാൽ ഇപ്പോൾ ഈ ഡാറ്റാബേസിനെക്കുറിച്ച് മൊത്തത്തിൽ കുറച്ച് സംസാരിക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു, എന്തുകൊണ്ട് ഇത് ശ്രദ്ധിക്കേണ്ടതാണ്. Yandex-ൽ നിന്നുള്ള ഉയർന്ന പ്രകടനമുള്ള അനലിറ്റിക്കൽ കോളം ഡാറ്റാബേസാണ് ClickHouse ഡാറ്റാബേസ്. ഇത് Yandex സേവനങ്ങളിൽ ഉപയോഗിക്കുന്നു, തുടക്കത്തിൽ ഇത് Yandex.Metrica-യുടെ പ്രധാന ഡാറ്റ സംഭരണമാണ്. ഓപ്പൺ സോഴ്സ് സിസ്റ്റം, സൗജന്യം. ഒരു ഡവലപ്പറുടെ വീക്ഷണകോണിൽ നിന്ന്, അവർ അത് എങ്ങനെ നടപ്പിലാക്കി എന്ന് ഞാൻ എപ്പോഴും ചിന്തിച്ചിട്ടുണ്ട്, കാരണം അതിശയകരമാംവിധം വലിയ ഡാറ്റയുണ്ട്. മെട്രിക്കയുടെ യൂസർ ഇന്റർഫേസ് തന്നെ വളരെ വഴക്കമുള്ളതും വേഗതയുള്ളതുമാണ്. ഈ ഡാറ്റാബേസുമായുള്ള ആദ്യ പരിചയത്തിൽ, ഇംപ്രഷൻ ഇതാണ്: “ശരി, ഒടുവിൽ! ജനങ്ങൾക്ക് വേണ്ടി ഉണ്ടാക്കിയത്! ഇൻസ്റ്റാളേഷൻ പ്രക്രിയയിൽ നിന്ന് ആരംഭിച്ച് അഭ്യർത്ഥനകൾ അയയ്ക്കുന്നതിൽ അവസാനിക്കുന്നു.

ഈ ഡാറ്റാബേസിന് എൻട്രി ത്രെഷോൾഡ് വളരെ കുറവാണ്. ഒരു ശരാശരി വൈദഗ്ധ്യമുള്ള ഡെവലപ്പർക്ക് പോലും ഏതാനും മിനിറ്റുകൾക്കുള്ളിൽ ഈ ഡാറ്റാബേസ് ഇൻസ്റ്റാൾ ചെയ്യാനും അത് ഉപയോഗിക്കാൻ തുടങ്ങാനും കഴിയും. എല്ലാം വ്യക്തമായി പ്രവർത്തിക്കുന്നു. ലിനക്സിൽ പുതുതായി വരുന്ന ആളുകൾക്ക് പോലും ഇൻസ്റ്റാളേഷൻ വേഗത്തിൽ കൈകാര്യം ചെയ്യാനും ലളിതമായ പ്രവർത്തനങ്ങൾ ചെയ്യാനും കഴിയും. നേരത്തെ, ബിഗ് ഡാറ്റ, ഹഡൂപ്പ്, ഗൂഗിൾ ബിഗ്‌ടേബിൾ, എച്ച്‌ഡിഎഫ്‌എസ് എന്നീ വാക്കുകൾ ഉപയോഗിച്ച്, ഒരു സാധാരണ ഡെവലപ്പർക്ക് ചില ടെറാബൈറ്റുകൾ, പെറ്റാബൈറ്റുകൾ എന്നിവയെക്കുറിച്ചാണ് ആശയങ്ങൾ ഉണ്ടായിരുന്നതെങ്കിൽ, ഈ സിസ്റ്റങ്ങളുടെ ക്രമീകരണങ്ങളിലും വികസനത്തിലും ചില അതിമാനുഷികൾ ഏർപ്പെട്ടിരിക്കുന്നു, തുടർന്ന് ക്ലിക്ക്ഹൗസിന്റെ വരവോടെ ഡാറ്റാബേസ്, ഞങ്ങൾക്ക് ലളിതവും മനസ്സിലാക്കാവുന്നതുമായ ഒരു ഉപകരണം ലഭിച്ചു, അത് ഉപയോഗിച്ച് നിങ്ങൾക്ക് മുമ്പ് നേടാനാകാത്ത ഒരു ശ്രേണി പരിഹരിക്കാൻ കഴിയും. ഇത് ഇൻസ്റ്റാൾ ചെയ്യാൻ ശരാശരി ഒരു മെഷീനും അഞ്ച് മിനിറ്റും മാത്രമേ എടുക്കൂ. അതായത്, ഞങ്ങൾക്ക് അത്തരമൊരു ഡാറ്റാബേസ് ലഭിച്ചു, ഉദാഹരണത്തിന്, MySql, പക്ഷേ കോടിക്കണക്കിന് റെക്കോർഡുകൾ സംഭരിക്കുന്നതിന് മാത്രം! SQL ഭാഷയുള്ള ഒരു പ്രത്യേക സൂപ്പർ ആർക്കൈവർ. അന്യഗ്രഹജീവികളുടെ ആയുധങ്ങൾ ആളുകൾക്ക് കൈമാറിയതുപോലെയാണിത്.

ഞങ്ങളുടെ ലോഗിംഗ് സിസ്റ്റത്തെക്കുറിച്ച്

വിവരങ്ങൾ ശേഖരിക്കുന്നതിന്, സ്റ്റാൻഡേർഡ് ഫോർമാറ്റ് വെബ് ആപ്ലിക്കേഷനുകളുടെ IIS ലോഗ് ഫയലുകൾ ഉപയോഗിക്കുന്നു (ഞങ്ങളും നിലവിൽ ആപ്ലിക്കേഷൻ ലോഗുകൾ പാഴ്‌സ് ചെയ്യുന്നു, പക്ഷേ പൈലറ്റ് ഘട്ടത്തിലെ പ്രധാന ലക്ഷ്യം IIS ലോഗുകൾ ശേഖരിക്കുക എന്നതാണ്).

വിവിധ കാരണങ്ങളാൽ, ഞങ്ങൾക്ക് ELK സ്റ്റാക്ക് പൂർണ്ണമായും ഉപേക്ഷിക്കാൻ കഴിഞ്ഞില്ല, കൂടാതെ ഞങ്ങൾ LogStash, Filebeat ഘടകങ്ങൾ ഉപയോഗിക്കുന്നത് തുടരുന്നു, അവ നന്നായി തെളിയിക്കുകയും വിശ്വസനീയമായും പ്രവചനാതീതമായും പ്രവർത്തിക്കുകയും ചെയ്യുന്നു.

പൊതുവായ ലോഗിംഗ് സ്കീം ചുവടെയുള്ള ചിത്രത്തിൽ കാണിച്ചിരിക്കുന്നു:

ക്ലിക്ക്ഹൗസ് ഡാറ്റാബേസിലേക്ക് ഡാറ്റ എഴുതുന്നതിന്റെ ഒരു സവിശേഷത, വലിയ ബാച്ചുകളിൽ റെക്കോർഡുകൾ ഇടയ്ക്കിടെ (സെക്കൻഡിൽ ഒരിക്കൽ) ചേർക്കുന്നതാണ്. ClickHouse ഡാറ്റാബേസിൽ ആദ്യമായി പ്രവർത്തിക്കുമ്പോൾ നിങ്ങൾ നേരിടുന്ന ഏറ്റവും "പ്രശ്നമുള്ള" ഭാഗമാണിത്: സ്കീം കുറച്ചുകൂടി സങ്കീർണ്ണമാകുന്നു.
ClickHouse-ലേക്ക് നേരിട്ട് ഡാറ്റ ചേർക്കുന്ന LogStash-നുള്ള പ്ലഗിൻ ഇവിടെ വളരെയധികം സഹായിച്ചു. ഡാറ്റാബേസിന്റെ അതേ സെർവറിൽ ഈ ഘടകം വിന്യസിച്ചിരിക്കുന്നു. അതിനാൽ, പൊതുവായി പറഞ്ഞാൽ, ഇത് ചെയ്യാൻ ശുപാർശ ചെയ്യുന്നില്ല, പക്ഷേ ഒരു പ്രായോഗിക കാഴ്ചപ്പാടിൽ, ഒരേ സെർവറിൽ വിന്യസിച്ചിരിക്കുമ്പോൾ പ്രത്യേക സെർവറുകൾ നിർമ്മിക്കാതിരിക്കാൻ. ഡാറ്റാബേസുമായി ബന്ധപ്പെട്ട പരാജയങ്ങളോ ഉറവിട വൈരുദ്ധ്യങ്ങളോ ഞങ്ങൾ നിരീക്ഷിച്ചിട്ടില്ല. കൂടാതെ, പിശകുകളുടെ കാര്യത്തിൽ പ്ലഗിൻ വീണ്ടും ശ്രമിക്കാനുള്ള സംവിധാനം ഉണ്ടെന്ന് ശ്രദ്ധിക്കേണ്ടതാണ്. പിശകുകളുണ്ടെങ്കിൽ, ചേർക്കാൻ കഴിയാത്ത ഒരു ബാച്ച് ഡാറ്റ പ്ലഗിൻ ഡിസ്കിലേക്ക് എഴുതുന്നു (ഫയൽ ഫോർമാറ്റ് സൗകര്യപ്രദമാണ്: എഡിറ്റ് ചെയ്തതിന് ശേഷം, ക്ലിക്ക്ഹൗസ്-ക്ലയന്റ് ഉപയോഗിച്ച് നിങ്ങൾക്ക് എളുപ്പത്തിൽ തിരുത്തിയ ബാച്ച് ചേർക്കാൻ കഴിയും).

സ്കീമിൽ ഉപയോഗിക്കുന്ന സോഫ്റ്റ്വെയറിന്റെ പൂർണ്ണമായ ലിസ്റ്റ് പട്ടികയിൽ അവതരിപ്പിച്ചിരിക്കുന്നു:

ഉപയോഗിച്ച സോഫ്റ്റ്‌വെയറിന്റെ ലിസ്റ്റ്

ശീർഷകം

വിവരണം

വിതരണ ലിങ്ക്

NGINX

പോർട്ടുകൾ വഴിയുള്ള ആക്‌സസ് നിയന്ത്രിക്കാനും അംഗീകാരം ഓർഗനൈസ് ചെയ്യാനും റിവേഴ്സ്-പ്രോക്സി

നിലവിൽ പദ്ധതിയിൽ ഉപയോഗിക്കുന്നില്ല

https://nginx.org/ru/download.html

https://nginx.org/download/nginx-1.16.0.tar.gz

ഫയൽബീറ്റ്

ഫയൽ ലോഗുകളുടെ കൈമാറ്റം.

https://www.elastic.co/downloads/beats/filebeat (വിൻഡോസ് 64ബിറ്റിനുള്ള വിതരണ കിറ്റ്).

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-windows-x86_64.zip

ലോഗ്സ്റ്റാഷ്

ലോഗ് കളക്ടർ.

FileBeat-ൽ നിന്ന് ലോഗുകൾ ശേഖരിക്കുന്നതിനും RabbitMQ ക്യൂവിൽ നിന്ന് ലോഗുകൾ ശേഖരിക്കുന്നതിനും ഉപയോഗിക്കുന്നു (DMZ-ൽ ഉള്ള സെർവറുകൾക്ക്.)

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

ലോഗ്സ്റ്റാഷ്-ഔട്ട്പുട്ട്-ക്ലിക്ക്ഹൗസ്

ബാച്ചുകളായി ClickHouse ഡാറ്റാബേസിലേക്ക് ലോഗുകൾ കൈമാറുന്നതിനുള്ള Loagstash പ്ലഗിൻ

https://github.com/mikechris/logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin install logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin install logstash-filter-prune

/usr/share/logstash/bin/logstash-plugin logstash-filter-multiline ഇൻസ്റ്റാൾ ചെയ്യുക

ക്ലിക്ക്ഹ ouse സ്

ലോഗ് സംഭരണം https://clickhouse.yandex/docs/ru/

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-19.5.3.8-1.el7.x86_64.rpm

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-client-19.5.3.8-1.el7.x86_64.rpm

കുറിപ്പ്. 2018 ഓഗസ്റ്റ് മുതൽ, RHEL നായുള്ള "സാധാരണ" rpm ബിൽഡുകൾ Yandex റിപ്പോസിറ്ററിയിൽ പ്രത്യക്ഷപ്പെട്ടു, അതിനാൽ നിങ്ങൾക്ക് അവ ഉപയോഗിക്കാൻ ശ്രമിക്കാം. ഇൻസ്റ്റാളേഷൻ സമയത്ത്, ഞങ്ങൾ Altinity നിർമ്മിച്ച പാക്കേജുകളാണ് ഉപയോഗിച്ചിരുന്നത്.

ഗ്രാഫാന

ലോഗ് ദൃശ്യവൽക്കരണം. ഡാഷ്ബോർഡുകൾ സജ്ജീകരിക്കുന്നു

https://grafana.com/

https://grafana.com/grafana/download

Redhat & Centos(64 Bit) - ഏറ്റവും പുതിയ പതിപ്പ്

ഗ്രാഫാന 4.6+ എന്നതിനായുള്ള ക്ലിക്ക്ഹൗസ് ഡാറ്റാസോഴ്സ്

ClickHouse ഡാറ്റാ ഉറവിടത്തോടുകൂടിയ ഗ്രാഫാനയ്ക്കുള്ള പ്ലഗിൻ

https://grafana.com/plugins/vertamedia-clickhouse-datasource

https://grafana.com/api/plugins/vertamedia-clickhouse-datasource/versions/1.8.1/download

ലോഗ്സ്റ്റാഷ്

FileBeat-ൽ നിന്ന് RabbitMQ ക്യൂവിലേക്ക് റൂട്ടർ ലോഗ് ചെയ്യുക.

കുറിപ്പ്. നിർഭാഗ്യവശാൽ, FileBeat-ന് RabbitMQ-ലേക്ക് നേരിട്ട് ഔട്ട്പുട്ട് ഇല്ല, അതിനാൽ Logstash-ന്റെ രൂപത്തിൽ ഒരു ഇന്റർമീഡിയറ്റ് ലിങ്ക് ആവശ്യമാണ്

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

RabbitMQ

സന്ദേശ ക്യൂ. ഇതാണ് DMZ-ലെ ലോഗ് ബഫർ

https://www.rabbitmq.com/download.html

https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.14/rabbitmq-server-3.7.14-1.el7.noarch.rpm

എർലാങ് റൺടൈം (RabbitMQ-ന് ആവശ്യമാണ്)

എർലാംഗ് റൺടൈം. RabbitMQ പ്രവർത്തിക്കാൻ ആവശ്യമാണ്

http://www.erlang.org/download.html

https://www.rabbitmq.com/install-rpm.html#install-erlang http://www.erlang.org/downloads/21.3

ClickHouse ഡാറ്റാബേസുമായുള്ള സെർവർ കോൺഫിഗറേഷൻ ഇനിപ്പറയുന്ന പട്ടികയിൽ അവതരിപ്പിച്ചിരിക്കുന്നു:

ശീർഷകം

വില

അഭിപായപ്പെടുക

കോൺഫിഗറേഷൻ

HDD: 40GB
റാം: 8GB
പ്രോസസർ: കോർ 2 2Ghz

ClickHouse ഡാറ്റാബേസ് പ്രവർത്തിപ്പിക്കുന്നതിനുള്ള നുറുങ്ങുകൾ ശ്രദ്ധിക്കേണ്ടത് ആവശ്യമാണ് (https://clickhouse.yandex/docs/ru/operations/tips/)

പൊതുവായ സിസ്റ്റം സോഫ്റ്റ്വെയർ

OS: Red Hat Enterprise Linux സെർവർ (Maipo)

JRE (Java 8)

 

നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഇതൊരു സാധാരണ വർക്ക്സ്റ്റേഷനാണ്.

ലോഗുകൾ സംഭരിക്കുന്നതിനുള്ള പട്ടികയുടെ ഘടന ഇപ്രകാരമാണ്:

log_web.sql

CREATE TABLE log_web (
  logdate Date,
  logdatetime DateTime CODEC(Delta, LZ4HC),
   
  fld_log_file_name LowCardinality( String ),
  fld_server_name LowCardinality( String ),
  fld_app_name LowCardinality( String ),
  fld_app_module LowCardinality( String ),
  fld_website_name LowCardinality( String ),
 
  serverIP LowCardinality( String ),
  method LowCardinality( String ),
  uriStem String,
  uriQuery String,
  port UInt32,
  username LowCardinality( String ),
  clientIP String,
  clientRealIP String,
  userAgent String,
  referer String,
  response String,
  subresponse String,
  win32response String,
  timetaken UInt64
   
  , uriQuery__utm_medium String
  , uriQuery__utm_source String
  , uriQuery__utm_campaign String
  , uriQuery__utm_term String
  , uriQuery__utm_content String
  , uriQuery__yclid String
  , uriQuery__region String
 
) Engine = MergeTree()
PARTITION BY toYYYYMM(logdate)
ORDER BY (fld_app_name, fld_app_module, logdatetime)
SETTINGS index_granularity = 8192;

ഞങ്ങൾ ഡിഫോൾട്ട് പാർട്ടീഷനിംഗും (മാസം അനുസരിച്ച്) ഇൻഡക്സ് ഗ്രാനുലാരിറ്റിയും ഉപയോഗിക്കുന്നു. എല്ലാ ഫീൽഡുകളും പ്രായോഗികമായി http അഭ്യർത്ഥനകൾ ലോഗ് ചെയ്യുന്നതിനുള്ള IIS ലോഗ് എൻട്രികളുമായി പൊരുത്തപ്പെടുന്നു. വെവ്വേറെ, utm-ടാഗുകൾ സംഭരിക്കുന്നതിന് പ്രത്യേക ഫീൽഡുകൾ ഉണ്ടെന്ന് ഞങ്ങൾ ശ്രദ്ധിക്കുന്നു (ക്വറി സ്ട്രിംഗ് ഫീൽഡിൽ നിന്ന് പട്ടികയിലേക്ക് തിരുകുന്ന ഘട്ടത്തിൽ അവ പാഴ്‌സ് ചെയ്യുന്നു).

കൂടാതെ, സിസ്റ്റങ്ങൾ, ഘടകങ്ങൾ, സെർവറുകൾ എന്നിവയെക്കുറിച്ചുള്ള വിവരങ്ങൾ സംഭരിക്കുന്നതിന് നിരവധി സിസ്റ്റം ഫീൽഡുകൾ പട്ടികയിൽ ചേർത്തിട്ടുണ്ട്. ഈ ഫീൽഡുകളുടെ വിവരണത്തിന് താഴെയുള്ള പട്ടിക കാണുക. ഒരു പട്ടികയിൽ, ഞങ്ങൾ നിരവധി സിസ്റ്റങ്ങൾക്കായി ലോഗുകൾ സംഭരിക്കുന്നു.

ശീർഷകം

വിവരണം

ഉദാഹരണം:

fld_app_name

ആപ്ലിക്കേഷൻ/സിസ്റ്റത്തിന്റെ പേര്
സാധുവായ മൂല്യങ്ങൾ:

• site1.domain.com ബാഹ്യ സൈറ്റ് 1
• site2.domain.com ബാഹ്യ സൈറ്റ് 2
• ആന്തരിക-site1.domain.local ആന്തരിക സൈറ്റ് 1

site1.domain.com

fld_app_module

സിസ്റ്റം മൊഡ്യൂൾ
സാധുവായ മൂല്യങ്ങൾ:

• വെബ് - വെബ്സൈറ്റ്
• svc - വെബ് സൈറ്റ് സേവനം
• intgr - ഇന്റഗ്രേഷൻ വെബ് സേവനം
• ബോ - അഡ്മിൻ (ബാക്ക് ഓഫീസ്)

വെബ്

fld_website_name

IIS-ൽ സൈറ്റിന്റെ പേര്

ഒരു സെർവറിൽ നിരവധി സിസ്റ്റങ്ങൾ വിന്യസിക്കാൻ കഴിയും, അല്ലെങ്കിൽ ഒരു സിസ്റ്റം മൊഡ്യൂളിന്റെ നിരവധി സന്ദർഭങ്ങൾ പോലും

വെബ് മെയിൻ

fld_server_name

സെർവറിന്റെ പേര്

web1.domain.com

fld_log_file_name

സെർവറിലെ ലോഗ് ഫയലിലേക്കുള്ള പാത

സി:inetpublogsLogFiles
W3SVC1u_ex190711.log

ഗ്രാഫാനയിൽ ഗ്രാഫുകൾ കാര്യക്ഷമമായി നിർമ്മിക്കാൻ ഇത് നിങ്ങളെ അനുവദിക്കുന്നു. ഉദാഹരണത്തിന്, ഒരു പ്രത്യേക സിസ്റ്റത്തിന്റെ മുൻവശത്ത് നിന്നുള്ള അഭ്യർത്ഥനകൾ കാണുക. ഇത് Yandex.Metrica ലെ സൈറ്റ് കൗണ്ടറിന് സമാനമാണ്.

രണ്ട് മാസത്തെ ഡാറ്റാബേസിന്റെ ഉപയോഗത്തെക്കുറിച്ചുള്ള ചില സ്ഥിതിവിവരക്കണക്കുകൾ ഇതാ.

സിസ്റ്റങ്ങളും അവയുടെ ഘടകങ്ങളും ഉപയോഗിച്ച് തകർത്ത റെക്കോർഡുകളുടെ എണ്ണം

SELECT
    fld_app_name,
    fld_app_module,
    count(fld_app_name) AS rows_count
FROM log_web
GROUP BY
    fld_app_name,
    fld_app_module
    WITH TOTALS
ORDER BY
    fld_app_name ASC,
    rows_count DESC
 
┌─fld_app_name─────┬─fld_app_module─┬─rows_count─┐
│ site1.domain.ru  │ web            │     131441 │
│ site2.domain.ru  │ web            │    1751081 │
│ site3.domain.ru  │ web            │  106887543 │
│ site3.domain.ru  │ svc            │   44908603 │
│ site3.domain.ru  │ intgr          │    9813911 │
│ site4.domain.ru  │ web            │     772095 │
│ site5.domain.ru  │ web            │   17037221 │
│ site5.domain.ru  │ intgr          │     838559 │
│ site5.domain.ru  │ bo             │       7404 │
│ site6.domain.ru  │ web            │     595877 │
│ site7.domain.ru  │ web            │   27778858 │
└──────────────────┴────────────────┴────────────┘
 
Totals:
┌─fld_app_name─┬─fld_app_module─┬─rows_count─┐
│              │                │  210522593 │
└──────────────┴────────────────┴────────────┘
 
11 rows in set. Elapsed: 4.874 sec. Processed 210.52 million rows, 421.67 MB (43.19 million rows/s., 86.51 MB/s.)

ഡിസ്കിലെ ഡാറ്റയുടെ അളവ്

SELECT
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed,
    sum(rows) AS total_rows
FROM system.parts
WHERE table = 'log_web'
 
┌─uncompressed─┬─compressed─┬─total_rows─┐
│ 54.50 GiB    │ 4.86 GiB   │  211427094 │
└──────────────┴────────────┴────────────┘
 
1 rows in set. Elapsed: 0.035 sec.

കോളങ്ങളിലെ ഡാറ്റ കംപ്രഷൻ ഡിഗ്രി

SELECT
    name,
    formatReadableSize(data_uncompressed_bytes) AS uncompressed,
    formatReadableSize(data_compressed_bytes) AS compressed,
    data_uncompressed_bytes / data_compressed_bytes AS compress_ratio
FROM system.columns
WHERE table = 'log_web'
 
┌─name───────────────────┬─uncompressed─┬─compressed─┬─────compress_ratio─┐
│ logdate                │ 401.53 MiB   │ 1.80 MiB   │ 223.16665968777315 │
│ logdatetime            │ 803.06 MiB   │ 35.91 MiB  │ 22.363966401202305 │
│ fld_log_file_name      │ 220.66 MiB   │ 2.60 MiB   │  84.99905736932571 │
│ fld_server_name        │ 201.54 MiB   │ 50.63 MiB  │  3.980924816977078 │
│ fld_app_name           │ 201.17 MiB   │ 969.17 KiB │ 212.55518183686877 │
│ fld_app_module         │ 201.17 MiB   │ 968.60 KiB │ 212.67805817411906 │
│ fld_website_name       │ 201.54 MiB   │ 1.24 MiB   │  162.7204926761546 │
│ serverIP               │ 201.54 MiB   │ 50.25 MiB  │  4.010824061219731 │
│ method                 │ 201.53 MiB   │ 43.64 MiB  │  4.617721053304486 │
│ uriStem                │ 5.13 GiB     │ 832.51 MiB │  6.311522291936919 │
│ uriQuery               │ 2.58 GiB     │ 501.06 MiB │  5.269731450124478 │
│ port                   │ 803.06 MiB   │ 3.98 MiB   │ 201.91673864241824 │
│ username               │ 318.08 MiB   │ 26.93 MiB  │ 11.812513794583598 │
│ clientIP               │ 2.35 GiB     │ 82.59 MiB  │ 29.132328640073343 │
│ clientRealIP           │ 2.49 GiB     │ 465.05 MiB │  5.478382297052563 │
│ userAgent              │ 18.34 GiB    │ 764.08 MiB │  24.57905114484208 │
│ referer                │ 14.71 GiB    │ 1.37 GiB   │ 10.736792723669906 │
│ response               │ 803.06 MiB   │ 83.81 MiB  │  9.582334090987247 │
│ subresponse            │ 399.87 MiB   │ 1.83 MiB   │  218.4831068635027 │
│ win32response          │ 407.86 MiB   │ 7.41 MiB   │ 55.050315514606815 │
│ timetaken              │ 1.57 GiB     │ 402.06 MiB │ 3.9947395692010637 │
│ uriQuery__utm_medium   │ 208.17 MiB   │ 12.29 MiB  │ 16.936148912472955 │
│ uriQuery__utm_source   │ 215.18 MiB   │ 13.00 MiB  │ 16.548367623199912 │
│ uriQuery__utm_campaign │ 381.46 MiB   │ 37.94 MiB  │ 10.055156353418509 │
│ uriQuery__utm_term     │ 231.82 MiB   │ 10.78 MiB  │ 21.502540454070672 │
│ uriQuery__utm_content  │ 441.34 MiB   │ 87.60 MiB  │  5.038260760449327 │
│ uriQuery__yclid        │ 216.88 MiB   │ 16.58 MiB  │  13.07721335008116 │
│ uriQuery__region       │ 204.35 MiB   │ 9.49 MiB   │  21.52661903446796 │
└────────────────────────┴──────────────┴────────────┴────────────────────┘
 
28 rows in set. Elapsed: 0.005 sec.

ഉപയോഗിച്ച ഘടകങ്ങളുടെ വിവരണം

ഫയൽബീറ്റ്. ഫയൽ ലോഗുകൾ കൈമാറുന്നു

ഈ ഘടകം ഡിസ്കിലെ ലോഗ് ഫയലുകളിലേക്കുള്ള മാറ്റങ്ങൾ ട്രാക്ക് ചെയ്യുകയും വിവരങ്ങൾ LogStash-ലേക്ക് കൈമാറുകയും ചെയ്യുന്നു. ലോഗ് ഫയലുകൾ എഴുതിയിരിക്കുന്ന എല്ലാ സെർവറുകളിലും ഇൻസ്റ്റാൾ ചെയ്തു (സാധാരണയായി IIS). ടെയിൽ മോഡിൽ പ്രവർത്തിക്കുന്നു (അതായത്, ചേർത്ത രേഖകൾ മാത്രം ഫയലിലേക്ക് മാറ്റുന്നു). എന്നാൽ പ്രത്യേകം മുഴുവൻ ഫയലുകളും ട്രാൻസ്ഫർ ചെയ്യാൻ ഇത് കോൺഫിഗർ ചെയ്യാവുന്നതാണ്. മുൻ മാസങ്ങളിൽ നിന്നുള്ള ഡാറ്റ ഡൗൺലോഡ് ചെയ്യേണ്ടിവരുമ്പോൾ ഇത് ഉപയോഗപ്രദമാണ്. ലോഗ് ഫയൽ ഒരു ഫോൾഡറിൽ ഇടുക, അത് മുഴുവനായി വായിക്കും.

സേവനം നിർത്തുമ്പോൾ, ഡാറ്റ ഇനി സ്റ്റോറേജിലേക്ക് കൈമാറ്റം ചെയ്യപ്പെടില്ല.

ഒരു ഉദാഹരണ കോൺഫിഗറേഷൻ ഇതുപോലെ കാണപ്പെടുന്നു:

filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/W3SVC1/*.log
  exclude_files: ['.gz$','.zip$']
  tail_files: true
  ignore_older: 24h
  fields:
    fld_server_name: "site1.domain.ru"
    fld_app_name: "site1.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
 
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/__Import/access_log-*
  exclude_files: ['.gz$','.zip$']
  tail_files: false
  fields:
    fld_server_name: "site2.domain.ru"
    fld_app_name: "site2.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
    fld_logformat: "logformat__apache"
 
 
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  reload.period: 2s
 
output.logstash:
  hosts: ["log.domain.com:5044"]
 
  ssl.enabled: true
  ssl.certificate_authorities: ["C:/filebeat/certs/ca.pem", "C:/filebeat/certs/ca-issuing.pem"]
  ssl.certificate: "C:/filebeat/certs/site1.domain.ru.cer"
  ssl.key: "C:/filebeat/certs/site1.domain.ru.key"
 
#================================ Processors =====================================
 
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

ലോഗ്സ്റ്റാഷ്. ലോഗ് കളക്ടർ

FileBeat-ൽ നിന്ന് (അല്ലെങ്കിൽ RabbitMQ ക്യൂ വഴി) ലോഗ് എൻട്രികൾ സ്വീകരിക്കുന്നതിനാണ് ഈ ഘടകം രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നത്, ക്ലിക്ക്ഹൗസ് ഡാറ്റാബേസിലേക്ക് ബാച്ചുകൾ പാഴ്‌സ് ചെയ്യുകയും ചേർക്കുകയും ചെയ്യുന്നു.

ClickHouse-ലേക്ക് ചേർക്കുന്നതിന്, Logstash-output-clickhouse പ്ലഗിൻ ഉപയോഗിക്കുന്നു. Logstash പ്ലഗിന് ഒരു അഭ്യർത്ഥന വീണ്ടും ശ്രമിക്കാനുള്ള സംവിധാനം ഉണ്ട്, എന്നാൽ ഒരു സാധാരണ ഷട്ട്ഡൗൺ ഉപയോഗിച്ച്, സേവനം തന്നെ നിർത്തുന്നതാണ് നല്ലത്. നിർത്തുമ്പോൾ, റാബിറ്റ്എംക്യു ക്യൂവിൽ സന്ദേശങ്ങൾ ശേഖരിക്കപ്പെടും, അതിനാൽ സ്റ്റോപ്പ് ദീർഘനേരം ആണെങ്കിൽ, സെർവറുകളിൽ ഫയൽബീറ്റ്സ് നിർത്തുന്നതാണ് നല്ലത്. RabbitMQ ഉപയോഗിക്കാത്ത ഒരു സ്കീമിൽ (പ്രാദേശിക നെറ്റ്‌വർക്കിൽ, Filebeat നേരിട്ട് Logstash-ലേക്ക് ലോഗുകൾ അയയ്ക്കുന്നു), Filebeats തികച്ചും സ്വീകാര്യവും സുരക്ഷിതവുമായി പ്രവർത്തിക്കുന്നു, അതിനാൽ അവർക്ക് ഔട്ട്പുട്ടിന്റെ ലഭ്യത അനന്തരഫലങ്ങളില്ലാതെ കടന്നുപോകുന്നു.

ഒരു ഉദാഹരണ കോൺഫിഗറേഷൻ ഇതുപോലെ കാണപ്പെടുന്നു:

log_web__filebeat_clickhouse.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/logstash/certs/ca.cer", "/etc/logstash/certs/ca-issuing.cer"]
        ssl_certificate => "/etc/logstash/certs/server.cer"
        ssl_key => "/etc/logstash/certs/server-pkcs8.key"
        ssl_verify_mode => "peer"
 
            add_field => {
                "fld_server_name" => "%{[fields][fld_server_name]}"
                "fld_app_name" => "%{[fields][fld_app_name]}"
                "fld_app_module" => "%{[fields][fld_app_module]}"
                "fld_website_name" => "%{[fields][fld_website_name]}"
                "fld_log_file_name" => "%{source}"
                "fld_logformat" => "%{[fields][fld_logformat]}"
            }
    }
 
    rabbitmq {
        host => "queue.domain.com"
        port => 5671
        user => "q-reader"
        password => "password"
        queue => "web_log"
        heartbeat => 30
        durable => true
        ssl => true
        #ssl_certificate_path => "/etc/logstash/certs/server.p12"
        #ssl_certificate_password => "password"
 
        add_field => {
            "fld_server_name" => "%{[fields][fld_server_name]}"
            "fld_app_name" => "%{[fields][fld_app_name]}"
            "fld_app_module" => "%{[fields][fld_app_module]}"
            "fld_website_name" => "%{[fields][fld_website_name]}"
            "fld_log_file_name" => "%{source}"
            "fld_logformat" => "%{[fields][fld_logformat]}"
        }
    }
 
}
 
filter { 
 
      if [message] =~ "^#" {
        drop {}
      }
 
      if [fld_logformat] == "logformat__iis_with_xrealip" {
     
          grok {
            match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken} %{NOTSPACE:xrealIP} %{NOTSPACE:xforwarderfor}"]
          }
      } else {
   
          grok {
             match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken}"]
          }
 
      }
 
      date {
        match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
          timezone => "Etc/UTC"
        remove_field => [ "log_timestamp", "@timestamp" ]
        target => [ "log_timestamp2" ]
      }
 
        ruby {
            code => "tstamp = event.get('log_timestamp2').to_i
                        event.set('logdatetime', Time.at(tstamp).strftime('%Y-%m-%d %H:%M:%S'))
                        event.set('logdate', Time.at(tstamp).strftime('%Y-%m-%d'))"
        }
 
      if [bytesSent] {
        ruby {
          code => "event['kilobytesSent'] = event['bytesSent'].to_i / 1024.0"
        }
      }
 
 
      if [bytesReceived] {
        ruby {
          code => "event['kilobytesReceived'] = event['bytesReceived'].to_i / 1024.0"
        }
      }
 
   
        ruby {
            code => "event.set('clientRealIP', event.get('clientIP'))"
        }
        if [xrealIP] {
            ruby {
                code => "event.set('clientRealIP', event.get('xrealIP'))"
            }
        }
        if [xforwarderfor] {
            ruby {
                code => "event.set('clientRealIP', event.get('xforwarderfor'))"
            }
        }
 
      mutate {
        convert => ["bytesSent", "integer"]
        convert => ["bytesReceived", "integer"]
        convert => ["timetaken", "integer"] 
        convert => ["port", "integer"]
 
        add_field => {
            "clientHostname" => "%{clientIP}"
        }
      }
 
        useragent {
            source=> "useragent"
            prefix=> "browser"
        }
 
        kv {
            source => "uriQuery"
            prefix => "uriQuery__"
            allow_duplicate_values => false
            field_split => "&"
            include_keys => [ "utm_medium", "utm_source", "utm_campaign", "utm_term", "utm_content", "yclid", "region" ]
        }
 
        mutate {
            join => { "uriQuery__utm_source" => "," }
            join => { "uriQuery__utm_medium" => "," }
            join => { "uriQuery__utm_campaign" => "," }
            join => { "uriQuery__utm_term" => "," }
            join => { "uriQuery__utm_content" => "," }
            join => { "uriQuery__yclid" => "," }
            join => { "uriQuery__region" => "," }
        }
 
}
 
output { 
  #stdout {codec => rubydebug}
    clickhouse {
      headers => ["Authorization", "Basic abcdsfks..."]
      http_hosts => ["http://127.0.0.1:8123"]
      save_dir => "/etc/logstash/tmp"
      table => "log_web"
      request_tolerance => 1
      flush_size => 10000
      idle_flush_time => 1
        mutations => {
            "fld_log_file_name" => "fld_log_file_name"
            "fld_server_name" => "fld_server_name"
            "fld_app_name" => "fld_app_name"
            "fld_app_module" => "fld_app_module"
            "fld_website_name" => "fld_website_name"
 
            "logdatetime" => "logdatetime"
            "logdate" => "logdate"
            "serverIP" => "serverIP"
            "method" => "method"
            "uriStem" => "uriStem"
            "uriQuery" => "uriQuery"
            "port" => "port"
            "username" => "username"
            "clientIP" => "clientIP"
            "clientRealIP" => "clientRealIP"
            "userAgent" => "userAgent"
            "referer" => "referer"
            "response" => "response"
            "subresponse" => "subresponse"
            "win32response" => "win32response"
            "timetaken" => "timetaken"
             
            "uriQuery__utm_medium" => "uriQuery__utm_medium"
            "uriQuery__utm_source" => "uriQuery__utm_source"
            "uriQuery__utm_campaign" => "uriQuery__utm_campaign"
            "uriQuery__utm_term" => "uriQuery__utm_term"
            "uriQuery__utm_content" => "uriQuery__utm_content"
            "uriQuery__yclid" => "uriQuery__yclid"
            "uriQuery__region" => "uriQuery__region"
        }
    }
 
}

പൈപ്പ്ലൈനുകൾ.yml

# This file is where you define your pipelines. You can define multiple.
# For more information on multiple pipelines, see the documentation:
#   https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
 
- pipeline.id: log_web__filebeat_clickhouse
  path.config: "/etc/logstash/log_web__filebeat_clickhouse.conf"

ക്ലിക്ക്ഹൗസ്. ലോഗ് സംഭരണം

എല്ലാ സിസ്റ്റങ്ങൾക്കുമുള്ള ലോഗുകൾ ഒരു പട്ടികയിൽ സംഭരിച്ചിരിക്കുന്നു (ലേഖനത്തിന്റെ തുടക്കത്തിൽ കാണുക). അഭ്യർത്ഥനകളെക്കുറിച്ചുള്ള വിവരങ്ങൾ സംഭരിക്കാനാണ് ഇത് ഉദ്ദേശിക്കുന്നത്: IIS ലോഗുകൾ, അപ്പാച്ചെ, nginx ലോഗുകൾ പോലെയുള്ള വ്യത്യസ്ത ഫോർമാറ്റുകൾക്ക് എല്ലാ പാരാമീറ്ററുകളും സമാനമാണ്. ആപ്ലിക്കേഷൻ ലോഗുകൾക്കായി, ഉദാഹരണത്തിന്, പിശകുകൾ, വിവര സന്ദേശങ്ങൾ, മുന്നറിയിപ്പുകൾ എന്നിവ രേഖപ്പെടുത്തുന്നു, ഉചിതമായ ഘടനയുള്ള ഒരു പ്രത്യേക പട്ടിക നൽകും (നിലവിൽ ഡിസൈൻ ഘട്ടത്തിൽ).

ഒരു പട്ടിക രൂപകൽപ്പന ചെയ്യുമ്പോൾ, പ്രാഥമിക കീയിൽ തീരുമാനിക്കേണ്ടത് വളരെ പ്രധാനമാണ് (സംഭരണ ​​സമയത്ത് ഡാറ്റ അടുക്കും). ഡാറ്റ കംപ്രഷന്റെ അളവും അന്വേഷണ വേഗതയും ഇതിനെ ആശ്രയിച്ചിരിക്കുന്നു. ഞങ്ങളുടെ ഉദാഹരണത്തിൽ, പ്രധാന കാര്യം
ഓർഡർ പ്രകാരം (fld_app_name, fld_app_module, logdatetime)
അതായത്, സിസ്റ്റത്തിന്റെ പേര്, സിസ്റ്റം ഘടകത്തിന്റെ പേര്, ഇവന്റിന്റെ തീയതി. തുടക്കത്തിൽ, പരിപാടിയുടെ തീയതി ആദ്യം വന്നു. ഇത് അവസാന സ്ഥാനത്തേക്ക് മാറ്റിയ ശേഷം, അന്വേഷണങ്ങൾ ഏകദേശം ഇരട്ടി വേഗത്തിൽ പ്രവർത്തിക്കാൻ തുടങ്ങി. പ്രൈമറി കീ മാറ്റുന്നതിന്, പട്ടിക വീണ്ടും സൃഷ്‌ടിക്കുകയും ഡാറ്റ വീണ്ടും ലോഡുചെയ്യുകയും ചെയ്യേണ്ടതുണ്ട്, അതുവഴി ClickHouse ഡിസ്കിലെ ഡാറ്റ പുനഃക്രമീകരിക്കും. ഇതൊരു കനത്ത ഓപ്പറേഷനാണ്, അതിനാൽ സോർട്ട് കീയിൽ എന്താണ് ഉൾപ്പെടുത്തേണ്ടതെന്ന് വളരെയധികം ചിന്തിക്കുന്നത് നല്ലതാണ്.

ലോകാർഡിനാലിറ്റി ഡാറ്റ തരം താരതമ്യേന സമീപകാല പതിപ്പുകളിൽ പ്രത്യക്ഷപ്പെട്ടു എന്നതും ശ്രദ്ധിക്കേണ്ടതാണ്. ഇത് ഉപയോഗിക്കുമ്പോൾ, കുറഞ്ഞ കാർഡിനാലിറ്റി (കുറച്ച് ഓപ്ഷനുകൾ) ഉള്ള ഫീൽഡുകൾക്ക് കംപ്രസ് ചെയ്ത ഡാറ്റയുടെ വലുപ്പം ഗണ്യമായി കുറയുന്നു.

പതിപ്പ് 19.6 നിലവിൽ ഉപയോഗത്തിലാണ്, ഏറ്റവും പുതിയ പതിപ്പിലേക്ക് അപ്‌ഡേറ്റ് ചെയ്യാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. അവയ്ക്ക് അഡാപ്റ്റീവ് ഗ്രാനുലാരിറ്റി, സ്‌കിപ്പിംഗ് സൂചികകൾ, ഡബിൾ ഡെൽറ്റ കോഡെക് എന്നിവ പോലുള്ള അതിശയകരമായ സവിശേഷതകൾ ഉണ്ട്.

സ്ഥിരസ്ഥിതിയായി, ഇൻസ്റ്റലേഷൻ സമയത്ത്, ലോഗിംഗ് ലെവൽ ട്രെയ്‌സ് ചെയ്യുന്നതിനായി സജ്ജീകരിച്ചിരിക്കുന്നു. ലോഗുകൾ തിരിക്കുകയും ആർക്കൈവ് ചെയ്യുകയും ചെയ്യുന്നു, എന്നാൽ അതേ സമയം അവ ഒരു ജിഗാബൈറ്റ് വരെ വികസിക്കുന്നു. ആവശ്യമില്ലെങ്കിൽ, നിങ്ങൾക്ക് മുന്നറിയിപ്പ് നില സജ്ജമാക്കാൻ കഴിയും, തുടർന്ന് ലോഗിന്റെ വലുപ്പം ഗണ്യമായി കുറയുന്നു. ലോഗിംഗ് ക്രമീകരണം config.xml ഫയലിൽ സജ്ജീകരിച്ചിരിക്കുന്നു:

<!-- Possible levels: https://github.com/pocoproject/poco/blob/develop/Foundation/include/Poco/Logger. h#L105 -->
<level>warning</level>

ഉപയോഗപ്രദമായ ചില കമാൻഡുകൾ

Поскольку оригинальные пакеты установки собираются по Debian, то для других версий Linux необходимо использовать пакеты собранные компанией Altinity.
 
Вот по этой ссылке есть инструкции с ссылками на их репозиторий: https://www.altinity.com/blog/2017/12/18/logstash-with-clickhouse
sudo yum search clickhouse-server
sudo yum install clickhouse-server.noarch
  
1. проверка статуса
sudo systemctl status clickhouse-server
 
2. остановка сервера
sudo systemctl stop clickhouse-server
 
3. запуск сервера
sudo systemctl start clickhouse-server
 
Запуск для выполнения запросов в многострочном режиме (выполнение после знака ";")
clickhouse-client --multiline
clickhouse-client --multiline --host 127.0.0.1 --password pa55w0rd
clickhouse-client --multiline --host 127.0.0.1 --port 9440 --secure --user default --password pa55w0rd
 
Плагин кликлауза для логстеш в случае ошибки в одной строке сохраняет всю пачку в файл /tmp/log_web_failed.json
Можно вручную исправить этот файл и попробовать залить его в БД вручную:
clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /tmp/log_web_failed__fixed.json
 
sudo mv /etc/logstash/tmp/log_web_failed.json /etc/logstash/tmp/log_web_failed__fixed.json
sudo chown user_dev /etc/logstash/tmp/log_web_failed__fixed.json
sudo clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /etc/logstash/tmp/log_web_failed__fixed.json
sudo mv /etc/logstash/tmp/log_web_failed__fixed.json /etc/logstash/tmp/log_web_failed__fixed_.json
 
выход из командной строки
quit;
## Настройка TLS
https://www.altinity.com/blog/2019/3/5/clickhouse-networking-part-2
 
openssl s_client -connect log.domain.com:9440 < /dev/null

ലോഗ്സ്റ്റാഷ്. FileBeat-ൽ നിന്ന് RabbitMQ ക്യൂവിലേക്ക് റൂട്ടർ ലോഗ് ചെയ്യുക

FileBeat-ൽ നിന്ന് RabbitMQ ക്യൂവിലേക്ക് വരുന്ന ലോഗുകൾ റൂട്ട് ചെയ്യാൻ ഈ ഘടകം ഉപയോഗിക്കുന്നു. ഇവിടെ രണ്ട് പോയിന്റുകൾ ഉണ്ട്:

1. നിർഭാഗ്യവശാൽ, FileBeat-ന് RabbitMQ-ലേക്ക് നേരിട്ട് എഴുതാൻ ഒരു ഔട്ട്പുട്ട് പ്ലഗിൻ ഇല്ല. അത്തരം പ്രവർത്തനം, അവരുടെ ഗിത്തബിലെ പ്രശ്‌നം വിലയിരുത്തുന്നത്, നടപ്പിലാക്കാൻ ആസൂത്രണം ചെയ്തിട്ടില്ല. കാഫ്കയ്‌ക്കായി ഒരു പ്ലഗിൻ ഉണ്ട്, പക്ഷേ ചില കാരണങ്ങളാൽ ഞങ്ങൾക്ക് അത് വീട്ടിൽ ഉപയോഗിക്കാൻ കഴിയില്ല.
2. DMZ-ൽ ലോഗുകൾ ശേഖരിക്കുന്നതിനുള്ള ആവശ്യകതകൾ ഉണ്ട്. അവയെ അടിസ്ഥാനമാക്കി, ലോഗുകൾ ആദ്യം ക്യൂവിൽ ചേർക്കണം, തുടർന്ന് LogStash പുറത്തുനിന്നുള്ള ക്യൂവിൽ നിന്നുള്ള എൻട്രികൾ വായിക്കുന്നു.

അതിനാൽ, ഡിഎംസെഡിൽ സെർവറുകൾ സ്ഥിതി ചെയ്യുന്ന സാഹചര്യത്തിലാണ് ഒരാൾ ഇത്രയും സങ്കീർണ്ണമായ ഒരു സ്കീം ഉപയോഗിക്കേണ്ടത്. ഒരു ഉദാഹരണ കോൺഫിഗറേഷൻ ഇതുപോലെ കാണപ്പെടുന്നു:

iis_w3c_logs__filebeat_rabbitmq.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/pki/tls/certs/app/ca.pem", "/etc/pki/tls/certs/app/ca-issuing.pem"]
        ssl_certificate => "/etc/pki/tls/certs/app/queue.domain.com.cer"
        ssl_key => "/etc/pki/tls/certs/app/queue.domain.com-pkcs8.key"
        ssl_verify_mode => "peer"
    }
 
}
 
output { 
  #stdout {codec => rubydebug}
 
    rabbitmq {
        host => "127.0.0.1"
        port => 5672
        exchange => "monitor.direct"
        exchange_type => "direct"
        key => "%{[fields][fld_app_name]}"
        user => "q-writer"
        password => "password"
        ssl => false
    }
}

റാബിറ്റ്എംക്യു. സന്ദേശ ക്യൂ

DMZ-ൽ ലോഗ് എൻട്രികൾ ബഫർ ചെയ്യാൻ ഈ ഘടകം ഉപയോഗിക്കുന്നു. Filebeat → LogStash-ന്റെ ഒരു കൂട്ടം വഴിയാണ് റെക്കോർഡിംഗ് നടക്കുന്നത്. LogStash വഴി DMZ ന് പുറത്ത് നിന്ന് വായന നടത്തുന്നു. RabboitMQ വഴി പ്രവർത്തിക്കുമ്പോൾ, സെക്കൻഡിൽ ഏകദേശം 4 ആയിരം സന്ദേശങ്ങൾ പ്രോസസ്സ് ചെയ്യപ്പെടുന്നു.

സിസ്റ്റം നാമം ഉപയോഗിച്ചാണ് സന്ദേശ റൂട്ടിംഗ് ക്രമീകരിച്ചിരിക്കുന്നത്, അതായത് FileBeat കോൺഫിഗറേഷൻ ഡാറ്റയെ അടിസ്ഥാനമാക്കി. എല്ലാ സന്ദേശങ്ങളും ഒരു ക്യൂവിലേക്ക് പോകുന്നു. ചില കാരണങ്ങളാൽ ക്യൂയിംഗ് സേവനം നിർത്തിയാൽ, ഇത് സന്ദേശങ്ങൾ നഷ്ടപ്പെടുന്നതിലേക്ക് നയിക്കില്ല: ഫയൽബീറ്റുകൾക്ക് കണക്ഷൻ പിശകുകൾ ലഭിക്കുകയും അയയ്ക്കുന്നത് താൽക്കാലികമായി നിർത്തുകയും ചെയ്യും. ക്യൂവിൽ നിന്ന് വായിക്കുന്ന LogStash-ന് നെറ്റ്‌വർക്ക് പിശകുകൾ ലഭിക്കുകയും കണക്ഷൻ പുനഃസ്ഥാപിക്കുന്നതിനായി കാത്തിരിക്കുകയും ചെയ്യും. ഈ സാഹചര്യത്തിൽ, ഡാറ്റ, തീർച്ചയായും, ഡാറ്റാബേസിലേക്ക് ഇനി എഴുതപ്പെടില്ല.

ക്യൂകൾ സൃഷ്ടിക്കുന്നതിനും ക്രമീകരിക്കുന്നതിനും ഇനിപ്പറയുന്ന നിർദ്ദേശങ്ങൾ ഉപയോഗിക്കുന്നു:

sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare exchange --vhost=/ name=monitor.direct type=direct sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare queue --vhost=/ name=web_log durable=true
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site1.domain.ru"
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site2.domain.ru"

ഗ്രാഫാന. ഡാഷ്ബോർഡുകൾ

മോണിറ്ററിംഗ് ഡാറ്റ ദൃശ്യവൽക്കരിക്കുന്നതിന് ഈ ഘടകം ഉപയോഗിക്കുന്നു. ഈ സാഹചര്യത്തിൽ, നിങ്ങൾ Grafana 4.6+ പ്ലഗിനിനായുള്ള ClickHouse ഡാറ്റാസോഴ്സ് ഇൻസ്റ്റാൾ ചെയ്യേണ്ടതുണ്ട്. ഡാഷ്‌ബോർഡിൽ SQL ഫിൽട്ടറുകൾ പ്രോസസ്സ് ചെയ്യുന്നതിന്റെ കാര്യക്ഷമത മെച്ചപ്പെടുത്താൻ ഞങ്ങൾക്ക് ഇത് കുറച്ച് മാറ്റേണ്ടി വന്നു.

ഉദാഹരണത്തിന്, ഞങ്ങൾ വേരിയബിളുകൾ ഉപയോഗിക്കുന്നു, അവ ഫിൽട്ടർ ഫീൽഡിൽ സജ്ജീകരിച്ചിട്ടില്ലെങ്കിൽ, ഫോമിന്റെ എവിടെയാണ് (uriStem = » AND uriStem != » ) ഒരു അവസ്ഥ സൃഷ്ടിക്കാതിരിക്കാൻ ഞങ്ങൾ ആഗ്രഹിക്കുന്നു. ഈ സാഹചര്യത്തിൽ, ClickHouse uriStem കോളം വായിക്കും. പൊതുവേ, ഞങ്ങൾ വ്യത്യസ്‌ത ഓപ്‌ഷനുകൾ പരീക്ഷിക്കുകയും ഒടുവിൽ പ്ലഗിൻ ($valueIfEmpty മാക്രോ) ശരിയാക്കുകയും ചെയ്‌തതിനാൽ ശൂന്യമായ മൂല്യത്തിന്റെ കാര്യത്തിൽ അത് കോളം തന്നെ പരാമർശിക്കാതെ 1 നൽകുന്നു.

ഇപ്പോൾ നിങ്ങൾക്ക് ഗ്രാഫിനായി ഈ ചോദ്യം ഉപയോഗിക്കാം

$columns(response, count(*) c) from $table where $adhoc
and $valueIfEmpty($fld_app_name, 1, fld_app_name = '$fld_app_name')
and $valueIfEmpty($fld_app_module, 1, fld_app_module = '$fld_app_module') and $valueIfEmpty($fld_server_name, 1, fld_server_name = '$fld_server_name') and $valueIfEmpty($uriStem, 1, uriStem like '%$uriStem%')
and $valueIfEmpty($clientRealIP, 1, clientRealIP = '$clientRealIP')

ഇത് ഈ SQL ലേക്ക് വിവർത്തനം ചെയ്യുന്നു (ശൂന്യമായ uriStem ഫീൽഡുകൾ വെറും 1 ആയി പരിവർത്തനം ചെയ്‌തിരിക്കുന്നു എന്നത് ശ്രദ്ധിക്കുക)

SELECT
t,
groupArray((response, c)) AS groupArr
FROM (
SELECT
(intDiv(toUInt32(logdatetime), 60) * 60) * 1000 AS t, response,
count(*) AS c FROM default.log_web
WHERE (logdate >= toDate(1565061982)) AND (logdatetime >= toDateTime(1565061982)) AND 1 AND (fld_app_name = 'site1.domain.ru') AND (fld_app_module = 'web') AND 1 AND 1 AND 1
GROUP BY
t, response
ORDER BY
t ASC,
response ASC
)
GROUP BY t ORDER BY t ASC

തീരുമാനം

ClickHouse ഡാറ്റാബേസിന്റെ രൂപം വിപണിയിലെ ഒരു പ്രധാന സംഭവമായി മാറിയിരിക്കുന്നു. വലിയ ഡാറ്റ ഉപയോഗിച്ച് പ്രവർത്തിക്കാനുള്ള ശക്തവും പ്രായോഗികവുമായ ഒരു ഉപകരണം ഒരു തൽക്ഷണത്തിൽ ഞങ്ങൾ പൂർണ്ണമായും സൗജന്യമായി സങ്കൽപ്പിക്കുമെന്ന് സങ്കൽപ്പിക്കാൻ പ്രയാസമാണ്. തീർച്ചയായും, വർദ്ധിച്ചുവരുന്ന ആവശ്യങ്ങൾക്കൊപ്പം (ഉദാഹരണത്തിന്, ഒന്നിലധികം സെർവറുകളിലേക്കുള്ള ഷാർഡിംഗും പകർപ്പും), സ്കീം കൂടുതൽ സങ്കീർണ്ണമാകും. എന്നാൽ ആദ്യ ഇംപ്രഷനുകളിൽ, ഈ ഡാറ്റാബേസിൽ പ്രവർത്തിക്കുന്നത് വളരെ മനോഹരമാണ്. ഉൽപ്പന്നം "ആളുകൾക്കായി" നിർമ്മിച്ചതാണെന്ന് കാണാൻ കഴിയും.

ഇലാസ്റ്റിക് സെർച്ചുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, ലോഗുകൾ സംഭരിക്കുന്നതിനും പ്രോസസ്സ് ചെയ്യുന്നതിനുമുള്ള ചെലവ് അഞ്ച് മുതൽ പത്ത് മടങ്ങ് വരെ കുറയുമെന്ന് കണക്കാക്കപ്പെടുന്നു. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, നിലവിലെ ഡാറ്റയുടെ അളവിന് നമുക്ക് നിരവധി മെഷീനുകളുടെ ഒരു ക്ലസ്റ്റർ സജ്ജീകരിക്കേണ്ടി വന്നാൽ, ക്ലിക്ക്ഹൗസ് ഉപയോഗിക്കുമ്പോൾ, ഒരു ലോ-പവർ മെഷീൻ മതിയാകും. അതെ, തീർച്ചയായും, ElasticSearch-ന് ഓൺ-ഡിസ്ക് ഡാറ്റ കംപ്രഷൻ മെക്കാനിസങ്ങളും മറ്റ് സവിശേഷതകളും ഉണ്ട്, അത് വിഭവങ്ങളുടെ ഉപഭോഗം ഗണ്യമായി കുറയ്ക്കാൻ കഴിയും, എന്നാൽ ClickHouse നെ അപേക്ഷിച്ച്, ഇത് കൂടുതൽ ചെലവേറിയതായിരിക്കും.

ഞങ്ങളുടെ ഭാഗത്ത് പ്രത്യേക ഒപ്റ്റിമൈസേഷനുകളൊന്നുമില്ലാതെ, സ്ഥിരസ്ഥിതി ക്രമീകരണങ്ങളിൽ, ഡാറ്റ ലോഡുചെയ്യുന്നതും ഡാറ്റാബേസിൽ നിന്ന് തിരഞ്ഞെടുക്കുന്നതും അതിശയകരമായ വേഗതയിൽ പ്രവർത്തിക്കുന്നു. ഞങ്ങൾക്ക് ഇതുവരെ കൂടുതൽ ഡാറ്റ ഇല്ല (ഏകദേശം 200 ദശലക്ഷം റെക്കോർഡുകൾ), എന്നാൽ സെർവർ തന്നെ ദുർബലമാണ്. ലോഗുകൾ സംഭരിക്കുന്നതുമായി ബന്ധമില്ലാത്ത മറ്റ് ആവശ്യങ്ങൾക്കായി ഭാവിയിൽ നമുക്ക് ഈ ഉപകരണം ഉപയോഗിക്കാം. ഉദാഹരണത്തിന്, എൻഡ്-ടു-എൻഡ് അനലിറ്റിക്സ്, സുരക്ഷാ മേഖലയിൽ, മെഷീൻ ലേണിംഗ്.

അവസാനം, ഗുണദോഷങ്ങളെക്കുറിച്ച് കുറച്ച്.

Минусы

1. വലിയ ബാച്ചുകളിൽ റെക്കോർഡുകൾ ലോഡ് ചെയ്യുന്നു. ഒരു വശത്ത്, ഇതൊരു സവിശേഷതയാണ്, എന്നാൽ ബഫറിംഗ് റെക്കോർഡുകൾക്കായി നിങ്ങൾ ഇപ്പോഴും അധിക ഘടകങ്ങൾ ഉപയോഗിക്കേണ്ടതുണ്ട്. ഈ ടാസ്ക് എല്ലായ്പ്പോഴും എളുപ്പമല്ല, പക്ഷേ ഇപ്പോഴും പരിഹരിക്കാവുന്നതാണ്. സ്കീം ലളിതമാക്കാൻ ഞാൻ ആഗ്രഹിക്കുന്നു.
2. ചില വിചിത്രമായ പ്രവർത്തനങ്ങളോ പുതിയ ഫീച്ചറുകളോ പലപ്പോഴും പുതിയ പതിപ്പുകളിൽ തകരുന്നു. ഇത് ആശങ്കയുണ്ടാക്കുന്നു, ഒരു പുതിയ പതിപ്പിലേക്ക് അപ്ഗ്രേഡ് ചെയ്യാനുള്ള ആഗ്രഹം കുറയ്ക്കുന്നു. ഉദാഹരണത്തിന്, ഉപഭോക്താക്കളെ നടപ്പിലാക്കാതെ തന്നെ കാഫ്കയിൽ നിന്നുള്ള ഇവന്റുകൾ നേരിട്ട് വായിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന വളരെ ഉപയോഗപ്രദമായ സവിശേഷതയാണ് കാഫ്ക ടേബിൾ എഞ്ചിൻ. എന്നാൽ ഗിത്തബിലെ പ്രശ്‌നങ്ങളുടെ എണ്ണം വിലയിരുത്തിയാൽ, ഉൽപ്പാദനത്തിൽ ഈ എഞ്ചിൻ ഉപയോഗിക്കാതിരിക്കാൻ ഞങ്ങൾ ഇപ്പോഴും ശ്രദ്ധിക്കുന്നു. എന്നിരുന്നാലും, നിങ്ങൾ പെട്ടെന്ന് വശത്തേക്ക് ആംഗ്യങ്ങൾ കാണിക്കുകയും പ്രധാന പ്രവർത്തനം ഉപയോഗിക്കുകയും ചെയ്യുന്നില്ലെങ്കിൽ, അത് സ്ഥിരമായി പ്രവർത്തിക്കുന്നു.

പുലി

1. വേഗത കുറയ്ക്കുന്നില്ല.
2. കുറഞ്ഞ പ്രവേശന പരിധി.
3. ഓപ്പൺ സോഴ്സ്.
4. സൗ ജന്യം.
5. നന്നായി സ്കെയിലുകൾ (ഷെർഡിംഗ് / റെപ്ലിക്കേഷൻ ഔട്ട് ഓഫ് ബോക്‌സ്)
6. ആശയവിനിമയ മന്ത്രാലയം ശുപാർശ ചെയ്യുന്ന റഷ്യൻ സോഫ്റ്റ്വെയറിന്റെ രജിസ്റ്ററിൽ ഉൾപ്പെടുത്തിയിട്ടുണ്ട്.
7. Yandex-ൽ നിന്നുള്ള ഔദ്യോഗിക പിന്തുണയുടെ സാന്നിധ്യം.

അവലംബം: www.habr.com