ຖານຂໍ້ມູນ ClickHouse ສໍາລັບມະນຸດ, ຫຼືເຕັກໂນໂລຢີມະນຸດຕ່າງດາວ

Alexey Lizunov, ຫົວຫນ້າສູນຄວາມສາມາດສໍາລັບຊ່ອງທາງການບໍລິການຫ່າງໄກສອກຫຼີກຂອງຜູ້ອໍານວຍການເຕັກໂນໂລຢີຂໍ້ມູນຂ່າວສານຂອງ ICB

ເປັນທາງເລືອກສໍາລັບ stack ELK (ElasticSearch, Logstash, Kibana), ພວກເຮົາກໍາລັງດໍາເນີນການຄົ້ນຄ້ວາກ່ຽວກັບການນໍາໃຊ້ຖານຂໍ້ມູນ ClickHouse ເປັນການເກັບຮັກສາຂໍ້ມູນສໍາລັບບັນທຶກ.

ໃນບົດຄວາມນີ້ພວກເຮົາຢາກເວົ້າກ່ຽວກັບປະສົບການຂອງພວກເຮົາໃນການນໍາໃຊ້ຖານຂໍ້ມູນ ClickHouse ແລະຜົນໄດ້ຮັບເບື້ອງຕົ້ນຈາກການປະຕິບັດການທົດລອງ. ມັນເປັນມູນຄ່າທີ່ສັງເກດເຫັນທັນທີວ່າຜົນໄດ້ຮັບທີ່ຫນ້າປະທັບໃຈ.

ຕໍ່ໄປພວກເຮົາຈະອະທິບາຍລາຍລະອຽດເພີ່ມເຕີມວ່າລະບົບຂອງພວກເຮົາຖືກຕັ້ງຄ່າແນວໃດ ແລະອົງປະກອບທີ່ມັນປະກອບດ້ວຍແນວໃດ. ແຕ່ຕອນນີ້ຂ້ອຍຢາກເວົ້າເລັກນ້ອຍກ່ຽວກັບຖານຂໍ້ມູນນີ້ໂດຍລວມ, ແລະເປັນຫຍັງມັນຈຶ່ງສົມຄວນທີ່ຈະເອົາໃຈໃສ່. ຖານຂໍ້ມູນ ClickHouse ແມ່ນຖານຂໍ້ມູນຄໍລໍາການວິເຄາະທີ່ມີປະສິດທິພາບສູງຈາກ Yandex. ໃຊ້ໃນການບໍລິການ Yandex, ໃນເບື້ອງຕົ້ນນີ້ແມ່ນການເກັບຮັກສາຂໍ້ມູນຕົ້ນຕໍສໍາລັບ Yandex.Metrica. ລະບົບເປີດແຫຼ່ງ, ຟຣີ. ຈາກທັດສະນະຂອງນັກພັດທະນາ, ຂ້າພະເຈົ້າສະເຫມີສົງໄສວ່າພວກເຂົາປະຕິບັດສິ່ງນີ້ໄດ້ແນວໃດ, ຍ້ອນວ່າມີຂໍ້ມູນຂະຫນາດໃຫຍ່ທີ່ຫນ້າອັດສະຈັນ. ແລະການໂຕ້ຕອບຜູ້ໃຊ້ຂອງ Metrica ຕົວຂອງມັນເອງແມ່ນມີຄວາມຍືດຫຍຸ່ນຫຼາຍແລະເຮັດວຽກໄດ້ໄວ. ເມື່ອທ່ານຮູ້ຈັກກັບຖານຂໍ້ມູນນີ້ຄັ້ງທໍາອິດ, ທ່ານໄດ້ຮັບຄວາມປະທັບໃຈ: "ດີ, ສຸດທ້າຍ! ສ້າງ “ເພື່ອປະຊາຊົນ”! ຈາກຂະບວນການຕິດຕັ້ງເຖິງການສົ່ງຄໍາຮ້ອງຂໍ."

ຖານຂໍ້ມູນນີ້ມີອຸປະສັກເຂົ້າຕໍ່າຫຼາຍ. ເຖິງແມ່ນວ່າຜູ້ພັດທະນາໂດຍສະເລ່ຍສາມາດຕິດຕັ້ງຖານຂໍ້ມູນນີ້ໃນສອງສາມນາທີແລະເລີ່ມໃຊ້ມັນ. ທຸກສິ່ງທຸກຢ່າງເຮັດວຽກໄດ້ອຍ່າງລຽບງ່າຍ. ເຖິງແມ່ນວ່າຄົນໃຫມ່ໃນ Linux ສາມາດຮັບມືກັບການຕິດຕັ້ງໄດ້ໄວແລະດໍາເນີນການງ່າຍດາຍ. ຖ້າກ່ອນຫນ້ານີ້, ເມື່ອໄດ້ຍິນຄໍາວ່າ Big Data, Hadoop, Google BigTable, HDFS, ນັກພັດທະນາໂດຍສະເລ່ຍມີຄວາມຄິດທີ່ວ່າພວກເຂົາເວົ້າກ່ຽວກັບບາງ terabytes, petabytes, ວ່າ superhumans ບາງຄົນມີສ່ວນຮ່ວມໃນການຕັ້ງຄ່າແລະພັດທະນາລະບົບເຫຼົ່ານີ້, ຫຼັງຈາກນັ້ນກັບ ການມາຮອດຂອງຖານຂໍ້ມູນ ClickHouse ພວກເຮົາໄດ້ຮັບເຄື່ອງມືທີ່ງ່າຍດາຍ, ເຂົ້າໃຈໄດ້ທີ່ທ່ານສາມາດແກ້ໄຂບັນຫາທີ່ບໍ່ສາມາດບັນລຸໄດ້ໃນເມື່ອກ່ອນ. ທັງ​ຫມົດ​ມັນ​ໃຊ້​ເວ​ລາ​ແມ່ນ​ຫນຶ່ງ​ເຄື່ອງ​ສະ​ເລ່ຍ​ທີ່​ເປັນ​ທໍາ​ແລະ​ຫ້າ​ນາ​ທີ​ໃນ​ການ​ຕິດ​ຕັ້ງ​. ນັ້ນແມ່ນ, ພວກເຮົາໄດ້ຮັບຖານຂໍ້ມູນເຊັ່ນ, ຕົວຢ່າງ, MySql, ແຕ່ພຽງແຕ່ສໍາລັບການເກັບຮັກສາບັນທຶກຫຼາຍຕື້! ປະເພດຂອງ superarchiver ທີ່ມີພາສາ SQL. ມັນຄືກັບວ່າຄົນໄດ້ຮັບອາວຸດມະນຸດຕ່າງດາວ.

ກ່ຽວກັບລະບົບການເກັບຂໍ້ມູນບັນທຶກຂອງພວກເຮົາ

ເພື່ອເກັບກໍາຂໍ້ມູນ, ໄຟລ໌ບັນທຶກ IIS ຂອງຄໍາຮ້ອງສະຫມັກເວັບໄຊຕ໌ຂອງຮູບແບບມາດຕະຖານຖືກນໍາໃຊ້ (ປະຈຸບັນພວກເຮົາຍັງມີສ່ວນຮ່ວມໃນການວິເຄາະບັນທຶກຄໍາຮ້ອງສະຫມັກ, ແຕ່ເປົ້າຫມາຍຕົ້ນຕໍຂອງພວກເຮົາໃນຂັ້ນຕອນການທົດລອງແມ່ນການເກັບກໍາບັນທຶກ IIS).

ພວກເຮົາບໍ່ສາມາດປະຖິ້ມ ELK stack ໄດ້ຢ່າງສົມບູນສໍາລັບເຫດຜົນຕ່າງໆ, ແລະພວກເຮົາຍັງສືບຕໍ່ນໍາໃຊ້ອົງປະກອບ LogStash ແລະ Filebeat, ເຊິ່ງໄດ້ພິສູດຕົວເອງໄດ້ດີແລະເຮັດວຽກຂ້ອນຂ້າງເຊື່ອຖືໄດ້ແລະຄາດຄະເນ.

ຮູບແບບການຕັດໄມ້ທົ່ວໄປແມ່ນສະແດງຢູ່ໃນຮູບຂ້າງລຸ່ມນີ້:

ຄຸນນະສົມບັດຂອງການບັນທຶກຂໍ້ມູນໃນຖານຂໍ້ມູນ ClickHouse ແມ່ນການແຊກບັນທຶກ (ຫນຶ່ງຄັ້ງຕໍ່ວິນາທີ) ເລື້ອຍໆໃນຊຸດໃຫຍ່. ນີ້, ປາກົດຂື້ນ, ເປັນສ່ວນ "ບັນຫາ" ທີ່ສຸດທີ່ທ່ານພົບໃນເວລາທີ່ເຮັດວຽກກັບຖານຂໍ້ມູນ ClickHouse ເປັນຄັ້ງທໍາອິດ: ໂຄງການຈະກາຍເປັນຄວາມສັບສົນຫຼາຍ.
ປັ໊ກອິນສໍາລັບ LogStash, ເຊິ່ງໃສ່ຂໍ້ມູນໂດຍກົງເຂົ້າໄປໃນ ClickHouse, ໄດ້ຊ່ວຍຫຼາຍຢູ່ທີ່ນີ້. ອົງປະກອບນີ້ຖືກນຳໃຊ້ຢູ່ໃນເຊີບເວີດຽວກັນກັບຖານຂໍ້ມູນຕົວມັນເອງ. ດັ່ງນັ້ນ, ໂດຍທົ່ວໄປແລ້ວ, ມັນບໍ່ໄດ້ແນະນໍາໃຫ້ເຮັດແນວນີ້, ແຕ່ຈາກທັດສະນະປະຕິບັດ, ເພື່ອບໍ່ໃຫ້ສ້າງເຄື່ອງແມ່ຂ່າຍແຍກຕ່າງຫາກໃນຂະນະທີ່ມັນຖືກນໍາໃຊ້ໃນເຄື່ອງແມ່ຂ່າຍດຽວກັນ. ພວກເຮົາບໍ່ໄດ້ສັງເກດເຫັນຄວາມລົ້ມເຫລວຫຼືຄວາມຂັດແຍ້ງຂອງຊັບພະຍາກອນກັບຖານຂໍ້ມູນ. ນອກຈາກນັ້ນ, ຄວນສັງເກດວ່າ plugin ມີກົນໄກການ retray ໃນກໍລະນີຂອງຄວາມຜິດພາດ. ແລະໃນກໍລະນີຂອງຄວາມຜິດພາດ, plugin ຂຽນໃສ່ແຜ່ນຂໍ້ມູນ batch ທີ່ບໍ່ສາມາດໃສ່ໄດ້ (ຮູບແບບໄຟລ໌ແມ່ນສະດວກ: ຫຼັງຈາກການແກ້ໄຂ, ທ່ານສາມາດໃສ່ batch ທີ່ຖືກແກ້ໄຂໄດ້ຢ່າງງ່າຍດາຍໂດຍໃຊ້ clickhouse-client).

ບັນຊີລາຍຊື່ຄົບຖ້ວນຂອງຊອບແວທີ່ໃຊ້ໃນໂຄງການແມ່ນໄດ້ນໍາສະເຫນີຢູ່ໃນຕາຕະລາງ:

ບັນຊີລາຍຊື່ຂອງຊອບແວທີ່ໃຊ້

Title

ລາຍ​ລະ​ອຽດ

ເຊື່ອມຕໍ່ກັບການແຈກຢາຍ

NGINX

Reverse-proxy ສໍາລັບການຈໍາກັດການເຂົ້າເຖິງໂດຍພອດແລະການຈັດຕັ້ງການອະນຸຍາດ

ໃນປັດຈຸບັນບໍ່ໄດ້ໃຊ້ໃນໂຄງການ

https://nginx.org/ru/download.html

https://nginx.org/download/nginx-1.16.0.tar.gz

FileBeat

ການໂອນບັນທຶກໄຟລ໌.

https://www.elastic.co/downloads/beats/filebeat (ການແຜ່ກະຈາຍສໍາລັບ Windows 64bit).

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-windows-x86_64.zip

LogStash

ຕົວເກັບບັນທຶກ.

ໃຊ້ເພື່ອເກັບບັນທຶກຈາກ FileBeat, ເຊັ່ນດຽວກັນກັບການເກັບກໍາຂໍ້ມູນບັນທຶກຈາກແຖວ RabbitMQ (ສໍາລັບເຄື່ອງແມ່ຂ່າຍທີ່ຕັ້ງຢູ່ໃນ DMZ.)

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

Logstash- ຜົນຜະລິດ- clickhouse

ປັ໊ກອິນ Loagstash ສໍາລັບການໂອນບັນທຶກໄປຍັງຖານຂໍ້ມູນ ClickHouse ໃນຊຸດ

https://github.com/mikechris/logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin ຕິດຕັ້ງ logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin ຕິດຕັ້ງ logstash-filter-prune

/usr/share/logstash/bin/logstash-plugin ຕິດຕັ້ງ logstash-filter-multiline

ກົດປຸ່ມ

ການເກັບຮັກສາບັນທຶກ https://clickhouse.yandex/docs/ru/

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-19.5.3.8-1.el7.x86_64.rpm

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-client-19.5.3.8-1.el7.x86_64.rpm

ຫມາຍ​ເຫດ​. ຕັ້ງແຕ່ເດືອນສິງຫາ 2018, ການສ້າງ rpm "ປົກກະຕິ" ສໍາລັບ RHEL ປາກົດຢູ່ໃນບ່ອນເກັບມ້ຽນ Yandex, ດັ່ງນັ້ນທ່ານສາມາດລອງໃຊ້ພວກມັນໄດ້. ໃນ​ເວ​ລາ​ຂອງ​ການ​ຕິດ​ຕັ້ງ​ພວກ​ເຮົາ​ໄດ້​ນໍາ​ໃຊ້​ຊຸດ​ທີ່​ສັງ​ລວມ​ໂດຍ Altinity​.

ກຣາຟານາ

ການເບິ່ງເຫັນຂອງບັນທຶກ. ການຕັ້ງຄ່າ dashboards

https://grafana.com/

https://grafana.com/grafana/download

Redhat & Centos (64 Bit) - ຮຸ່ນຫຼ້າສຸດ

ແຫຼ່ງຂໍ້ມູນ ClickHouse ສໍາລັບ Grafana 4.6+

Plugin ສໍາລັບ Grafana ກັບແຫຼ່ງຂໍ້ມູນ ClickHouse

https://grafana.com/plugins/vertamedia-clickhouse-datasource

https://grafana.com/api/plugins/vertamedia-clickhouse-datasource/versions/1.8.1/download

LogStash

ບັນທຶກ router ຈາກ FileBeat ໄປຫາແຖວ RabbitMQ.

ຫມາຍ​ເຫດ​. ແຕ່ຫນ້າເສຍດາຍ, FileBeat ບໍ່ມີຜົນຜະລິດໂດຍກົງກັບ RabbitMQ, ດັ່ງນັ້ນການເຊື່ອມໂຍງລະດັບປານກາງໃນຮູບແບບຂອງ Logstash ແມ່ນຕ້ອງການ.

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

ກະຕ່າຍ

ແຖວຂໍ້ຄວາມ. ນີ້ແມ່ນບັຟເຟີຂອງບັນທຶກຂໍ້ມູນໃນ DMZ

https://www.rabbitmq.com/download.html

https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.14/rabbitmq-server-3.7.14-1.el7.noarch.rpm

ເວລາແລ່ນ Erlang (ຕ້ອງການສໍາລັບ RabbitMQ)

ເວລາແລ່ນ Erlang. ຕ້ອງການສໍາລັບ RabbitMQ ເພື່ອເຮັດວຽກ

http://www.erlang.org/download.html

https://www.rabbitmq.com/install-rpm.html#install-erlang http://www.erlang.org/downloads/21.3

ການຕັ້ງຄ່າເຊີບເວີກັບຖານຂໍ້ມູນ ClickHouse ຖືກນໍາສະເຫນີຢູ່ໃນຕາຕະລາງຕໍ່ໄປນີ້:

Title

ມູນຄ່າ

Примечание

ການຕັ້ງຄ່າ

HDD: 40GB
RAM: 8GB
ໜ່ວຍປະມວນຜົນ: Core 2 2GHz

ທ່ານຄວນເອົາໃຈໃສ່ກັບຄໍາແນະນໍາສໍາລັບການນໍາໃຊ້ຖານຂໍ້ມູນ ClickHouse (https://clickhouse.yandex/docs/ru/operations/tips/)

ຊອບແວທົ່ວລະບົບ

ລະບົບປະຕິບັດການ: Red Hat Enterprise Linux Server (Maipo)

JRE (Java 8)

 

ດັ່ງທີ່ເຈົ້າສາມາດເຫັນໄດ້, ນີ້ແມ່ນບ່ອນເຮັດວຽກປົກກະຕິ.

ໂຄງສ້າງຂອງຕາຕະລາງສໍາລັບການເກັບຮັກສາບັນທຶກມີດັ່ງນີ້:

log_web.sql

CREATE TABLE log_web (
  logdate Date,
  logdatetime DateTime CODEC(Delta, LZ4HC),
   
  fld_log_file_name LowCardinality( String ),
  fld_server_name LowCardinality( String ),
  fld_app_name LowCardinality( String ),
  fld_app_module LowCardinality( String ),
  fld_website_name LowCardinality( String ),
 
  serverIP LowCardinality( String ),
  method LowCardinality( String ),
  uriStem String,
  uriQuery String,
  port UInt32,
  username LowCardinality( String ),
  clientIP String,
  clientRealIP String,
  userAgent String,
  referer String,
  response String,
  subresponse String,
  win32response String,
  timetaken UInt64
   
  , uriQuery__utm_medium String
  , uriQuery__utm_source String
  , uriQuery__utm_campaign String
  , uriQuery__utm_term String
  , uriQuery__utm_content String
  , uriQuery__yclid String
  , uriQuery__region String
 
) Engine = MergeTree()
PARTITION BY toYYYYMM(logdate)
ORDER BY (fld_app_name, fld_app_module, logdatetime)
SETTINGS index_granularity = 8192;

ພວກເຮົາໃຊ້ຄ່າເລີ່ມຕົ້ນສໍາລັບການແບ່ງສ່ວນ (ປະຈໍາເດືອນ) ແລະດັດຊະນີ granularity. ຊ່ອງຂໍ້ມູນທັງໝົດແມ່ນກົງກັບລາຍການບັນທຶກ IIS ເພື່ອບັນທຶກການຮ້ອງຂໍ http. ແຍກຕ່າງຫາກ, ພວກເຮົາສັງເກດວ່າມີຊ່ອງຂໍ້ມູນແຍກຕ່າງຫາກສໍາລັບການເກັບຮັກສາ tags utm (ພວກມັນຖືກແຍກຢູ່ໃນຂັ້ນຕອນຂອງການໃສ່ເຂົ້າໄປໃນຕາຕະລາງຈາກພາກສະຫນາມ string ສອບຖາມ).

ນອກຈາກນີ້, ຫຼາຍຊ່ອງຂໍ້ມູນລະບົບໄດ້ຖືກເພີ່ມເຂົ້າໃນຕາຕະລາງເພື່ອເກັບຮັກສາຂໍ້ມູນກ່ຽວກັບລະບົບ, ອົງປະກອບ, ແລະເຄື່ອງແມ່ຂ່າຍ. ສໍາລັບລາຍລະອຽດຂອງຊ່ອງຂໍ້ມູນເຫຼົ່ານີ້, ເບິ່ງຕາຕະລາງຂ້າງລຸ່ມນີ້. ໃນຕາຕະລາງຫນຶ່ງພວກເຮົາເກັບບັນທຶກສໍາລັບຫຼາຍລະບົບ.

Title

ລາຍ​ລະ​ອຽດ

ຕົວຢ່າງ:

fld_app_name

ຊື່ແອັບພລິເຄຊັນ/ລະບົບ
ຄ່າທີ່ຖືກຕ້ອງ:

• site1.domain.com ເວັບໄຊພາຍນອກ 1
• site2.domain.com ເວັບໄຊພາຍນອກ 2
• internal-site1.domain.local ເວັບໄຊພາຍໃນ 1

site1.domain.com

fld_app_module

ໂມດູນລະບົບ
ຄ່າທີ່ຖືກຕ້ອງ:

• web - ເວັບໄຊທ໌
• svc — ການ​ບໍ​ລິ​ການ​ເວັບ​ໄຊ​ຕ​໌​
• intgr — ການ​ບໍ​ລິ​ການ​ການ​ເຊື່ອມ​ໂຍງ​ເວັບ​
• bo — Administrator (BackOffice)

ເວັບໄຊຕ໌

fld_website_name

ຊື່ເວັບໄຊໃນ IIS

ຫຼາຍລະບົບສາມາດຖືກນຳໃຊ້ຢູ່ໃນເຊີບເວີດຽວ, ຫຼືແມ້ກະທັ້ງຫຼາຍຕົວຢ່າງຂອງໂມດູນລະບົບດຽວ

ເວັບໄຊຕ໌ຕົ້ນຕໍ

fld_server_name

ຊື່ເຊີບເວີ

web1.domain.com

fld_log_file_name

ເສັ້ນທາງໄປຫາໄຟລ໌ບັນທຶກຢູ່ໃນເຄື່ອງແມ່ຂ່າຍ

ຈາກ:inetpublogsLogFiles
W3SVC1u_ex190711.log

ນີ້ຊ່ວຍໃຫ້ທ່ານສາມາດສ້າງກາຟໃນ Grafana ໄດ້ຢ່າງມີປະສິດທິພາບ. ຕົວຢ່າງ, ເບິ່ງການຮ້ອງຂໍຈາກດ້ານຫນ້າຂອງລະບົບສະເພາະ. ນີ້ແມ່ນຄ້າຍຄືກັນກັບເວັບໄຊທ໌ counter ໃນ Yandex.Metrica.

ນີ້ແມ່ນສະຖິຕິບາງຢ່າງກ່ຽວກັບການນໍາໃຊ້ຖານຂໍ້ມູນສໍາລັບສອງເດືອນ.

ຈໍານວນການບັນທຶກໂດຍລະບົບແລະອົງປະກອບ

SELECT
    fld_app_name,
    fld_app_module,
    count(fld_app_name) AS rows_count
FROM log_web
GROUP BY
    fld_app_name,
    fld_app_module
    WITH TOTALS
ORDER BY
    fld_app_name ASC,
    rows_count DESC
 
┌─fld_app_name─────┬─fld_app_module─┬─rows_count─┐
│ site1.domain.ru  │ web            │     131441 │
│ site2.domain.ru  │ web            │    1751081 │
│ site3.domain.ru  │ web            │  106887543 │
│ site3.domain.ru  │ svc            │   44908603 │
│ site3.domain.ru  │ intgr          │    9813911 │
│ site4.domain.ru  │ web            │     772095 │
│ site5.domain.ru  │ web            │   17037221 │
│ site5.domain.ru  │ intgr          │     838559 │
│ site5.domain.ru  │ bo             │       7404 │
│ site6.domain.ru  │ web            │     595877 │
│ site7.domain.ru  │ web            │   27778858 │
└──────────────────┴────────────────┴────────────┘
 
Totals:
┌─fld_app_name─┬─fld_app_module─┬─rows_count─┐
│              │                │  210522593 │
└──────────────┴────────────────┴────────────┘
 
11 rows in set. Elapsed: 4.874 sec. Processed 210.52 million rows, 421.67 MB (43.19 million rows/s., 86.51 MB/s.)

ປະລິມານຂໍ້ມູນແຜ່ນ

SELECT
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed,
    sum(rows) AS total_rows
FROM system.parts
WHERE table = 'log_web'
 
┌─uncompressed─┬─compressed─┬─total_rows─┐
│ 54.50 GiB    │ 4.86 GiB   │  211427094 │
└──────────────┴────────────┴────────────┘
 
1 rows in set. Elapsed: 0.035 sec.

ອັດຕາສ່ວນການບີບອັດຂໍ້ມູນຖັນ

SELECT
    name,
    formatReadableSize(data_uncompressed_bytes) AS uncompressed,
    formatReadableSize(data_compressed_bytes) AS compressed,
    data_uncompressed_bytes / data_compressed_bytes AS compress_ratio
FROM system.columns
WHERE table = 'log_web'
 
┌─name───────────────────┬─uncompressed─┬─compressed─┬─────compress_ratio─┐
│ logdate                │ 401.53 MiB   │ 1.80 MiB   │ 223.16665968777315 │
│ logdatetime            │ 803.06 MiB   │ 35.91 MiB  │ 22.363966401202305 │
│ fld_log_file_name      │ 220.66 MiB   │ 2.60 MiB   │  84.99905736932571 │
│ fld_server_name        │ 201.54 MiB   │ 50.63 MiB  │  3.980924816977078 │
│ fld_app_name           │ 201.17 MiB   │ 969.17 KiB │ 212.55518183686877 │
│ fld_app_module         │ 201.17 MiB   │ 968.60 KiB │ 212.67805817411906 │
│ fld_website_name       │ 201.54 MiB   │ 1.24 MiB   │  162.7204926761546 │
│ serverIP               │ 201.54 MiB   │ 50.25 MiB  │  4.010824061219731 │
│ method                 │ 201.53 MiB   │ 43.64 MiB  │  4.617721053304486 │
│ uriStem                │ 5.13 GiB     │ 832.51 MiB │  6.311522291936919 │
│ uriQuery               │ 2.58 GiB     │ 501.06 MiB │  5.269731450124478 │
│ port                   │ 803.06 MiB   │ 3.98 MiB   │ 201.91673864241824 │
│ username               │ 318.08 MiB   │ 26.93 MiB  │ 11.812513794583598 │
│ clientIP               │ 2.35 GiB     │ 82.59 MiB  │ 29.132328640073343 │
│ clientRealIP           │ 2.49 GiB     │ 465.05 MiB │  5.478382297052563 │
│ userAgent              │ 18.34 GiB    │ 764.08 MiB │  24.57905114484208 │
│ referer                │ 14.71 GiB    │ 1.37 GiB   │ 10.736792723669906 │
│ response               │ 803.06 MiB   │ 83.81 MiB  │  9.582334090987247 │
│ subresponse            │ 399.87 MiB   │ 1.83 MiB   │  218.4831068635027 │
│ win32response          │ 407.86 MiB   │ 7.41 MiB   │ 55.050315514606815 │
│ timetaken              │ 1.57 GiB     │ 402.06 MiB │ 3.9947395692010637 │
│ uriQuery__utm_medium   │ 208.17 MiB   │ 12.29 MiB  │ 16.936148912472955 │
│ uriQuery__utm_source   │ 215.18 MiB   │ 13.00 MiB  │ 16.548367623199912 │
│ uriQuery__utm_campaign │ 381.46 MiB   │ 37.94 MiB  │ 10.055156353418509 │
│ uriQuery__utm_term     │ 231.82 MiB   │ 10.78 MiB  │ 21.502540454070672 │
│ uriQuery__utm_content  │ 441.34 MiB   │ 87.60 MiB  │  5.038260760449327 │
│ uriQuery__yclid        │ 216.88 MiB   │ 16.58 MiB  │  13.07721335008116 │
│ uriQuery__region       │ 204.35 MiB   │ 9.49 MiB   │  21.52661903446796 │
└────────────────────────┴──────────────┴────────────┴────────────────────┘
 
28 rows in set. Elapsed: 0.005 sec.

ລາຍລະອຽດຂອງອົງປະກອບທີ່ໃຊ້

FileBeat. ການໂອນບັນທຶກໄຟລ໌

ອົງ​ປະ​ກອບ​ນີ້​ຕິດ​ຕາມ​ກວດ​ກາ​ການ​ປ່ຽນ​ແປງ​ການ​ເຂົ້າ​ສູ່​ລະ​ບົບ​ໄຟລ​໌​ໃນ​ແຜ່ນ​ແລະ​ຜ່ານ​ຂໍ້​ມູນ​ເພື່ອ LogStash​. ຕິດຕັ້ງຢູ່ໃນເຄື່ອງແມ່ຂ່າຍທັງຫມົດທີ່ໄຟລ໌ບັນທຶກຖືກຂຽນ (ປົກກະຕິແລ້ວ IIS). ເຮັດວຽກຢູ່ໃນຮູບແບບຫາງ (i. e. , ມັນໂອນພຽງແຕ່ບັນທຶກການເພີ່ມເຂົ້າໄປໃນໄຟລ໌). ແຕ່ທ່ານສາມາດຕັ້ງຄ່າແຍກຕ່າງຫາກເພື່ອໂອນໄຟລ໌ທັງຫມົດ. ນີ້ແມ່ນສະດວກໃນເວລາທີ່ທ່ານຕ້ອງການດາວໂຫລດຂໍ້ມູນສໍາລັບເດືອນທີ່ຜ່ານມາ. ພຽງ​ແຕ່​ເອົາ​ໄຟລ​໌​ບັນ​ທຶກ​ໄວ້​ໃນ​ໂຟນ​ເດີ​ແລະ​ມັນ​ຈະ​ອ່ານ​ມັນ​ທັງ​ຫມົດ​.

ເມື່ອການບໍລິການຢຸດ, ຂໍ້ມູນຢຸດຖືກໂອນໄປຫາບ່ອນເກັບຂໍ້ມູນຕື່ມອີກ.

ຕົວ​ຢ່າງ​ການ​ຕັ້ງ​ຄ່າ​ເບິ່ງ​ຄື​ນີ້​:

filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/W3SVC1/*.log
  exclude_files: ['.gz$','.zip$']
  tail_files: true
  ignore_older: 24h
  fields:
    fld_server_name: "site1.domain.ru"
    fld_app_name: "site1.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
 
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/__Import/access_log-*
  exclude_files: ['.gz$','.zip$']
  tail_files: false
  fields:
    fld_server_name: "site2.domain.ru"
    fld_app_name: "site2.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
    fld_logformat: "logformat__apache"
 
 
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  reload.period: 2s
 
output.logstash:
  hosts: ["log.domain.com:5044"]
 
  ssl.enabled: true
  ssl.certificate_authorities: ["C:/filebeat/certs/ca.pem", "C:/filebeat/certs/ca-issuing.pem"]
  ssl.certificate: "C:/filebeat/certs/site1.domain.ru.cer"
  ssl.key: "C:/filebeat/certs/site1.domain.ru.key"
 
#================================ Processors =====================================
 
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

LogStash. ຕົວເກັບບັນທຶກ

ອົງປະກອບນີ້ຖືກອອກແບບມາເພື່ອຮັບບັນທຶກຈາກ FileBeat (ຫຼືຜ່ານແຖວ RabbitMQ), parse ແລະໃສ່ພວກມັນເປັນຊຸດເຂົ້າໄປໃນຖານຂໍ້ມູນ ClickHouse.

ເພື່ອໃສ່ເຂົ້າໄປໃນ ClickHouse, ໃຊ້ plugin Logstash-output-clickhouse. ປັ໊ກອິນ Logstash ມີກົນໄກສໍາລັບການຖອນຄືນຄໍາຮ້ອງຂໍ, ແຕ່ໃນລະຫວ່າງການປິດປົກກະຕິ, ມັນກໍ່ດີກວ່າທີ່ຈະຢຸດການບໍລິການຂອງມັນເອງ. ເມື່ອຢຸດເຊົາ, ຂໍ້ຄວາມຈະສະສົມຢູ່ໃນແຖວ RabbitMQ, ດັ່ງນັ້ນຖ້າການຢຸດເຊົາເປັນເວລາດົນ, ມັນດີກວ່າທີ່ຈະຢຸດ Filebeats ໃນເຄື່ອງແມ່ຂ່າຍ. ໃນໂຄງການທີ່ RabbitMQ ບໍ່ໄດ້ຖືກນໍາໃຊ້ (ໃນເຄືອຂ່າຍທ້ອງຖິ່ນ Filebeat ສົ່ງບັນທຶກໂດຍກົງໄປຫາ Logstash), Filebeats ເຮັດວຽກຂ້ອນຂ້າງເປັນທີ່ຍອມຮັບແລະປອດໄພ, ດັ່ງນັ້ນສໍາລັບພວກເຂົາ, ຄວາມບໍ່ພ້ອມຂອງຜົນຜະລິດບໍ່ມີຜົນສະທ້ອນ.

ຕົວ​ຢ່າງ​ການ​ຕັ້ງ​ຄ່າ​ເບິ່ງ​ຄື​ນີ້​:

log_web__filebeat_clickhouse.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/logstash/certs/ca.cer", "/etc/logstash/certs/ca-issuing.cer"]
        ssl_certificate => "/etc/logstash/certs/server.cer"
        ssl_key => "/etc/logstash/certs/server-pkcs8.key"
        ssl_verify_mode => "peer"
 
            add_field => {
                "fld_server_name" => "%{[fields][fld_server_name]}"
                "fld_app_name" => "%{[fields][fld_app_name]}"
                "fld_app_module" => "%{[fields][fld_app_module]}"
                "fld_website_name" => "%{[fields][fld_website_name]}"
                "fld_log_file_name" => "%{source}"
                "fld_logformat" => "%{[fields][fld_logformat]}"
            }
    }
 
    rabbitmq {
        host => "queue.domain.com"
        port => 5671
        user => "q-reader"
        password => "password"
        queue => "web_log"
        heartbeat => 30
        durable => true
        ssl => true
        #ssl_certificate_path => "/etc/logstash/certs/server.p12"
        #ssl_certificate_password => "password"
 
        add_field => {
            "fld_server_name" => "%{[fields][fld_server_name]}"
            "fld_app_name" => "%{[fields][fld_app_name]}"
            "fld_app_module" => "%{[fields][fld_app_module]}"
            "fld_website_name" => "%{[fields][fld_website_name]}"
            "fld_log_file_name" => "%{source}"
            "fld_logformat" => "%{[fields][fld_logformat]}"
        }
    }
 
}
 
filter { 
 
      if [message] =~ "^#" {
        drop {}
      }
 
      if [fld_logformat] == "logformat__iis_with_xrealip" {
     
          grok {
            match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken} %{NOTSPACE:xrealIP} %{NOTSPACE:xforwarderfor}"]
          }
      } else {
   
          grok {
             match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken}"]
          }
 
      }
 
      date {
        match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
          timezone => "Etc/UTC"
        remove_field => [ "log_timestamp", "@timestamp" ]
        target => [ "log_timestamp2" ]
      }
 
        ruby {
            code => "tstamp = event.get('log_timestamp2').to_i
                        event.set('logdatetime', Time.at(tstamp).strftime('%Y-%m-%d %H:%M:%S'))
                        event.set('logdate', Time.at(tstamp).strftime('%Y-%m-%d'))"
        }
 
      if [bytesSent] {
        ruby {
          code => "event['kilobytesSent'] = event['bytesSent'].to_i / 1024.0"
        }
      }
 
 
      if [bytesReceived] {
        ruby {
          code => "event['kilobytesReceived'] = event['bytesReceived'].to_i / 1024.0"
        }
      }
 
   
        ruby {
            code => "event.set('clientRealIP', event.get('clientIP'))"
        }
        if [xrealIP] {
            ruby {
                code => "event.set('clientRealIP', event.get('xrealIP'))"
            }
        }
        if [xforwarderfor] {
            ruby {
                code => "event.set('clientRealIP', event.get('xforwarderfor'))"
            }
        }
 
      mutate {
        convert => ["bytesSent", "integer"]
        convert => ["bytesReceived", "integer"]
        convert => ["timetaken", "integer"] 
        convert => ["port", "integer"]
 
        add_field => {
            "clientHostname" => "%{clientIP}"
        }
      }
 
        useragent {
            source=> "useragent"
            prefix=> "browser"
        }
 
        kv {
            source => "uriQuery"
            prefix => "uriQuery__"
            allow_duplicate_values => false
            field_split => "&"
            include_keys => [ "utm_medium", "utm_source", "utm_campaign", "utm_term", "utm_content", "yclid", "region" ]
        }
 
        mutate {
            join => { "uriQuery__utm_source" => "," }
            join => { "uriQuery__utm_medium" => "," }
            join => { "uriQuery__utm_campaign" => "," }
            join => { "uriQuery__utm_term" => "," }
            join => { "uriQuery__utm_content" => "," }
            join => { "uriQuery__yclid" => "," }
            join => { "uriQuery__region" => "," }
        }
 
}
 
output { 
  #stdout {codec => rubydebug}
    clickhouse {
      headers => ["Authorization", "Basic abcdsfks..."]
      http_hosts => ["http://127.0.0.1:8123"]
      save_dir => "/etc/logstash/tmp"
      table => "log_web"
      request_tolerance => 1
      flush_size => 10000
      idle_flush_time => 1
        mutations => {
            "fld_log_file_name" => "fld_log_file_name"
            "fld_server_name" => "fld_server_name"
            "fld_app_name" => "fld_app_name"
            "fld_app_module" => "fld_app_module"
            "fld_website_name" => "fld_website_name"
 
            "logdatetime" => "logdatetime"
            "logdate" => "logdate"
            "serverIP" => "serverIP"
            "method" => "method"
            "uriStem" => "uriStem"
            "uriQuery" => "uriQuery"
            "port" => "port"
            "username" => "username"
            "clientIP" => "clientIP"
            "clientRealIP" => "clientRealIP"
            "userAgent" => "userAgent"
            "referer" => "referer"
            "response" => "response"
            "subresponse" => "subresponse"
            "win32response" => "win32response"
            "timetaken" => "timetaken"
             
            "uriQuery__utm_medium" => "uriQuery__utm_medium"
            "uriQuery__utm_source" => "uriQuery__utm_source"
            "uriQuery__utm_campaign" => "uriQuery__utm_campaign"
            "uriQuery__utm_term" => "uriQuery__utm_term"
            "uriQuery__utm_content" => "uriQuery__utm_content"
            "uriQuery__yclid" => "uriQuery__yclid"
            "uriQuery__region" => "uriQuery__region"
        }
    }
 
}

pipelines.yml

# This file is where you define your pipelines. You can define multiple.
# For more information on multiple pipelines, see the documentation:
#   https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
 
- pipeline.id: log_web__filebeat_clickhouse
  path.config: "/etc/logstash/log_web__filebeat_clickhouse.conf"

ClickHouse. ການເກັບຮັກສາບັນທຶກ

ບັນທຶກສໍາລັບລະບົບທັງຫມົດຖືກບັນທຶກໄວ້ໃນຕາຕະລາງດຽວ (ເບິ່ງໃນຕອນຕົ້ນຂອງບົດຄວາມ). ມັນຖືກອອກແບບມາເພື່ອເກັບຂໍ້ມູນກ່ຽວກັບການຮ້ອງຂໍ: ຕົວກໍານົດການທັງຫມົດແມ່ນຄ້າຍຄືກັນສໍາລັບຮູບແບບທີ່ແຕກຕ່າງກັນ, ຕົວຢ່າງເຊັ່ນ IIS logs, apache ແລະ nginx logs. ສໍາລັບບັນທຶກຄໍາຮ້ອງສະຫມັກທີ່, ສໍາລັບການຍົກຕົວຢ່າງ, ຄວາມຜິດພາດ, ຂໍ້ຄວາມຂໍ້ມູນຂ່າວສານ, ການເຕືອນໄພໄດ້ຖືກບັນທຶກໄວ້, ຕາຕະລາງແຍກຕ່າງຫາກຈະໄດ້ຮັບການສະຫນອງໂຄງສ້າງທີ່ເຫມາະສົມ (ປະຈຸບັນຢູ່ໃນຂັ້ນຕອນການອອກແບບ).

ໃນເວລາທີ່ການອອກແບບຕາຕະລາງ, ມັນເປັນສິ່ງສໍາຄັນຫຼາຍທີ່ຈະຕັດສິນໃຈກ່ຽວກັບລະຫັດຕົ້ນຕໍ (ໂດຍຂໍ້ມູນຈະຖືກຈັດຮຽງໃນລະຫວ່າງການເກັບຮັກສາ). ລະດັບຂອງການບີບອັດຂໍ້ມູນແລະຄວາມໄວການສອບຖາມແມ່ນຂຶ້ນກັບນີ້. ໃນຕົວຢ່າງຂອງພວກເຮົາ, ທີ່ສໍາຄັນແມ່ນ
ສັ່ງໂດຍ (fld_app_name, fld_app_module, logdatetime)
ນັ້ນແມ່ນ, ໂດຍຊື່ຂອງລະບົບ, ຊື່ຂອງອົງປະກອບຂອງລະບົບແລະວັນທີຂອງເຫດການ. ໃນເບື້ອງຕົ້ນ, ວັນທີຂອງເຫດການແມ່ນມາກ່ອນ. ຫຼັງຈາກຍ້າຍມັນໄປບ່ອນສຸດທ້າຍ, ການສອບຖາມເລີ່ມເຮັດວຽກໄວຂຶ້ນປະມານສອງເທົ່າ. ການປ່ຽນລະຫັດຫຼັກຈະຕ້ອງມີການສ້າງຕາຕະລາງຄືນໃໝ່ ແລະການອັບໂຫລດຂໍ້ມູນຄືນໃໝ່ ເພື່ອໃຫ້ ClickHouse ຈະຈັດຮຽງຂໍ້ມູນໃນດິສກ໌ຄືນໃໝ່. ນີ້ແມ່ນການດໍາເນີນງານທີ່ຫຍຸ້ງຍາກ, ດັ່ງນັ້ນຄວນຄິດຢ່າງລະອຽດລ່ວງຫນ້າກ່ຽວກັບສິ່ງທີ່ຄວນຈະຖືກລວມເຂົ້າໃນກະແຈການຈັດລຽງ.

ຄວນສັງເກດວ່າປະເພດຂໍ້ມູນ LowCardinality ປາກົດຢູ່ໃນສະບັບທີ່ຜ່ານມາຂ້ອນຂ້າງ. ເມື່ອນໍາໃຊ້ມັນ, ຂະຫນາດຂອງຂໍ້ມູນທີ່ຖືກບີບອັດແມ່ນຫຼຸດລົງຢ່າງຫຼວງຫຼາຍສໍາລັບພາກສະຫນາມທີ່ມີ cardinality ຕ່ໍາ (ທາງເລືອກຫນ້ອຍ).

ພວກເຮົາກຳລັງໃຊ້ເວີຊັ່ນ 19.6 ແລະພວກເຮົາວາງແຜນທີ່ຈະພະຍາຍາມອັບເດດເປັນເວີຊັ່ນລ່າສຸດ. ພວກເຂົາມີຄຸນສົມບັດທີ່ຍອດຢ້ຽມເຊັ່ນ Adaptive Granularity, Skipping indices ແລະ DoubleDelta codec, ສໍາລັບການຍົກຕົວຢ່າງ.

ໂດຍຄ່າເລີ່ມຕົ້ນ, ໃນລະຫວ່າງການຕິດຕັ້ງ, ລະດັບການບັນທຶກການຕັ້ງຄ່າຖືກຕັ້ງໃຫ້ຕິດຕາມ. ບັນທຶກຖືກຫມຸນແລະເກັບໄວ້, ແຕ່ໃນເວລາດຽວກັນພວກມັນຂະຫຍາຍເຖິງ gigabyte. ຖ້າບໍ່ມີຄວາມຕ້ອງການ, ຫຼັງຈາກນັ້ນທ່ານສາມາດກໍານົດລະດັບການເຕືອນໄພ, ຫຼັງຈາກນັ້ນຂະຫນາດຂອງບັນທຶກຈະຫຼຸດລົງຢ່າງຫຼວງຫຼາຍ. ການຕັ້ງຄ່າການບັນທຶກຖືກລະບຸໄວ້ໃນໄຟລ໌ config.xml:

<!-- Possible levels: https://github.com/pocoproject/poco/blob/develop/Foundation/include/Poco/Logger. h#L105 -->
<level>warning</level>

ບາງຄໍາສັ່ງທີ່ເປັນປະໂຫຍດ

Поскольку оригинальные пакеты установки собираются по Debian, то для других версий Linux необходимо использовать пакеты собранные компанией Altinity.
 
Вот по этой ссылке есть инструкции с ссылками на их репозиторий: https://www.altinity.com/blog/2017/12/18/logstash-with-clickhouse
sudo yum search clickhouse-server
sudo yum install clickhouse-server.noarch
  
1. проверка статуса
sudo systemctl status clickhouse-server
 
2. остановка сервера
sudo systemctl stop clickhouse-server
 
3. запуск сервера
sudo systemctl start clickhouse-server
 
Запуск для выполнения запросов в многострочном режиме (выполнение после знака ";")
clickhouse-client --multiline
clickhouse-client --multiline --host 127.0.0.1 --password pa55w0rd
clickhouse-client --multiline --host 127.0.0.1 --port 9440 --secure --user default --password pa55w0rd
 
Плагин кликлауза для логстеш в случае ошибки в одной строке сохраняет всю пачку в файл /tmp/log_web_failed.json
Можно вручную исправить этот файл и попробовать залить его в БД вручную:
clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /tmp/log_web_failed__fixed.json
 
sudo mv /etc/logstash/tmp/log_web_failed.json /etc/logstash/tmp/log_web_failed__fixed.json
sudo chown user_dev /etc/logstash/tmp/log_web_failed__fixed.json
sudo clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /etc/logstash/tmp/log_web_failed__fixed.json
sudo mv /etc/logstash/tmp/log_web_failed__fixed.json /etc/logstash/tmp/log_web_failed__fixed_.json
 
выход из командной строки
quit;
## Настройка TLS
https://www.altinity.com/blog/2019/3/5/clickhouse-networking-part-2
 
openssl s_client -connect log.domain.com:9440 < /dev/null

LogStash. ບັນທຶກ router ຈາກ FileBeat ໄປຫາແຖວ RabbitMQ

ອົງປະກອບນີ້ຖືກນໍາໃຊ້ເພື່ອກໍານົດເສັ້ນທາງທີ່ມາຈາກ FileBeat ໄປຫາແຖວ RabbitMQ. ມີສອງຈຸດຢູ່ທີ່ນີ້:

1. ແຕ່ຫນ້າເສຍດາຍ, FileBeat ບໍ່ມີ plugin ຜົນຜະລິດສໍາລັບການຂຽນໂດຍກົງກັບ RabbitMQ. ແລະການທໍາງານດັ່ງກ່າວ, ການຕັດສິນໂດຍການຕອບໃນ github ຂອງພວກເຂົາ, ບໍ່ໄດ້ຖືກວາງແຜນສໍາລັບການປະຕິບັດ. ມີ plugin ສໍາລັບ Kafka, ແຕ່ສໍາລັບເຫດຜົນບາງຢ່າງພວກເຮົາບໍ່ສາມາດໃຊ້ມັນເອງ.
2. ມີຂໍ້ກໍານົດສໍາລັບການເກັບບັນທຶກໃນ DMZ. ອີງໃສ່ພວກມັນ, ບັນທຶກທໍາອິດຕ້ອງໄດ້ຮັບການຈັດຄິວແລະຫຼັງຈາກນັ້ນ LogStash ອ່ານບັນທຶກຈາກແຖວພາຍນອກ.

ດັ່ງນັ້ນ, ໂດຍສະເພາະສໍາລັບກໍລະນີຂອງເຄື່ອງແມ່ຂ່າຍທີ່ຕັ້ງຢູ່ໃນ DMZ, ມັນຈໍາເປັນຕ້ອງໃຊ້ໂຄງການດັ່ງກ່າວທີ່ສັບສົນເລັກນ້ອຍ. ຕົວ​ຢ່າງ​ການ​ຕັ້ງ​ຄ່າ​ເບິ່ງ​ຄື​ນີ້​:

iis_w3c_logs__filebeat_rabbitmq.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/pki/tls/certs/app/ca.pem", "/etc/pki/tls/certs/app/ca-issuing.pem"]
        ssl_certificate => "/etc/pki/tls/certs/app/queue.domain.com.cer"
        ssl_key => "/etc/pki/tls/certs/app/queue.domain.com-pkcs8.key"
        ssl_verify_mode => "peer"
    }
 
}
 
output { 
  #stdout {codec => rubydebug}
 
    rabbitmq {
        host => "127.0.0.1"
        port => 5672
        exchange => "monitor.direct"
        exchange_type => "direct"
        key => "%{[fields][fld_app_name]}"
        user => "q-writer"
        password => "password"
        ssl => false
    }
}

RabbitMQ. ແຖວຂໍ້ຄວາມ

ອົງປະກອບນີ້ຖືກນໍາໃຊ້ເພື່ອ buffer ລາຍການບັນທຶກໃນ DMZ. ການບັນທຶກແມ່ນເຮັດໄດ້ໂດຍຜ່ານການເຊື່ອມຕໍ່ Filebeat → LogStash. ການອ່ານແມ່ນເຮັດຈາກພາຍນອກ DMZ ຜ່ານ LogStash. ເມື່ອດໍາເນີນການຜ່ານ RabbitMQ, ປະມານ 4 ພັນຂໍ້ຄວາມຕໍ່ວິນາທີຖືກປຸງແຕ່ງ.

ເສັ້ນທາງຂໍ້ຄວາມຖືກຕັ້ງຄ່າໂດຍຊື່ລະບົບ, i.e., ອີງຕາມຂໍ້ມູນການຕັ້ງຄ່າ FileBeat. ຂໍ້ຄວາມທັງໝົດເຂົ້າໄປໃນຄິວດຽວ. ຖ້າສໍາລັບເຫດຜົນບາງຢ່າງການບໍລິການຄິວຢຸດ, ນີ້ຈະບໍ່ນໍາໄປສູ່ການສູນເສຍຂໍ້ຄວາມ: FileBeats ຈະໄດ້ຮັບຂໍ້ຜິດພາດໃນການເຊື່ອມຕໍ່ແລະຈະຢຸດການສົ່ງຊົ່ວຄາວ. ແລະ LogStash, ທີ່ອ່ານຈາກແຖວ, ຍັງຈະໄດ້ຮັບຄວາມຜິດພາດຂອງເຄືອຂ່າຍແລະລໍຖ້າການເຊື່ອມຕໍ່ຄືນ. ໃນກໍລະນີນີ້, ແນ່ນອນ, ຂໍ້ມູນຈະບໍ່ຖືກຂຽນໃສ່ຖານຂໍ້ມູນ.

ຄຳແນະນຳຕໍ່ໄປນີ້ຖືກໃຊ້ເພື່ອສ້າງ ແລະກຳນົດຄ່າຄິວ:

sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare exchange --vhost=/ name=monitor.direct type=direct sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare queue --vhost=/ name=web_log durable=true
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site1.domain.ru"
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site2.domain.ru"

ກຣາຟານາ. ແຜງໜ້າປັດ

ອົງປະກອບນີ້ຖືກນໍາໃຊ້ເພື່ອສະແດງຂໍ້ມູນການຕິດຕາມ. ໃນກໍລະນີນີ້, ທ່ານຈໍາເປັນຕ້ອງຕິດຕັ້ງແຫຼ່ງຂໍ້ມູນ ClickHouse ສໍາລັບ Grafana 4.6+ plugin. ພວກເຮົາຕ້ອງປັບມັນເລັກນ້ອຍເພື່ອປັບປຸງປະສິດທິພາບຂອງການປະມວນຜົນການກັ່ນຕອງ SQL ໃນ dashboard.

ຕົວຢ່າງເຊັ່ນ, ພວກເຮົາໃຊ້ຕົວແປ, ແລະຖ້າພວກເຂົາບໍ່ໄດ້ລະບຸໄວ້ໃນພາກສະຫນາມການກັ່ນຕອງ, ຫຼັງຈາກນັ້ນພວກເຮົາຕ້ອງການບໍ່ໃຫ້ມັນສ້າງເງື່ອນໄຂໃນ WHERE ຂອງແບບຟອມ ( uriStem = "AND uriStem !="). ໃນກໍລະນີນີ້, ClickHouse ຈະອ່ານຄໍລໍາ uriStem. ດັ່ງນັ້ນ, ພວກເຮົາໄດ້ພະຍາຍາມທາງເລືອກທີ່ແຕກຕ່າງກັນແລະສຸດທ້າຍໄດ້ແກ້ໄຂ plugin (macro $valueIfEmpty) ເພື່ອກັບຄືນ 1 ໃນກໍລະນີຂອງຄ່າຫວ່າງເປົ່າ, ໂດຍບໍ່ມີການກ່າວເຖິງຄໍລໍາຕົວມັນເອງ.

ແລະໃນປັດຈຸບັນທ່ານສາມາດນໍາໃຊ້ຄໍາຖາມນີ້ສໍາລັບກາຟ

$columns(response, count(*) c) from $table where $adhoc
and $valueIfEmpty($fld_app_name, 1, fld_app_name = '$fld_app_name')
and $valueIfEmpty($fld_app_module, 1, fld_app_module = '$fld_app_module') and $valueIfEmpty($fld_server_name, 1, fld_server_name = '$fld_server_name') and $valueIfEmpty($uriStem, 1, uriStem like '%$uriStem%')
and $valueIfEmpty($clientRealIP, 1, clientRealIP = '$clientRealIP')

ເຊິ່ງຖືກປ່ຽນເປັນ SQL ແບບນີ້ (ສັງເກດວ່າຊ່ອງ uriStem ຫວ່າງເປົ່າຖືກປ່ຽນເປັນພຽງ 1)

SELECT
t,
groupArray((response, c)) AS groupArr
FROM (
SELECT
(intDiv(toUInt32(logdatetime), 60) * 60) * 1000 AS t, response,
count(*) AS c FROM default.log_web
WHERE (logdate >= toDate(1565061982)) AND (logdatetime >= toDateTime(1565061982)) AND 1 AND (fld_app_name = 'site1.domain.ru') AND (fld_app_module = 'web') AND 1 AND 1 AND 1
GROUP BY
t, response
ORDER BY
t ASC,
response ASC
)
GROUP BY t ORDER BY t ASC

ສະຫລຸບ

ຮູບລັກສະນະຂອງຖານຂໍ້ມູນ ClickHouse ໄດ້ກາຍເປັນເຫດການທີ່ສໍາຄັນໃນຕະຫຼາດ. ມັນເປັນການຍາກທີ່ຈະຈິນຕະນາການວ່າໃນທັນທີ, ບໍ່ເສຍຄ່າທັງຫມົດ, ພວກເຮົາປະກອບອາວຸດທີ່ມີເຄື່ອງມືທີ່ມີປະສິດທິພາບແລະປະຕິບັດໄດ້ສໍາລັບການເຮັດວຽກກັບຂໍ້ມູນໃຫຍ່. ແນ່ນອນ, ເມື່ອຄວາມຕ້ອງການເພີ່ມຂຶ້ນ (ຕົວຢ່າງ, sharding ແລະ replication ກັບເຄື່ອງແມ່ຂ່າຍຫຼາຍ), ໂຄງການຈະກາຍເປັນສະລັບສັບຊ້ອນຫຼາຍ. ແຕ່ອີງຕາມຄວາມປະທັບໃຈຄັ້ງທໍາອິດ, ການເຮັດວຽກກັບຖານຂໍ້ມູນນີ້ແມ່ນເປັນສຸກຫຼາຍ. ມັນເປັນທີ່ຊັດເຈນວ່າຜະລິດຕະພັນແມ່ນ "ສໍາລັບປະຊາຊົນ".

ເມື່ອປຽບທຽບກັບ ElasticSearch, ຄ່າໃຊ້ຈ່າຍໃນການເກັບຮັກສາແລະການປຸງແຕ່ງບັນທຶກ, ອີງຕາມການຄາດຄະເນເບື້ອງຕົ້ນ, ຫຼຸດລົງຈາກຫ້າຫາສິບເທົ່າ. ໃນຄໍາສັບຕ່າງໆອື່ນໆ, ຖ້າສໍາລັບປະລິມານຂໍ້ມູນໃນປະຈຸບັນ, ພວກເຮົາຈະຕ້ອງຕັ້ງກຸ່ມຂອງເຄື່ອງຈັກຫຼາຍ, ຫຼັງຈາກນັ້ນ, ເມື່ອນໍາໃຊ້ ClickHouse ພວກເຮົາຕ້ອງການພຽງແຕ່ຫນຶ່ງເຄື່ອງຈັກຕ່ໍາ. ແມ່ນແລ້ວ, ແນ່ນອນ, ElasticSearch ຍັງມີກົນໄກການບີບອັດຂໍ້ມູນໃນແຜ່ນແລະລັກສະນະອື່ນໆທີ່ສາມາດຫຼຸດຜ່ອນການບໍລິໂພກຊັບພະຍາກອນຢ່າງຫຼວງຫຼາຍ, ແຕ່ເມື່ອປຽບທຽບກັບ ClickHouse ນີ້ຈະຕ້ອງໃຊ້ຄ່າໃຊ້ຈ່າຍຫຼາຍກວ່າເກົ່າ.

ໂດຍບໍ່ມີການເພີ່ມປະສິດທິພາບພິເສດໃດໆໃນສ່ວນຂອງພວກເຮົາ, ດ້ວຍການຕັ້ງຄ່າເລີ່ມຕົ້ນ, ການໂຫຼດຂໍ້ມູນແລະການດຶງຂໍ້ມູນຈາກຖານຂໍ້ມູນເຮັດວຽກຢູ່ໃນຄວາມໄວທີ່ຫນ້າປະຫລາດໃຈ. ພວກເຮົາບໍ່ມີຂໍ້ມູນຫຼາຍເທື່ອ (ປະມານ 200 ລ້ານບັນທຶກ), ແຕ່ເຄື່ອງແມ່ຂ່າຍຂອງມັນເອງອ່ອນແອ. ພວກເຮົາອາດຈະໃຊ້ເຄື່ອງມືນີ້ໃນອະນາຄົດເພື່ອຈຸດປະສົງອື່ນໆທີ່ບໍ່ກ່ຽວຂ້ອງກັບການເກັບຮັກສາບັນທຶກ. ຕົວຢ່າງ, ສໍາລັບການວິເຄາະໃນຕອນທ້າຍ, ໃນຂົງເຂດຄວາມປອດໄພ, ການຮຽນຮູ້ເຄື່ອງຈັກ.

ໃນທີ່ສຸດ, ເລັກນ້ອຍກ່ຽວກັບຂໍ້ດີແລະຂໍ້ເສຍ.

Минусы

1. ກຳລັງໂຫຼດບັນທຶກເປັນຊຸດໃຫຍ່. ໃນອີກດ້ານຫນຶ່ງ, ນີ້ແມ່ນຄຸນສົມບັດ, ແຕ່ວ່າທ່ານຍັງຕ້ອງໃຊ້ອົງປະກອບເພີ່ມເຕີມເພື່ອບັນທຶກ buffer. ວຽກງານນີ້ບໍ່ແມ່ນງ່າຍດາຍສະເຫມີ, ແຕ່ຍັງແກ້ໄຂໄດ້. ແລະຂ້ອຍຢາກເຮັດໃຫ້ໂຄງການງ່າຍດາຍ.
2. ບາງຫນ້າທີ່ແປກປະຫລາດຫຼືລັກສະນະໃຫມ່ມັກຈະແຕກຢູ່ໃນສະບັບໃຫມ່. ສິ່ງ​ດັ່ງກ່າວ​ສ້າງ​ຄວາມ​ວິຕົກ​ກັງວົນ, ຫຼຸດຜ່ອນ​ຄວາມ​ປາຖະໜາ​ຢາກ​ຍົກ​ລະດັບ​ເປັນ​ສະບັບ​ໃໝ່. ຕົວຢ່າງ, ເຄື່ອງຈັກຕາຕະລາງ Kafka ແມ່ນຄຸນສົມບັດທີ່ເປັນປະໂຫຍດຫຼາຍທີ່ຊ່ວຍໃຫ້ທ່ານສາມາດອ່ານເຫດການໂດຍກົງຈາກ Kafka, ໂດຍບໍ່ມີການປະຕິບັດຜູ້ບໍລິໂພກ. ແຕ່ການຕັດສິນໂດຍຈໍານວນຂອງບັນຫາກ່ຽວກັບ Github, ພວກເຮົາຍັງ wary ຂອງການນໍາໃຊ້ເຄື່ອງຈັກນີ້ໃນການຜະລິດ. ຢ່າງໃດກໍຕາມ, ຖ້າທ່ານບໍ່ເຮັດການເຄື່ອນໄຫວຢ່າງກະທັນຫັນໄປຂ້າງຄຽງແລະນໍາໃຊ້ຫນ້າທີ່ພື້ນຖານ, ຫຼັງຈາກນັ້ນມັນກໍ່ເຮັດວຽກຢ່າງຫມັ້ນຄົງ.

ຄວາມຄິດເຫັນ

1. ບໍ່ຊ້າລົງ.
2. ເກນເຂົ້າຕໍ່າ.
3. ແຫຼ່ງເປີດ.
4. ຟຣີ.
5. ສາມາດປັບຂະໜາດໄດ້ (ການຖອດແຍກ/ການຈຳລອງແບບນອກກ່ອງ)
6. ລວມຢູ່ໃນທະບຽນຂອງຊອບແວລັດເຊຍແນະນໍາໂດຍກະຊວງການສື່ສານ.
7. ມີການສະຫນັບສະຫນູນຢ່າງເປັນທາງການຈາກ Yandex.

ແຫຼ່ງຂໍ້ມູນ: www.habr.com