માનવીઓ અથવા એલિયન ટેક્નોલોજીઓ માટે હાઉસ ડેટાબેઝ પર ક્લિક કરો

એલેક્સી લિઝુનોવ, MKB ના માહિતી પ્રૌદ્યોગિક નિયામકના રીમોટ સર્વિસ ચેનલો માટે સક્ષમતા કેન્દ્રના વડા

ELK સ્ટેક (ElasticSearch, Logstash, Kibana) ના વિકલ્પ તરીકે, અમે ક્લિકહાઉસ ડેટાબેઝનો ઉપયોગ લોગ માટે ડેટા સ્ટોર તરીકે કરવા પર સંશોધન કરી રહ્યા છીએ.

આ લેખમાં, અમે ક્લિકહાઉસ ડેટાબેઝનો ઉપયોગ કરવાના અમારા અનુભવ અને પાયલોટ ઓપરેશનના પ્રારંભિક પરિણામો વિશે વાત કરવા માંગીએ છીએ. તે તરત જ નોંધવું જોઈએ કે પરિણામો પ્રભાવશાળી હતા.

આગળ, અમે અમારી સિસ્ટમ કેવી રીતે ગોઠવેલ છે અને તેમાં કયા ઘટકોનો સમાવેશ થાય છે તેનું વધુ વિગતવાર વર્ણન કરીશું. પરંતુ હવે હું આ ડેટાબેઝ વિશે થોડી વાત કરવા માંગુ છું, અને તે શા માટે ધ્યાન આપવું યોગ્ય છે. ક્લિકહાઉસ ડેટાબેઝ એ Yandex તરફથી ઉચ્ચ-પ્રદર્શન વિશ્લેષણાત્મક કૉલમર ડેટાબેઝ છે. તેનો ઉપયોગ Yandex સેવાઓમાં થાય છે, શરૂઆતમાં તે Yandex.Metrica માટે મુખ્ય ડેટા સ્ટોરેજ છે. ઓપન સોર્સ સિસ્ટમ, મફત. વિકાસકર્તાના દૃષ્ટિકોણથી, મને હંમેશા આશ્ચર્ય થયું છે કે તેઓએ તેનો અમલ કેવી રીતે કર્યો, કારણ કે ત્યાં વિચિત્ર રીતે મોટો ડેટા છે. અને મેટ્રિકાનું યુઝર ઈન્ટરફેસ પોતે ખૂબ જ લવચીક અને ઝડપી છે. આ ડેટાબેઝ સાથેના પ્રથમ પરિચયમાં, છાપ છે: “સારું, આખરે! લોકો માટે બનાવેલ છે! ઇન્સ્ટોલેશન પ્રક્રિયાથી શરૂ કરીને અને વિનંતીઓ મોકલવા સાથે સમાપ્ત થાય છે.

આ ડેટાબેઝમાં ખૂબ જ ઓછી એન્ટ્રી થ્રેશોલ્ડ છે. સરેરાશ-કુશળ વિકાસકર્તા પણ આ ડેટાબેઝને થોડીવારમાં ઇન્સ્ટોલ કરી શકે છે અને તેનો ઉપયોગ શરૂ કરી શકે છે. બધું સ્પષ્ટ રીતે કામ કરે છે. જે લોકો Linux માં નવા છે તેઓ પણ ઝડપથી ઇન્સ્ટોલેશનને હેન્ડલ કરી શકે છે અને સરળ કામગીરી કરી શકે છે. જો અગાઉ, Big Data, Hadoop, Google BigTable, HDFS જેવા શબ્દો સાથે, એક સામાન્ય વિકાસકર્તાના વિચારો હતા કે તે અમુક ટેરાબાઈટ, પેટાબાઈટ વિશે છે, કે કેટલાક સુપરહ્યુમન આ સિસ્ટમોની સેટિંગ્સ અને વિકાસમાં સામેલ છે, તો ક્લિકહાઉસના આગમન સાથે. ડેટાબેઝ, અમને એક સરળ, સમજી શકાય તેવું ટૂલ મળ્યું છે જેની મદદથી તમે અગાઉના અપ્રાપ્ય શ્રેણીના કાર્યોને હલ કરી શકો છો. તે ફક્ત એક એકદમ સરેરાશ મશીન અને ઇન્સ્ટોલ કરવામાં પાંચ મિનિટ લે છે. એટલે કે, અમને આવો ડેટાબેઝ મળ્યો છે, ઉદાહરણ તરીકે, MySql, પરંતુ માત્ર અબજો રેકોર્ડ સ્ટોર કરવા માટે! SQL ભાષા સાથે ચોક્કસ સુપર-આર્કાઇવર. એવું લાગે છે કે લોકોને એલિયન્સના શસ્ત્રો સોંપવામાં આવ્યા હતા.

અમારી લોગીંગ સિસ્ટમ વિશે

માહિતી એકત્રિત કરવા માટે, પ્રમાણભૂત ફોર્મેટ વેબ એપ્લિકેશન્સની IIS લોગ ફાઇલોનો ઉપયોગ કરવામાં આવે છે (અમે હાલમાં એપ્લિકેશન લૉગ્સનું વિશ્લેષણ પણ કરી રહ્યા છીએ, પરંતુ પ્રાયોગિક તબક્કે મુખ્ય ધ્યેય IIS લોગ એકત્રિત કરવાનું છે).

વિવિધ કારણોસર, અમે ELK સ્ટેકને સંપૂર્ણપણે છોડી શક્યા નથી, અને અમે LogStash અને Filebeat ઘટકોનો ઉપયોગ કરવાનું ચાલુ રાખીએ છીએ, જેણે પોતાને સારી રીતે સાબિત કર્યા છે અને તદ્દન વિશ્વસનીય અને અનુમાનિત રીતે કામ કર્યું છે.

સામાન્ય લોગીંગ યોજના નીચેની આકૃતિમાં બતાવવામાં આવી છે:

ક્લિકહાઉસ ડેટાબેઝમાં ડેટા લખવાની એક વિશેષતા એ છે કે મોટા બૅચેસમાં રેકોર્ડ્સનું અવારનવાર (એક વાર પ્રતિ સેકન્ડ) નિવેશ થાય છે. દેખીતી રીતે, આ સૌથી "સમસ્યાયુક્ત" ભાગ છે જેનો તમે જ્યારે પ્રથમવાર ક્લિકહાઉસ ડેટાબેઝ સાથે કામ કરવાનો અનુભવ કરો છો ત્યારે તમે અનુભવો છો: યોજના થોડી વધુ જટિલ બની જાય છે.
LogStash માટેનું પ્લગઇન, જે સીધા જ ક્લિકહાઉસમાં ડેટા દાખલ કરે છે, તેણે અહીં ઘણી મદદ કરી. આ ઘટક ડેટાબેઝની જેમ જ સર્વર પર જમાવવામાં આવે છે. તેથી, સામાન્ય રીતે કહીએ તો, તે કરવાની ભલામણ કરવામાં આવતી નથી, પરંતુ વ્યવહારિક દૃષ્ટિકોણથી, જેથી તે એક જ સર્વર પર જમાવવામાં આવે ત્યારે અલગ સર્વર્સ ઉત્પન્ન ન થાય. અમે ડેટાબેઝ સાથે કોઈપણ નિષ્ફળતા અથવા સંસાધન તકરારનું અવલોકન કર્યું નથી. વધુમાં, એ નોંધવું જોઇએ કે પ્લગઇનમાં ભૂલોના કિસ્સામાં ફરીથી પ્રયાસ કરવાની પદ્ધતિ છે. અને ભૂલોના કિસ્સામાં, પ્લગઇન ડેટાના બેચને ડિસ્ક પર લખે છે જે દાખલ કરી શકાતું નથી (ફાઇલ ફોર્મેટ અનુકૂળ છે: સંપાદન કર્યા પછી, તમે ક્લિકહાઉસ-ક્લાયન્ટનો ઉપયોગ કરીને સરળતાથી સુધારેલ બેચ દાખલ કરી શકો છો).

યોજનામાં ઉપયોગમાં લેવાતા સૉફ્ટવેરની સંપૂર્ણ સૂચિ કોષ્ટકમાં પ્રસ્તુત છે:

વપરાયેલ સોફ્ટવેરની યાદી

શીર્ષક

વર્ણન

વિતરણ લિંક

એનજીઆઈએનએક્સ

પોર્ટ દ્વારા ઍક્સેસને પ્રતિબંધિત કરવા અને અધિકૃતતા ગોઠવવા માટે રિવર્સ-પ્રોક્સી

હાલમાં યોજનામાં ઉપયોગ થતો નથી

https://nginx.org/ru/download.html

https://nginx.org/download/nginx-1.16.0.tar.gz

ફાઇલબીટ

ફાઇલ લૉગ્સનું ટ્રાન્સફર.

https://www.elastic.co/downloads/beats/filebeat (વિન્ડોઝ 64 બીટ માટે વિતરણ કીટ).

https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.3.0-windows-x86_64.zip

logstash

લોગ કલેક્ટર.

FileBeat માંથી લોગ એકત્રિત કરવા તેમજ RabbitMQ કતારમાંથી લોગ એકત્રિત કરવા માટે વપરાય છે (DMZ માં હોય તેવા સર્વર્સ માટે.)

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

લોગસ્ટેશ-આઉટપુટ-ક્લિકહાઉસ

બૅચેસમાં ક્લિકહાઉસ ડેટાબેઝમાં લૉગ્સ ટ્રાન્સફર કરવા માટે લોગસ્ટૅશ પ્લગઇન

https://github.com/mikechris/logstash-output-clickhouse

/usr/share/logstash/bin/logstash-plugin logstash-output-clickhouse ઇન્સ્ટોલ કરો

/usr/share/logstash/bin/logstash-plugin logstash-filter-prune ઇન્સ્ટોલ કરો

/usr/share/logstash/bin/logstash-plugin logstash-filter-multiline ઇન્સ્ટોલ કરો

ક્લીકહાઉસ

લોગ સ્ટોરેજ https://clickhouse.yandex/docs/ru/

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-server-19.5.3.8-1.el7.x86_64.rpm

https://packagecloud.io/Altinity/clickhouse/packages/el/7/clickhouse-client-19.5.3.8-1.el7.x86_64.rpm

નૉૅધ. ઓગસ્ટ 2018 થી શરૂ કરીને, RHEL માટે "સામાન્ય" rpm બિલ્ડ્સ Yandex ભંડારમાં દેખાયા, જેથી તમે તેનો ઉપયોગ કરવાનો પ્રયાસ કરી શકો. ઇન્સ્ટોલેશન સમયે, અમે Altinity દ્વારા બાંધવામાં આવેલા પેકેજોનો ઉપયોગ કરી રહ્યા હતા.

ગ્રાફના

લોગ વિઝ્યુલાઇઝેશન. ડેશબોર્ડ સેટ કરી રહ્યાં છીએ

https://grafana.com/

https://grafana.com/grafana/download

Redhat & Centos(64 Bit) - નવીનતમ સંસ્કરણ

Grafana 4.6+ માટે હાઉસ ડેટાસોર્સ પર ક્લિક કરો

ક્લિકહાઉસ ડેટા સ્ત્રોત સાથે ગ્રાફના માટે પ્લગઇન

https://grafana.com/plugins/vertamedia-clickhouse-datasource

https://grafana.com/api/plugins/vertamedia-clickhouse-datasource/versions/1.8.1/download

logstash

FileBeat થી RabbitMQ કતારમાં રાઉટર લોગ કરો.

નૉૅધ. કમનસીબે, FileBeat પાસે RabbitMQ પર સીધું આઉટપુટ નથી, તેથી Logstash ના રૂપમાં મધ્યવર્તી લિંક જરૂરી છે.

https://www.elastic.co/products/logstash

https://artifacts.elastic.co/downloads/logstash/logstash-7.0.1.rpm

રેબિટમ્યુક્યુ

સંદેશ કતાર. આ DMZ માં લોગ બફર છે

https://www.rabbitmq.com/download.html

https://github.com/rabbitmq/rabbitmq-server/releases/download/v3.7.14/rabbitmq-server-3.7.14-1.el7.noarch.rpm

Erlang રનટાઇમ (RabbitMQ માટે જરૂરી)

Erlang રનટાઇમ. RabbitMQ કામ કરવા માટે જરૂરી છે

http://www.erlang.org/download.html

https://www.rabbitmq.com/install-rpm.html#install-erlang http://www.erlang.org/downloads/21.3

ક્લિકહાઉસ ડેટાબેઝ સાથે સર્વર રૂપરેખાંકન નીચેના કોષ્ટકમાં પ્રસ્તુત છે:

શીર્ષક

કિંમત

નોંધણી

રૂપરેખાંકન

HDD: 40GB
રેમ: 8GB
પ્રોસેસર: કોર 2 2 ગીગાહર્ટ્ઝ

ક્લિકહાઉસ ડેટાબેઝના સંચાલન માટેની ટીપ્સ પર ધ્યાન આપવું જરૂરી છે (https://clickhouse.yandex/docs/ru/operations/tips/)

સામાન્ય સિસ્ટમ સોફ્ટવેર

OS: Red Hat Enterprise Linux સર્વર (Maipo)

JRE (Java 8)

 

જેમ તમે જોઈ શકો છો, આ એક સામાન્ય વર્કસ્ટેશન છે.

લોગ સ્ટોર કરવા માટે કોષ્ટકની રચના નીચે મુજબ છે:

log_web.sql

CREATE TABLE log_web (
  logdate Date,
  logdatetime DateTime CODEC(Delta, LZ4HC),
   
  fld_log_file_name LowCardinality( String ),
  fld_server_name LowCardinality( String ),
  fld_app_name LowCardinality( String ),
  fld_app_module LowCardinality( String ),
  fld_website_name LowCardinality( String ),
 
  serverIP LowCardinality( String ),
  method LowCardinality( String ),
  uriStem String,
  uriQuery String,
  port UInt32,
  username LowCardinality( String ),
  clientIP String,
  clientRealIP String,
  userAgent String,
  referer String,
  response String,
  subresponse String,
  win32response String,
  timetaken UInt64
   
  , uriQuery__utm_medium String
  , uriQuery__utm_source String
  , uriQuery__utm_campaign String
  , uriQuery__utm_term String
  , uriQuery__utm_content String
  , uriQuery__yclid String
  , uriQuery__region String
 
) Engine = MergeTree()
PARTITION BY toYYYYMM(logdate)
ORDER BY (fld_app_name, fld_app_module, logdatetime)
SETTINGS index_granularity = 8192;

અમે ડિફૉલ્ટ પાર્ટીશન (મહિના દ્વારા) અને અનુક્રમણિકા ગ્રેન્યુલારિટીનો ઉપયોગ કરીએ છીએ. બધા ક્ષેત્રો વ્યવહારીક રીતે HTTP વિનંતીઓને લોગ કરવા માટે IIS લોગ એન્ટ્રીઓને અનુરૂપ છે. અલગથી, અમે નોંધીએ છીએ કે યુટીએમ-ટેગ્સ સ્ટોર કરવા માટે અલગ ફીલ્ડ્સ છે (તેઓ ક્વેરી સ્ટ્રિંગ ફીલ્ડમાંથી કોષ્ટકમાં દાખલ કરવાના તબક્કે વિશ્લેષિત થાય છે).

ઉપરાંત, સિસ્ટમો, ઘટકો, સર્વર્સ વિશેની માહિતી સંગ્રહિત કરવા માટે કોષ્ટકમાં ઘણા સિસ્ટમ ફીલ્ડ ઉમેરવામાં આવ્યા છે. આ ક્ષેત્રોના વર્ણન માટે નીચેનું કોષ્ટક જુઓ. એક કોષ્ટકમાં, અમે ઘણી સિસ્ટમો માટે લોગ સંગ્રહિત કરીએ છીએ.

શીર્ષક

વર્ણન

ઉદાહરણ:

fld_app_નામ

એપ્લિકેશન/સિસ્ટમનું નામ
માન્ય મૂલ્યો:

• site1.domain.com બાહ્ય સાઇટ 1
• site2.domain.com બાહ્ય સાઇટ 2
• internal-site1.domain.local આંતરિક સાઈટ 1

site1.domain.com

fld_app_module

સિસ્ટમ મોડ્યુલ
માન્ય મૂલ્યો:

• વેબ - વેબસાઇટ
• svc - વેબ સાઇટ સેવા
• intgr - એકીકરણ વેબ સેવા
• bo - એડમિન (બેકઓફિસ)

વેબ

fld_website_name

IIS માં સાઇટનું નામ

એક સર્વર પર અનેક સિસ્ટમો જમાવી શકાય છે, અથવા તો એક સિસ્ટમ મોડ્યુલના અનેક ઉદાહરણો

વેબ મુખ્ય

fld_server_name

સર્વર નામ

web1.domain.com

fld_log_file_name

સર્વર પર લોગ ફાઇલનો પાથ

C:inetpublogsLogFiles
W3SVC1u_ex190711.log

આ તમને ગ્રાફનામાં અસરકારક રીતે ગ્રાફ બનાવવાની મંજૂરી આપે છે. ઉદાહરણ તરીકે, ચોક્કસ સિસ્ટમના અગ્રભાગમાંથી વિનંતીઓ જુઓ. આ Yandex.Metrica માં સાઇટ કાઉન્ટર જેવું જ છે.

અહીં બે મહિના માટે ડેટાબેઝના ઉપયોગ અંગેના કેટલાક આંકડા છે.

સિસ્ટમો અને તેમના ઘટકો દ્વારા તૂટી ગયેલા રેકોર્ડ્સની સંખ્યા

SELECT
    fld_app_name,
    fld_app_module,
    count(fld_app_name) AS rows_count
FROM log_web
GROUP BY
    fld_app_name,
    fld_app_module
    WITH TOTALS
ORDER BY
    fld_app_name ASC,
    rows_count DESC
 
┌─fld_app_name─────┬─fld_app_module─┬─rows_count─┐
│ site1.domain.ru  │ web            │     131441 │
│ site2.domain.ru  │ web            │    1751081 │
│ site3.domain.ru  │ web            │  106887543 │
│ site3.domain.ru  │ svc            │   44908603 │
│ site3.domain.ru  │ intgr          │    9813911 │
│ site4.domain.ru  │ web            │     772095 │
│ site5.domain.ru  │ web            │   17037221 │
│ site5.domain.ru  │ intgr          │     838559 │
│ site5.domain.ru  │ bo             │       7404 │
│ site6.domain.ru  │ web            │     595877 │
│ site7.domain.ru  │ web            │   27778858 │
└──────────────────┴────────────────┴────────────┘
 
Totals:
┌─fld_app_name─┬─fld_app_module─┬─rows_count─┐
│              │                │  210522593 │
└──────────────┴────────────────┴────────────┘
 
11 rows in set. Elapsed: 4.874 sec. Processed 210.52 million rows, 421.67 MB (43.19 million rows/s., 86.51 MB/s.)

ડિસ્ક પર ડેટાનો જથ્થો

SELECT
    formatReadableSize(sum(data_uncompressed_bytes)) AS uncompressed,
    formatReadableSize(sum(data_compressed_bytes)) AS compressed,
    sum(rows) AS total_rows
FROM system.parts
WHERE table = 'log_web'
 
┌─uncompressed─┬─compressed─┬─total_rows─┐
│ 54.50 GiB    │ 4.86 GiB   │  211427094 │
└──────────────┴────────────┴────────────┘
 
1 rows in set. Elapsed: 0.035 sec.

કૉલમમાં ડેટા કમ્પ્રેશનની ડિગ્રી

SELECT
    name,
    formatReadableSize(data_uncompressed_bytes) AS uncompressed,
    formatReadableSize(data_compressed_bytes) AS compressed,
    data_uncompressed_bytes / data_compressed_bytes AS compress_ratio
FROM system.columns
WHERE table = 'log_web'
 
┌─name───────────────────┬─uncompressed─┬─compressed─┬─────compress_ratio─┐
│ logdate                │ 401.53 MiB   │ 1.80 MiB   │ 223.16665968777315 │
│ logdatetime            │ 803.06 MiB   │ 35.91 MiB  │ 22.363966401202305 │
│ fld_log_file_name      │ 220.66 MiB   │ 2.60 MiB   │  84.99905736932571 │
│ fld_server_name        │ 201.54 MiB   │ 50.63 MiB  │  3.980924816977078 │
│ fld_app_name           │ 201.17 MiB   │ 969.17 KiB │ 212.55518183686877 │
│ fld_app_module         │ 201.17 MiB   │ 968.60 KiB │ 212.67805817411906 │
│ fld_website_name       │ 201.54 MiB   │ 1.24 MiB   │  162.7204926761546 │
│ serverIP               │ 201.54 MiB   │ 50.25 MiB  │  4.010824061219731 │
│ method                 │ 201.53 MiB   │ 43.64 MiB  │  4.617721053304486 │
│ uriStem                │ 5.13 GiB     │ 832.51 MiB │  6.311522291936919 │
│ uriQuery               │ 2.58 GiB     │ 501.06 MiB │  5.269731450124478 │
│ port                   │ 803.06 MiB   │ 3.98 MiB   │ 201.91673864241824 │
│ username               │ 318.08 MiB   │ 26.93 MiB  │ 11.812513794583598 │
│ clientIP               │ 2.35 GiB     │ 82.59 MiB  │ 29.132328640073343 │
│ clientRealIP           │ 2.49 GiB     │ 465.05 MiB │  5.478382297052563 │
│ userAgent              │ 18.34 GiB    │ 764.08 MiB │  24.57905114484208 │
│ referer                │ 14.71 GiB    │ 1.37 GiB   │ 10.736792723669906 │
│ response               │ 803.06 MiB   │ 83.81 MiB  │  9.582334090987247 │
│ subresponse            │ 399.87 MiB   │ 1.83 MiB   │  218.4831068635027 │
│ win32response          │ 407.86 MiB   │ 7.41 MiB   │ 55.050315514606815 │
│ timetaken              │ 1.57 GiB     │ 402.06 MiB │ 3.9947395692010637 │
│ uriQuery__utm_medium   │ 208.17 MiB   │ 12.29 MiB  │ 16.936148912472955 │
│ uriQuery__utm_source   │ 215.18 MiB   │ 13.00 MiB  │ 16.548367623199912 │
│ uriQuery__utm_campaign │ 381.46 MiB   │ 37.94 MiB  │ 10.055156353418509 │
│ uriQuery__utm_term     │ 231.82 MiB   │ 10.78 MiB  │ 21.502540454070672 │
│ uriQuery__utm_content  │ 441.34 MiB   │ 87.60 MiB  │  5.038260760449327 │
│ uriQuery__yclid        │ 216.88 MiB   │ 16.58 MiB  │  13.07721335008116 │
│ uriQuery__region       │ 204.35 MiB   │ 9.49 MiB   │  21.52661903446796 │
└────────────────────────┴──────────────┴────────────┴────────────────────┘
 
28 rows in set. Elapsed: 0.005 sec.

વપરાયેલ ઘટકોનું વર્ણન

ફાઇલબીટ. ફાઇલ લૉગ્સ ટ્રાન્સફર કરી રહ્યાં છીએ

આ ઘટક ડિસ્ક પરની લોગ ફાઈલોમાં થતા ફેરફારોને ટ્રેક કરે છે અને માહિતીને LogStash ને પસાર કરે છે. બધા સર્વર્સ પર ઇન્સ્ટોલ કરેલું છે જ્યાં લોગ ફાઇલો લખેલી હોય છે (સામાન્ય રીતે IIS). ટેલ મોડમાં કામ કરે છે (એટલે ​​​​કે ફાઇલમાં ફક્ત ઉમેરાયેલ રેકોર્ડ્સ સ્થાનાંતરિત કરે છે). પરંતુ અલગથી તે સંપૂર્ણ ફાઇલોને સ્થાનાંતરિત કરવા માટે ગોઠવી શકાય છે. જ્યારે તમારે પાછલા મહિનાનો ડેટા ડાઉનલોડ કરવાની જરૂર હોય ત્યારે આ ઉપયોગી છે. ફક્ત લોગ ફાઇલને ફોલ્ડરમાં મૂકો અને તે તેને સંપૂર્ણ રીતે વાંચશે.

જ્યારે સેવા બંધ કરવામાં આવે છે, ત્યારે ડેટા વધુ સ્ટોરેજમાં ટ્રાન્સફર થતો નથી.

ઉદાહરણ રૂપરેખાંકન આના જેવું લાગે છે:

filebeat.yml

filebeat.inputs:
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/W3SVC1/*.log
  exclude_files: ['.gz$','.zip$']
  tail_files: true
  ignore_older: 24h
  fields:
    fld_server_name: "site1.domain.ru"
    fld_app_name: "site1.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
 
- type: log
  enabled: true
  paths:
    - C:/inetpub/logs/LogFiles/__Import/access_log-*
  exclude_files: ['.gz$','.zip$']
  tail_files: false
  fields:
    fld_server_name: "site2.domain.ru"
    fld_app_name: "site2.domain.ru"
    fld_app_module: "web"
    fld_website_name: "web-main"
    fld_logformat: "logformat__apache"
 
 
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
  reload.period: 2s
 
output.logstash:
  hosts: ["log.domain.com:5044"]
 
  ssl.enabled: true
  ssl.certificate_authorities: ["C:/filebeat/certs/ca.pem", "C:/filebeat/certs/ca-issuing.pem"]
  ssl.certificate: "C:/filebeat/certs/site1.domain.ru.cer"
  ssl.key: "C:/filebeat/certs/site1.domain.ru.key"
 
#================================ Processors =====================================
 
processors:
  - add_host_metadata: ~
  - add_cloud_metadata: ~

logstash લોગ કલેક્ટર

આ ઘટકને FileBeat (અથવા RabbitMQ કતાર દ્વારા) માંથી લોગ એન્ટ્રીઓ પ્રાપ્ત કરવા માટે, ક્લિકહાઉસ ડેટાબેઝમાં બેચને પાર્સિંગ અને દાખલ કરવા માટે ડિઝાઇન કરવામાં આવ્યું છે.

ક્લિકહાઉસમાં દાખલ કરવા માટે, લોગસ્ટેશ-આઉટપુટ-ક્લિકહાઉસ પ્લગઇનનો ઉપયોગ થાય છે. Logstash પ્લગઇનમાં વિનંતી પુનઃપ્રયાસ મિકેનિઝમ છે, પરંતુ નિયમિત શટડાઉન સાથે, સેવાને બંધ કરવી વધુ સારું છે. જ્યારે બંધ કરવામાં આવે છે, ત્યારે સંદેશાઓ RabbitMQ કતારમાં સંચિત થશે, તેથી જો સ્ટોપ લાંબા સમય માટે છે, તો સર્વર્સ પર ફાઇલબીટ્સને બંધ કરવું વધુ સારું છે. એવી સ્કીમમાં જ્યાં RabbitMQ નો ઉપયોગ થતો નથી (સ્થાનિક નેટવર્ક પર, Filebeat સીધા જ Logstash પર લોગ મોકલે છે), Filebeats તદ્દન સ્વીકાર્ય અને સુરક્ષિત રીતે કામ કરે છે, તેથી તેમના માટે આઉટપુટની અનુપલબ્ધતા પરિણામ વિના પસાર થાય છે.

ઉદાહરણ રૂપરેખાંકન આના જેવું લાગે છે:

log_web__filebeat_clickhouse.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/logstash/certs/ca.cer", "/etc/logstash/certs/ca-issuing.cer"]
        ssl_certificate => "/etc/logstash/certs/server.cer"
        ssl_key => "/etc/logstash/certs/server-pkcs8.key"
        ssl_verify_mode => "peer"
 
            add_field => {
                "fld_server_name" => "%{[fields][fld_server_name]}"
                "fld_app_name" => "%{[fields][fld_app_name]}"
                "fld_app_module" => "%{[fields][fld_app_module]}"
                "fld_website_name" => "%{[fields][fld_website_name]}"
                "fld_log_file_name" => "%{source}"
                "fld_logformat" => "%{[fields][fld_logformat]}"
            }
    }
 
    rabbitmq {
        host => "queue.domain.com"
        port => 5671
        user => "q-reader"
        password => "password"
        queue => "web_log"
        heartbeat => 30
        durable => true
        ssl => true
        #ssl_certificate_path => "/etc/logstash/certs/server.p12"
        #ssl_certificate_password => "password"
 
        add_field => {
            "fld_server_name" => "%{[fields][fld_server_name]}"
            "fld_app_name" => "%{[fields][fld_app_name]}"
            "fld_app_module" => "%{[fields][fld_app_module]}"
            "fld_website_name" => "%{[fields][fld_website_name]}"
            "fld_log_file_name" => "%{source}"
            "fld_logformat" => "%{[fields][fld_logformat]}"
        }
    }
 
}
 
filter { 
 
      if [message] =~ "^#" {
        drop {}
      }
 
      if [fld_logformat] == "logformat__iis_with_xrealip" {
     
          grok {
            match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken} %{NOTSPACE:xrealIP} %{NOTSPACE:xforwarderfor}"]
          }
      } else {
   
          grok {
             match => ["message", "%{TIMESTAMP_ISO8601:log_timestamp} %{IP:serverIP} %{WORD:method} %{NOTSPACE:uriStem} %{NOTSPACE:uriQuery} %{NUMBER:port} %{NOTSPACE:username} %{IPORHOST:clientIP} %{NOTSPACE:userAgent} %{NOTSPACE:referer} %{NUMBER:response} %{NUMBER:subresponse} %{NUMBER:win32response} %{NUMBER:timetaken}"]
          }
 
      }
 
      date {
        match => [ "log_timestamp", "YYYY-MM-dd HH:mm:ss" ]
          timezone => "Etc/UTC"
        remove_field => [ "log_timestamp", "@timestamp" ]
        target => [ "log_timestamp2" ]
      }
 
        ruby {
            code => "tstamp = event.get('log_timestamp2').to_i
                        event.set('logdatetime', Time.at(tstamp).strftime('%Y-%m-%d %H:%M:%S'))
                        event.set('logdate', Time.at(tstamp).strftime('%Y-%m-%d'))"
        }
 
      if [bytesSent] {
        ruby {
          code => "event['kilobytesSent'] = event['bytesSent'].to_i / 1024.0"
        }
      }
 
 
      if [bytesReceived] {
        ruby {
          code => "event['kilobytesReceived'] = event['bytesReceived'].to_i / 1024.0"
        }
      }
 
   
        ruby {
            code => "event.set('clientRealIP', event.get('clientIP'))"
        }
        if [xrealIP] {
            ruby {
                code => "event.set('clientRealIP', event.get('xrealIP'))"
            }
        }
        if [xforwarderfor] {
            ruby {
                code => "event.set('clientRealIP', event.get('xforwarderfor'))"
            }
        }
 
      mutate {
        convert => ["bytesSent", "integer"]
        convert => ["bytesReceived", "integer"]
        convert => ["timetaken", "integer"] 
        convert => ["port", "integer"]
 
        add_field => {
            "clientHostname" => "%{clientIP}"
        }
      }
 
        useragent {
            source=> "useragent"
            prefix=> "browser"
        }
 
        kv {
            source => "uriQuery"
            prefix => "uriQuery__"
            allow_duplicate_values => false
            field_split => "&"
            include_keys => [ "utm_medium", "utm_source", "utm_campaign", "utm_term", "utm_content", "yclid", "region" ]
        }
 
        mutate {
            join => { "uriQuery__utm_source" => "," }
            join => { "uriQuery__utm_medium" => "," }
            join => { "uriQuery__utm_campaign" => "," }
            join => { "uriQuery__utm_term" => "," }
            join => { "uriQuery__utm_content" => "," }
            join => { "uriQuery__yclid" => "," }
            join => { "uriQuery__region" => "," }
        }
 
}
 
output { 
  #stdout {codec => rubydebug}
    clickhouse {
      headers => ["Authorization", "Basic abcdsfks..."]
      http_hosts => ["http://127.0.0.1:8123"]
      save_dir => "/etc/logstash/tmp"
      table => "log_web"
      request_tolerance => 1
      flush_size => 10000
      idle_flush_time => 1
        mutations => {
            "fld_log_file_name" => "fld_log_file_name"
            "fld_server_name" => "fld_server_name"
            "fld_app_name" => "fld_app_name"
            "fld_app_module" => "fld_app_module"
            "fld_website_name" => "fld_website_name"
 
            "logdatetime" => "logdatetime"
            "logdate" => "logdate"
            "serverIP" => "serverIP"
            "method" => "method"
            "uriStem" => "uriStem"
            "uriQuery" => "uriQuery"
            "port" => "port"
            "username" => "username"
            "clientIP" => "clientIP"
            "clientRealIP" => "clientRealIP"
            "userAgent" => "userAgent"
            "referer" => "referer"
            "response" => "response"
            "subresponse" => "subresponse"
            "win32response" => "win32response"
            "timetaken" => "timetaken"
             
            "uriQuery__utm_medium" => "uriQuery__utm_medium"
            "uriQuery__utm_source" => "uriQuery__utm_source"
            "uriQuery__utm_campaign" => "uriQuery__utm_campaign"
            "uriQuery__utm_term" => "uriQuery__utm_term"
            "uriQuery__utm_content" => "uriQuery__utm_content"
            "uriQuery__yclid" => "uriQuery__yclid"
            "uriQuery__region" => "uriQuery__region"
        }
    }
 
}

pipelines.yml

# This file is where you define your pipelines. You can define multiple.
# For more information on multiple pipelines, see the documentation:
#   https://www.elastic.co/guide/en/logstash/current/multiple-pipelines.html
 
- pipeline.id: log_web__filebeat_clickhouse
  path.config: "/etc/logstash/log_web__filebeat_clickhouse.conf"

ક્લિકહાઉસ લોગ સ્ટોરેજ

બધી સિસ્ટમો માટેના લોગ એક કોષ્ટકમાં સંગ્રહિત થાય છે (લેખની શરૂઆતમાં જુઓ). તે વિનંતીઓ વિશેની માહિતી સંગ્રહિત કરવાનો છે: બધા પરિમાણો વિવિધ ફોર્મેટ માટે સમાન છે, જેમ કે IIS લોગ, apache અને nginx લોગ. એપ્લિકેશન લોગ માટે, જેમાં, ઉદાહરણ તરીકે, ભૂલો, માહિતી સંદેશાઓ, ચેતવણીઓ રેકોર્ડ કરવામાં આવે છે, યોગ્ય માળખું (હાલમાં ડિઝાઇન તબક્કે) સાથે એક અલગ ટેબલ પ્રદાન કરવામાં આવશે.

કોષ્ટક ડિઝાઇન કરતી વખતે, પ્રાથમિક કી (જેના દ્વારા સ્ટોરેજ દરમિયાન ડેટાને સૉર્ટ કરવામાં આવશે) નક્કી કરવું ખૂબ જ મહત્વપૂર્ણ છે. ડેટા કમ્પ્રેશન અને ક્વેરી સ્પીડની ડિગ્રી આના પર નિર્ભર છે. અમારા ઉદાહરણમાં, કી છે
દ્વારા ઓર્ડર કરો (fld_app_name, fld_app_module, logdatetime)
એટલે કે, સિસ્ટમના નામ દ્વારા, સિસ્ટમ ઘટકનું નામ અને ઘટનાની તારીખ. શરૂઆતમાં, ઇવેન્ટની તારીખ પ્રથમ આવી. તેને છેલ્લા સ્થાને ખસેડ્યા પછી, પ્રશ્નો લગભગ બમણી ઝડપે કામ કરવા લાગ્યા. પ્રાથમિક કી બદલવા માટે કોષ્ટકને ફરીથી બનાવવાની અને ડેટાને ફરીથી લોડ કરવાની જરૂર પડશે જેથી ક્લિકહાઉસ ડિસ્ક પરના ડેટાને ફરીથી ગોઠવે. આ એક ભારે ઓપરેશન છે, તેથી સૉર્ટ કીમાં શું સમાવવું જોઈએ તે વિશે ઘણું વિચારવું એ એક સારો વિચાર છે.

એ પણ નોંધવું જોઈએ કે લોકાર્ડિનેલિટી ડેટા પ્રકાર તાજેતરના સંસ્કરણોમાં પ્રમાણમાં દેખાયો છે. તેનો ઉપયોગ કરતી વખતે, સંકુચિત ડેટાનું કદ તે ક્ષેત્રો માટે તીવ્રપણે ઘટાડવામાં આવે છે કે જેની મુખ્યતા ઓછી હોય છે (થોડા વિકલ્પો).

સંસ્કરણ 19.6 હાલમાં ઉપયોગમાં છે અને અમે નવીનતમ સંસ્કરણ પર અપડેટ કરવાનો પ્રયાસ કરવાની યોજના બનાવીએ છીએ. ઉદાહરણ તરીકે, તેમની પાસે અનુકૂલનશીલ ગ્રેન્યુલારિટી, સ્કિપિંગ સૂચકાંકો અને ડબલડેલ્ટા કોડેક જેવી અદ્ભુત સુવિધાઓ છે.

મૂળભૂત રીતે, સ્થાપન દરમ્યાન, લોગીંગ સ્તર ટ્રેસ કરવા માટે સુયોજિત થયેલ છે. લોગને ફેરવવામાં આવે છે અને આર્કાઇવ કરવામાં આવે છે, પરંતુ તે જ સમયે તે ગીગાબાઇટ સુધી વિસ્તરે છે. જો ત્યાં કોઈ જરૂર નથી, તો પછી તમે ચેતવણી સ્તર સેટ કરી શકો છો, પછી લોગનું કદ ભારે ઘટાડો થાય છે. લોગીંગ સેટિંગ config.xml ફાઇલમાં સેટ કરેલ છે:

<!-- Possible levels: https://github.com/pocoproject/poco/blob/develop/Foundation/include/Poco/Logger. h#L105 -->
<level>warning</level>

કેટલાક ઉપયોગી આદેશો

Поскольку оригинальные пакеты установки собираются по Debian, то для других версий Linux необходимо использовать пакеты собранные компанией Altinity.
 
Вот по этой ссылке есть инструкции с ссылками на их репозиторий: https://www.altinity.com/blog/2017/12/18/logstash-with-clickhouse
sudo yum search clickhouse-server
sudo yum install clickhouse-server.noarch
  
1. проверка статуса
sudo systemctl status clickhouse-server
 
2. остановка сервера
sudo systemctl stop clickhouse-server
 
3. запуск сервера
sudo systemctl start clickhouse-server
 
Запуск для выполнения запросов в многострочном режиме (выполнение после знака ";")
clickhouse-client --multiline
clickhouse-client --multiline --host 127.0.0.1 --password pa55w0rd
clickhouse-client --multiline --host 127.0.0.1 --port 9440 --secure --user default --password pa55w0rd
 
Плагин кликлауза для логстеш в случае ошибки в одной строке сохраняет всю пачку в файл /tmp/log_web_failed.json
Можно вручную исправить этот файл и попробовать залить его в БД вручную:
clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /tmp/log_web_failed__fixed.json
 
sudo mv /etc/logstash/tmp/log_web_failed.json /etc/logstash/tmp/log_web_failed__fixed.json
sudo chown user_dev /etc/logstash/tmp/log_web_failed__fixed.json
sudo clickhouse-client --host 127.0.0.1 --password password --query="INSERT INTO log_web FORMAT JSONEachRow" < /etc/logstash/tmp/log_web_failed__fixed.json
sudo mv /etc/logstash/tmp/log_web_failed__fixed.json /etc/logstash/tmp/log_web_failed__fixed_.json
 
выход из командной строки
quit;
## Настройка TLS
https://www.altinity.com/blog/2019/3/5/clickhouse-networking-part-2
 
openssl s_client -connect log.domain.com:9440 < /dev/null

logstash FileBeat થી RabbitMQ કતાર સુધી રાઉટર લોગ કરો

આ ઘટકનો ઉપયોગ FileBeat થી RabbitMQ કતારમાં આવતા લોગને રૂટ કરવા માટે થાય છે. અહીં બે મુદ્દા છે:

1. કમનસીબે, RabbitMQ પર સીધું લખવા માટે FileBeat પાસે આઉટપુટ પ્લગઇન નથી. અને આવી કાર્યક્ષમતા, તેમના ગીથબ પરના મુદ્દાને ધ્યાનમાં રાખીને, અમલીકરણ માટે આયોજિત નથી. કાફકા માટે પ્લગઇન છે, પરંતુ કેટલાક કારણોસર અમે તેનો ઘરે ઉપયોગ કરી શકતા નથી.
2. DMZ માં લોગ એકત્રિત કરવા માટેની આવશ્યકતાઓ છે. તેના આધારે, લૉગ્સ પહેલા કતારમાં ઉમેરાવા જોઈએ અને પછી LogStash બહારથી કતારમાંથી એન્ટ્રીઓ વાંચે છે.

તેથી, તે એવા કિસ્સામાં છે કે જ્યાં સર્વર્સ DMZ માં સ્થિત છે કે વ્યક્તિએ આવી થોડી જટિલ યોજનાનો ઉપયોગ કરવો પડશે. ઉદાહરણ રૂપરેખાંકન આના જેવું લાગે છે:

iis_w3c_logs__filebeat_rabbitmq.conf

input {
 
    beats {
        port => 5044
        type => 'iis'
        ssl => true
        ssl_certificate_authorities => ["/etc/pki/tls/certs/app/ca.pem", "/etc/pki/tls/certs/app/ca-issuing.pem"]
        ssl_certificate => "/etc/pki/tls/certs/app/queue.domain.com.cer"
        ssl_key => "/etc/pki/tls/certs/app/queue.domain.com-pkcs8.key"
        ssl_verify_mode => "peer"
    }
 
}
 
output { 
  #stdout {codec => rubydebug}
 
    rabbitmq {
        host => "127.0.0.1"
        port => 5672
        exchange => "monitor.direct"
        exchange_type => "direct"
        key => "%{[fields][fld_app_name]}"
        user => "q-writer"
        password => "password"
        ssl => false
    }
}

રેબિટએમક્યુ. સંદેશ કતાર

આ ઘટકનો ઉપયોગ DMZ માં લોગ એન્ટ્રીઓને બફર કરવા માટે થાય છે. રેકોર્ડિંગ ફાઇલબીટ → લોગસ્ટેશના સમૂહ દ્વારા કરવામાં આવે છે. વાંચન DMZ ની બહારથી LogStash દ્વારા કરવામાં આવે છે. RabboitMQ દ્વારા કામ કરતી વખતે, પ્રતિ સેકન્ડ લગભગ 4 હજાર સંદેશાઓ પર પ્રક્રિયા કરવામાં આવે છે.

સંદેશ રૂટીંગ સિસ્ટમ નામ દ્વારા ગોઠવેલ છે, એટલે કે FileBeat રૂપરેખાંકન ડેટા પર આધારિત. બધા સંદેશાઓ એક કતારમાં જાય છે. જો કોઈ કારણોસર કતારબદ્ધ સેવા બંધ કરવામાં આવે છે, તો પછી આ સંદેશાઓની ખોટ તરફ દોરી જશે નહીં: ફાઇલબીટ્સ કનેક્શન ભૂલો પ્રાપ્ત કરશે અને અસ્થાયી રૂપે મોકલવાનું સ્થગિત કરશે. અને LogStash જે કતારમાંથી વાંચે છે તે પણ નેટવર્ક ભૂલો પ્રાપ્ત કરશે અને કનેક્શન પુનઃસ્થાપિત થવાની રાહ જોશે. આ કિસ્સામાં, ડેટા, અલબત્ત, હવે ડેટાબેઝ પર લખવામાં આવશે નહીં.

નીચેની સૂચનાઓનો ઉપયોગ કતાર બનાવવા અને ગોઠવવા માટે થાય છે:

sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare exchange --vhost=/ name=monitor.direct type=direct sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare queue --vhost=/ name=web_log durable=true
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site1.domain.ru"
sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site2.domain.ru"

ગ્રાફના. ડેશબોર્ડ્સ

આ ઘટકનો ઉપયોગ મોનિટરિંગ ડેટાની કલ્પના કરવા માટે થાય છે. આ કિસ્સામાં, તમારે Grafana 4.6+ પ્લગઇન માટે ClickHouse ડેટાસોર્સ ઇન્સ્ટોલ કરવાની જરૂર છે. ડેશબોર્ડ પર એસક્યુએલ ફિલ્ટર્સની પ્રક્રિયા કરવાની કાર્યક્ષમતામાં સુધારો કરવા માટે અમારે તેમાં થોડો ફેરફાર કરવો પડ્યો.

ઉદાહરણ તરીકે, અમે વેરિયેબલ્સનો ઉપયોગ કરીએ છીએ, અને જો તે ફિલ્ટર ફીલ્ડમાં સેટ ન હોય, તો અમે ઈચ્છીએ છીએ કે તે ફોર્મની જ્યાં ( uriStem = » AND uriStem != » ) માં સ્થિતિ પેદા ન કરે. આ કિસ્સામાં, ક્લિકહાઉસ uriStem કૉલમ વાંચશે. સામાન્ય રીતે, અમે અલગ-અલગ વિકલ્પો અજમાવ્યા અને છેવટે પ્લગઇન ($valueIfEmpty મેક્રો)ને સુધાર્યું જેથી કરીને ખાલી મૂલ્યના કિસ્સામાં તે કૉલમનો ઉલ્લેખ કર્યા વિના 1 પરત કરે.

અને હવે તમે ગ્રાફ માટે આ ક્વેરીનો ઉપયોગ કરી શકો છો

$columns(response, count(*) c) from $table where $adhoc
and $valueIfEmpty($fld_app_name, 1, fld_app_name = '$fld_app_name')
and $valueIfEmpty($fld_app_module, 1, fld_app_module = '$fld_app_module') and $valueIfEmpty($fld_server_name, 1, fld_server_name = '$fld_server_name') and $valueIfEmpty($uriStem, 1, uriStem like '%$uriStem%')
and $valueIfEmpty($clientRealIP, 1, clientRealIP = '$clientRealIP')

જે આ SQL માં ભાષાંતર કરે છે (નોંધ કરો કે ખાલી uriStem ફીલ્ડ માત્ર 1 માં રૂપાંતરિત કરવામાં આવ્યા છે)

SELECT
t,
groupArray((response, c)) AS groupArr
FROM (
SELECT
(intDiv(toUInt32(logdatetime), 60) * 60) * 1000 AS t, response,
count(*) AS c FROM default.log_web
WHERE (logdate >= toDate(1565061982)) AND (logdatetime >= toDateTime(1565061982)) AND 1 AND (fld_app_name = 'site1.domain.ru') AND (fld_app_module = 'web') AND 1 AND 1 AND 1
GROUP BY
t, response
ORDER BY
t ASC,
response ASC
)
GROUP BY t ORDER BY t ASC

નિષ્કર્ષ

ક્લિકહાઉસ ડેટાબેઝનો દેખાવ બજારમાં એક સીમાચિહ્નરૂપ ઘટના બની ગઈ છે. તે કલ્પના કરવી મુશ્કેલ હતું કે, સંપૂર્ણપણે મફત, એક જ ક્ષણમાં અમે મોટા ડેટા સાથે કામ કરવા માટે એક શક્તિશાળી અને વ્યવહારુ સાધનથી સજ્જ છીએ. અલબત્ત, વધતી જતી જરૂરિયાતો સાથે (ઉદાહરણ તરીકે, બહુવિધ સર્વર્સ પર શાર્ડિંગ અને નકલ), યોજના વધુ જટિલ બનશે. પરંતુ પ્રથમ છાપ પર, આ ડેટાબેઝ સાથે કામ કરવું ખૂબ જ સુખદ છે. તે જોઈ શકાય છે કે ઉત્પાદન "લોકો માટે" બનાવવામાં આવ્યું છે.

ElasticSearch ની તુલનામાં, લૉગ્સ સ્ટોર કરવા અને પ્રોસેસિંગનો ખર્ચ પાંચથી દસ ગણો ઓછો થવાનો અંદાજ છે. બીજા શબ્દોમાં કહીએ તો, જો વર્તમાન ડેટા માટે આપણે અનેક મશીનોનું ક્લસ્ટર સેટ કરવું પડશે, તો ક્લિકહાઉસનો ઉપયોગ કરતી વખતે, એક ઓછી-પાવર મશીન આપણા માટે પૂરતી છે. હા, અલબત્ત, ElasticSearchમાં ઑન-ડિસ્ક ડેટા કમ્પ્રેશન મિકેનિઝમ્સ અને અન્ય સુવિધાઓ પણ છે જે સંસાધન વપરાશને નોંધપાત્ર રીતે ઘટાડી શકે છે, પરંતુ ClickHouseની તુલનામાં, આ વધુ ખર્ચાળ હશે.

અમારા તરફથી કોઈ ખાસ ઑપ્ટિમાઇઝેશન વિના, ડિફૉલ્ટ સેટિંગ્સ પર, ડેટા લોડ કરવાનું અને ડેટાબેઝમાંથી પસંદ કરવાનું અદ્ભુત ઝડપે કામ કરે છે. અમારી પાસે હજી વધારે ડેટા નથી (આશરે 200 મિલિયન રેકોર્ડ્સ), પરંતુ સર્વર પોતે જ નબળું છે. અમે ભવિષ્યમાં આ ટૂલનો ઉપયોગ અન્ય હેતુઓ માટે કરી શકીએ છીએ જે લૉગ સ્ટોર કરવા સાથે સંબંધિત નથી. ઉદાહરણ તરીકે, એન્ડ-ટુ-એન્ડ એનાલિટિક્સ માટે, સુરક્ષાના ક્ષેત્રમાં, મશીન લર્નિંગ.

અંતે, ગુણદોષ વિશે થોડું.

મિનિસી

1. મોટા બૅચેસમાં રેકોર્ડ લોડ કરી રહ્યાં છે. એક તરફ, આ એક સુવિધા છે, પરંતુ તમારે હજુ પણ રેકોર્ડ બફર કરવા માટે વધારાના ઘટકોનો ઉપયોગ કરવો પડશે. આ કાર્ય હંમેશા સરળ નથી, પરંતુ હજુ પણ ઉકેલી શકાય તેવું છે. અને હું યોજનાને સરળ બનાવવા માંગુ છું.
2. કેટલીક વિચિત્ર કાર્યક્ષમતા અથવા નવી સુવિધાઓ ઘણીવાર નવા સંસ્કરણોમાં તૂટી જાય છે. આ ચિંતાનું કારણ બને છે, નવા સંસ્કરણ પર અપગ્રેડ કરવાની ઇચ્છા ઘટાડે છે. ઉદાહરણ તરીકે, કાફકા ટેબલ એન્જિન એ એક ખૂબ જ ઉપયોગી સુવિધા છે જે તમને ગ્રાહકોને અમલમાં મૂક્યા વિના, કાફકાની ઇવેન્ટ્સ સીધી વાંચવાની મંજૂરી આપે છે. પરંતુ ગીથબ પરના મુદ્દાઓની સંખ્યાને આધારે, અમે ઉત્પાદનમાં આ એન્જિનનો ઉપયોગ ન કરવા માટે હજી પણ સાવચેત છીએ. જો કે, જો તમે બાજુ પર અચાનક હાવભાવ ન કરો અને મુખ્ય કાર્યક્ષમતાનો ઉપયોગ કરો, તો તે સ્થિર રીતે કાર્ય કરે છે.

Плюсы

1. ધીમો પડતો નથી.
2. ઓછી પ્રવેશ થ્રેશોલ્ડ.
3. ખુલ્લા સ્ત્રોત.
4. મફત.
5. સારી રીતે સ્કેલ કરો (બોક્સની બહાર શેરિંગ/પ્રતિકૃતિ)
6. સંચાર મંત્રાલય દ્વારા ભલામણ કરાયેલ રશિયન સૉફ્ટવેરના રજિસ્ટરમાં શામેલ છે.
7. યાન્ડેક્ષ તરફથી સત્તાવાર સમર્થનની હાજરી.

સોર્સ: www.habr.com