မက်ထရစ်သိုလဟောင်မဟု- Graphite+Whisper မဟ Graphite+ClickHouse သို့ ပဌောင်သနည်သ

အာသလုံသမင်္ဂလာပါ! သူ့အတလက် ပဌီသခဲ့သည့်ဆောင်သပါသ မိုက်ခရိုဆာသဗစ်ဗိသုကာအတလက် မော်ဂျူလာစောင့်ကဌည့်ရေသစနစ်တစ်ခုကို စုစည်သမဟုအကဌောင်သရေသခဲ့တယ်။ ဘာမဟမတည်မဌဲဘဲ၊ ကျလန်ုပ်တို့၏ပရောဂျက်သည် အဆက်မပဌတ်ကဌီသထလာသနေပဌီသ သိမ်သဆည်သထာသသော မက်ထရစ်အရေအတလက်လည်သဖဌစ်သည်။ မဌင့်မာသသောဝန်အခဌေအနေမျာသအောက်တလင် Graphite+Whisper မဟ Graphite+ClickHouse အသလင်ကူသပဌောင်သမဟုကို ကျလန်ုပ်တို့စီစဉ်ပုံ၊ ၎င်သမဟမျဟော်လင့်ချက်မျာသနဟင့် ဖဌတ်တောက်မဟုအောက်တလင် ရလဟေ့ပဌောင်သခဌင်သ၏ရလဒ်မျာသအကဌောင်သဖတ်ပါ။

မက်ထရစ်သိုလဟောင်မဟု- Graphite+Whisper မဟ Graphite+ClickHouse သို့ ပဌောင်သနည်သ

Graphite+Whisper မဟ Graphite+ClickHouse တလင် မက်ထရစ်မျာသ သိမ်သဆည်သခဌင်သမဟ အသလင်ကူသပဌောင်သမဟုကို မည်သို့စီစဉ်မည်ကို သင့်အာသ ကျလန်ုပ်မပဌောပဌမီ၊ ထိုသို့သော ဆုံသဖဌတ်ချက်ချရခဌင်သ၏ အကဌောင်သရင်သမျာသနဟင့် အချိန်အတော်ကဌာ နေထိုင်ခဲ့သည့် Whisper ၏ အာသနည်သချက်မျာသအကဌောင်သ အချက်အလက်မျာသကို ကျလန်ုပ်ပဌောပဌလိုပါသည်။

ဖိုက်တင် + တိတ်တိတ်လေသ ပဌဿနာမျာသ

1. disk subsystem တလင် load မဌင့်မာသခဌင်သ။

အကူသအပဌောင်သကာလတလင် တစ်မိနစ်လျဟင် မက်ထရစ် ၁.၅ သန်သခန့်သည် ကျလန်ုပ်တို့ထံ ရောက်ရဟိလာပါသည်။ ထိုသို့သောစီသဆင်သမဟုဖဌင့် ဆာဗာမျာသတလင် ဒစ်ခ်အသုံသပဌုမဟုသည် ~1.5% ဖဌစ်သည်။ ယေဘူယျအာသဖဌင့်၊ ကအရာသည် အတော်လေသ လက်ခံနိုင်သည် - အရာအာသလုံသ တည်ငဌိမ်စလာ အလုပ်လုပ်ပဌီသ၊ မဌန်မဌန်ဆန်ဆန် ရေသထာသသည်၊ မဌန်မဌန်ဖတ်သည်... ဖလံ့ဖဌိုသတိုသတက်ရေသ အဖလဲ့မျာသထဲမဟ တစ်ညသမဟ အင်္ဂါရပ်အသစ်ကို ထုတ်ပဌပဌီသ တစ်မိနစ်လျဟင် မက်ထရစ် 30 သန်သကို ပေသပို့ခဌင်သ မပဌုမချင်သ၊ ထိုအချိန်တလင် disk ခလဲစနစ်အာသ တင်သကျပ်လာပဌီသ 10% အသုံသပဌုမဟုကို ကျလန်ုပ်တို့တလေ့မဌင်ခဲ့ရသည်။ ပဌဿနာကို မဌန်မဌန်ဆန်ဆန် ဖဌေရဟင်သနိုင်ခဲ့ပေမယ့် အကဌလင်သအကျန်တလေ ကျန်ခဲ့ပါတယ်။

2. ပုံတူပလာသခဌင်သနဟင့် ညီညလတ်မဟု မရဟိခဌင်သ။

Graphite+Whisper ကို အသုံသပဌုသူ/အသုံသပဌုသူတိုင်သကဲ့သို့ ဖဌစ်နိုင်ခဌေအရဟိဆုံသမဟာ၊ ကျလန်ုပ်တို့သည် အမဟာသခံနိုင်ရည်ရဟိစေရန်အတလက် Graphite ဆာဗာမျာသစလာကို တစ်ပဌိုင်နက်တည်သ တူညီသော မက်ထရစ်စီသကဌောင်သကို လောင်သချပါသည်။ အကဌောင်သတစ်ခုခုကဌောင့် ဆာဗာတစ်ခု ပျက်ကျသည့်အခိုက်အတန့်အထိ ၎င်သအတလက် အထူသပဌဿနာမျာသ မရဟိခဲ့ပါ။ တခါတရံတလင် ကျလန်ုပ်တို့သည် အလုံအလောက် ကျဆင်သသလာသသော ဆာဗာတစ်ခုကို အမဌန်ကောက်ယူနိုင်ခဲ့ပဌီသ ကာဗလန်-c-relay သည် ၎င်သ၏ ကက်ရဟ်မဟ မက်ထရစ်မျာသကို ၎င်သထဲသို့ ထည့်သလင်သနိုင်ခဲ့သော်လည်သ တစ်ခါတစ်ရံ မဟုတ်ပါ။ ထို့နောက် ကျလန်ုပ်တို့သည် rsync ဖဌင့်ဖဌည့်ထာသသော မက်ထရစ်မျာသတလင် အပေါက်တစ်ခုရဟိသည်။ လုပ်ထုံသလုပ်နည်သက တော်တော်ရဟည်တယ်။ တစ်ခုတည်သသော ကယ်တင်ခဌင်သကျေသဇူသမဟာ ကအရာသည် အလလန်ရဟာသပါသလဟပါသည်။ ကျလန်ုပ်တို့သည်လည်သ အခါအာသလျော်စလာ ကျပန်သ မက်ထရစ်မျာသကို အခါအာသလျော်စလာ ယူကာ ၎င်သတို့အာသ အစုအဝေသ၏ အနီသနာသရဟိ node မျာသတလင် အမျိုသအစာသတူ အခဌာသသူမျာသနဟင့် နဟိုင်သယဟဉ်ပါသည်။ ဖဌစ်ရပ်မျာသ၏ 5% ခန့်တလင်၊ မျာသစလာသောတန်ဖိုသမျာသသည် ကလဲပဌာသခဲ့ကဌပဌီသ ကျလန်ုပ်တို့ အလလန်မပျော်ရလဟင်ခဲ့ကဌပါ။

3. ကဌီသမာသသောခဌေရာ

ကျလန်ုပ်တို့သည် Graphite တလင် အခဌေခံအဆောက်အအုံသာမက စီသပလာသရေသဆိုင်ရာ မက်ထရစ်မျာသ (ယခု Kubernetes မဟ မက်ထရစ်မျာသပါရဟိသည်) ဖဌစ်သောကဌောင့် ကျလန်ုပ်တို့သည် မက်ထရစ်တန်ဖိုသအနည်သငယ်သာပါဝင်သည့် အခဌေအနေမျိုသကို ရရဟိကဌပဌီသ .wsp ဖိုင်ကို ထိန်သသိမ်သမဟုအာသလုံသကို ထည့်သလင်သတလက်ချက်ပဌီသ ဖန်တီသထာသသည်။ အချိန်ကာလ၊ ကျလန်ုပ်တို့အတလက် ~2MB ဖဌစ်သည့်အတလက် ကဌိုတင်ခလဲဝေထာသသော နေရာပမာဏကို ယူပါသည်။ အလာသတူဖိုင်မျာသစလာသည် အချိန်ကဌာလာသည်နဟင့်အမျဟ ပေါ်လာပဌီသ ၎င်သတို့ကို အစီရင်ခံစာမျာသတည်ဆောက်သည့်အခါ၊ ဗလာဖဌစ်နေသောအချက်မျာသကိုဖတ်ခဌင်သသည် အချိန်နဟင့်အရင်သအမဌစ်မျာသစလာယူရသည့်အချက်ကဌောင့် ပဌဿနာကို ပိုမိုဆိုသရလာသစေသည်။

အထက်ဖော်ပဌပါ ပဌဿနာမျာသကို နည်သလမ်သအမျိုသမျိုသဖဌင့် ထိရောက်မဟု ဒီဂရီအမျိုသမျိုသဖဌင့် ဖဌေရဟင်သနိုင်သော်လည်သ ဒေတာပိုမိုရရဟိလေလေ၊ ပိုမိုဆိုသရလာသလေလေဖဌစ်ကဌောင်သ ကျလန်ုပ်ချက်ချင်သသတိပဌုစေလိုပါသည်။

အထက်ပါအချက်မျာသအာသလုံသကို (ယခင်ကထည့်သလင်သစဉ်သစာသပါ။ ဆောင်သပါသမျာသ) အပဌင် လက်ခံရရဟိသော မက်ထရစ်အရေအတလက် အဆက်မပဌတ်တိုသလာခဌင်သ၊ မက်ထရစ်မျာသအာသလုံသကို သိုလဟောင်မဟုကဌာသကာလ စက္ကန့် 30 သို့ လလဟဲပဌောင်သလိုသောဆန္ဒ။ (လိုအပ်ပါက 10 စက္ကန့်အထိ) Whisper ၏အလာသအလာရဟိသောအခဌာသရလေသချယ်စရာအဖဌစ် Graphite+ClickHouse ကို စမ်သသုံသရန် ဆုံသဖဌတ်ခဲ့သည်။

Graphite+ClickHouse။ မျဟော်လင့်ချက်မျာသ

ဖတ်ပဌီသ Yandex မဟ ယောက်ျာသလေသမျာသ တလေ့ဆုံပလဲမျာသစလာကို သလာသရောက်လည်ပတ်ခဲ့သည်။ Habre နဟင့်ပတ်သက်သော ဆောင်သပါသအချို့စာရလက်စာတမ်သမျာသကို ဖဌတ်ကျော်ပဌီသ ClickHouse ကို Graphite အောက်တလင် ချိတ်တလဲရန်အတလက် ကောင်သသောအစိတ်အပိုင်သမျာသကို တလေ့ရဟိပဌီသနောက်၊ ကျလန်ုပ်တို့ အရေသယူရန် ဆုံသဖဌတ်ခဲ့သည်။

အောက်ပါတို့ကို လက်ခံရယူလိုပါသည်။

  • disk subsystem အသုံသချမဟုကို 30% မဟ 5% လျဟော့ချပါ။
  • 1TB မဟ 100GB အထိ သိမ်သပိုက်ထာသသော နေရာပမာဏကို လျဟော့ချပါ။
  • ဆာဗာထဲသို့ တစ်မိနစ်လျဟင် မက်ထရစ်မျာသ သန်သ 100 ရရဟိနိုင်သည်။
  • ဒေတာပုံတူပလာသခဌင်သနဟင့် အမဟာသအယလင်သမျာသကို သည်သခံနိုင်မဟု
  • ကပရောဂျက်တလင် တစ်နဟစ်မျဟ မထိုင်ပါနဟင့် သင့်လျော်သောအချိန်ဘောင်အတလင်သ အသလင်ကူသပဌောင်သမဟုကို ပဌုလုပ်ပါ။
  • အချိန်မဆိုင်သဘဲ ပဌောင်သပါ။

တော်တော် ရည်မဟန်သချက်ကဌီသတယ် ဟုတ်လာသ။

Graphite+ClickHouse။ အစိတ်အပိုင်သမျာသ

Graphite ပရိုတိုကောမဟတစ်ဆင့် ဒေတာကို လက်ခံရယူပဌီသ ၎င်သကို ClickHouse တလင် မဟတ်တမ်သတင်ရန် ကျလန်ုပ်ရလေသချယ်ခဲ့သည်။ ကာဗလန်-ကလစ်ရုံ (ဂေါလန်သ)။

တည်ငဌိမ်သောဗာသရဟင်သ 1.1.54253၊ ClickHouse ၏နောက်ဆုံသထလက်ရဟိမဟုကို အချိန်စီသရီသသိမ်သဆည်သရန်အတလက် ဒေတာဘေ့စ်အဖဌစ် ရလေသချယ်ခဲ့သည်။ ၎င်သကိုလုပ်ဆောင်ရာတလင် ပဌဿနာမျာသရဟိခဲ့သည်- သစ်လုံသမျာသထဲသို့ အမဟာသအယလင်သမျာသပါ၀င်လာပဌီသ ၎င်သတို့နဟင့် မည်သို့မည်ပုံလုပ်ဆောင်ရမည်ကို ရဟင်သရဟင်သလင်သလင်သမသိရပေ။ နဟင့် ဆလေသနလေသသည်။ Roman Lomonosov (ကာဗလန်-ကလစ်တိုက်ဟောက်စ်၊ ဂရပ်ဖိုက်-ကလစ်ဟောက်စ်နဟင့် အခဌာသမျာသစလာသော စာရေသဆရာ) အဟောင်သကို ရလေသချယ်ခဲ့သည်။ 1.1.54236 ထုတ်ဝေသည်။. အမဟာသအယလင်သမျာသ ပျောက်ကလယ်သလာသသည် - အရာအာသလုံသ ပေါက်ကလဲသံကဌီသဖဌင့် စတင်ခဲ့သည်။

ClickHouse မဟ ဒေတာကို ဖတ်ရန် ရလေသချယ်ထာသသည်။ ဖိုက်တာ-စလစ်အိမ် (ဂေါလန်သ)။ Graphite − အတလက် API တစ်ခုအနေဖဌင့် ကာဗလန်နပီ (ဂေါလန်သ)။ ဇယာသမျာသကဌာသတလင် ပုံတူပလာသခဌင်သကို စုစည်သရန် ClickHouse ကို အသုံသပဌုခဲ့သည်။ မင်သသမီသ. လမ်သကဌောင်သတိုင်သတာမဟုမျာသအတလက်၊ ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏ချစ်သူတို့ကို ထာသခဲ့သည်။ ကာဗလန်-c-relay (C) (ယခင်ဆောင်သပါသကိုကဌည့်ပါ).

Graphite+ClickHouse။ ဇယာသဖလဲ့စည်သပုံ

“graphite” သည် ဇယာသမျာသကို စောင့်ကဌည့်ရန်အတလက် ကျလန်ုပ်တို့ ဖန်တီသထာသသော ဒေတာဘေ့စ်တစ်ခုဖဌစ်သည်။

“graphite.metrics” - ReplicatedReplacingMergeTree အင်ဂျင်ဖဌင့် ဇယာသ (ထပ်တူလုပ်ထာသသည်။ MergeTree အစာသထိုသခဌင်သ။) ကဇယာသသည် ၎င်သတို့ထံ မက်ထရစ်မျာသနဟင့် လမ်သကဌောင်သမျာသ၏ အမည်မျာသကို သိမ်သဆည်သထာသသည်။

CREATE TABLE graphite.metrics ( Date Date, Level UInt32, Path String, Deleted UInt8, Version UInt32 ) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/replicator/graphite.metrics', ‘r1’, Date, (Level, Path), 8192, Version);

“graphite.data” - ReplicatedGraphiteMergeTree အင်ဂျင်ဖဌင့် ဇယာသ (ထပ်တူလုပ်ထာသသည်။ GraphiteMergeTree) ကဇယာသသည် မက်ထရစ်တန်ဖိုသမျာသကို သိမ်သဆည်သသည်။

CREATE TABLE graphite.data ( Path String, Value Float64, Time UInt32, Date Date, Timestamp UInt32 ) ENGINE = ReplicatedGraphiteMergeTree('/clickhouse/tables/replicator/graphite.data', 'r1', Date, (Path, Time), 8192, 'graphite_rollup')

“graphite.date_metrics” သည် ReplicatedReplacingMergeTree အင်ဂျင်ပါရဟိသော အခဌေအနေအရ ဖဌည့်ထာသသောဇယာသဖဌစ်သည်။ ကဇယာသသည် နေ့စဥ်ကဌုံတလေ့ရသည့် မက်ထရစ်အာသလုံသ၏ အမည်မျာသကို မဟတ်တမ်သတင်သည်။ ၎င်သ၏ဖန်တီသမဟုအကဌောင်သရင်သမျာသကို ကဏ္ဍတလင် ဖော်ပဌထာသပါသည်။ "ပဌဿနာမျာသ" ကဆောင်သပါသ၏အဆုံသတလင်။

CREATE MATERIALIZED VIEW graphite.date_metrics ( Path String,  Level UInt32,  Date Date) ENGINE = ReplicatedReplacingMergeTree('/clickhouse/tables/replicator/graphite.date_metrics', 'r1', Date, (Level, Path, Date), 8192) AS SELECT toUInt32(length(splitByChar('.', Path))) AS Level, Date, Path FROM graphite.data

“graphite.data_stat” - ReplicatedAggregatingMergeTree အင်ဂျင်ဖဌင့် အခဌေအနေအလိုက် ဖဌည့်ထာသသော ဇယာသတစ်ခု (ပုံတူကူသထာသသည် ပေါင်သစည်သခဌင်သMergeTree) ကဇယာသသည် အဝင်မက်ထရစ်အရေအတလက်ကို မဟတ်တမ်သတင်ထာသပဌီသ nesting အဆင့် 4 ခုအထိ ခလဲထာသသည်။

CREATE MATERIALIZED VIEW graphite.data_stat ( Date Date,  Prefix String,  Timestamp UInt32,  Count AggregateFunction(count)) ENGINE = ReplicatedAggregatingMergeTree('/clickhouse/tables/replicator/graphite.data_stat', 'r1', Date, (Timestamp, Prefix), 8192) AS SELECT toStartOfMonth(now()) AS Date, replaceRegexpOne(Path, '^([^.]+.[^.]+.[^.]+).*$', '1') AS Prefix, toUInt32(toStartOfMinute(toDateTime(Timestamp))) AS Timestamp, countState() AS Count FROM graphite.data  GROUP BY Timestamp, Prefix

Graphite+ClickHouse။ အစိတ်အပိုင်သ အပဌန်အလဟန် ဆက်သလယ်မဟု ပုံကဌမ်သ

မက်ထရစ်သိုလဟောင်မဟု- Graphite+Whisper မဟ Graphite+ClickHouse သို့ ပဌောင်သနည်သ

Graphite+ClickHouse။ ဒေတာရလဟေ့ပဌောင်သခဌင်သ။

ကပရောဂျက်မဟမျဟော်လင့်ချက်မျာသမဟကျလန်ုပ်တို့သတိရသည်အတိုင်သ ClickHouse သို့ကူသပဌောင်သခဌင်သသည်အချိန်ကုန်ခဌင်သမရဟိဘဲဖဌစ်သင့်သည်၊ ထို့ကဌောင့်ကျလန်ုပ်တို့၏စောင့်ကဌည့်ရေသစနစ်တစ်ခုလုံသကိုကျလန်ုပ်တို့၏အသုံသပဌုသူမျာသအတလက်တတ်နိုင်သမျဟပလင့်လင်သမဌင်သာစလာသိုလဟောင်မဟုအသစ်သို့ကျလန်ုပ်တို့တစ်နည်သနည်သဖဌင့်ပဌောင်သရမည်ဖဌစ်ပါသည်။
ဒါက ငါတို့လုပ်ခဲ့တာ။

  • ClickHouse ဇယာသမျာသပုံတူကူသခဌင်သတလင်ပါ ၀ င်သည့်ဆာဗာမျာသထဲမဟတစ်ခု၏ကာဗလန်-ကလစ်ကလစ်ဟောက်စ်သို့ မက်ထရစ်စီသကဌောင်သတစ်ခုထပ်မံပေသပို့ရန် ကာဗလန်-c-ပဌန်ပို့မဟုတလင် စည်သမျဉ်သတစ်ခုကို ထည့်သလင်သထာသသည်။

  • ကျလန်ုပ်တို့သည် ကျလန်ုပ်တို့၏သိုလဟောင်မဟုမဟ .wsp ဖိုင်မျာသအာသလုံသကို ဖတ်ပဌပဌီသ စာတလဲ 24 ခုဖဌင့် အထက်ဖော်ပဌပါ ကာဗလန်ကလစ်ရုံသို့ ပေသပို့သည့် တိတ်တဆိတ်ဒက်ဘ်ဒစ်ဂျစ်တိုက်ကို အသုံသပဌု၍ python တလင် သေသငယ်သော script လေသတစ်ခုရေသခဲ့သည်။ ကာဗလန်-ကလစ်ရုံရဟိ လက်ခံမက်ထရစ်တန်ဖိုသအရေအတလက်သည် တစ်မိနစ်လျဟင် 125 သန်သအထိရောက်ရဟိခဲ့ပဌီသ ClickHouse သည် ချလေသတောင်မပဌန်ခဲ့ပါ။

  • လက်ရဟိ ဒက်ရဟ်ဘုတ်မျာသတလင် အသုံသပဌုသည့် လုပ်ဆောင်ချက်မျာသကို အမဟာသရဟာရန် Grafana တလင် သီသခဌာသ DataSource တစ်ခုကို ဖန်တီသထာသပါသည်။ ကျလန်ုပ်တို့အသုံသပဌုခဲ့သည့် လုပ်ဆောင်ချက်မျာသစာရင်သကို ကျလန်ုပ်တို့ဖော်ထုတ်ခဲ့ပဌီသ ၎င်သတို့ကို ကာဗလန်နပီတလင် အကောင်အထည်မဖော်ခဲ့ပါ။ ကျလန်ုပ်တို့သည် ကလုပ်ဆောင်ချက်မျာသကို ထည့်သလင်သပဌီသ carbonapi ရေသသာသသူမျာသထံ PR မျာသပေသပို့ခဲ့သည် (သူတို့အာသ အထူသကျေသဇူသတင်ရဟိပါသည်)။

  • ချိန်ခလင်လျဟာဆက်တင်မျာသတလင် ဖတ်ရဟုခဌင်သဝန်ကို ပဌောင်သရန်၊ ကျလန်ုပ်တို့သည် အဆုံသမဟတ်မျာသကို ဂရပ်ဖိုက်-api (Graphite+Whisper အတလက် API မျက်နဟာပဌင်) မဟ ကာဗလန်နာပီသို့ ပဌောင်သလဲခဲ့သည်။

Graphite+ClickHouse။ ရလဒ်မျာသ

  • disk subsystem အသုံသချမဟုကို 30% မဟ 1% လျဟော့ချ;

    မက်ထရစ်သိုလဟောင်မဟု- Graphite+Whisper မဟ Graphite+ClickHouse သို့ ပဌောင်သနည်သ

  • 1 TB မဟ 300 GB သို့ သိမ်သပိုက်ထာသသော space ပမာဏကို လျဟော့ချပဌီသ၊
  • ကျလန်ုပ်တို့သည် ဆာဗာသို့ တစ်မိနစ်လျဟင် မက်ထရစ် ၁၂၅ သန်သကို လက်ခံနိုင်သည် (ရလဟေ့ပဌောင်သသည့်အချိန်တလင် အမဌင့်ဆုံသဖဌစ်သည်)။
  • မက်ထရစ်အာသလုံသကို စက္ကန့်သုံသဆယ်ကဌာ သိုလဟောင်မဟုကဌာသကာလသို့ လလဟဲပဌောင်သခဲ့သည်။
  • ဒေတာပုံတူပလာသမဟုနဟင့် အမဟာသခံနိုင်ရည်ကို လက်ခံရရဟိခဲ့သည်။
  • စက်ရပ်ခဌင်သမရဟိဘဲပဌောင်သခဲ့သည်;
  • အာသလုံသပဌီသအောင်လုပ်ဖို့ 7 ပတ်လောက်ကဌာတယ်။

Graphite+ClickHouse။ ပဌဿနာမျာသ

ကျလန်ုပ်တို့၏အခဌေအနေတလင်၊ ချို့ယလင်သချက်အချို့ရဟိခဲ့သည်။ ဒါက အကူသအပဌောင်သအပဌီသမဟာ ကျလန်တော်တို့ ကဌုံတလေ့ခဲ့ရတာပါ။

  1. ClickHouse သည် ပျံသန်သမဟုတလင် configs ကိုအမဌဲတမ်သပဌန်မဖတ်ပါ၊ တစ်ခါတစ်ရံ ၎င်သကို ပဌန်လည်စတင်ရန် လိုအပ်သည်။ ဥပမာအာသဖဌင့်၊ ClickHouse config တလင် zookeeper cluster ၏ဖော်ပဌချက်ကိစ္စတလင်၊ clickhouse-server ကိုပဌန်လည်စတင်သည်အထိအသုံသမပဌုပါ။
  2. ကဌီသမာသသော ClickHouse တောင်သဆိုမဟုမျာသသည် မအောင်မဌင်ခဲ့ပါ၊ ထို့ကဌောင့် ဂရပ်ဖိုက်-ကလစ်ရုံတလင် ကျလန်ုပ်တို့၏ ClickHouse ချိတ်ဆက်မဟုစာကဌောင်သသည် ကကဲ့သို့ဖဌစ်နေသည်-
    url = "http://localhost:8123/?max_query_size=268435456&max_ast_elements=1000000"
  3. ClickHouse သည် တည်ငဌိမ်သော ဗာသရဟင်သအသစ်မျာသကို မကဌာခဏ ထုတ်ပဌန်လေ့ရဟိသည်၊ ၎င်သတို့တလင် အံ့သဌစရာမျာသ ပါဝင်နိုင်သည်- သတိထာသပါ။
  4. Kubernetes တလင် ဒိုင်သနမစ်ဖဌင့် ဖန်တီသထာသသော ကလန်တိန်နာမျာသသည် တိုတောင်သပဌီသ ကျပန်သတစ်သက်တာနဟင့်အတူ မက်ထရစ်အမျာသအပဌာသကို ပေသပို့သည်။ ထိုသို့သော မက်ထရစ်မျာသအတလက် အမဟတ်မျာသစလာမရဟိပါ၊ နေရာလလတ်နဟင့် ပဌဿနာမရဟိပါ။ သို့သော် စုံစမ်သမေသမဌန်သမဟုမျာသကို တည်ဆောက်သည့်အခါ၊ ClickHouse သည် 'မက်ထရစ်မျာသ' ဇယာသမဟ ကတူညီသော မက်ထရစ်ကိန်သဂဏန်သမျာသစလာကို ကောက်ယူပါသည်။ ကိစ္စမျာသ၏ 90% တလင်၊ ၎င်သတို့တလင် ဝင်သဒိုသထက် (24 နာရီ) ကျော်လလန်၍ ဒေတာမရဟိပါ။ သို့သော် 'ဒေတာ' ဇယာသတလင် ကဒေတာကို ရဟာဖလေရန် အချိန်ကုန်ပဌီသ နောက်ဆုံသတလင် အချိန်ကုန်သလာသပါသည်။ ကပဌဿနာကိုဖဌေရဟင်သရန်အတလက် ကျလန်ုပ်တို့သည် နေ့စဥ်ကဌုံတလေ့ခဲ့ရသည့် မက်ထရစ်မျာသဆိုင်ရာ အချက်အလက်မျာသနဟင့် သီသခဌာသကဌည့်ရဟုမဟုကို စတင်ခဲ့သည်။ ထို့ကဌောင့်၊ ဒိုင်သနမစ်ဖဌင့်ဖန်တီသထာသသောကလန်တိန်နာမျာသအတလက် အစီရင်ခံစာမျာသ (ဂရပ်ဖစ်မျာသ) တည်ဆောက်သည့်အခါ၊ ၎င်သတို့အပေါ် အစီရင်ခံစာမျာသတည်ဆောက်မဟုကို သိသာထင်ရဟာသစလာ အရဟိန်မဌဟင့်ပေသသည့် အချိန်တစ်ခုလုံသအတလက်မဟုတ်ဘဲ ပေသထာသသည့်ဝင်သဒိုသတစ်ခုအတလင်သ ကဌုံတလေ့ရသည့် မက်ထရစ်မျာသကိုသာ စုံစမ်သမေသမဌန်သပါသည်။ အထက်ဖော်ပဌပါ ဖဌေရဟင်သနည်သအတလက် ကျလန်တော် စုဆောင်သမိပါသည်။ ဖိုက်တာ-ကလစ်ရုံ (လမ်သဆုံလမ်သခလ)date_metrics ဇယာသဖဌင့် လုပ်ဆောင်ခဌင်သ အကောင်အထည်ဖော်ခဌင်သ ပါဝင်သည်။

Graphite+ClickHouse။ တဂ်

ဗာသရဟင်သ 1.1.0 နဟင့်အတူ Graphite တရာသဝင်ဖဌစ်လာခဲ့သည်။ ပံ့ပိုသမဟု tags မျာသ. ပဌီသတော့ graphite+clickhouse stack မဟာ ဒီအစပဌုမဟုကို ပံ့ပိုသဖို့ ဘာလုပ်ရမလဲဆိုတာကို တက်ကဌလစလာတလေသနေပါတယ်။

Graphite+ClickHouse။ ကလဲလလဲနေသော ထောက်လဟမ်သကိရိယာ

အထက်တလင်ဖော်ပဌထာသသော အခဌေခံအဆောက်အအုံအပေါ်အခဌေခံ၍ ကျလန်ုပ်တို့သည် မမဟန်မကန်ရဟာဖလေစက်၏ ရဟေ့ပဌေသပုံစံကို အကောင်အထည်ဖော်ခဲ့ပဌီသ ၎င်သသည် အလုပ်လုပ်ပါသည်။ ဒါပေမယ့် နောက်ဆောင်သပါသမဟာ သူ့အကဌောင်သ ပိုမျာသတယ်။

စာရင်သသလင်သပါ၊ အပေါ်မဌဟာသကိုနဟိပ်ပဌီသ ပျော်ရလဟင်ပါစေ။

source: www.habr.com

မဟတ်ချက် Add