ကျွန်ုပ်တို့သည် မှတ်တမ်းများကိုကြည့်ရှုရန်အတွက် ကမ္ဘာပေါ်ရှိ အလွယ်ကူဆုံးသောအင်တာဖေ့စ်*ကို တီထွင်နေပါသည်။

မှတ်တမ်းများကိုကြည့်ရှုရန် ဝဘ်အင်တာဖေ့စ်များကို သင်အသုံးပြုဖူးပါက၊ စည်းကမ်းအတိုင်း၊ ဤအင်တာဖေ့စ်များသည် ခက်ခဲပြီး (မကြာခဏ) အလွန်အဆင်ပြေပြီး တုံ့ပြန်မှုမရရှိသည်ကို သင်သတိပြုမိပေမည်။ တစ်ချို့က သင်သုံးလို့ရတယ်၊ တချို့က လုံးဝကြောက်စရာကောင်းပေမယ့် ပြဿနာအားလုံးရဲ့ အကြောင်းရင်းက မှတ်တမ်းတွေကို မမှန်မကန်ကြည့်ရှုတဲ့ အလုပ်တာဝန်ကို ချဉ်းကပ်တာကြောင့် CLI (command line interface) ရှိတဲ့ ဝဘ်အင်တာဖေ့စ်ကို ဖန်တီးဖို့ ကြိုးစားပါတယ်။ ပိုကောင်းအလုပ်လုပ်ပါတယ်။ ကျွန်ုပ်သည် ပုဂ္ဂိုလ်ရေးအရ tail၊ grep၊ awk နှင့် အခြားအရာများနှင့် အလုပ်လုပ်ရာတွင် အလွန်အဆင်ပြေသည်၊ ထို့ကြောင့် ကျွန်ုပ်အတွက် မှတ်တမ်းများနှင့် အလုပ်လုပ်ရန် စံပြအင်တာဖေ့စ်သည် tail နှင့် grep နှင့် ဆင်တူသည်၊ သို့သော် ၎င်းသည် ဆာဗာများစွာမှလာသော မှတ်တမ်းများကို ဖတ်ရန်အတွက်လည်း အသုံးပြုနိုင်သည်။ အဲဒါကို ClickHouse ကနေ ဖတ်တာတော့ သေချာပါတယ်။

* habra အသုံးပြုသူ၏ကိုယ်ပိုင်အမြင်အရ သင်ရော့ခ်

logscli တွေ့ဆုံပါ။

ကျွန်ုပ်၏အင်တာဖေ့စ်အတွက် အမည်တစ်ခုမပြခဲ့ဘဲ ရိုးရိုးသားသားပြောရလျှင် ၎င်းသည် ရှေ့ပြေးပုံစံပုံစံဖြင့် တည်ရှိနေသော်လည်း အရင်းအမြစ်ကုဒ်ကို သင်ချက်ချင်းကြည့်လိုပါက၊ သင်သည် ကြိုဆိုပါသည်- https://github.com/YuriyNasretdinov/logscli (ရွေးချယ်ထားသော Go ကုဒ်၏ စာကြောင်း 350)။

အခွင့်အလမ်း

ကျွန်ုပ်၏ရည်ရွယ်ချက်မှာ tail/grep ကိုအသုံးပြုသူများနှင့် ရင်းနှီးသည်ဟုထင်ရသော interface တစ်ခုပြုလုပ်ရန်ဖြစ်ပြီး၊ ဆိုလိုသည်မှာ အောက်ပါအရာများကို ပံ့ပိုးပေးရန်ဖြစ်သည်။

1. စစ်ထုတ်ခြင်းမရှိဘဲ မှတ်တမ်းအားလုံးကို ကြည့်ရှုပါ။
2. ပုံသေစာတန်းခွဲများပါရှိသော စာကြောင်းများကို ချန်ထားခဲ့ပါ (အလံ -F у grep).
3. ပုံမှန်အသုံးအနှုန်းနှင့်ကိုက်ညီသော စာကြောင်းများကို ချန်ထားခဲ့ပါ (အလံ -E у grep).
4. ပုံမှန်အားဖြင့်၊ ကြည့်ရှုမှုသည် အချိန်နှင့်တပြေးညီ ပြောင်းပြန်ဖြစ်နေသည်၊ အဘယ်ကြောင့်ဆိုသော် လတ်တလောမှတ်တမ်းများသည် အများအားဖြင့် ဦးစွာစိတ်ဝင်စားသောကြောင့်ဖြစ်သည်။
5. စာကြောင်းတစ်ခုစီ၏ဘေးတွင် အကြောင်းအရာကိုပြပါ (ရွေးချယ်စရာများ -A, -B и -C у grep၊ ရှေ့၊ နောက်၊ နှင့် ကိုက်ညီသော စာကြောင်းတစ်ခုစီတွင် N လိုင်းများကို ပုံနှိပ်ခြင်း)။
6. စစ်ထုတ်ခြင်း သို့မဟုတ် စစ်ထုတ်ခြင်းမရှိဘဲ ဝင်လာသောမှတ်တမ်းများကို အချိန်နှင့်တပြေးညီကြည့်ရှုပါ (အဓိကအားဖြင့် tail -f | grep).
7. အင်တာဖေ့စ်နှင့် သဟဇာတဖြစ်ရမည်။ less, head, tail နှင့် အခြားသူများ - ပုံမှန်အားဖြင့်၊ ၎င်းတို့၏ နံပါတ်အပေါ် ကန့်သတ်ချက်များမရှိဘဲ ရလဒ်များကို ပြန်ပေးသင့်သည်။ အသုံးပြုသူသည် ၎င်းတို့ကိုလက်ခံရန် စိတ်ဝင်စားနေသရွေ့ လိုင်းများကို stream တစ်ခုအနေဖြင့် ရိုက်နှိပ်ထားပါသည်။ အချက်ပြ SIGPIPE ၎င်းတို့ကဲ့သို့ မှတ်တမ်းလွှင့်ခြင်းကို တိတ်တဆိတ် နှောင့်ယှက်သင့်သည်။ tail, grep နှင့် အခြား UNIX အသုံးအဆောင်များ။

အကောင်အထည်ဖော်မှု

သင်သည် ClickHouse သို့ မှတ်တမ်းများ ပေးပို့နည်းကို တစ်နည်းနည်းဖြင့် သိနေပြီဟု ကျွန်တော် ယူဆပါသည်။ မဟုတ်ရင် စမ်းသုံးကြည့်ဖို့ အကြံပြုချင်ပါတယ်။ lsd и ကြောင်အိမ်နှင့် မှတ်တမ်းပေးပို့ခြင်းအကြောင်း ဤဆောင်းပါး.

ပထမဦးစွာ အခြေခံအစီအစဥ်ကို ဆုံးဖြတ်ရန် လိုအပ်သည်။ အချိန်အလိုက် စီထားသော မှတ်တမ်းများကို အများအားဖြင့် လက်ခံရယူလိုသောကြောင့် ၎င်းတို့ကို ထိုနည်းဖြင့် သိမ်းဆည်းခြင်းသည် ယုတ္တိရှိပုံရသည်။ မှတ်တမ်းအမျိုးအစားများစွာရှိပြီး ၎င်းတို့အားလုံးသည် အမျိုးအစားတူညီပါက၊ ပင်မကီး၏ပထမကော်လံအဖြစ် မှတ်တမ်းအမျိုးအစားတစ်ခုကို သင်ပြုလုပ်နိုင်သည်- ၎င်းသည် သင့်အား များစွာအစား ဇယားတစ်ခုထားရှိနိုင်စေမည်ဖြစ်ပြီး၊ ၎င်းသည် ပေါင်းသည့်အခါတွင် ကြီးမားမည်ဖြစ်သည်။ ClickHouse သို့ထည့်သွင်းခြင်း (ဟာ့ဒ်ဒရိုက်များပါရှိသောဆာဗာများတွင်၊ တစ်စက္ကန့်လျှင် ~ 1 ကြိမ်ထက်မပိုဘဲဒေတာထည့်ရန်အကြံပြုသည် ဆာဗာတစ်ခုလုံးအတွက်).

ဆိုလိုသည်မှာ၊ ကျွန်ုပ်တို့သည် ခန့်မှန်းခြေအားဖြင့် အောက်ပါဇယားအစီအစဉ်ကို လိုအပ်ပါသည်။

CREATE TABLE logs(
    category LowCardinality(String), -- категория логов (опционально)
    time DateTime, -- время события
    millis UInt16, -- миллисекунды (могут быть и микросекунды, и т.д.): рекомендуется хранить, если событий много, чтобы было легче различать события между собой
    ..., -- ваши собственные поля, например имя сервера, уровень логирования, и так далее
    message String -- текст сообщения
) ENGINE=MergeTree()
ORDER BY (category, time, millis)

ကံမကောင်းစွာဖြင့်၊ ကျွန်ုပ်ဖမ်းယူ၍ ဒေါင်းလုဒ်လုပ်နိုင်သော လက်တွေ့ကျသော မှတ်တမ်းများပါသည့် မည်သည့် open source အရင်းအမြစ်ကိုမဆို ကျွန်ုပ် ချက်ချင်း ရှာမတွေ့ပါ၊ ထို့ကြောင့် ၎င်းကို နမူနာအဖြစ် ယူလိုက်ပါသည်။ 2015 ခုနှစ်မတိုင်မီ Amazon မှထုတ်ကုန်များ၏ပြန်လည်သုံးသပ်ခြင်း။. ဟုတ်ပါတယ်၊ ၎င်းတို့၏ဖွဲ့စည်းပုံသည် စာသားမှတ်တမ်းများနှင့် အတိအကျမတူသော်လည်း သရုပ်ဖော်မှုရည်ရွယ်ချက်အတွက် ၎င်းသည် အရေးမကြီးပါ။

Amazon သုံးသပ်ချက်များကို ClickHouse သို့ အပ်လုဒ်တင်ခြင်းအတွက် ညွှန်ကြားချက်များ

ဇယားတစ်ခုဖန်တီးကြပါစို့။

CREATE TABLE amazon(
   review_date Date,
   time DateTime DEFAULT toDateTime(toUInt32(review_date) * 86400 + rand() % 86400),
   millis UInt16 DEFAULT rand() % 1000,
   marketplace LowCardinality(String),
   customer_id Int64,
   review_id String,
   product_id LowCardinality(String),
   product_parent Int64,
   product_title String,
   product_category LowCardinality(String),
   star_rating UInt8,
   helpful_votes UInt32,
   total_votes UInt32,
   vine FixedString(1),
   verified_purchase FixedString(1),
   review_headline String,
   review_body String
)
ENGINE=MergeTree()
ORDER BY (time, millis)
SETTINGS index_granularity=8192

Amazon dataset တွင် ပြန်လည်သုံးသပ်ရန် ရက်စွဲတစ်ခုသာရှိသော်လည်း အချိန်အတိအကျမရှိသောကြောင့် ဤဒေတာကို randon ဖြင့် ဖြည့်လိုက်ကြပါစို့။

10 GB RAM နှင့် အံမဝင်သော ဒေတာအစုအဝေးကြီးကို ရရှိရန်အတွက် သင်သည် tsv ဖိုင်များအားလုံးကို ဒေါင်းလုဒ်လုပ်ပြီး သင့်ကိုယ်သင် ပထမ ~20-16 အထိ ကန့်သတ်ထားရန် မလိုအပ်ပါ။ TSV ဖိုင်များကို အပ်လုဒ်လုပ်ရန် အောက်ပါ command ကို အသုံးပြုခဲ့သည်။

for i in *.tsv; do
    echo $i;
    tail -n +2 $i | pv |
    clickhouse-client --input_format_allow_errors_ratio 0.5 --query='INSERT INTO amazon(marketplace,customer_id,review_id,product_id,product_parent,product_title,product_category,star_rating,helpful_votes,total_votes,vine,verified_purchase,review_headline,review_body,review_date) FORMAT TabSeparated'
done

1000 GB အရွယ်အစားရှိသော Google Cloud ရှိ Standard Persistent Disk (HDD) တွင် (ဤအရွယ်အစားကို အဓိကအားဖြင့် ကျွန်ုပ်ယူခဲ့သည်၊ ထို့ကြောင့် လိုအပ်သည့်အရွယ်အစား၏ SSD သည် စျေးသက်သာမည်ဖြစ်သော်လည်း၊ ဤအရွယ်အစားကို အဓိကအားဖြင့် ကျွန်ုပ်ယူခဲ့သည်) အမြန်နှုန်း 75 cores တွင် ခန့်မှန်းခြေ ~ 4 MB/sec ရှိသည်။

• ကျွန်ုပ်သည် Google တွင်အလုပ်လုပ်သောကြိုတင်စာရင်းသွင်းထားရပါမည်၊ သို့သော်ကျွန်ုပ်သည်ကိုယ်ရေးကိုယ်တာအကောင့်တစ်ခုကိုအသုံးပြုပြီးဤဆောင်းပါးသည်ကုမ္ပဏီတွင်ကျွန်ုပ်၏အလုပ်နှင့်မသက်ဆိုင်ပါ။

ကျွန်ုပ်လက်ထဲတွင်ရှိသည်ဖြစ်သောကြောင့် ဤအထူးဒေတာအတွဲဖြင့် သရုပ်ဖော်ပုံများအားလုံးကို ကျွန်ုပ်ထုတ်ပါမည်။

ဒေတာစကင်န်ဖတ်ခြင်းတိုးတက်မှုကိုပြသပါ။

ClickHouse တွင် ကျွန်ုပ်တို့သည် မှတ်တမ်းများပါရှိသော ဇယားတစ်ခုပေါ်တွင် အပြည့်အစုံစကင်န်ဖတ်ခြင်းကို အသုံးပြုမည်ဖြစ်ပြီး၊ ဤလုပ်ဆောင်ချက်သည် အချိန်များစွာကြာနိုင်ပြီး တိုက်ဆိုင်မှုအနည်းငယ်ကို တွေ့ရှိပါက အချိန်ကြာမြင့်စွာ ရလဒ်ထွက်ပေါ်နိုင်မည်မဟုတ်ပါ၊ ရလဒ်နှင့်အတူ ပထမတန်းများကို ရရှိသည်အထိ မေးခွန်း၏တိုးတက်မှု။ ၎င်းကိုလုပ်ဆောင်ရန် HTTP အင်တာဖေ့စ်တွင် သင့်အား HTTP ခေါင်းစီးများတွင် တိုးတက်မှုကို ပေးပို့နိုင်စေမည့် ကန့်သတ်ချက်တစ်ခု ရှိပါသည်။ send_progress_in_http_headers=1. ကံမကောင်းစွာဖြင့်၊ စံ Go စာကြည့်တိုက်သည် ၎င်းတို့လက်ခံရရှိထားသည့်အတိုင်း ခေါင်းစီးများကို မဖတ်နိုင်သော်လည်း HTTP 1.0 အင်တာဖေ့စ် (1.1 နှင့် မရောထွေးစေလိုပါ။) ကို ClickHouse မှ ပံ့ပိုးပေးသောကြောင့် သင်သည် ClickHouse သို့ TCP ချိတ်ဆက်မှုကြမ်းကို ဖွင့်ပြီး ၎င်းကို ထိုနေရာသို့ ပေးပို့နိုင်ပါသည်။ GET /?query=... HTTP/1.0nn ထွက်ပေါက် သို့မဟုတ် ကုဒ်ဝှက်ခြင်းမရှိဘဲ တုံ့ပြန်မှု ခေါင်းစီးများနှင့် စာကိုယ်အား လက်ခံရယူပါ၊ ထို့ကြောင့် ဤကိစ္စတွင် ကျွန်ုပ်တို့သည် စံစာကြည့်တိုက်ကိုပင် အသုံးပြုရန် မလိုအပ်ပါ။

ClickHouse မှ လွှင့်တင်သောမှတ်တမ်းများ

ClickHouse တွင် ORDER BY ဖြင့် မေးမြန်းချက်များအတွက် အချိန်အတော်ကြာအောင် ပိုမိုကောင်းမွန်အောင်ပြုလုပ်ထားပါသည် (2019 ခုနှစ်ကတည်းက?) ဖြစ်သောကြောင့် မေးမြန်းချက်ကဲ့သို့၊

SELECT time, millis, message
FROM logs
WHERE message LIKE '%something%'
ORDER BY time DESC, millis DESC

စကင်န်ဖတ်ခြင်းကို ပြီးအောင်မစောင့်ဘဲ ၎င်းတို့၏ မက်ဆေ့ချ်တွင် "တစ်ခုခု" ပါသော စာကြောင်းခွဲများပါရှိသည့် လိုင်းများကို ချက်ချင်းပြန်စပါမည်။

ထို့အပြင်၊ ClickHouse ကိုယ်တိုင်က ၎င်းနှင့်ချိတ်ဆက်မှုကိုပိတ်သောအခါ တောင်းဆိုချက်ကို ပယ်ဖျက်ပါက အလွန်အဆင်ပြေလိမ့်မည်၊ သို့သော် ၎င်းသည် ပုံသေအပြုအမူမဟုတ်ပေ။ ရွေးချယ်ခွင့်ကို အသုံးပြု၍ အလိုအလျောက် တောင်းဆိုချက် ပယ်ဖျက်ခြင်းကို ဖွင့်နိုင်သည်။ cancel_http_readonly_queries_on_client_close=1.

Go တွင် SIGPIPE ကို မှန်ကန်စွာ ကိုင်တွယ်ခြင်း။

execute လုပ်တဲ့အခါ command ကိုပြောပါ။ some_cmd | head -n 10အမိန့်ပေးပုံအတိအကျ some_cmd ကွပ်မျက်သည့်အခါ ရပ်သည်။ head စာကြောင်း 10 ကို နုတ်မလား။ အဖြေက ရိုးရှင်းပါတယ်။ head အဆုံးတွင်၊ ပိုက်ပိတ်သွားပြီး some_cmd command ၏ stdout သည် အခြေအနေအရ “to nowhere” ကို စတင်ညွှန်ပြသည်။ ဘယ်တော့လဲ some_cmd ပိတ်ထားတဲ့ ပိုက်ကို ရေးဖို့ ကြိုးစားတယ်၊ ၎င်းသည် SIGPIPE အချက်ပြမှုကို လက်ခံရရှိသည်၊ ၎င်းသည် ပရိုဂရမ်ကို မူရင်းအတိုင်း တိတ်တဆိတ် ရပ်တန့်စေသည်။.

Go တွင် ၎င်းသည် ပုံသေအားဖြင့် ဖြစ်ပေါ်သော်လည်း SIGPIPE signal handler သည် အဆုံးတွင် "signal: SIGPIPE" သို့မဟုတ် အလားတူ မက်ဆေ့ချ်ကို print ထုတ်ပြီး ဤမက်ဆေ့ချ်ကို ရှင်းလင်းရန် SIGPIPE ကို ကျွန်ုပ်တို့ အလိုရှိသည့်အတိုင်း တိတ်တဆိတ် ကိုင်တွယ်ရန် လိုအပ်ပါသည်။ ထွက်ပေါက်:

ch := make(chan os.Signal)
signal.Notify(ch, syscall.SIGPIPE)
go func() {
    <-ch
    os.Exit(0)
}()

မက်ဆေ့ချ်အကြောင်းအရာကို ပြပါ။

မကြာခဏဆိုသလို အချို့သော error များ ဖြစ်ပေါ်လာသည့် ဆက်စပ်အကြောင်းအရာ (ဥပမာ၊ တောင်းဆိုချက်သည် ထိတ်လန့်စေသော သို့မဟုတ် ပျက်စီးမှုမတိုင်မီ မည်သည့်ဆက်စပ်ပြဿနာများကို မြင်နိုင်သည်) နှင့် grep မက်ဆေ့ချ်ပြီးနောက်၊ ရှေ့၊ နှင့် တစ်ဝိုက်တွင် သတ်မှတ်ထားသော စာကြောင်းအရေအတွက်ကို ဖော်ပြသည့် -A၊ -B၊ နှင့် -C ရွေးချယ်မှုများကို အသုံးပြု၍ ၎င်းကို လုပ်ဆောင်သည်။

ကံမကောင်းစွာဖြင့်၊ ClickHouse တွင် အလားတူလုပ်ဆောင်ရန် လွယ်ကူသောနည်းလမ်းကို ကျွန်ုပ်မတွေ့ခဲ့သဖြင့် စကားစပ်ဖော်ပြရန်၊ ဤကဲ့သို့သော ထပ်လောင်းတောင်းဆိုချက်တစ်ခုကို ရလဒ်၏စာကြောင်းတစ်ခုစီသို့ ပေးပို့သည် (အသေးစိတ်အချက်များသည် အမျိုးအစားခွဲခြင်းအပေါ် မူတည်ပြီး အကြောင်းအရာကို ရှေ့တွင်ပြသခြင်းရှိမရှိ၊ သို့မဟုတ်ပြီးနောက်):

SELECT time,millis,review_body FROM amazon
WHERE (time = 'ВРЕМЯ_СОБЫТИЯ' AND millis < МИЛЛИСЕКУНДЫ_СОБЫТИЯ) OR (time < 'ВРЕМЯ_СОБЫТИЯ')
ORDER BY time DESC, millis DESC
LIMIT КОЛИЧЕСТВО_СТРОК_КОНТЕКСТА
SETTINGS max_threads=1

ClickHouse သည် သက်ဆိုင်ရာ လိုင်းကို ပြန်ပေးပြီးနောက် ချက်ချင်းနီးပါး တောင်းဆိုချက် ပို့လိုက်သောကြောင့်၊ ၎င်းသည် ကက်ရှ်တွင် အဆုံးသတ်ပြီး ယေဘုယျအားဖြင့် တောင်းဆိုချက်သည် အလွန်လျင်မြန်စွာ လုပ်ဆောင်ပြီး CPU အနည်းငယ်ကို စားသုံးသည် (များသောအားဖြင့် တောင်းဆိုချက်သည် ကျွန်ုပ်၏ virtual machine တွင် ~ 6 ms ခန့် ကြာသည်)။

မက်ဆေ့ခ်ျအသစ်များကို အချိန်နှင့်တပြေးညီ ပြသပါ။

(နီးပါး) အချိန်နှင့်တပြေးညီ အဝင်မက်ဆေ့ဂျ်များကို ပြသရန်အတွက်၊ ကျွန်ုပ်တို့သည် ယခင်က ကျွန်ုပ်တို့ကြုံတွေ့ခဲ့ရသည့် နောက်ဆုံးအချိန်တံဆိပ်ကို သတိရကာ စက္ကန့်အနည်းငယ်တိုင်း တောင်းဆိုချက်ကို ရိုးရှင်းစွာ လုပ်ဆောင်ပါသည်။

Command ဥပမာများ

ပုံမှန် logscli ညွှန်ကြားချက်များသည် လက်တွေ့တွင် မည်သို့ရှိသနည်း။

ဆောင်းပါးအစတွင်ဖော်ပြထားသော Amazon dataset ကို သင်ဒေါင်းလုဒ်လုပ်ပါက၊ သင်သည် အောက်ပါ command များကို လုပ်ဆောင်နိုင်သည်-

# Показать строки, где встречается слово walmart
$ logscli -F 'walmart' | less

# Показать самые свежие 10 строк, где встречается "terrible"
$ logscli -F terrible -limit 10

# То же самое без -limit:
$ logscli -F terrible | head -n 10

# Показать все строки, подходящие под /times [0-9]/, написанные для vine и у которых высокий рейтинг
$ logscli -E 'times [0-9]' -where="vine='Y' AND star_rating>4" | less

# Показать все строки со словом "panic" и 3 строки контекста вокруг
$ logscli -F 'panic' -C 3 | less

# Непрерывно показывать новые строки со словом "5-star"
$ logscli -F '5-star' -tailf

ကိုးကား

အသုံးဝင်ကုဒ် (စာရွက်စာတမ်းမပါဘဲ) ကို github တွင်ရနိုင်သည်။ https://github.com/YuriyNasretdinov/logscli. ClickHouse ကိုအခြေခံ၍ မှတ်တမ်းများကြည့်ရှုခြင်းအတွက် ကွန်ဆိုးလ်အင်တာဖေ့စ်အတွက် ကျွန်ုပ်၏စိတ်ကူးအပေါ် သင့်အတွေးအမြင်များကို ကြားသိရသည့်အတွက် ဝမ်းမြောက်မိပါသည်။

source: www.habr.com