SRE အင်ဂျင်နီယာ အလုပ်သင်အဖြစ် တစ်ပတ်ကြာအောင် ဘယ်လိုနေခဲ့ရလဲ။ ဆော့ဖ်ဝဲလ်အင်ဂျင်နီယာတစ်ယောက်ရဲ့ တာဝန်

SRE အင်ဂျင်နီယာ - သင်တန်းသား

အရင်ဆုံး ကိုယ့်ကိုကိုယ် မိတ်ဆက်ပါရစေ။ ငါ- @tristan.readအဖွဲ့တွင် ရှေ့ဆုံးအင်ဂျင်နီယာ၊ စောင့်ကြည့်::ကျန်းမာရေး GitLab ပြီးခဲ့သည့်အပတ်ကကျွန်ုပ်တို့၏ဖုန်းခေါ်ဆိုမှု SRE အင်ဂျင်နီယာတစ်ဦးနှင့်အလုပ်သင်ဂုဏ်ယူခဲ့သည်။ ရည်ရွယ်ချက်မှာ တာဝန်ကျအရာရှိသည် နေ့စဉ်နေ့တိုင်း အဖြစ်အပျက်များကို တုံ့ပြန်ပုံနှင့် အလုပ်တွင် လက်တွေ့ဘဝ အတွေ့အကြုံများ ရရှိရန် ဖြစ်သည်။ ကျွန်ုပ်တို့၏ အင်ဂျင်နီယာများအား သုံးစွဲသူများ၏ လိုအပ်ချက်များကို ကောင်းစွာနားလည်စေလိုပါသည်။ လုပ်ဆောင်ချက်များကို စောင့်ကြည့်::ကျန်းမာရေး။

တစ်ပတ်လောက် နေရာတိုင်း SRE အင်ဂျင်နီယာကို လိုက်လုပ်ရတယ်။ ဆိုလိုသည်မှာ၊ ကျွန်ုပ်သည် လက်ဆင့်ကမ်းခြင်းတွင် တက်ရောက်ခဲ့ပြီး တူညီသောသတိပေးချက်လမ်းကြောင်းများကို စောင့်ကြည့်ကာ အဖြစ်အပျက်များ ဖြစ်ပွားလာပါက၊ မည်သည့်အချိန်တွင် တုံ့ပြန်ခဲ့သည်ကို ဆိုလိုပါသည်။

အဖြစ်အပျက်များ

တစ်ပတ်အတွင်း အဖြစ်အပျက် ၂ ခု ရှိခဲ့ပါတယ်။

1. Crypto miner

GitLab.com သည် ဗုဒ္ဓဟူးနေ့တွင် အသုံးပြုမှု ခုန်တက်သွားသည်။ GitLab အပြေးသမား'a၊ အပြေးသမား၏ မိနစ်များကို အသုံးပြု၍ cryptocurrency တူးဖော်ရန် ကြိုးပမ်းမှုကြောင့် ဖြစ်ပေါ်လာခြင်းဖြစ်သည်။ အပြေးသမား၏ လုပ်ငန်းတာဝန်များကို ရပ်တန့်ကာ ၎င်းနှင့်ဆက်စပ်နေသော ပရောဂျက်နှင့် အကောင့်ကို ဖျက်ပစ်သည့် ကျွန်ုပ်တို့၏ကိုယ်ပိုင်ချိုးဖောက်မှုဆိုင်ရာ ကြားဖြတ်ချေမှုန်းရေးကိရိယာကို အသုံးပြု၍ အဖြစ်အပျက်ကို ဖြေရှင်းခဲ့သည်။

အကယ်၍ ဤဖြစ်ရပ်ကို သတိမထားမိပါက၊ အလိုအလျောက်ကိရိယာတစ်ခုက ၎င်းကိုဖမ်းမိလိမ့်မည်၊ သို့သော် ဤကိစ္စတွင်၊ SRE အင်ဂျင်နီယာသည် ချိုးဖောက်မှုကို ဦးစွာသတိပြုမိခဲ့သည်။ အဖြစ်အပျက် လုပ်ဆောင်စရာတစ်ခုကို ဖန်တီးထားသော်လည်း ၎င်းနှင့်ပတ်သက်သည့် အချက်အလက်များကို ပိတ်ထားသည်။

2. Canary နှင့် Main အပလီကေးရှင်းများ၏ စွမ်းဆောင်ရည် ကျဆင်းခြင်း။

ဤအဖြစ်အပျက်သည် Gitlab.com ရှိ Canary နှင့် ပင်မဝဘ်အက်ပလီကေးရှင်းများတွင် နှေးကွေးမှုများနှင့် အကြိမ်ရေ တိုးလာခြင်းကြောင့် ဖြစ်ပေါ်လာခြင်းဖြစ်သည်။ Apdex တန်ဖိုးများစွာကို ချိုးဖောက်ခဲ့သည်။

အဖြစ်အပျက်ဖွင့်ရန်တာဝန် https://gitlab.com/gitlab-com/gl-infra/production/issues/1442

အဓိကတွေ့ရှိချက်များ

ဤသည်မှာ တာဝန်ကျသည့် သီတင်းပတ်အတွင်း ကျွန်ုပ်သင်ယူခဲ့သော အရာအချို့ဖြစ်သည်။

1. စံနှုန်းမှ သွေဖည်မှုများကို ထောက်လှမ်းသည့်အခါ သတိပေးချက်များသည် အသုံးဝင်ဆုံးဖြစ်သည်။

သတိပေးချက်များကို အမျိုးအစားများစွာ ခွဲခြားနိုင်သည်-

• "10 5xx အမှားအယွင်းများ ဖြစ်ပေါ်နေသည်" ကဲ့သို့သော သတ်မှတ်ထားသော အတိုင်းအတာတန်ဖိုးအပေါ် အခြေခံ၍ သတိပေးချက်များ။
• "သတ်မှတ်ထားသည့်အချိန်တစ်ခုတွင် တောင်းဆိုချက်စုစုပေါင်း၏ 5% နှုန်းအတွက် 10xx ကြိမ်နှုန်း အမှားအယွင်းများ" ကဲ့သို့သော သတ်မှတ်ချက်သည် ရာခိုင်နှုန်းတန်ဖိုးတစ်ခုဖြစ်သည့် သတိပေးချက်များ။
• "5th ရာခိုင်နှုန်းရှိ 90xx အမှားများ" ကဲ့သို့သော သမိုင်းဆိုင်ရာ ပျမ်းမျှအပေါ် အခြေခံ၍ သတိပေးချက်များ။

ယေဘုယျအားဖြင့်ပြောရလျှင် အမျိုးအစား 2 နှင့် 3 သည် လုပ်ငန်းစဉ်တွင် စံနှင့်သွေဖည်မှုများကို ဖော်ပြသောကြောင့် တာဝန်ကျသော SRE များအတွက် ပိုအသုံးဝင်ပါသည်။

2. သတိပေးချက်များစွာသည် အဖြစ်အပျက်များသို့ ဘယ်တော့မှ တိုးမလာပါ။

SR အင်ဂျင်နီယာများသည် အဆက်မပြတ်သတိပေးချက်များကို ကိုင်တွယ်ဖြေရှင်းပေးကြပြီး အများစုမှာ အမှန်တကယ်မစိုးရိမ်ရပါ။

ထို့ကြောင့် သင့်သတိပေးချက်များကို အမှန်တကယ်အရေးကြီးသည့်အရာများသာ အဘယ်ကြောင့် ကန့်သတ်မထားပါ။ သို့သော် ဤချဉ်းကပ်နည်းဖြင့်၊ ကြီးမားသောပျက်စီးမှုကိုခြိမ်းခြောက်သည့် တကယ့်ပြဿနာတစ်ခုအဖြစ် နှင်းဘောလုံးများဖြစ်လာမည့် အစောပိုင်းလက္ခဏာများကို သင်မသိနိုင်ပေ။

ဖုန်းခေါ်ဆိုမှုတွင် SRE ၏အလုပ်မှာ မည်သည့်သတိပေးချက်များသည် အမှန်တကယ် ပြင်းထန်သောအရာကို ညွှန်ပြပြီး ၎င်းတို့အား အရှိန်မြှင့်ရန်နှင့် ကိုင်တွယ်ဖြေရှင်းရန် လိုအပ်သည်ဆိုသည်ကို ဆုံးဖြတ်ရန်ဖြစ်သည်။ သတိပေးချက်များ၏ ပျော့ပြောင်းမှုကြောင့်ဟုလည်း သံသယဖြစ်မိပါသည်- အထက်ဖော်ပြပါ အခြေအနေနှင့်အညီ သတိပေးချက်များကို စီစဉ်သတ်မှတ်ရန် အဆင့်များစွာ သို့မဟုတ် "စမတ်" နည်းလမ်းများ ရှိလျှင် ပိုကောင်းပါမည်။

အင်္ဂါရပ် အကြံပြုချက်- https://gitlab.com/gitlab-org/gitlab/issues/42633

၃။ တာဝန်ကျသော ကျွန်ုပ်တို့၏ SRE များသည် ကိရိယာများစွာကို အသုံးပြုသည်။

အတွင်းပိုင်း-

• GitLab အင်ဖရာပရောဂျက်- ပြေးစာအုပ်များသည် ဤနေရာတွင် တိုက်ရိုက်ထုတ်လွှင့်သည်၊ အပြောင်းအရွှေ့/ရက်သတ္တပတ်တာဝန်များ၊ အဖြစ်အပျက် တုံ့ပြန်လုပ်ဆောင်မှုများ။
• GitLab ပြဿနာများ- စုံစမ်းစစ်ဆေးမှုများ၊ သုံးသပ်ချက်များနှင့် ပြုပြင်ထိန်းသိမ်းမှုများကို ပြဿနာများတွင် ခြေရာခံပါသည်။
• GitLab အညွှန်းများ- လုပ်ငန်းဆောင်တာများကို ခြေရာခံရန် ဘော့တ်များအသုံးပြုသည့် သီးခြားအညွှန်းများကို အသုံးပြု၍ အလိုအလျောက်လုပ်ဆောင်ခြင်းလုပ်ငန်းများကို စတင်လုပ်ဆောင်ပါသည်။

ပြင်ပ-

• PagerDuty- သတိပေးချက်များ
• Slack- PagerDuty/AlertManager မက်ဆေ့ခ်ျစီးဆင်းမှု ဤနေရာတွင် ရှိသည်။ သတိပေးချက်ပိတ်ခြင်း သို့မဟုတ် အဖြစ်အပျက်တစ်ခုသို့ တိုးမြင့်လာခြင်းကဲ့သို့သော အလုပ်မျိုးစုံကိုလုပ်ဆောင်ရန် မျဥ်းစောင်းအမိန့်များနှင့် ပေါင်းစပ်ခြင်း။
• Grafana- ရေရှည်ခေတ်ရေစီးကြောင်းများကို အာရုံစိုက်ပြီး မက်ထရစ်များကို ပုံဖော်ခြင်း
• Kibana- စိတ်ကူးပုံဖော်ခြင်း/မှတ်တမ်းရှာဖွေမှုကို ပေးစွမ်းပြီး သီးခြားဖြစ်ရပ်များကို ပိုမိုနက်ရှိုင်းစွာ ရှာဖွေနိုင်စေပါသည်။
• Zoom- Zoom တွင် အဆက်မပြတ်လည်ပတ်နေသော "ခွဲထွက်ခန်း" ရှိသည်။ ဤအရာက SRE အင်ဂျင်နီယာများအား အခန်းတစ်ခုဖန်တီးခြင်းနှင့် ပါဝင်သူများကို ချိတ်ဆက်ခြင်းအတွက် အဖိုးတန်အချိန်မဖြုန်းဘဲ အဖြစ်အပျက်များကို လျင်မြန်စွာ ဆွေးနွေးနိုင်စေပါသည်။

နှင့်အခြားများစွာ။

4. GitLab.com ကို GitLab ဖြင့် စောင့်ကြည့်ခြင်းသည် ကျရှုံးမှု၏ တစ်ခုတည်းသော အချက်ဖြစ်သည်။

အကယ်၍ GitLab.com သည် ကြီးမားသော ဝန်ဆောင်မှုပြတ်တောက်မှုကို ကြုံတွေ့ရပါက၊ ပြဿနာကို ဖြေရှင်းရန် ကျွန်ုပ်တို့၏စွမ်းရည်ကို ထိခိုက်စေမည်မဟုတ်ပါ။ GitLab.com ကို စီမံခန့်ခွဲရန် ဒုတိယ GitLab instance ကိုဖွင့်ခြင်းဖြင့် ရပ်တန့်နိုင်သည်။ တကယ်တော့၊ ဒါက ကျွန်တော်တို့အတွက် အလုပ်ဖြစ်နေပါပြီ။ https://ops.gitlab.net/.

5. GitLab သို့ ထည့်သွင်းစဉ်းစားရန် အင်္ဂါရပ်အချို့

• Multi-user အလုပ်တည်းဖြတ်ခြင်း။Google Docs နှင့် ဆင်တူသည်။ ၎င်းသည် ဖြစ်ရပ်တစ်ခုအတွင်း အဖြစ်အပျက်များနှင့်ပတ်သက်သည့် တာဝန်များအပြင် အချေအတင်ပြောဆိုခြင်းဆိုင်ရာ အလုပ်များကိုပါ ကူညီပေးပါမည်။ ဖြစ်ရပ်နှစ်ခုစလုံးတွင် ပါဝင်သူအများအပြားသည် အချိန်နှင့်တပြေးညီ တစ်ခုခုထည့်ရန် လိုအပ်နိုင်သည်။
• အလုပ်များအတွက် နောက်ထပ် ဝဘ်ချိတ်များ။ အတွင်းမှ မတူညီသော GitLab အလုပ်အသွားအလာ အဆင့်များကို လုပ်ဆောင်နိုင်မှုသည် Slack ပေါင်းစည်းမှုများအပေါ် သင့်အားကိုးအားထားမှုကို လျှော့ချနိုင်မည်ဖြစ်သည်။ ဥပမာအားဖြင့်၊ GitLab ပြဿနာရှိ slash command မှတဆင့် PagerDuty တွင်သတိပေးချက်တစ်ခုခွင့်ပြုနိုင်သည်။
  ကောက်ချက်

SRE အင်ဂျင်နီယာများသည် ရှုပ်ထွေးမှုများစွာဖြင့် အခက်တွေ့နေရပါသည်။ ဤပြဿနာများကိုဖြေရှင်းပေးသည့် GitLab ထုတ်ကုန်များကို ပို၍မြင်ရလျှင် ကောင်းပေလိမ့်မည်။ အထက်ဖော်ပြပါ အလုပ်အသွားအလာများကို ပိုမိုလွယ်ကူစေမည့် ထုတ်ကုန်များတွင် အပိုထပ်ဆောင်းအချို့ကို ကျွန်ုပ်တို့ လုပ်ဆောင်နေပြီဖြစ်သည်။ အသေးစိတ်အချက်အလက်များကို တွင်ရယူနိုင်ပါသည်။ Ops ထုတ်ကုန်အမြင်ကဏ္ဍ.

ဤကြီးမြတ်သောအင်္ဂါရပ်များအားလုံးကို အတူတကွယူဆောင်လာစေရန် ကျွန်ုပ်တို့သည် 2020 ခုနှစ်တွင် အဖွဲ့ကို တိုးချဲ့နေပါသည်။ စိတ်ဝင်စားပါက ကျေးဇူးပြု၍ ကြည့်ပါ။ လစ်လပ်၊ မေးခွန်းများရှိပါက ကျွန်ုပ်တို့၏အဖွဲ့တွင် မည်သူမဆို လွတ်လပ်စွာ ဆက်သွယ်နိုင်ပါသည်။

source: www.habr.com