"စတင်ခြင်း" မှ ဒါဇင်ပေါင်းများစွာသော ဒေတာစင်တာများရှိ ဆာဗာထောင်ပေါင်းများစွာအထိ။ Linux အခြေခံအဆောက်အအုံ တိုးတက်မှုကို ကျွန်ုပ်တို့ လိုက်ရှာပုံ

သင်၏ IT အခြေခံအဆောက်အအုံသည် အလွန်လျင်မြန်စွာ ကြီးထွားလာပါက၊ သင်သည် မကြာမီ သို့မဟုတ် နောက်ပိုင်းတွင် ရွေးချယ်မှုတစ်ခုနှင့် ရင်ဆိုင်ရပေလိမ့်မည်- ၎င်းကို ပံ့ပိုးရန်အတွက် လူသားအရင်းအမြစ်များကို မျဉ်းသားစွာ တိုးမြှင့်ခြင်း သို့မဟုတ် အလိုအလျောက်စနစ်ကို စတင်ခြင်းပင်ဖြစ်သည်။ တစ်ချိန်ချိန်အထိ၊ ကျွန်ုပ်တို့သည် ပထမအခင်းအကျင်းတွင် နေထိုင်ခဲ့ပြီး၊ ထို့နောက် အခြေခံအဆောက်အအုံ-ကုဒ်သို့ ရှည်လျားသောလမ်းကြောင်းကို စတင်ခဲ့သည်။

ဟုတ်ပါတယ်၊ NSPK ဟာ startup မဟုတ်ပါဘူး၊ ဒါပေမယ့် ကုမ္ပဏီရဲ့ တည်ရှိမှု ပထမနှစ်တွေမှာ ဒီလိုအငွေ့အသက်တွေ လွှမ်းမိုးခဲ့ပြီး အဲဒါတွေက အရမ်းစိတ်ဝင်စားဖို့ကောင်းတဲ့ နှစ်တွေပါ။ ကျွန်တော့်အမည်မှာ Kornyakov Dmitryကျွန်ုပ်သည် မြင့်မားသောရရှိနိုင်မှုလိုအပ်ချက်များဖြင့် Linux အခြေခံအဆောက်အအုံကို ပံ့ပိုးနေသည်မှာ 10 နှစ်ကျော်ပြီဖြစ်သည်။ သူသည် ဇန်နဝါရီ 2016 တွင် NSPK အဖွဲ့သို့ဝင်ရောက်ခဲ့ပြီး ကံမကောင်းစွာပဲ၊ ကုမ္ပဏီ၏တည်ရှိမှုအစကို မမြင်ခဲ့ရသော်လည်း ကြီးမားသောအပြောင်းအလဲများအဆင့်သို့ ရောက်လာခဲ့သည်။

ယေဘူယျအားဖြင့်၊ ကျွန်ုပ်တို့၏အဖွဲ့သည် ကုမ္ပဏီအတွက် ထုတ်ကုန် 2 ခု ထောက်ပံ့ပေးသည်ဟု ဆိုနိုင်သည်။ ပထမအချက်က အခြေခံအဆောက်အအုံ။ Mail အလုပ်လုပ်သင့်သည်၊ DNS အလုပ်ဖြစ်သင့်ပြီး domain controllers များသည် သင့်ကို ပျက်စီးမှုမဖြစ်သင့်သော ဆာဗာများသို့ ခွင့်ပြုပေးသင့်သည်။ ကုမ္ပဏီ၏ အိုင်တီအခင်းအကျင်းသည် ကြီးမားသည်။ ၎င်းတို့သည် စီးပွားရေးနှင့် မစ်ရှင်အရေးပါသော စနစ်များဖြစ်ပြီး အချို့အတွက် ရရှိနိုင်မှုလိုအပ်ချက်များမှာ 99,999 ဖြစ်သည်။ ဒုတိယထုတ်ကုန်မှာ ဆာဗာများကိုယ်တိုင်၊ ရုပ်ပိုင်းဆိုင်ရာနှင့် virtual ဖြစ်သည်။ ရှိပြီးသားအရာများကို စောင့်ကြည့်စစ်ဆေးရန် လိုအပ်ပြီး အသစ်များကို ဌာနများစွာမှ ဖောက်သည်များထံ ပုံမှန်ပေးပို့ရမည်ဖြစ်သည်။ ဤဆောင်းပါးတွင် ကျွန်ုပ်သည် server life cycle အတွက် တာဝန်ရှိသော အခြေခံအဆောက်အဦကို မည်ကဲ့သို့ တီထွင်ခဲ့သည်ကို ကျွန်ုပ်အာရုံစိုက်လိုပါသည်။

လမ်း၏အစ

ကျွန်ုပ်တို့၏ခရီးအစတွင်၊ ကျွန်ုပ်တို့၏နည်းပညာအစုအဝေးသည် ဤကဲ့သို့ဖြစ်သည်-
OS CentOS 7
FreeIPA Domain Controllers
အလိုအလျောက်စနစ် - Ansible(+Tower), Cobbler

ဤအရာအားလုံးကို ဒိုမိန်း 3 ခုတွင် တည်ရှိပြီး ဒေတာစင်တာများစွာတွင် ပျံ့နှံ့ခဲ့သည်။ ဒေတာစင်တာတစ်ခုတွင် ရုံးစနစ်များနှင့် စမ်းသပ်ဆိုဒ်များ ရှိပြီး ကျန်တစ်ခုတွင် PROD ရှိသည်။

တစ်ချိန်တည်းတွင် ဆာဗာများကို ဖန်တီးခြင်းသည် ဤကဲ့သို့ ဖြစ်သည်-

VM template တွင် CentOS သည် အနည်းငယ်မျှသာဖြစ်ပြီး လိုအပ်သော အနိမ့်ဆုံးမှာ မှန်ကန်သော /etc/resolv.conf ကဲ့သို့ဖြစ်ပြီး ကျန်အရာများကို Ansible မှတဆင့် ရရှိပါသည်။

CMDB - Excel ။

ဆာဗာသည် ရုပ်ပိုင်းဆိုင်ရာဖြစ်ပါက၊ ထို့နောက် virtual machine ကိုကူးယူမည့်အစား၊ OS ကို Cobbler ကိုအသုံးပြု၍ ၎င်းတွင်ထည့်သွင်းခဲ့သည် - ပစ်မှတ်ဆာဗာ၏ MAC လိပ်စာများကို Cobbler config တွင်ထည့်သွင်းထားပြီး၊ ဆာဗာသည် DHCP မှတစ်ဆင့် IP လိပ်စာတစ်ခုလက်ခံရရှိပြီးနောက်၊ ထို့နောက် OS ထပ်လောင်းသည်။

အစကတော့ Cobbler မှာ configuration management တစ်မျိုးမျိုးလုပ်ဖို့ ကြိုးစားခဲ့တယ်။ သို့သော် အချိန်ကြာလာသည်နှင့်အမျှ၊ ၎င်းသည် အခြားဒေတာစင်တာများသို့ သယ်ဆောင်သွားနိုင်ပြီး VMs ပြင်ဆင်ခြင်းအတွက် Ansible ကုဒ်အတွက် ပြဿနာများရှိလာပါသည်။

ထိုအချိန်တွင်၊ ကျွန်ုပ်တို့အများစုသည် Ansible ကို Bash ၏အဆင်ပြေသောတိုးချဲ့မှုတစ်ခုအဖြစ်ထင်မြင်ကြပြီး shell နှင့် sed ကိုအသုံးပြု၍ ဒီဇိုင်းများကိုအလွတ်မခံပါ။ ယေဘုယျအားဖြင့် Bashsible။ အကြောင်းတစ်ခုခုကြောင့် Playbook သည် ဆာဗာပေါ်တွင် အလုပ်မလုပ်ပါက၊ ဆာဗာကို ဖျက်ပစ်ရန်၊ ပလေးစာအုပ်ကို ပြင်ဆင်ပြီး ပြန်လည်ပတ်ရန် ပိုမိုလွယ်ကူစေသည်ဟူသောအချက်ကို အဆုံးစွန်တွင် ဖြစ်စေခဲ့သည်။ အခြေခံအားဖြင့် script များကို ဗားရှင်းထုတ်ခြင်း မရှိပါ၊ ဖွဲ့စည်းမှုပုံစံများကို သယ်ဆောင်ရလွယ်ကူခြင်း မရှိပေ။

ဥပမာအားဖြင့်၊ ကျွန်ုပ်တို့သည် ဆာဗာများအားလုံးတွင် config အချို့ကို ပြောင်းလဲလိုသည်-

1. ကျွန်ုပ်တို့သည် ယုတ္တိရှိသောအပိုင်း/ဒေတာစင်တာရှိ ရှိပြီးသားဆာဗာများတွင် ဖွဲ့စည်းမှုပုံစံကို ပြောင်းလဲပါသည်။ တစ်ခါတစ်ရံတွင် တစ်ရက်တည်းမဟုတ်ပါ - အများသုံးစွဲနိုင်မှုလိုအပ်ချက်များနှင့် များပြားလှသောဥပဒေသည် ပြောင်းလဲမှုအားလုံးကို တစ်ပြိုင်နက်အသုံးချရန် ခွင့်မပြုပါ။ အချို့သောပြောင်းလဲမှုများသည် ပျက်စီးနိုင်ချေရှိပြီး ဝန်ဆောင်မှုများမှ OS ကိုယ်တိုင်အထိ တစ်ခုခုကို ပြန်လည်စတင်ရန် လိုအပ်ပါသည်။
2. ၎င်းကို Ansible တွင်ပြင်ပါ။
3. Cobbler မှာ ပြင်ပေးတယ်။
4. ယုတ္တိရှိသောအပိုင်း/ဒေတာစင်တာတစ်ခုစီအတွက် N အကြိမ်များကို ပြန်လုပ်ပါ။

အပြောင်းအလဲအားလုံး ချောမွေ့စွာ လည်ပတ်နိုင်စေရန်အတွက် အချက်များစွာကို ထည့်သွင်းစဉ်းစားရန် လိုအပ်ပြီး အပြောင်းအလဲများ အဆက်မပြတ် ဖြစ်ပေါ်နေပါသည်။

• ansible ကုဒ်၊ ဖွဲ့စည်းမှုဖိုင်များကို ပြန်လည်ပြင်ဆင်ခြင်း။
• အတွင်းပိုင်း အကောင်းဆုံး အလေ့အကျင့်များကို ပြောင်းလဲခြင်း။
• ဖြစ်ရပ်များ/မတော်တဆမှုများအား ခွဲခြမ်းစိတ်ဖြာမှုရလဒ်များအပေါ် အခြေခံ၍ အပြောင်းအလဲများ
• လုံခြုံရေးစံနှုန်းများကို ပြည်တွင်းရော ပြည်ပပါ ပြောင်းလဲခြင်း။ ဥပမာအားဖြင့်၊ PCI DSS ကို နှစ်စဉ် လိုအပ်ချက်အသစ်များဖြင့် အပ်ဒိတ်လုပ်ပါသည်။

အခြေခံအဆောက်အအုံ တိုးတက်မှုနှင့် ခရီးအစ

ဆာဗာ/ယုတ္တိတန်သော ဒိုမိန်း/ဒေတာစင်တာများ အရေအတွက် တိုးလာပြီး ၎င်းတို့နှင့်အတူ ဖွဲ့စည်းမှုပုံစံများတွင် အမှားအယွင်းများ များပြားလာသည်။ တစ်ချိန်ချိန်တွင်၊ ဖွဲ့စည်းမှုစီမံခန့်ခွဲမှုကို ဖွံ့ဖြိုးတိုးတက်ရန် လိုအပ်သည့် ဦးတည်ချက်သုံးရပ်သို့ ကျွန်ုပ်တို့ရောက်ရှိခဲ့သည်-

1. အလိုအလျောက်စနစ်။ ထပ်တလဲလဲလုပ်ဆောင်မှုများတွင် လူသားအမှားအယွင်းများကို တတ်နိုင်သမျှ ရှောင်ရှားသင့်သည်။
2. အထပ်ထပ်။ ကြိုတင်မှန်းဆနိုင်သောအခါတွင် အခြေခံအဆောက်အအုံများကို စီမံခန့်ခွဲရန် ပိုမိုလွယ်ကူသည်။ ၎င်းတို့၏ပြင်ဆင်မှုအတွက် ဆာဗာများနှင့် ကိရိယာများ၏ဖွဲ့စည်းပုံသည် နေရာတိုင်းတွင် တူညီသင့်သည်။ ထုတ်ကုန်အဖွဲ့များအတွက်လည်း အရေးကြီးသည် - စမ်းသပ်ပြီးနောက်၊ အပလီကေးရှင်းသည် စမ်းသပ်မှုပတ်ဝန်းကျင်နှင့် အလားတူပြင်ဆင်ထားသော ထုတ်လုပ်မှုပတ်ဝန်းကျင်တွင် အဆုံးသတ်ရန် အာမခံရပါမည်။
3. ဖွဲ့စည်းမှုစီမံခန့်ခွဲခြင်းဆိုင်ရာ အပြောင်းအလဲများကို ပြုလုပ်ရာတွင် ရိုးရှင်းမှုနှင့် ပွင့်လင်းမြင်သာမှု။

Tool နှစ်ခုထည့်ဖို့ ကျန်ပါသေးတယ်။

ကျွန်ုပ်တို့သည် ၎င်း၏ built-in CI/CD modules အတွက် အနည်းဆုံး GitLab CE ကို ကျွန်ုပ်တို့၏ကုဒ်သိုလှောင်ရာအဖြစ် ရွေးချယ်ခဲ့သည်။

လျှို့ဝှက်ချက်တဲ - Hashicorp Vault၊ အပါအဝင်။ API ကြီးအတွက်။

ဖွဲ့စည်းမှုပုံစံများနှင့် အနှစ်သာရများကို စမ်းသပ်ခြင်း – Molecule+Testinfra။ ansible mitogen နှင့် ချိတ်ဆက်ပါက စမ်းသပ်မှုများ ပိုမိုမြန်ဆန်သည်။ တစ်ချိန်တည်းမှာပင်၊ ကျွန်ုပ်တို့သည် ကျွန်ုပ်တို့၏ကိုယ်ပိုင် CMDB နှင့် အလိုအလျောက်ဖြန့်ကျက်မှုအတွက် သံစုံတီးဝိုင်း (Cobbler ၏အထက်ပုံတွင်) ကိုစတင်ရေးသားခဲ့သည်၊ သို့သော်၊ ဤအရာသည် ကျွန်ုပ်၏လုပ်ဖော်ကိုင်ဖက်နှင့် ဤစနစ်များ၏ အဓိက developer ဖြစ်သည့် အနာဂတ်တွင် ပြောပြမည့် လုံးဝကွဲပြားသောဇာတ်လမ်းဖြစ်သည်။

ကျွန်ုပ်တို့၏ရွေးချယ်မှု-

မော်လီကျူး + Testinfra
Ansible + Tower + AWX
ဆာဗာများကမ္ဘာ + DITNET (ကိုယ်ပိုင်ဖွံ့ဖြိုးတိုးတက်မှု)
ကျောက်တံတား
Gitlab + GitLab အပြေးသမား
Hashicorp Vault

စကားမစပ်၊ ansible အခန်းကဏ္ဍများအကြောင်း။ အစပိုင်းတွင် တစ်ခုသာရှိသော်လည်း အကြိမ်ပေါင်းများစွာ ပြန်လည်ပြုပြင်ပြီးနောက် ၎င်းတို့ထဲမှ ၁၇ ခုရှိသည်။ ကျွန်ုပ်သည် monolith ကို သီးခြားစတင်လုပ်ဆောင်နိုင်သည့် အစွမ်းထက်သောအခန်းများအဖြစ်သို့ ချိုးဖျက်ရန် ပြင်းပြင်းထန်ထန် အကြံပြုလိုသည်၊ ထို့အပြင်၊ သင်သည် tags များကိုထည့်နိုင်သည်။ လုပ်ဆောင်နိုင်စွမ်းများ - ကွန်ရက်၊ မှတ်တမ်း၊ ပက်ကေ့ခ်ျများ၊ ဟာ့ဒ်ဝဲ၊ မော်လီကျူးစသည်ဖြင့် အခန်းကဏ္ဍများကို ပိုင်းခြားထားသည်။ ယေဘူယျအားဖြင့်၊ ကျွန်ုပ်တို့သည် အောက်ပါနည်းဗျူဟာကို လိုက်နာပါသည်။ ဒါက တစ်ခုတည်းသော အမှန်တရားလို့ ကျွန်တော် အခိုင်အမာ မပြောပေမယ့် ဒါဟာ ကျွန်တော်တို့အတွက် အလုပ်ဖြစ်ခဲ့ပါတယ်။

• "ရွှေရုပ်ပုံ" မှဆာဗာများကိုကူးယူခြင်းသည်မကောင်းပါ။အဓိက အားနည်းချက်မှာ ယခုပုံများသည် မည်သည့်အခြေအနေတွင် ရှိနေသည်ကို သင်အတိအကျမသိခြင်းကြောင့်ဖြစ်ပြီး ပြောင်းလဲမှုများအားလုံးသည် virtualization နယ်ပယ်အားလုံးရှိ ပုံများအားလုံးသို့ ရောက်ရှိလာမည်ဖြစ်သည်။
• ပုံသေဖွဲ့စည်းပုံဖိုင်များကို အနိမ့်ဆုံးအသုံးပြုပြီး ပင်မစနစ်ဖိုင်များအတွက် သင့်တွင် တာဝန်ရှိကြောင်း အခြားဌာနများနှင့် သဘောတူသည်။ဥပမာ:
  1. /etc/sysctl.conf ကို ဗလာ ထားလိုက်ပါ၊ ဆက်တင်များသည် /etc/sysctl.d/ တွင်သာ ဖြစ်သင့်သည်။ ဖိုင်တစ်ခုတွင် သင့်ပုံသေ၊ အခြားအက်ပ်တစ်ခုအတွက် စိတ်ကြိုက်ဖြစ်သည်။
  2. systemd ယူနစ်များကိုတည်းဖြတ်ရန် override ဖိုင်များကိုသုံးပါ။
• ပုံစံတူ configs အားလုံးကို ပုံစံထုတ်ပြီး ၎င်းတို့ကို လုံးလုံးထည့်သွင်းပါ၊ ဖြစ်နိုင်လျှင် playbooks များတွင် sed သို့မဟုတ် ၎င်း၏ analogue များကို မသုံးပါနှင့်။
• ဖွဲ့စည်းမှုစီမံခန့်ခွဲမှုစနစ်ကုဒ်ကို ပြန်လည်ပြင်ဆင်ခြင်း-
  1. အလုပ်များကို ယုတ္တိရှိသော အရာများအဖြစ် ခွဲခြမ်းပြီး monolith ကို အခန်းကဏ္ဍများအဖြစ် ပြန်လည်ရေးသားပါ။
  2. လိပ်များကိုသုံးပါ။ Ansible-lint, yaml-lint, etc
  3. သင်၏ချဉ်းကပ်မှုကို ပြောင်းလဲပါ။ ရိုင်းစိုင်းမှု မရှိပါ။ စနစ်၏ အခြေအနေကို ဖော်ပြရန် လိုအပ်ပါသည်။
• Ansible အခန်းကဏ္ဍအားလုံးအတွက် သင်သည် စမ်းသပ်မှုများကို မော်လီကျူးတွင်ရေးပြီး တစ်နေ့လျှင် တစ်ကြိမ် အစီရင်ခံစာများထုတ်ပေးရန် လိုအပ်သည်။
• ကျွန်ုပ်တို့၏အခြေအနေတွင်၊ (100 ကျော်ရှိသည့်စမ်းသပ်မှုများပြင်ဆင်ပြီးနောက်) အမှားအယွင်း 70000 ခန့်ကိုတွေ့ရှိခဲ့သည်။ ပြုပြင်ရန် လပေါင်းများစွာ အချိန်ယူခဲ့ရသည်။

ကျွန်တော်တို့ရဲ့ အကောင်အထည်ဖော်မှု

ထို့ကြောင့်၊ အမြော်အမြင်ရှိသော အခန်းကဏ္ဍများကို အဆင်သင့်၊ ပုံစံထုတ်ထားပြီး အမှိုက်ပုံများဖြင့် စစ်ဆေးခဲ့သည်။ ပြီးတော့ gits တွေတောင် နေရာတိုင်းမှာ ပေါ်လာတယ်။ သို့သော် မတူညီသော ကဏ္ဍများသို့ ယုံကြည်စိတ်ချရသော ကုဒ်ပေးပို့ခြင်းဆိုင်ရာ မေးခွန်းကို ဖွင့်ထားဆဲဖြစ်သည်။ Script များနှင့် ထပ်တူပြုရန် ဆုံးဖြတ်ခဲ့သည်။ ပုံပေါ်သည်-

အပြောင်းအလဲရောက်ရှိပြီးနောက်၊ CI ကိုဖွင့်လိုက်သည်၊ စမ်းသပ်ဆာဗာတစ်ခုဖန်တီးသည်၊ အခန်းကဏ္ဍများကိုထုတ်ပြီး မော်လီကျူးဖြင့်စမ်းသပ်သည်။ အားလုံးအဆင်ပြေရင်၊ ကုဒ်က prod ဌာနခွဲကိုရောက်သွားတယ်။ သို့သော် ကျွန်ုပ်တို့သည် စက်ရှိရှိပြီးသား ဆာဗာများတွင် ကုဒ်အသစ်ကို မသုံးပါ။ ဤအရာသည် ကျွန်ုပ်တို့၏စနစ်များ မြင့်မားစွာရရှိနိုင်မှုအတွက် လိုအပ်သော အတားအဆီးတစ်မျိုးဖြစ်သည်။ အခြေခံအဆောက်အဦများ ကြီးမားလာသောအခါတွင် အများအပြား၏ဥပဒေသည် အသက်ဝင်လာသည် - အပြောင်းအလဲသည် အန္တရာယ်ကင်းကြောင်း သေချာနေသော်လည်း ၎င်းသည် ဆိုးရွားသောအကျိုးဆက်များဆီသို့ ဦးတည်သွားနိုင်သည်။

ဆာဗာများဖန်တီးရန် ရွေးချယ်စရာများစွာလည်း ရှိပါသည်။ ကျွန်ုပ်တို့သည် စိတ်ကြိုက် Python script များကို ရွေးချယ်ပြီး အဆုံးသတ်ခဲ့သည်။ ပြီးတော့ CI ansible အတွက်

- name: create1.yml - Create a VM from a template
  vmware_guest:
    hostname: "{{datacenter}}".domain.ru
    username: "{{ username_vc }}"
    password: "{{ password_vc }}"
    validate_certs: no
    cluster: "{{cluster}}"
    datacenter: "{{datacenter}}"
    name: "{{ name }}"
    state: poweredon
    folder: "/{{folder}}"
    template: "{{template}}"
    customization:
      hostname: "{{ name }}"
      domain: domain.ru
      dns_servers:
        - "{{ ipa1_dns }}"
        - "{{ ipa2_dns }}"
    networks:
      - name: "{{ network }}"
        type: static
        ip: "{{ip}}"
        netmask: "{{netmask}}"
        gateway: "{{gateway}}"
        wake_on_lan: True
        start_connected: True
        allow_guest_control: True
    wait_for_ip_address: yes
    disk:
      - size_gb: 1
        type: thin
        datastore: "{{datastore}}"
      - size_gb: 20
        type: thin
        datastore: "{{datastore}}"

ဤသည်မှာကျွန်ုပ်တို့ရောက်ရှိခဲ့သည်၊ စနစ်သည်ဆက်လက်ရှင်သန်ပြီးဖွံ့ဖြိုးတိုးတက်သည်။

• 17 ဆာဗာကို စတင်သတ်မှတ်ခြင်းအတွက် သိသာထင်ရှားသော အခန်းကဏ္ဍများ။ အခန်းကဏ္ဍတစ်ခုစီသည် သီးခြားယုတ္တိရှိသော အလုပ်တစ်ခု (မှတ်တမ်းသွင်းခြင်း၊ စာရင်းစစ်ခြင်း၊ အသုံးပြုသူခွင့်ပြုချက်၊ စောင့်ကြည့်စစ်ဆေးခြင်းစသည်) ကို ဖြေရှင်းရန် ဒီဇိုင်းရေးဆွဲထားသည်။
• အခန်းကဏ္ဍစမ်းသပ်ခြင်း။ မော်လီကျူး + TestInfra ။
• ကိုယ်ပိုင်ဖွံ့ဖြိုးတိုးတက်မှု- CMDB + Orchestrator။
• ဆာဗာဖန်တီးမှုအချိန်သည် ~ 30 မိနစ်ဖြစ်သည်၊ အလိုအလျောက်လုပ်ဆောင်ပြီး လုပ်ဆောင်စရာတန်းစီခြင်းမှ လက်တွေ့ကျကျ ကင်းကွာသည်။
• အစိတ်အပိုင်းအားလုံးရှိ အခြေခံအဆောက်အဦများ၏ တူညီသောအခြေအနေ/အမည်ပေးခြင်း - playbooks၊ repositories၊ virtualization ဒြပ်စင်များ။
• စံချိန်စံညွှန်းနှင့် ကွဲလွဲမှုဆိုင်ရာ အစီရင်ခံစာများကို ဖန်တီးခြင်းဖြင့် ဆာဗာ၏ အခြေအနေကို နေ့စဉ်စစ်ဆေးပါ။

ကျွန်ုပ်၏ ဇာတ်လမ်းသည် ခရီးအစတွင်ရှိသူများအတွက် အသုံးဝင်မည်ဟု မျှော်လင့်ပါသည်။ မည်သည့် automation stack ကို သင်အသုံးပြုသနည်း။

source: www.habr.com