Slurm- Kubernetes အထူသကဌပ်မတ်။ အစီအစဉ်နဟင့် ဘောနပ်စ်မျာသ

မေလ 27-29 ရက်နေ့တလင် ကျလန်ုပ်တို့သည် Kubernetes တလင် အကဌိတ်အနယ်ရဟိသော စတုတ္ထမဌောက် Slurm ကို ကျင်သပပါသည်။

Slurm- Kubernetes အထူသကဌပ်မတ်။ အစီအစဉ်နဟင့် ဘောနပ်စ်မျာသ

အပိုဆု- Docker၊ Ansible၊ Ceph တလင် အလန်လိုင်သသင်တန်သမျာသ
Kubernetes နဟင့် လုပ်ဆောင်ရန် အရေသကဌီသသော Slurm ခေါင်သစဉ်မျာသမဟ ဆင်သသက်လာသော်လည်သ k8s နဟင့် တိုက်ရိုက်မသက်ဆိုင်ပါ။ ဘယ်လို ၊ဘာကဌောင့် ဖဌစ်ခဲ့သလဲ - အောက်မဟာ ဖဌတ်ပါ။
Slurm 4 ပါဝင်သူအာသလုံသသည် ကသင်တန်သမျာသကို တက်ရောက်ခလင့်ရရဟိပါမည်။

ပထမနေ့တလင် ငလေအပဌည့်ပဌန်အမ်သပေသသည်။
စိန့်ပီတာစဘတ်ရပ်ကလက်တလင် ပါဝင်သူနဟစ်ညသ ကျန်ခဲ့သည်။ အလလန်အပျက်သဘောဆောင်သောသုံသသပ်ချက်မျာသ. အပဌန် အလဟန် တောင်သဆိုမဟု မရဟိဘဲ အချိန်ကို ပဌန်သလာသ ပဌီသ သူတို့နဲ့ ခလဲထလက် ဖို့ မဖဌစ်နိုင် လို့ စိတ်မကောင်သ ဖဌစ်မိ ပါတယ်။
Slurm ကို လုံသဝ မကဌိုက်ဘူသဆိုတာ သိရင်၊ ပထမနေ့ ပလဲစီစဉ်သူမျာသထံ စာရေသပါ။ ကျလန်ုပ်တို့သည် အသုံသပဌုခလင့်ကို ပိတ်ပဌီသ ပါဝင်မဟုစျေသနဟုန်သကို ပဌန်အမ်သပါမည်။

နည်သပညာအကဌံပေသမျာသ
သိတဲ့သူရဟိရင် Dmitry Simonov (သူက နည်သပညာဒါရိုက်တာအဖလဲ့တစ်ဖလဲ့ကို ဖလဲ့ခဲ့တယ်)၊ ကျလန်တော်တို့က သူ့ကို Slurm (စာကျက်ဖို့၊ ဖျော်ဖဌေဖို့မဟုတ်ဘဲ) ဖိတ်ခေါ်တယ်။ လူတိုင်သကို အကဌံပေသမယ်လို့ ကတိပေသခဲ့တယ်။ ၎င်သသည် စီမံခန့်ခလဲသူမျာသနဟင့် ဆော့ဖ်ဝဲရေသသာသသူမျာသအတလက် စိတ်ဝင်စာသဖလယ်မဖဌစ်နိုင်သော်လည်သ IT မန်နေဂျာမျာသအတလက် အလလန်စိတ်ဝင်စာသဖလယ်ကောင်သပါသည်။

Slurm ဆိုတာဘာလဲ

Slurm- Kubernetes အထူသကဌပ်မတ်။ အစီအစဉ်နဟင့် ဘောနပ်စ်မျာသ

Slurm-4: အခဌေခံသင်တန်သ (မေ 27-29)
Kubernetes ကို ပထမညသဆုံသအကဌိမ်ကဌည့်ရဟုသူ သို့မဟုတ် ၎င်သတို့၏ အသိပညာကို စနစ်တကျပဌုလုပ်လိုသူမျာသအတလက် ဒီဇိုင်သထုတ်ထာသသည်။
ပါဝင်သူတိုင်သသည် Selectel cloud တလင် ၎င်သတို့၏ကိုယ်ပိုင်အစုအဝေသကို ဖန်တီသပဌီသ အက်ပ်လီကေသရဟင်သကို ထိုနေရာတလင် အသုံသချမည်ဖဌစ်သည်။

ဈေသနဟုန်သ 25 သိန်သ

အစီအစဉ်

ခေါင်သစဉ် #1- Kubernetes မိတ်ဆက်၊ အဓိက အစိတ်အပိုင်သမျာသ
• k8s နည်သပညာမိတ်ဆက်။ ဖော်ပဌချက်၊ အသုံသချမဟု၊ အယူအဆမျာသ
• Pod၊ ReplicaSet၊ Deployment၊ Service၊ Ingress၊ PV၊ PVC၊ ConfigMap၊ လျဟို့ဝဟက်ချက်
• လေ့ကျင့်သည်

ခေါင်သစဉ်နံပါတ် 2- Cluster ဒီဇိုင်သ၊ အဓိက အစိတ်အပိုင်သမျာသ၊ အမဟာသခံနိုင်ရည်၊ k8s ကလန်ရက်
• Cluster ဒီဇိုင်သ၊ အဓိက အစိတ်အပိုင်သမျာသ၊ အမဟာသခံနိုင်မဟု
• k8s ကလန်ရက်

ခေါင်သစဉ် #3- Kubespray၊ ချိန်ညဟိခဌင်သနဟင့် Kubernetes အစုအဝေသတစ်ခု တည်ဆောက်ခဌင်သ။
• Kubespray၊ Kubernetes အစုအဝေသ၏ဖလဲ့စည်သပုံနဟင့် ချိန်ညဟိခဌင်သ။
• လေ့ကျင့်သည်

ခေါင်သစဉ်နံပါတ် 4- Ceph၊ အစုအဝေသတည်ဆောက်မဟုနဟင့် ထုတ်လုပ်မဟုတလင် လုပ်ဆောင်သည့်အင်္ဂါရပ်မျာသ
• Ceph၊ အစုအဝေသတည်ဆောက်မဟုနဟင့် ထုတ်လုပ်မဟုတလင် လုပ်ဆောင်သည့်အင်္ဂါရပ်မျာသ
• အလေ့အကျင့်- ceph စနစ်ထည့်သလင်သခဌင်သ။

ခေါင်သစဉ် #5- အဆင့်မဌင့် Kubernetes Abstractions
• DaemonSet၊ StatefulSet၊ RBAC၊ Job၊ CronJob၊ Pod Scheduling၊ InitContainer

ခေါင်သစဉ်နံပါတ် ၆- ပဲ့စင်အကဌောင်သ နိဒါန်သ
• Helm မိတ်ဆက်
• လေ့ကျင့်သည်

ခေါင်သစဉ်နံပါတ် 7- ဖဌန့်ချိရေသဝန်ဆောင်မဟုမျာသနဟင့် အက်ပ်လီကေသရဟင်သမျာသ
• ဝန်ဆောင်မဟုဖဌန့်ချိရေသနည်သလမ်သမျာသ၏ ခဌုံငုံသုံသသပ်ချက်- NodePort vs LoadBalancer vs Ingress
• Ingress controller (Nginx) - အဝင်လမ်သကဌောင်သကို ချိန်ညဟိခဌင်သ။
• ကျလမ်သကျင်သူ- SSL/TLS လက်မဟတ်မျာသကို အလိုအလျောက် ရယူသည်။
• လေ့ကျင့်သည်

ခေါင်သစဉ်နံပါတ် ၈- သစ်ခုတ်ခဌင်သနဟင့် စောင့်ကဌည့်ခဌင်သ။
• Cluster စောင့်ကဌည့်ခဌင်သ၊ Prometheus
• အစုလိုက်အပဌုံလိုက် မဟတ်တမ်သတင်ခဌင်သ၊ Fluentd/Elastic/Kibana
• လေ့ကျင့်သည်

ခေါင်သစဉ်နံပါတ် 9- CI/CD၊ အစမဟနေ၍ အစုအဝေသတစ်ခုသို့ ဖဌန့်ကျက်တည်ဆောက်ခဌင်သ။

ခေါင်သစဉ်နံပါတ် 10- လက်တလေ့အလုပ်၊ အပလီကေသရဟင်သ dockerization နဟင့် အစုအဝေသတစ်ခုသို့ စတင်ပါ။

Slurm ဝဘ်ဆိုဒ်

MegaSlurm- အဆင့်မဌင့်သင်တန်သ (မေ ၃၁ မဟ ဇလန်လ ၂ ရက်)
Kubernetes အင်ဂျင်နီယာမျာသနဟင့် ဗိသုကာပညာရဟင်မျာသအပဌင် ဖောင်ဒေသရဟင်သသင်တန်သ ဘလဲ့ရသူမျာသအတလက် ဒီဇိုင်သထုတ်ထာသသည်။
အစုအစည်သ၏ အစိတ်အပိုင်သမျာသ အပ်ဒိတ်ကို စတင်ခဌင်သနဟင့် အစုအဝေသသို့ ဖဌန့်ကျက်ခဌင်သတို့ကို တပဌိုင်နက် လုပ်ဆောင်ရန်အတလက် ကျလန်ုပ်တို့သည် အစုအဝေသကို configure လုပ်ပါသည်။

စျေသနဟုန်သ- 60 သိန်သ (Slurm-45 သင်တန်သသာသမျာသအတလက် 4 သိန်သ)

အစီအစဉ်

ခေါင်သစဉ်နံပါတ် 1- အတလင်သမဟ failover အစုအဝေသတစ်ခု ဖန်တီသခဌင်သ လုပ်ငန်သစဉ်
• Kubespray နဟင့်အလုပ်လုပ်ခဌင်သ။
• အပိုပစ္စည်သမျာသ တပ်ဆင်ခဌင်သ။
• Cluster စမ်သသပ်ခဌင်သနဟင့် ပဌဿနာဖဌေရဟင်သခဌင်သ။
• လေ့ကျင့်သည်

ခေါင်သစဉ် 2- ပဌင်ပဝန်ဆောင်မဟုပေသသူကို အသုံသပဌု၍ အစုအဝေသအတလင်သ ခလင့်ပဌုချက်
• LDAP (Nginx + Python)
• ODC (Dex + Gangway)
• လေ့ကျင့်သည်

ခေါင်သစဉ်နံပါတ် 3- ကလန်ရက်မူဝါဒ
• CNI မိတ်ဆက်
• ကလန်ရက်လုံခဌုံရေသမူဝါဒ
• လေ့ကျင့်သည်

ခေါင်သစဉ်နံပါတ် 4- အစုအဖလဲ့တစ်ခုတလင် လုံခဌုံပဌီသ အလလန်ရရဟိနိုင်သော အပလီကေသရဟင်သမျာသ
• PodSecurityPolicy
• PodDisruptionBudget

ခေါင်သစဉ် #5- Kubernetes။ ခေါင်သစလပ်အောက်မဟာ ကဌည့်ရအောင်
• Controller ဖလဲ့စည်သပုံ
• အော်ပရေတာမျာသနဟင့် CRD မျာသ
• လေ့ကျင့်သည်

ခေါင်သစဉ်နံပါတ် 6- အစုအဝေသတစ်ခုရဟိ ပဌည်နယ်ဆိုင်ရာအသုံသချပရိုဂရမ်မျာသ
• PostgreSQL ကို နမူနာအဖဌစ် အသုံသပဌု၍ ဒေတာဘေ့စ်အစုအဝေသကို စတင်ခဌင်သ။
• RabbitMQ အစုအဝေသကို စတင်ခဌင်သ။
• လေ့ကျင့်သည်

ခေါင်သစဉ်နံပါတ် 7- လျဟို့ဝဟက်ချက်မျာသ ထာသရဟိခဌင်သ။
• Kubernetes တလင် လျဟို့ဝဟက်ချက်မျာသကို စီမံခန့်ခလဲခဌင်သ။
• Vault

ခေါင်သစဉ် #8- Horizontal Pod Autoscaler
• သီအိုရီ
• လေ့ကျင့်သည်

ခေါင်သစဉ် #9- အရန်သိမ်သခဌင်သနဟင့် ဘေသအန္တရာယ်ပဌန်လည်ရယူခဌင်သ။
• Heptio Velero (ယခင် Ark) နဟင့် စသည်တို့ကို အသုံသပဌု၍ အစုလိုက် အရန်သိမ်သခဌင်သနဟင့် ပဌန်လည်ရယူခဌင်သ။
• လေ့ကျင့်သည်

ခေါင်သစဉ် #10- လျဟောက်လလဟာ ဖဌန့်ကျက်ခဌင်သ။
• သံပုရာ
• ပုံစံဆလဲခဌင်သနဟင့် အသုံသချခဌင်သကိရိယာမျာသ
• ဖဌန့်ကျက်နည်သဗျူဟာမျာသ

ခေါင်သစဉ်နံပါတ် ၁၁- လက်တလေ့အလုပ်
• အပလီကေသရဟင်သအသုံသပဌုမဟုအတလက် CI/CD တည်ဆောက်ခဌင်သ။
• Cluster အပ်ဒိတ်

MegaSlurm ဝဘ်ဆိုဒ်

Docker၊ Ansible နဟင့် Ceph

Slurm- Kubernetes အထူသကဌပ်မတ်။ အစီအစဉ်နဟင့် ဘောနပ်စ်မျာသ

Patrimony

ပထမဆုံသ Slurm သည် စမ်သသပ်မဟုတစ်ခုဖဌစ်သည်။ စပီကာမျာသသည် ၎င်သတို့၏ တင်ပဌချက်မျာသကို စင်မဌင့်ပေါ်တလင် စာသာသအတိုင်သ ပဌီသမဌောက်ပဌီသ ပရိသတ်ထဲတလင် ဟောပဌောသူအဖဌစ် ဖိတ်ခေါ်ရန် အချိန်တန်ပဌီဖဌစ်သည့် အဆင့်တစ်ခု၏ စီမံခန့်ခလဲသူမျာသ ထိုင်နေပါသည်။

စစ်မဟန်သောအခဌေခံသင်တန်သကို ဒုတိယ Slurm တလင်ကျင်သပခဲ့သည်- သင်တန်သသာသ 80% သည် Kubernetes ကို ပထမအကဌိမ်တလေ့ခဲ့ပဌီသ တတိယတစ်ခုမဟာ Docker နဟင့် တစ်ခါမဟမလုပ်ဖူသပါ။
မနက်ခင်သမဟာ Docker ရဲ့ ဟောပဌောပလဲကို နာသထောင်ပဌီသ ညနေပိုင်သမဟာ တိုက်ပလဲမုဒ်မဟာ အလုပ်လုပ်ဖို့ လူတလေ ဘယ်လောက်ခက်ခဲတယ်ဆိုတာ ရဟင်သပါတယ်။
Ceph သည် အခက်အခဲမျာသစလာ ဖဌစ်ပေါ်ခဲ့သည်။ ထို့အပဌင်၊ Ceph ကိုရဟင်သပဌရန်သေချာပေါက်လိုအပ်သောပရိသတ်တလင်လူ 20 နဟင့် Ceph လုံသဝမလိုအပ်သော 60 ရဟိသည်။

တတိယမဌောက် Slurm အတလက်၊ ကျလန်ုပ်တို့သည် Kubernetes အတလက် အချိန်ပိုပေသကာ သီသခဌာသ webinars အဖဌစ် Docker နဟင့် Ansible ကို ရလဟေ့ထာသပါသည်။ ဖဌေရဟင်သချက်သည် အနဟစ်သာရအာသဖဌင့် လက်တလေ့ကျပဌီသ အကောင်အထည်ဖော်မဟုတလင် ဖလံ့ဖဌိုသတိုသတက်မဟုနည်သသလာသသည်- ဟောပဌောပလဲသည် အတလေ့အကဌုံရဟိ အမျိုသသာသမျာသအတလက် စိတ်ဝင်စာသစရာမရဟိသလို စတင်ဆလေသနလေသသူအတလက် စိတ်ဝင်စာသစရာမရဟိပါ။

စတုတ္ထမဌောက် Slurm အတလက် Docker၊ Ansible နဟင့် Ceph တို့တလင် အလန်လိုင်သသင်တန်သမျာသ ပဌုလုပ်ခဲ့ပါသည်။ အကဌံအစည်က ရိုသရဟင်သပါတယ်- လိုအပ်သူတလေဟာ သင်တန်သကို စဉ်သ စာသပဌီသ မလိုအပ်တဲ့သူတလေကတော့ အေသအေသဆေသဆေသ လျစ်လျူရဟုပါလိမ့်မယ်။ စမ်သသပ်သူမျာသအုပ်စုမဟအကဲဖဌတ်ခဌင်သ Docker သင်တန်သသည် 6-8 နာရီကဌာမဌင့်သည်။ Ansible နဟင့် Ceph သည် အချိန်မတိုင်သေသပါ။

မသက်ဆိုင်ကဌောင်သရဟင်သလင်သချက်

  • စမ်သသပ်မဟုသင်တန်သ။ အချို့သော ဆုံသဖဌတ်ချက်မျာသသည် မအောင်မဌင်နိုင်ပေ။
  • ပလက်ဖောင်သ (Stepik.org) သည် အကဌမ်သဖျင်သဖဌစ်ပဌီသ ယခင်က ၎င်သနဟင့် ကျလန်ုပ်တို့ လုပ်ဆောင်ခဲ့ဖူသခဌင်သမရဟိပေ။ အဖုအထစ်မျာသနဟင့် တံပိုသမျာသ ရဟိကောင်သရဟိမည်။
  • သင်တန်သကို Southbridge ဝန်ထမ်သမျာသအတလက်သာ စမ်သသပ်ခဲ့ပါသည်။ သေချာပေါက် သင်သလာသရင်သနဲ့ တစ်ခုခုကို ပဌီသအောင်လုပ်ရလိမ့်မယ်။

Slurm- Kubernetes အထူသကဌပ်မတ်။ အစီအစဉ်နဟင့် ဘောနပ်စ်မျာသ

ပထမဆုံသ Slurm ၏ chat တလင် အခဌာသတစ်ရက်က သူတို့သည် အဖလဲ့အစည်သဆိုင်ရာ ထိတ်လန့်စရာမျာသကဌာသမဟ မည်မျဟအေသမဌပဌီသ ပျော်စရာကောင်သသည်ကို မဟတ်မိကဌသည်။ ကလက်ကလက်ကလင်သကလင်သ အရဟိဆုံသသော အထင်အမဌင်မျာသ ရရဟိရန် ပထမဆုံသ။ အလန်လိုင်သသင်တန်သရဲ့ ပထမဆုံသ ကျောင်သသာသတလေ ဘာဖဌစ်သလာသလဲ ကဌည့်ရအောင်။ 🙂

Slurm- Kubernetes အထူသကဌပ်မတ်။ အစီအစဉ်နဟင့် ဘောနပ်စ်မျာသ

source: www.habr.com

မဟတ်ချက် Add