Kubernetes- စနစ်အရင်းအမြစ်စီမံခန့်ခွဲမှုကို စတင်သတ်မှတ်ရန် အဘယ်ကြောင့် အလွန်အရေးကြီးသနည်း။

စည်းကမ်းအရ၊ ၎င်း၏မှန်ကန်ပြီး တည်ငြိမ်သောလုပ်ဆောင်ချက်အတွက် အပလီကေးရှင်းတစ်ခုထံ သီးသန့်အရင်းအမြစ်များကို ထောက်ပံ့ပေးရန် အမြဲတမ်းလိုအပ်ပါသည်။ ဒါပေမယ့် အပလီကေးရှင်းပေါင်းများစွာဟာ ပါဝါတစ်ခုတည်းမှာ အလုပ်လုပ်နေတယ်ဆိုရင်ကော။ ၎င်းတို့တစ်ဦးစီအား အနိမ့်ဆုံးလိုအပ်သော အရင်းအမြစ်များကို မည်သို့ပံ့ပိုးပေးမည်နည်း။ အရင်းအမြစ်သုံးစွဲမှုကို သင်မည်ကဲ့သို့ကန့်သတ်နိုင်သနည်း။ node များကြား load ကို မှန်ကန်စွာ ဖြန့်ဝေနည်း။ အပလီကေးရှင်း၏ဝန်တိုးလာပါက အလျားလိုက်စကေးချသည့်ယန္တရား အလုပ်လုပ်ကြောင်းကို မည်သို့သေချာစေမည်နည်း။

စနစ်တွင်ရှိနေသည့် အရင်းအမြစ်အမျိုးအစားများနှင့် စတင်ရန် လိုအပ်သည် - ဤသည်မှာ ပရိုဆက်ဆာအချိန်နှင့် RAM ဖြစ်သည်။ k8s တွင် ဤအရင်းအမြစ်အမျိုးအစားများကို အောက်ပါယူနစ်များဖြင့် တိုင်းတာသည်-

• CPU - cores များ
• RAM - ဘိုက်

ထို့အပြင်၊ အရင်းအမြစ်တစ်ခုစီအတွက် လိုအပ်ချက်များ နှစ်မျိုးသတ်မှတ်နိုင်သည်- တောင်းဆိုမှုများ и ကန့်သတ်. တောင်းဆိုချက်များ - ကွန်တိန်နာတစ်ခုအားလည်ပတ်ရန် node တစ်ခု၏အခမဲ့အရင်းအမြစ်များ (နှင့် pod တစ်ခုလုံး) အတွက် အနိမ့်ဆုံးလိုအပ်ချက်များကို ကန့်သတ်ချက်များသည် ကွန်တိန်နာအတွက်ရနိုင်သောအရင်းအမြစ်များအပေါ် ကန့်သတ်ကန့်သတ်မှုတစ်ခုသတ်မှတ်ပေးသည်။

မန်နီးဖက်စ်သည် အမျိုးအစား နှစ်မျိုးလုံးကို ပြတ်သားစွာ သတ်မှတ်ရန် မလိုအပ်ကြောင်း နားလည်ရန် အရေးကြီးသော်လည်း အပြုအမူသည် အောက်ပါအတိုင်း ဖြစ်လိမ့်မည်-

• အရင်းအမြစ်တစ်ခု၏ ကန့်သတ်ချက်များကိုသာ အတိအလင်းဖော်ပြထားပါက၊ ဤအရင်းအမြစ်အတွက် တောင်းဆိုချက်များသည် ကန့်သတ်ချက်များနှင့်ညီသောတန်ဖိုးကို အလိုအလျောက်ယူသည် (ဤအရာကို ဖော်ပြသည့်အရာများကို ခေါ်ဆိုခြင်းဖြင့် သင်အတည်ပြုနိုင်သည်)။ အဲဒါတွေ။ တကယ်တော့၊ ကွန်တိန်နာကို လည်ပတ်ရန် လိုအပ်သည့် အရင်းအမြစ်ပမာဏ တစ်ခုတည်းကိုသာ ကန့်သတ်ထားမည်ဖြစ်သည်။
• အရင်းအမြစ်တစ်ခုအတွက် တောင်းဆိုမှုများကိုသာ အတိအလင်းသတ်မှတ်ထားပါက၊ ဤအရင်းအမြစ်အပေါ် ကန့်သတ်ချက်များ ချမှတ်ထားခြင်း မရှိပါ။ container သည် node ၏အရင်းအမြစ်များဖြင့်သာကန့်သတ်ထားသည်။

သီးခြားကွန်တိန်နာအဆင့်တွင်သာမက အောက်ပါအရာများကို အသုံးပြု၍ အရင်းအမြစ်စီမံခန့်ခွဲမှုအဆင့်တွင်သာမက namespace အဆင့်တွင်လည်း configure လုပ်နိုင်ပါသည်။

• ကန့်သတ်ဘောင် — ns ရှိ container/pod အဆင့်တွင် ကန့်သတ်မူဝါဒကို ဖော်ပြပြီး container/pod ပေါ်ရှိ ပုံသေကန့်သတ်ချက်များကို ဖော်ပြရန်အတွက် လိုအပ်သည့်အပြင် သိသာထင်ရှားသော အဆီကွန်တိန်နာ/ pods (သို့မဟုတ် အပြန်အလှန်အားဖြင့်) ၎င်းတို့၏ အရေအတွက်ကို ကန့်သတ်ရန် လိုအပ်သည် ကန့်သတ်ချက်များနှင့် တောင်းဆိုမှုများရှိ တန်ဖိုးများတွင် ဖြစ်နိုင်ချေကွာခြားမှုကို ဆုံးဖြတ်ပါ။
• အရင်းအမြစ် Quotas — ns ရှိ ကွန်တိန်နာအားလုံးအတွက် ယေဘုယျအားဖြင့် ကန့်သတ်မူဝါဒကို ဖော်ပြပြီး ပတ်ဝန်းကျင်များကြားတွင် အရင်းအမြစ်များကို ပိုင်းခြားရန် စည်းကမ်းအဖြစ် အသုံးပြုသည် (ပတ်ဝန်းကျင်များကို node အဆင့်တွင် တင်းကြပ်စွာ ပိုင်းခြားမထားသည့်အခါ အသုံးဝင်သည်)

အောက်ပါတို့သည် အရင်းအမြစ်ကန့်သတ်ချက်များကို သတ်မှတ်ပေးသည့် မန်နီးဖက်စ်များ ဥပမာများဖြစ်သည်-

• သတ်မှတ်ထားသော ကွန်တိန်နာအဆင့်တွင်-

  containers:
  - name: app-nginx
    image: nginx
    resources:
      requests:
        memory: 1Gi
      limits:
        cpu: 200m

  အဲဒါတွေ။ ဤကိစ္စတွင်၊ nginx ဖြင့် container တစ်ခုကို run ရန် node တွင်အနည်းဆုံး 1G အခမဲ့ RAM နှင့် 0.2 CPU လိုအပ်မည်ဖြစ်ပြီး ကွန်တိန်နာအများစုမှာ 0.2 CPU နှင့် node ပေါ်ရှိ RAM အားလုံးကို စားသုံးနိုင်သည်။

• ကိန်းပြည့်အဆင့် ns:

  apiVersion: v1
  kind: ResourceQuota
  metadata:
    name: nxs-test
  spec:
    hard:
      requests.cpu: 300m
      requests.memory: 1Gi
      limits.cpu: 700m
      limits.memory: 2Gi

  အဲဒါတွေ။ မူရင်း ns ရှိ တောင်းဆိုချက် ကွန်တိန်နာအားလုံး၏ ပေါင်းလဒ်သည် CPU အတွက် 300m နှင့် OP အတွက် 1G ထက် မကျော်လွန်နိုင်ပါ၊ ကန့်သတ်ချက်အားလုံး၏ ပေါင်းစုသည် CPU အတွက် 700m နှင့် OP အတွက် 2G ဖြစ်သည်။

• ns ရှိ ကွန်တိန်နာများအတွက် မူရင်းကန့်သတ်ချက်များ

  apiVersion: v1
  kind: LimitRange
  metadata:
    name: nxs-limit-per-container
  spec:
   limits:
     - type: Container
       defaultRequest:
         cpu: 100m
         memory: 1Gi
       default:
         cpu: 1
         memory: 2Gi
       min:
         cpu: 50m
         memory: 500Mi
       max:
         cpu: 2
         memory: 4Gi

  အဲဒါတွေ။ ကွန်တိန်နာအားလုံးအတွက် မူရင်းအမည်နေရာလွတ်တွင် တောင်းဆိုချက်ကို CPU အတွက် 100m နှင့် OP အတွက် 1G၊ ကန့်သတ်ချက် - 1 CPU နှင့် 2G။ တစ်ချိန်တည်းမှာပင်၊ CPU (50m < x < 2) နှင့် RAM (500M < x < 4G) အတွက် တောင်းဆိုမှု/ကန့်သတ်ချက်တွင် ဖြစ်နိုင်သည့်တန်ဖိုးများကို ကန့်သတ်သတ်မှတ်ထားသည်။

• Pod အဆင့်ကန့်သတ်ချက်များ ns-

  apiVersion: v1
  kind: LimitRange
  metadata:
   name: nxs-limit-pod
  spec:
   limits:
   - type: Pod
     max:
       cpu: 4
       memory: 1Gi

  အဲဒါတွေ။ default ns ရှိ pod တစ်ခုစီအတွက် 4 vCPU နှင့် 1G ကန့်သတ်ချက်ရှိပါမည်။

အခု ဒီကန့်သတ်ချက်တွေကို သတ်မှတ်ခြင်းက ဘယ်လို အကျိုးကျေးဇူးတွေ ပေးစွမ်းနိုင်တယ်ဆိုတာ ပြောပြချင်ပါတယ်။

node များကြားတွင် ချိန်ခွင်လျှာ ချိန်ညှိမှု ယန္တရားကို Load လုပ်ခြင်း။

သင်သိသည့်အတိုင်း၊ k8s အစိတ်အပိုင်းသည် ထိုကဲ့သို့သော node များကြားတွင် pods များဖြန့်ဝေမှုအတွက် တာဝန်ရှိသည်။ Schedulerတိကျသော algorithm အရ အလုပ်လုပ်သည်။ စတင်ရန် အကောင်းဆုံး node ကို ရွေးချယ်သောအခါ ဤ algorithm သည် အဆင့်နှစ်ဆင့်ဖြင့် သွားသည်-

1. filtering ကို
2. Ranging

အဲဒါတွေ။ ဖော်ပြထားသောမူဝါဒအရ၊ set တစ်ခုအပေါ်အခြေခံ၍ pod တစ်ခုကို စတင်ရန် ဖြစ်နိုင်သည့်အတွက် node များကို ကနဦးရွေးချယ်ထားသည်။ ခန့်မှန်းချက်များ (PodFitsResources ကို run ရန် node တွင် အရင်းအမြစ်များ အလုံအလောက်ရှိမရှိ စစ်ဆေးခြင်းအပါအဝင်)၊ ထို့နောက် အဆိုပါ node တစ်ခုစီအတွက်၊ ဦးစားပေး အမှတ်များ ချီးမြှင့်ခြင်း (အပါအဝင်၊ node တစ်ခုတွင် အခမဲ့ရင်းမြစ်များ များလေလေ၊ အမှတ်များ များလေလေ - LeastResourceAllocation/LeastRequestedPriority/BalancedResourceAllocation) နှင့် pod ကို အမှတ်အများဆုံးဖြင့် node ပေါ်တွင် စတင်လိုက်သည် (node ​​များစွာသည် ဤအခြေအနေအား တစ်ကြိမ်တည်း ကျေနပ်သွားပါက၊ ထို့နောက် ကျပန်းတစ်ခုကို ရွေးထားသည်)။

တစ်ချိန်တည်းမှာပင်၊ node တစ်ခု၏ရရှိနိုင်သောအရင်းအမြစ်များကိုအကဲဖြတ်သောအခါ၊ အချိန်ဇယားဆွဲသူသည် etcd တွင်သိမ်းဆည်းထားသည့်ဒေတာမှလမ်းညွှန်ထားသည်ကိုနားလည်ရန်လိုအပ်သည်။ ဤ node ပေါ်တွင် လုပ်ဆောင်နေသည့် pod တစ်ခုစီ၏ တောင်းဆိုထားသော/ကန့်သတ် အရင်းအမြစ်ပမာဏအတွက်၊ သို့သော် အမှန်တကယ်အရင်းအမြစ်သုံးစွဲမှုအတွက် မဟုတ်ပါ။ ဤအချက်အလက်ကို command output မှ ရယူနိုင်သည်။ kubectl describe node $NODEဥပမာ:

# kubectl describe nodes nxs-k8s-s1
..
Non-terminated Pods:         (9 in total)
  Namespace                  Name                                         CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE
  ---------                  ----                                         ------------  ----------  ---------------  -------------  ---
  ingress-nginx              nginx-ingress-controller-754b85bf44-qkt2t    0 (0%)        0 (0%)      0 (0%)           0 (0%)         233d
  kube-system                kube-flannel-26bl4                           150m (0%)     300m (1%)   64M (0%)         500M (1%)      233d
  kube-system                kube-proxy-exporter-cb629                    0 (0%)        0 (0%)      0 (0%)           0 (0%)         233d
  kube-system                kube-proxy-x9fsc                             0 (0%)        0 (0%)      0 (0%)           0 (0%)         233d
  kube-system                nginx-proxy-k8s-worker-s1                    25m (0%)      300m (1%)   32M (0%)         512M (1%)      233d
  nxs-monitoring             alertmanager-main-1                          100m (0%)     100m (0%)   425Mi (1%)       25Mi (0%)      233d
  nxs-logging                filebeat-lmsmp                               100m (0%)     0 (0%)      100Mi (0%)       200Mi (0%)     233d
  nxs-monitoring             node-exporter-v4gdq                          112m (0%)     122m (0%)   200Mi (0%)       220Mi (0%)     233d
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests           Limits
  --------           --------           ------
  cpu                487m (3%)          822m (5%)
  memory             15856217600 (2%)  749976320 (3%)
  ephemeral-storage  0 (0%)             0 (0%)

ဤနေရာတွင် pods အားလုံးကို သီးခြား node တစ်ခုပေါ်တွင် လုပ်ဆောင်နေသည့်အပြင် pod တစ်ခုစီက တောင်းဆိုသည့် အရင်းအမြစ်များကို ကျွန်ုပ်တို့ မြင်တွေ့ရသည်။ cronjob-cron-events-1573793820-xt6q9 pod ကို စတင်သောအခါ အချိန်ဇယားရေးဆွဲသူ မှတ်တမ်းများသည် မည်ကဲ့သို့ ဖြစ်သည် (စတင်ခြင်း ကွန်မန်း၏ အကြောင်းပြချက်များ -v=10 တွင် 10 ခုမြောက် logging အဆင့်ကို သတ်မှတ်သောအခါ ဤအချက်အလက် ပေါ်လာလိမ့်မည် ။ ):

မှတ်တမ်း

I1115 07:57:21.637791       1 scheduling_queue.go:908] About to try and schedule pod nxs-stage/cronjob-cron-events-1573793820-xt6q9                                                                                                                                           
I1115 07:57:21.637804       1 scheduler.go:453] Attempting to schedule pod: nxs-stage/cronjob-cron-events-1573793820-xt6q9                                                                                                                                                    
I1115 07:57:21.638285       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s5 is allowed, Node is running only 16 out of 110 Pods.                                                                               
I1115 07:57:21.638300       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s6 is allowed, Node is running only 20 out of 110 Pods.                                                                               
I1115 07:57:21.638322       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s3 is allowed, Node is running only 20 out of 110 Pods.                                                                               
I1115 07:57:21.638322       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s4 is allowed, Node is running only 17 out of 110 Pods.                                                                               
I1115 07:57:21.638334       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s10 is allowed, Node is running only 16 out of 110 Pods.                                                                              
I1115 07:57:21.638365       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s12 is allowed, Node is running only 9 out of 110 Pods.                                                                               
I1115 07:57:21.638334       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s11 is allowed, Node is running only 11 out of 110 Pods.                                                                              
I1115 07:57:21.638385       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s1 is allowed, Node is running only 19 out of 110 Pods.                                                                               
I1115 07:57:21.638402       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s2 is allowed, Node is running only 21 out of 110 Pods.                                                                               
I1115 07:57:21.638383       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s9 is allowed, Node is running only 16 out of 110 Pods.                                                                               
I1115 07:57:21.638335       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s8 is allowed, Node is running only 18 out of 110 Pods.                                                                               
I1115 07:57:21.638408       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s13 is allowed, Node is running only 8 out of 110 Pods.                                                                               
I1115 07:57:21.638478       1 predicates.go:1369] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s10 is allowed, existing pods anti-affinity terms satisfied.                                                                         
I1115 07:57:21.638505       1 predicates.go:1369] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s8 is allowed, existing pods anti-affinity terms satisfied.                                                                          
I1115 07:57:21.638577       1 predicates.go:1369] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s9 is allowed, existing pods anti-affinity terms satisfied.                                                                          
I1115 07:57:21.638583       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s7 is allowed, Node is running only 25 out of 110 Pods.                                                                               
I1115 07:57:21.638932       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s10: BalancedResourceAllocation, capacity 39900 millicores 66620178432 memory bytes, total request 2343 millicores 9640186880 memory bytes, score 9        
I1115 07:57:21.638946       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s10: LeastResourceAllocation, capacity 39900 millicores 66620178432 memory bytes, total request 2343 millicores 9640186880 memory bytes, score 8           
I1115 07:57:21.638961       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s9: BalancedResourceAllocation, capacity 39900 millicores 66620170240 memory bytes, total request 4107 millicores 11307422720 memory bytes, score 9        
I1115 07:57:21.638971       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s8: BalancedResourceAllocation, capacity 39900 millicores 66620178432 memory bytes, total request 5847 millicores 24333637120 memory bytes, score 7        
I1115 07:57:21.638975       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s9: LeastResourceAllocation, capacity 39900 millicores 66620170240 memory bytes, total request 4107 millicores 11307422720 memory bytes, score 8           
I1115 07:57:21.638990       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s8: LeastResourceAllocation, capacity 39900 millicores 66620178432 memory bytes, total request 5847 millicores 24333637120 memory bytes, score 7           
I1115 07:57:21.639022       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s10: TaintTolerationPriority, Score: (10)                                                                                                        
I1115 07:57:21.639030       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s8: TaintTolerationPriority, Score: (10)                                                                                                         
I1115 07:57:21.639034       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s9: TaintTolerationPriority, Score: (10)                                                                                                         
I1115 07:57:21.639041       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s10: NodeAffinityPriority, Score: (0)                                                                                                            
I1115 07:57:21.639053       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s8: NodeAffinityPriority, Score: (0)                                                                                                             
I1115 07:57:21.639059       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s9: NodeAffinityPriority, Score: (0)                                                                                                             
I1115 07:57:21.639061       1 interpod_affinity.go:237] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s10: InterPodAffinityPriority, Score: (0)                                                                                                                   
I1115 07:57:21.639063       1 selector_spreading.go:146] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s10: SelectorSpreadPriority, Score: (10)                                                                                                                   
I1115 07:57:21.639073       1 interpod_affinity.go:237] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s8: InterPodAffinityPriority, Score: (0)                                                                                                                    
I1115 07:57:21.639077       1 selector_spreading.go:146] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s8: SelectorSpreadPriority, Score: (10)                                                                                                                    
I1115 07:57:21.639085       1 interpod_affinity.go:237] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s9: InterPodAffinityPriority, Score: (0)                                                                                                                    
I1115 07:57:21.639088       1 selector_spreading.go:146] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s9: SelectorSpreadPriority, Score: (10)                                                                                                                    
I1115 07:57:21.639103       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s10: SelectorSpreadPriority, Score: (10)                                                                                                         
I1115 07:57:21.639109       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s8: SelectorSpreadPriority, Score: (10)                                                                                                          
I1115 07:57:21.639114       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s9: SelectorSpreadPriority, Score: (10)                                                                                                          
I1115 07:57:21.639127       1 generic_scheduler.go:781] Host nxs-k8s-s10 => Score 100037                                                                                                                                                                            
I1115 07:57:21.639150       1 generic_scheduler.go:781] Host nxs-k8s-s8 => Score 100034                                                                                                                                                                             
I1115 07:57:21.639154       1 generic_scheduler.go:781] Host nxs-k8s-s9 => Score 100037                                                                                                                                                                             
I1115 07:57:21.639267       1 scheduler_binder.go:269] AssumePodVolumes for pod "nxs-stage/cronjob-cron-events-1573793820-xt6q9", node "nxs-k8s-s10"                                                                                                               
I1115 07:57:21.639286       1 scheduler_binder.go:279] AssumePodVolumes for pod "nxs-stage/cronjob-cron-events-1573793820-xt6q9", node "nxs-k8s-s10": all PVCs bound and nothing to do                                                                             
I1115 07:57:21.639333       1 factory.go:733] Attempting to bind cronjob-cron-events-1573793820-xt6q9 to nxs-k8s-s10

ဤတွင် အစပိုင်းတွင် အချိန်ဇယားရေးဆွဲသူသည် စစ်ထုတ်ပြီး ၎င်းကို စတင်နိုင်သည့် ဆုံမှတ် 3 ခုစာရင်း (nxs-k8s-s8, nxs-k8s-s9, nxs-k8s-s10) ကိုထုတ်ပေးသည်ကို ကျွန်ုပ်တို့တွေ့မြင်ရပါသည်။ ထို့နောက် ၎င်းသည် အသင့်လျော်ဆုံး node တစ်ခုစီအတွက် (BalancedResourceAllocation၊ LeastResourceAllocation အပါအဝင်) parameters များစွာကို အခြေခံ၍ ရမှတ်များကို တွက်ချက်သည်။ အဆုံးစွန်အားဖြင့်၊ pod အား အမှတ်အများဆုံးနံပါတ်ဖြင့် node တွင်စီစဉ်ထားသည် (ဤနေရာတွင် node နှစ်ခုသည် တစ်ပြိုင်နက်တွင် အမှတ် 100037 ရှိသည်၊ ထို့ကြောင့် ကျပန်းတစ်ခုကို ရွေးထားသည် - nxs-k8s-s10)။

ကောက်ချက်: အကယ်၍ ကန့်သတ်ချက်များမသတ်မှတ်ထားသည့် ကုဒ်တစ်ခုသည် ဆော့ဖ်ဝဲတစ်ခုအား လုပ်ဆောင်နေပါက၊ k8s (အရင်းအမြစ် သုံးစွဲမှု ရှုထောင့်မှကြည့်လျှင်) ၎င်းသည် ဤ node တွင် ထိုသို့သော pods လုံးဝမရှိသကဲ့သို့ ညီမျှမည်ဖြစ်သည်။ ထို့ကြောင့်၊ အကယ်၍ သင့်တွင်၊ အခြေအနေအရ၊ ညစ်ညမ်းသောလုပ်ငန်းစဉ် (ဥပမာ wowza) ရှိပြီး ၎င်းအတွက် ကန့်သတ်ချက်များမသတ်မှတ်ထားပါက၊ ဤ pod သည် node ၏အရင်းအမြစ်အားလုံးကို အမှန်တကယ်စားသောအခါတွင် အခြေအနေတစ်ခုဖြစ်ပေါ်လာနိုင်သည်၊ သို့သော် k8s အတွက် ဤ node အလုပ်မလုပ်သော ကုဒ်များမပါသော node အဖြစ် အဆင့်သတ်မှတ်လိုက်သောအခါ (ရရှိနိုင်သောအရင်းအမြစ်များကို အကဲဖြတ်ရာတွင် အတိအကျ) အမှတ်ပေးသည့်အခါ တူညီသောအမှတ်အရေအတွက်ကို ချီးမြှင့်မည်ဖြစ်ပြီး၊ ၎င်းသည် အဆုံးတွင် node များကြား load ကို မညီမညာခွဲဝေမှုဖြစ်စေနိုင်သည်။

Pod ၏ နှင်ထုတ်ခြင်း

သင်သိသည့်အတိုင်း၊ pod တစ်ခုစီသည် QoS အတန်း 3 ခုထဲမှ တစ်ခုကို သတ်မှတ်ပေးသည်-

1. အာမခံပါသည်။ — pod အတွင်းရှိ container တစ်ခုစီအတွက် memory နှင့် cpu အတွက် တောင်းဆိုချက်နှင့် ကန့်သတ်ချက်များကို သတ်မှတ်ထားသောအခါတွင် သတ်မှတ်ပေးထားပြီး အဆိုပါတန်ဖိုးများသည် တူညီရမည်
2. ပေါက်ကွဲနိုင်သော — ဘူးထဲတွင် အနည်းဆုံး ကွန်တိန်နာတစ်ခုသည် တောင်းဆိုချက် <ကန့်သတ်ချက်ဖြင့် တောင်းဆိုချက်နှင့် ကန့်သတ်ချက်တစ်ခုရှိသည်။
3. အကောင်းဆုံးအားထုတ်မှု - ဘူးထဲတွင် ကွန်တိန်နာတစ်လုံးမှမရှိသည့်အခါ အရင်းအမြစ်အကန့်အသတ်ရှိသည်။

တစ်ချိန်တည်းမှာပင်၊ node တစ်ခုသည် အရင်းအမြစ်များ (disk၊ memory) ချို့တဲ့မှုကို တွေ့ကြုံရသောအခါ၊ kubelet သည် pod နှင့် ၎င်း၏ QoS အတန်းအစားကို ဦးစားပေးထည့်သွင်းစဉ်းစားသော သီးခြား algorithm တစ်ခုအရ pods များကို အဆင့်သတ်မှတ်ပြီး နှင်ထုတ်ခြင်း စတင်ပါသည်။ ဥပမာအားဖြင့်၊ ကျွန်ုပ်တို့သည် RAM အကြောင်းပြောနေလျှင် QoS အတန်းအစားပေါ်အခြေခံ၍ အောက်ပါမူအရ အမှတ်များကို ချီးမြှင့်သည်-

• အာမခံ: -998
• အကောင်းဆုံးဆောင်ရွက်မှု: 1000
• ပေါက်ကွဲနိုင်သော: မိနစ်(အမြင့်ဆုံး(2, 1000 - (1000 * memoryRequestBytes) / machineMemoryCapacityBytes), 999)

အဲဒါတွေ။ တူညီသောဦးစားပေးဖြင့်၊ kubelet သည် node မှအကောင်းဆုံးကြိုးစားအားထုတ်မှု QoS အတန်းအစားနှင့် pods များကို ဦးစွာနှင်ထုတ်မည်ဖြစ်သည်။

ကောက်ချက်: အကယ်၍ သင်သည် ၎င်းတွင် အရင်းအမြစ်များ မရှိသောအခါတွင် လိုချင်သော pod ကို node မှ နှင်ထုတ်ခံရနိုင်ခြေကို လျှော့ချလိုပါက ၎င်းကို ဦးစားပေးနှင့်အတူ၊ ၎င်းအတွက် တောင်းဆိုမှု/ကန့်သတ်ချက်ကို သတ်မှတ်ရန် ဂရုစိုက်ရန် လိုအပ်ပါသည်။

အပလီကေးရှင်း pods (HPA) ၏ အလျားလိုက် အလိုအလျောက် အရွယ်အစား ပြောင်းလဲခြင်းအတွက် ယန္တရား

အရင်းအမြစ်များအသုံးပြုမှုအပေါ်မူတည်၍ pods အရေအတွက်ကို အလိုအလျောက်တိုးရန်နှင့် လျှော့ချရန် လုပ်ဆောင်သည့်အခါ (system - CPU/RAM သို့မဟုတ် user - rps) ဖြစ်သည့် k8s entity ၊ HPA (အလျားလိုက် Pod Autoscaler)။ အဆိုပါ algorithm မှာ အောက်ပါအတိုင်းဖြစ်သည် ။

1. လေ့လာထားသောအရင်းအမြစ်များ၏ လက်ရှိဖတ်ရှုမှုများကို ဆုံးဖြတ်သည် (currentMetricValue)
2. အရင်းအမြစ်အတွက် လိုချင်သောတန်ဖိုးများကို ဆုံးဖြတ်သည် (desiredMetricValue) သည် စနစ်အရင်းအမြစ်များအတွက် တောင်းဆိုမှုကို အသုံးပြု၍ သတ်မှတ်ပေးသည်၊
3. လက်ရှိပုံစံတူအရေအတွက်ကို ဆုံးဖြတ်သည် (currentReplicas)
4. အောက်ပါပုံသေနည်းသည် လိုချင်သောပုံတူများ (desiredReplicas) ကို တွက်ချက်သည်
   desiredReplicas = [CurrentReplicas * (CurrentMetricValue/desiredMetricValue )]

ဤအခြေအနေတွင်၊ coefficient (currentMetricValue/heavoredMetricValue) သည် 1 နှင့် နီးစပ်သောအခါတွင်၊ အတိုင်းအတာ ချဲ့ထွင်ခြင်း ဖြစ်ပေါ်လာမည်မဟုတ်ပါ (ဤကိစ္စတွင်၊ ကျွန်ုပ်တို့သည် ခွင့်ပြုနိုင်သောအမှားကို ကိုယ်တိုင်သတ်မှတ်နိုင်သည်၊ ၎င်းသည် မူရင်းအားဖြင့် 0.1) ဖြစ်သည်။

CPU သုံးစွဲမှုပေါ်မူတည်၍ ပုံတူအရေအတွက်ကို ပြောင်းလဲရန်လိုအပ်သည့် app-test application (Deployment ဟုဖော်ပြထားသည်) ၏ ဥပမာကို အသုံးပြု၍ hpa အလုပ်လုပ်ပုံကို ကြည့်ကြပါစို့။

• လျှောက်လွှာဖော်ပြချက်

  kind: Deployment
  apiVersion: apps/v1beta2
  metadata:
  name: app-test
  spec:
  selector:
  matchLabels:
  app: app-test
  replicas: 2
  template:
  metadata:
  labels:
  app: app-test
  spec:
  containers:
  - name: nginx
  image: registry.nixys.ru/generic-images/nginx
  imagePullPolicy: Always
  resources:
  requests:
  cpu: 60m
  ports:
  - name: http
  containerPort: 80
  - name: nginx-exporter
  image: nginx/nginx-prometheus-exporter
  resources:
  requests:
  cpu: 30m
  ports:
  - name: nginx-exporter
  containerPort: 9113
  args:
  - -nginx.scrape-uri
  - http://127.0.0.1:80/nginx-status

  အဲဒါတွေ။ သတ်မှတ်ထားသော တစ်ခုစီအတွက် nginx နှင့် nginx-exporter containers နှစ်ခုပါရှိသော အပလီကေးရှင်း pod ကို ကနဦးတွင် ဥပမာနှစ်ခုဖြင့် စတင်လုပ်ဆောင်သည်ကို ကျွန်ုပ်တို့တွေ့မြင်ရပါသည်။ တောင်းဆိုမှုများ CPU အတွက်။

• HPA ကြေငြာချက်

  apiVersion: autoscaling/v2beta2
  kind: HorizontalPodAutoscaler
  metadata:
  name: app-test-hpa
  spec:
  maxReplicas: 10
  minReplicas: 2
  scaleTargetRef:
  apiVersion: extensions/v1beta1
  kind: Deployment
  name: app-test
  metrics:
  - type: Resource
  resource:
  name: cpu
  target:
  type: Utilization
  averageUtilization: 30

  အဲဒါတွေ။ ကျွန်ုပ်တို့သည် Deployment app-test ကို စောင့်ကြည့်ပြီး cpu ညွှန်ပြချက်အပေါ် အခြေခံ၍ အပလီကေးရှင်းနှင့် pods အရေအတွက်ကို ချိန်ညှိပေးမည့် hpa တစ်ခုကို ဖန်တီးခဲ့သည် (ကျွန်ုပ်တို့ မျှော်လင့်ထားသည့်အရာသည် ၎င်းတောင်းဆိုထားသော CPU ၏ 30% စားသုံးသင့်သည်ဟု ကျွန်ုပ်တို့ မျှော်လင့်ထားသည်)၊ 2-10 အကွာအဝေး။

  ယခု၊ ကျွန်ုပ်တို့သည် မီးဖိုများထဲမှ တစ်ခုသို့ ဝန်တစ်ခုအား ထည့်ပါက hpa လည်ပတ်မှု ယန္တရားကို ကြည့်ကြပါစို့။

   # kubectl top pod
  NAME                                                   CPU(cores)   MEMORY(bytes)
  app-test-78559f8f44-pgs58            101m         243Mi
  app-test-78559f8f44-cj4jz            4m           240Mi

စုစုပေါင်း ကျွန်ုပ်တို့တွင် အောက်ပါအတိုင်း ရှိပါသည်။

• လိုချင်သောတန်ဖိုး (desiredMetricValue) - hpa ဆက်တင်များအရ၊ ကျွန်ုပ်တို့တွင် 30% ရှိသည်
• လက်ရှိတန်ဖိုး (currentMetricValue) - တွက်ချက်ရန်အတွက်၊ ထိန်းချုပ်သူ-မန်နေဂျာသည် အရင်းအမြစ်သုံးစွဲမှု၏ပျမ်းမျှတန်ဖိုးကို % တွင် တွက်ချက်သည်။ အခြေအနေအရ အောက်ပါတို့ကို လုပ်ဆောင်သည်-
  1. မက်ထရစ်ဆာဗာမှ pod မက်ထရစ်များ၏ ပကတိတန်ဖိုးများကို လက်ခံရရှိသည် ၊ i.e. 101m နှင့် 4m
  2. ပျမ်းမျှ ပကတိတန်ဖိုးကို တွက်ချက်သည် (101m+4m)/2=53m
  3. လိုချင်သော အရင်းအမြစ် သုံးစွဲမှုအတွက် ပကတိတန်ဖိုးကို ရရှိသည် (၎င်းအတွက်၊ ကွန်တိန်နာအားလုံး၏ တောင်းဆိုမှုများကို အကျဉ်းချုပ်ထားသည်) 60m + 30m = 90m
  4. တောင်းဆိုချက် pod နှင့်ဆက်စပ် CPU သုံးစွဲမှု ပျမ်းမျှရာခိုင်နှုန်းကို တွက်ချက်သည် 53m/90m*100%=59%၊

ယခု ကျွန်ုပ်တို့တွင် ပုံစံတူ အရေအတွက်ကို ပြောင်းလဲရန် လိုအပ်ခြင်း ရှိ၊ မရှိ ဆုံးဖြတ်ရန် လိုအပ်သည့် အရာအားလုံး ရှိသည်၊ ၎င်းကို ပြုလုပ်ရန်၊ ကျွန်ုပ်တို့သည် ကိန်းဂဏန်းကို တွက်ချက်သည်-

ratio = 59% / 30% = 1.96

အဲဒါတွေ။ ပုံတူအရေအတွက်ကို ~၂ ဆ တိုးပြီး ပမာဏမှာ [2*2] = 1.96 ဖြစ်သည်။

နိဂုံးချုပ်: သင်တွေ့မြင်ရသည့်အတိုင်း ဤယန္တရားအလုပ်လုပ်ရန်အတွက် လိုအပ်သောအခြေအနေမှာ စောင့်ကြည့်လေ့လာထားသော pod အတွင်းရှိ ကွန်တိန်နာများအားလုံးအတွက် တောင်းဆိုမှုများရှိနေခြင်းပင်ဖြစ်သည်။

node များ၏ အလျားလိုက် အလိုအလျောက် အတိုင်းအတာ ချဲ့ထွင်ခြင်းအတွက် ယန္တရား (Cluster Autoscaler)

load surges များအတွင်း စနစ်အပေါ် အပျက်သဘောဆောင်သော သက်ရောက်မှုများကို ပျက်ပြယ်စေရန်အတွက် configured hpa ရှိခြင်းသည် မလုံလောက်ပါ။ ဥပမာအားဖြင့်၊ hpa controller မန်နေဂျာရှိ ဆက်တင်များအရ၊ ပုံတူအရေအတွက်ကို ၂ ဆတိုးရန် လိုအပ်ကြောင်း ဆုံးဖြတ်သည်၊ သို့သော် အဆိုပါ pods အများအပြားကို run ရန် အခမဲ့ အရင်းအမြစ်များ မရှိပါ (ဆိုလိုသည်မှာ node သည် ၎င်းကို မပေးနိုင်ပါ။ တောင်းဆိုထားသော အရင်းအမြစ်များ တောင်းဆိုမှု ပေါ့ဒ်) နှင့် ဤ pods များသည် ဆိုင်းငံ့ထားသည့် အခြေအနေသို့ ပြောင်းသည်။

ဤကိစ္စတွင်၊ ဝန်ဆောင်မှုပေးသူတွင် သက်ဆိုင်ရာ IaaS/PaaS (ဥပမာ၊ GKE/GCE၊ AKS၊ EKS စသည်ဖြင့်) ကဲ့သို့သော ကိရိယာတစ်ခုရှိလျှင်၊ Node Autoscaler. ၎င်းသည် သင့်အား အစုအဝေးရှိ အမြင့်ဆုံးနှင့် အနိမ့်ဆုံး နံပါတ်များကို သတ်မှတ်ခွင့်ပြုပြီး အစုအဝေးများနှင့် pods များတွင် အရင်းအမြစ်များမရှိသောအခါတွင် cloud ဝန်ဆောင်မှုပေးသူ API ကိုခေါ်ဆိုခြင်းဖြင့် (cloud provider API ကိုခေါ်ဆိုခြင်းဖြင့်) အလိုအလျောက်ချိန်ညှိနိုင်သည် အချိန်ဇယားဆွဲ၍မရပါ (စောင့်ဆိုင်းနေသောအခြေအနေတွင် ရှိနေသည်)။

နိဂုံးချုပ်: node များကို အလိုအလျောက်စကေးလုပ်နိုင်စေရန်၊ k8s သည် nodes ပေါ်ရှိ load ကိုမှန်ကန်စွာအကဲဖြတ်နိုင်စေရန်နှင့် နောက် pod ကိုစတင်ရန် cluster တွင်အရင်းအမြစ်များမရှိကြောင်းအစီရင်ခံတင်ပြနိုင်ရန် pod containers တွင်တောင်းဆိုမှုများသတ်မှတ်ရန်လိုအပ်ပါသည်။

ကောက်ချက်

ကွန်တိန်နာရင်းမြစ်ကန့်သတ်ချက်များကို သတ်မှတ်ခြင်းသည် အပလီကေးရှင်းကို အောင်မြင်စွာလည်ပတ်ရန်အတွက် လိုအပ်ချက်မဟုတ်သော်လည်း အောက်ပါအကြောင်းများကြောင့် ထိုသို့လုပ်ဆောင်ခြင်းက ပိုကောင်းပါသေးသည်။

1. k8s nodes များကြားတွင် load balancing သတ်မှတ်ချက်များဖြင့် အချိန်ဇယားဆွဲ၏ ပိုမိုတိကျသောလုပ်ဆောင်ချက်အတွက်
2. “pod eviction” ဖြစ်ရပ် ဖြစ်ပွားနိုင်ခြေကို လျှော့ချရန်
3. အလျားလိုက် အပလီကေးရှင်း pods (HPA) ၏ အလျားလိုက် အလိုအလျောက် အရွယ်အစား ပြောင်းလဲခြင်းအတွက်
4. cloud ဝန်ဆောင်မှုပေးသူများအတွက် အလျားလိုက် အလိုအလျောက် အရွယ်အစားခွဲခြင်း (Cluster Autoscaling)

ကျွန်ုပ်တို့၏ဘလော့ဂ်ရှိ အခြားဆောင်းပါးများကိုလည်း ဖတ်ပါ-

• Tekton ပိုက်လိုင်း - Kubernetes-ဇာတိပိုက်လိုင်းများ
• Nginx အတွက် ပြောင်းလဲနေသော မော်ဂျူးများကို တည်ဆောက်ခြင်း။
• ခွင့်ပြုချက်မရှိဘဲ ClickHouse မှ ClickHouse သို့ ပြောင်းရွှေ့ခြင်းသည် မည်သည့်အရာဆီသို့ ဦးတည်သွားသနည်း။
• Golang ရှိ ဆက်စပ်ပက်ကေ့ချ်ကို နားလည်ခြင်း။
• Docker ပုံများကိုကျုံ့ရန်ရိုးရှင်းသောလှည့်ကွက်သုံးခု
• ကွဲပြားသော ဝဘ်ပရောဂျက်များစွာကို အရန်သိမ်းခြင်း။

source: www.habr.com