കുബെർനെറ്റസ്: സിസ്റ്റം റിസോഴ്‌സ് മാനേജ്‌മെന്റ് കോൺഫിഗർ ചെയ്യേണ്ടത് എന്തുകൊണ്ട്?

ചട്ടം പോലെ, ഒരു ആപ്ലിക്കേഷന്റെ ശരിയായതും സുസ്ഥിരവുമായ പ്രവർത്തനത്തിനായി ഒരു സമർപ്പിത വിഭവങ്ങൾ നൽകേണ്ടത് എല്ലായ്പ്പോഴും ആവശ്യമാണ്. എന്നാൽ ഒരേ ശക്തിയിൽ നിരവധി ആപ്ലിക്കേഷനുകൾ പ്രവർത്തിക്കുന്നെങ്കിലോ? അവയിൽ ഓരോന്നിനും ആവശ്യമായ ഏറ്റവും കുറഞ്ഞ വിഭവങ്ങൾ എങ്ങനെ നൽകാം? നിങ്ങൾക്ക് എങ്ങനെ വിഭവ ഉപഭോഗം പരിമിതപ്പെടുത്താം? നോഡുകൾക്കിടയിൽ ലോഡ് എങ്ങനെ ശരിയായി വിതരണം ചെയ്യാം? ആപ്ലിക്കേഷൻ ലോഡ് വർധിച്ചാൽ തിരശ്ചീന സ്കെയിലിംഗ് സംവിധാനം പ്രവർത്തിക്കുന്നുവെന്ന് എങ്ങനെ ഉറപ്പാക്കാം?

സിസ്റ്റത്തിൽ ഏതൊക്കെ പ്രധാന ഉറവിടങ്ങൾ നിലവിലുണ്ടെന്ന് നിങ്ങൾ ആരംഭിക്കേണ്ടതുണ്ട് - ഇത് തീർച്ചയായും പ്രോസസ്സർ സമയവും റാമും ആണ്. k8s-ൽ ഈ റിസോഴ്സ് തരങ്ങൾ ഇനിപ്പറയുന്ന യൂണിറ്റുകളിൽ അളക്കുന്നു:

• സിപിയു - കോറുകളിൽ
• റാം - ബൈറ്റുകളിൽ

മാത്രമല്ല, ഓരോ റിസോഴ്സിനും രണ്ട് തരം ആവശ്യകതകൾ സജ്ജമാക്കാൻ കഴിയും - അഭ്യർത്ഥനകൾ и പരിധി. അഭ്യർത്ഥനകൾ - ഒരു കണ്ടെയ്‌നർ പ്രവർത്തിപ്പിക്കുന്നതിനുള്ള ഒരു നോഡിന്റെ സൗജന്യ ഉറവിടങ്ങൾക്കായുള്ള ഏറ്റവും കുറഞ്ഞ ആവശ്യകതകൾ വിവരിക്കുന്നു (മൊത്തം പോഡ്), അതേസമയം പരിധികൾ കണ്ടെയ്‌നറിന് ലഭ്യമായ ഉറവിടങ്ങളിൽ കടുത്ത പരിധി നിശ്ചയിക്കുന്നു.

മാനിഫെസ്റ്റിന് രണ്ട് തരങ്ങളെയും വ്യക്തമായി നിർവചിക്കേണ്ട ആവശ്യമില്ലെന്ന് മനസ്സിലാക്കേണ്ടത് പ്രധാനമാണ്, എന്നാൽ പെരുമാറ്റം ഇനിപ്പറയുന്നതായിരിക്കും:

• ഒരു റിസോഴ്സിന്റെ പരിധികൾ മാത്രമേ വ്യക്തമായി വ്യക്തമാക്കിയിട്ടുള്ളൂ എങ്കിൽ, ഈ റിസോഴ്സിനായുള്ള അഭ്യർത്ഥനകൾ സ്വയമേവ പരിധികൾക്ക് തുല്യമായ ഒരു മൂല്യം എടുക്കും (നിങ്ങൾക്ക് വിവരിക്കുന്ന എന്റിറ്റികളെ വിളിച്ച് ഇത് പരിശോധിക്കാവുന്നതാണ്). ആ. വാസ്തവത്തിൽ, കണ്ടെയ്നർ പ്രവർത്തിപ്പിക്കാൻ ആവശ്യമായ അതേ അളവിലുള്ള വിഭവങ്ങളിലേക്ക് പരിമിതപ്പെടുത്തും.
• ഒരു ഉറവിടത്തിനായി അഭ്യർത്ഥനകൾ മാത്രം വ്യക്തമായി വ്യക്തമാക്കിയിട്ടുണ്ടെങ്കിൽ, ഈ ഉറവിടത്തിൽ ഉയർന്ന നിയന്ത്രണങ്ങളൊന്നും സജ്ജീകരിച്ചിട്ടില്ല - അതായത്. കണ്ടെയ്നർ നോഡിന്റെ ഉറവിടങ്ങളാൽ മാത്രം പരിമിതപ്പെടുത്തിയിരിക്കുന്നു.

ഒരു നിർദ്ദിഷ്ട കണ്ടെയ്‌നറിന്റെ തലത്തിൽ മാത്രമല്ല, ഇനിപ്പറയുന്ന എന്റിറ്റികൾ ഉപയോഗിച്ച് നെയിംസ്‌പേസ് തലത്തിലും റിസോഴ്‌സ് മാനേജ്‌മെന്റ് കോൺഫിഗർ ചെയ്യാനും കഴിയും:

• ലിമിറ്റ്റേഞ്ച് — ns-ൽ കണ്ടെയ്‌നർ/പോഡ് ലെവലിലുള്ള നിയന്ത്രണ നയം വിവരിക്കുന്നു, കൂടാതെ കണ്ടെയ്‌നർ/പോഡിലെ ഡിഫോൾട്ട് പരിധികൾ വിവരിക്കുന്നതിനും അതുപോലെ തന്നെ കൊഴുപ്പുള്ള പാത്രങ്ങൾ/പോഡുകൾ (അല്ലെങ്കിൽ തിരിച്ചും) സൃഷ്ടിക്കുന്നത് തടയുന്നതിനും അവയുടെ എണ്ണം പരിമിതപ്പെടുത്തുക. പരിധികളിലും അഭ്യർത്ഥനകളിലും മൂല്യങ്ങളിൽ സാധ്യമായ വ്യത്യാസം നിർണ്ണയിക്കുക
• റിസോഴ്സ് ക്വാട്ടകൾ - ns-ലെ എല്ലാ കണ്ടെയ്‌നറുകൾക്കും പൊതുവായ നിയന്ത്രണ നയം വിവരിക്കുക, പരിസ്ഥിതികൾക്കിടയിൽ വിഭവങ്ങൾ ഡിലിമിറ്റ് ചെയ്യാൻ ഇത് ഉപയോഗിക്കുന്നു (നോഡ് തലത്തിൽ പരിസ്ഥിതികൾ കർശനമായി വേർതിരിക്കാത്തപ്പോൾ ഉപയോഗപ്രദമാണ്)

ഉറവിട പരിധികൾ സജ്ജമാക്കുന്ന മാനിഫെസ്റ്റുകളുടെ ഉദാഹരണങ്ങൾ ഇനിപ്പറയുന്നവയാണ്:

• നിർദ്ദിഷ്ട കണ്ടെയ്നർ തലത്തിൽ:

  containers:
  - name: app-nginx
    image: nginx
    resources:
      requests:
        memory: 1Gi
      limits:
        cpu: 200m

  ആ. ഈ സാഹചര്യത്തിൽ, nginx ഉപയോഗിച്ച് ഒരു കണ്ടെയ്‌നർ പ്രവർത്തിപ്പിക്കുന്നതിന്, നിങ്ങൾക്ക് നോഡിൽ കുറഞ്ഞത് 1G സൗജന്യ റാമും 0.2 CPU യും ആവശ്യമാണ്, അതേസമയം കണ്ടെയ്‌നറിന് 0.2 CPU ഉം നോഡിൽ ലഭ്യമായ എല്ലാ റാമും ഉപയോഗിക്കാനാകും.

• പൂർണ്ണസംഖ്യ തലത്തിൽ ns:

  apiVersion: v1
  kind: ResourceQuota
  metadata:
    name: nxs-test
  spec:
    hard:
      requests.cpu: 300m
      requests.memory: 1Gi
      limits.cpu: 700m
      limits.memory: 2Gi

  ആ. ഡിഫോൾട്ട് ns-ലെ എല്ലാ അഭ്യർത്ഥന കണ്ടെയ്‌നറുകളുടെയും ആകെത്തുക CPU-യ്‌ക്ക് 300m, OP-യ്‌ക്ക് 1G എന്നിവയിൽ കവിയരുത്, കൂടാതെ എല്ലാ പരിധിയുടെയും ആകെത്തുക CPU-യ്‌ക്ക് 700m ഉം OP-യ്‌ക്ക് 2G ഉം ആണ്.

• ns-ലെ കണ്ടെയ്‌നറുകൾക്കുള്ള ഡിഫോൾട്ട് പരിധികൾ:

  apiVersion: v1
  kind: LimitRange
  metadata:
    name: nxs-limit-per-container
  spec:
   limits:
     - type: Container
       defaultRequest:
         cpu: 100m
         memory: 1Gi
       default:
         cpu: 1
         memory: 2Gi
       min:
         cpu: 50m
         memory: 500Mi
       max:
         cpu: 2
         memory: 4Gi

  ആ. എല്ലാ കണ്ടെയ്‌നറുകൾക്കുമുള്ള ഡിഫോൾട്ട് നെയിംസ്‌പെയ്‌സിൽ, CPU-യ്‌ക്ക് 100m, OP-യ്‌ക്ക് 1G എന്നിങ്ങനെ അഭ്യർത്ഥന സജ്ജീകരിക്കും, പരിധി - 1 CPU, 2G. അതേ സമയം, CPU (50m < x < 2), RAM (500M < x < 4G) എന്നിവയ്‌ക്കായുള്ള അഭ്യർത്ഥന/പരിധിയിലെ സാധ്യമായ മൂല്യങ്ങളിലും ഒരു പരിധി സജ്ജീകരിച്ചിരിക്കുന്നു.

• പോഡ്-ലെവൽ നിയന്ത്രണങ്ങൾ ns:

  apiVersion: v1
  kind: LimitRange
  metadata:
   name: nxs-limit-pod
  spec:
   limits:
   - type: Pod
     max:
       cpu: 4
       memory: 1Gi

  ആ. ഡിഫോൾട്ടിലുള്ള ഓരോ പോഡിനും 4 vCPU, 1G എന്നിവയുടെ പരിധി ഉണ്ടായിരിക്കും.

ഈ നിയന്ത്രണങ്ങൾ ക്രമീകരിക്കുന്നതിലൂടെ നമുക്ക് എന്ത് നേട്ടങ്ങൾ നൽകാനാകുമെന്ന് ഇപ്പോൾ ഞാൻ നിങ്ങളോട് പറയാൻ ആഗ്രഹിക്കുന്നു.

നോഡുകൾക്കിടയിൽ ബാലൻസിങ് മെക്കാനിസം ലോഡ് ചെയ്യുക

നിങ്ങൾക്കറിയാവുന്നതുപോലെ, നോഡുകൾക്കിടയിൽ പോഡുകളുടെ വിതരണത്തിന് k8s ഘടകം ഉത്തരവാദിയാണ് ഷെഡ്യൂളർ, ഇത് ഒരു പ്രത്യേക അൽഗോരിതം അനുസരിച്ച് പ്രവർത്തിക്കുന്നു. സമാരംഭിക്കുന്നതിനുള്ള ഒപ്റ്റിമൽ നോഡ് തിരഞ്ഞെടുക്കുമ്പോൾ ഈ അൽഗോരിതം രണ്ട് ഘട്ടങ്ങളിലൂടെ കടന്നുപോകുന്നു:

1. ഫിൽട്ടറിംഗ്
2. റേഞ്ചിംഗ്

ആ. വിവരിച്ച നയമനുസരിച്ച്, ഒരു സെറ്റിനെ അടിസ്ഥാനമാക്കി ഒരു പോഡ് സമാരംഭിക്കാൻ കഴിയുന്ന നോഡുകൾ തുടക്കത്തിൽ തിരഞ്ഞെടുക്കുന്നു പ്രവചിക്കുന്നു (പോഡ് - PodFitsResources പ്രവർത്തിപ്പിക്കാൻ നോഡിന് മതിയായ ഉറവിടങ്ങൾ ഉണ്ടോ എന്ന് പരിശോധിക്കുന്നത് ഉൾപ്പെടെ), തുടർന്ന് ഈ ഓരോ നോഡുകൾക്കും അനുസരിച്ച് മുൻഗണനകൾ പോയിന്റുകൾ നൽകപ്പെടുന്നു (ഒരു നോഡിന് കൂടുതൽ സൌജന്യമായ ഉറവിടങ്ങൾ ഉൾപ്പെടെ, കൂടുതൽ പോയിന്റുകൾ നൽകപ്പെടും - LeastResourceAllocation/LeastRequestedPriority/BalancedResourceAllocation) കൂടാതെ ഏറ്റവും കൂടുതൽ പോയിന്റുകളുള്ള നോഡിൽ പോഡ് സമാരംഭിക്കുന്നു (നിരവധി നോഡുകൾ ഒരേസമയം ഈ അവസ്ഥയെ തൃപ്തിപ്പെടുത്തുന്നുവെങ്കിൽ, തുടർന്ന് ക്രമരഹിതമായ ഒന്ന് തിരഞ്ഞെടുത്തു) .

അതേ സമയം, ഷെഡ്യൂളർ, ഒരു നോഡിന്റെ ലഭ്യമായ ഉറവിടങ്ങൾ വിലയിരുത്തുമ്പോൾ, etcd-യിൽ സംഭരിച്ചിരിക്കുന്ന ഡാറ്റയാൽ നയിക്കപ്പെടുമെന്ന് നിങ്ങൾ മനസ്സിലാക്കേണ്ടതുണ്ട് - അതായത്. ഈ നോഡിൽ പ്രവർത്തിക്കുന്ന ഓരോ പോഡിന്റെയും അഭ്യർത്ഥിച്ച/പരിമിത വിഭവത്തിന്റെ അളവിന്, എന്നാൽ യഥാർത്ഥ വിഭവ ഉപഭോഗത്തിന് വേണ്ടിയല്ല. ഈ വിവരം കമാൻഡ് ഔട്ട്പുട്ടിൽ നിന്ന് ലഭിക്കും kubectl describe node $NODEഉദാഹരണത്തിന്:

# kubectl describe nodes nxs-k8s-s1
..
Non-terminated Pods:         (9 in total)
  Namespace                  Name                                         CPU Requests  CPU Limits  Memory Requests  Memory Limits  AGE
  ---------                  ----                                         ------------  ----------  ---------------  -------------  ---
  ingress-nginx              nginx-ingress-controller-754b85bf44-qkt2t    0 (0%)        0 (0%)      0 (0%)           0 (0%)         233d
  kube-system                kube-flannel-26bl4                           150m (0%)     300m (1%)   64M (0%)         500M (1%)      233d
  kube-system                kube-proxy-exporter-cb629                    0 (0%)        0 (0%)      0 (0%)           0 (0%)         233d
  kube-system                kube-proxy-x9fsc                             0 (0%)        0 (0%)      0 (0%)           0 (0%)         233d
  kube-system                nginx-proxy-k8s-worker-s1                    25m (0%)      300m (1%)   32M (0%)         512M (1%)      233d
  nxs-monitoring             alertmanager-main-1                          100m (0%)     100m (0%)   425Mi (1%)       25Mi (0%)      233d
  nxs-logging                filebeat-lmsmp                               100m (0%)     0 (0%)      100Mi (0%)       200Mi (0%)     233d
  nxs-monitoring             node-exporter-v4gdq                          112m (0%)     122m (0%)   200Mi (0%)       220Mi (0%)     233d
Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.)
  Resource           Requests           Limits
  --------           --------           ------
  cpu                487m (3%)          822m (5%)
  memory             15856217600 (2%)  749976320 (3%)
  ephemeral-storage  0 (0%)             0 (0%)

ഒരു നിർദ്ദിഷ്‌ട നോഡിൽ പ്രവർത്തിക്കുന്ന എല്ലാ പോഡുകളും ഓരോ പോഡും അഭ്യർത്ഥിക്കുന്ന ഉറവിടങ്ങളും ഇവിടെ കാണാം. cronjob-cron-events-1573793820-xt6q9 പോഡ് സമാരംഭിക്കുമ്പോൾ ഷെഡ്യൂളർ ലോഗുകൾ എങ്ങനെയായിരിക്കുമെന്ന് ഇതാ (സ്റ്റാർട്ടപ്പ് കമാൻഡ് ആർഗ്യുമെന്റുകളിൽ 10-ാമത്തെ ലോഗിംഗ് ലെവൽ സജ്ജീകരിക്കുമ്പോൾ ഈ വിവരങ്ങൾ ഷെഡ്യൂളർ ലോഗിൽ ദൃശ്യമാകും -v=10):

ലോഗ്

I1115 07:57:21.637791       1 scheduling_queue.go:908] About to try and schedule pod nxs-stage/cronjob-cron-events-1573793820-xt6q9                                                                                                                                           
I1115 07:57:21.637804       1 scheduler.go:453] Attempting to schedule pod: nxs-stage/cronjob-cron-events-1573793820-xt6q9                                                                                                                                                    
I1115 07:57:21.638285       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s5 is allowed, Node is running only 16 out of 110 Pods.                                                                               
I1115 07:57:21.638300       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s6 is allowed, Node is running only 20 out of 110 Pods.                                                                               
I1115 07:57:21.638322       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s3 is allowed, Node is running only 20 out of 110 Pods.                                                                               
I1115 07:57:21.638322       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s4 is allowed, Node is running only 17 out of 110 Pods.                                                                               
I1115 07:57:21.638334       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s10 is allowed, Node is running only 16 out of 110 Pods.                                                                              
I1115 07:57:21.638365       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s12 is allowed, Node is running only 9 out of 110 Pods.                                                                               
I1115 07:57:21.638334       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s11 is allowed, Node is running only 11 out of 110 Pods.                                                                              
I1115 07:57:21.638385       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s1 is allowed, Node is running only 19 out of 110 Pods.                                                                               
I1115 07:57:21.638402       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s2 is allowed, Node is running only 21 out of 110 Pods.                                                                               
I1115 07:57:21.638383       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s9 is allowed, Node is running only 16 out of 110 Pods.                                                                               
I1115 07:57:21.638335       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s8 is allowed, Node is running only 18 out of 110 Pods.                                                                               
I1115 07:57:21.638408       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s13 is allowed, Node is running only 8 out of 110 Pods.                                                                               
I1115 07:57:21.638478       1 predicates.go:1369] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s10 is allowed, existing pods anti-affinity terms satisfied.                                                                         
I1115 07:57:21.638505       1 predicates.go:1369] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s8 is allowed, existing pods anti-affinity terms satisfied.                                                                          
I1115 07:57:21.638577       1 predicates.go:1369] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s9 is allowed, existing pods anti-affinity terms satisfied.                                                                          
I1115 07:57:21.638583       1 predicates.go:829] Schedule Pod nxs-stage/cronjob-cron-events-1573793820-xt6q9 on Node nxs-k8s-s7 is allowed, Node is running only 25 out of 110 Pods.                                                                               
I1115 07:57:21.638932       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s10: BalancedResourceAllocation, capacity 39900 millicores 66620178432 memory bytes, total request 2343 millicores 9640186880 memory bytes, score 9        
I1115 07:57:21.638946       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s10: LeastResourceAllocation, capacity 39900 millicores 66620178432 memory bytes, total request 2343 millicores 9640186880 memory bytes, score 8           
I1115 07:57:21.638961       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s9: BalancedResourceAllocation, capacity 39900 millicores 66620170240 memory bytes, total request 4107 millicores 11307422720 memory bytes, score 9        
I1115 07:57:21.638971       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s8: BalancedResourceAllocation, capacity 39900 millicores 66620178432 memory bytes, total request 5847 millicores 24333637120 memory bytes, score 7        
I1115 07:57:21.638975       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s9: LeastResourceAllocation, capacity 39900 millicores 66620170240 memory bytes, total request 4107 millicores 11307422720 memory bytes, score 8           
I1115 07:57:21.638990       1 resource_allocation.go:78] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s8: LeastResourceAllocation, capacity 39900 millicores 66620178432 memory bytes, total request 5847 millicores 24333637120 memory bytes, score 7           
I1115 07:57:21.639022       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s10: TaintTolerationPriority, Score: (10)                                                                                                        
I1115 07:57:21.639030       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s8: TaintTolerationPriority, Score: (10)                                                                                                         
I1115 07:57:21.639034       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s9: TaintTolerationPriority, Score: (10)                                                                                                         
I1115 07:57:21.639041       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s10: NodeAffinityPriority, Score: (0)                                                                                                            
I1115 07:57:21.639053       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s8: NodeAffinityPriority, Score: (0)                                                                                                             
I1115 07:57:21.639059       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s9: NodeAffinityPriority, Score: (0)                                                                                                             
I1115 07:57:21.639061       1 interpod_affinity.go:237] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s10: InterPodAffinityPriority, Score: (0)                                                                                                                   
I1115 07:57:21.639063       1 selector_spreading.go:146] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s10: SelectorSpreadPriority, Score: (10)                                                                                                                   
I1115 07:57:21.639073       1 interpod_affinity.go:237] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s8: InterPodAffinityPriority, Score: (0)                                                                                                                    
I1115 07:57:21.639077       1 selector_spreading.go:146] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s8: SelectorSpreadPriority, Score: (10)                                                                                                                    
I1115 07:57:21.639085       1 interpod_affinity.go:237] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s9: InterPodAffinityPriority, Score: (0)                                                                                                                    
I1115 07:57:21.639088       1 selector_spreading.go:146] cronjob-cron-events-1573793820-xt6q9 -> nxs-k8s-s9: SelectorSpreadPriority, Score: (10)                                                                                                                    
I1115 07:57:21.639103       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s10: SelectorSpreadPriority, Score: (10)                                                                                                         
I1115 07:57:21.639109       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s8: SelectorSpreadPriority, Score: (10)                                                                                                          
I1115 07:57:21.639114       1 generic_scheduler.go:726] cronjob-cron-events-1573793820-xt6q9_nxs-stage -> nxs-k8s-s9: SelectorSpreadPriority, Score: (10)                                                                                                          
I1115 07:57:21.639127       1 generic_scheduler.go:781] Host nxs-k8s-s10 => Score 100037                                                                                                                                                                            
I1115 07:57:21.639150       1 generic_scheduler.go:781] Host nxs-k8s-s8 => Score 100034                                                                                                                                                                             
I1115 07:57:21.639154       1 generic_scheduler.go:781] Host nxs-k8s-s9 => Score 100037                                                                                                                                                                             
I1115 07:57:21.639267       1 scheduler_binder.go:269] AssumePodVolumes for pod "nxs-stage/cronjob-cron-events-1573793820-xt6q9", node "nxs-k8s-s10"                                                                                                               
I1115 07:57:21.639286       1 scheduler_binder.go:279] AssumePodVolumes for pod "nxs-stage/cronjob-cron-events-1573793820-xt6q9", node "nxs-k8s-s10": all PVCs bound and nothing to do                                                                             
I1115 07:57:21.639333       1 factory.go:733] Attempting to bind cronjob-cron-events-1573793820-xt6q9 to nxs-k8s-s10

തുടക്കത്തിൽ ഷെഡ്യൂളർ ഫിൽട്ടർ ചെയ്യുകയും അത് സമാരംഭിക്കാവുന്ന 3 നോഡുകളുടെ ഒരു ലിസ്റ്റ് സൃഷ്ടിക്കുകയും ചെയ്യുന്നത് ഇവിടെ കാണാം (nxs-k8s-s8, nxs-k8s-s9, nxs-k8s-s10). തുടർന്ന്, ഏറ്റവും അനുയോജ്യമായ നോഡ് നിർണ്ണയിക്കുന്നതിനായി ഈ ഓരോ നോഡുകൾക്കുമായി നിരവധി പാരാമീറ്ററുകൾ (ബാലൻസ്ഡ് റിസോഴ്സ് അലോക്കേഷൻ, ലീസ്റ്റ് റിസോഴ്സ് അലോക്കേഷൻ ഉൾപ്പെടെ) അടിസ്ഥാനമാക്കി സ്കോറുകൾ കണക്കാക്കുന്നു. ആത്യന്തികമായി, ഏറ്റവും കൂടുതൽ പോയിന്റുകളുള്ള നോഡിലാണ് പോഡ് ഷെഡ്യൂൾ ചെയ്‌തിരിക്കുന്നത് (ഇവിടെ ഒരേസമയം രണ്ട് നോഡുകൾക്ക് ഒരേ പോയിന്റ് 100037 ഉണ്ട്, അതിനാൽ ക്രമരഹിതമായ ഒന്ന് തിരഞ്ഞെടുത്തു - nxs-k8s-s10).

തീരുമാനം: നിയന്ത്രണങ്ങളൊന്നും സജ്ജീകരിക്കാത്ത പോഡുകൾ ഒരു നോഡ് പ്രവർത്തിപ്പിക്കുകയാണെങ്കിൽ, k8s-ന് (വിഭവ ഉപഭോഗത്തിന്റെ വീക്ഷണകോണിൽ നിന്ന്) ഇത് ഈ നോഡിൽ അത്തരം പോഡുകൾ ഇല്ലെന്നതിന് തുല്യമായിരിക്കും. അതിനാൽ, നിങ്ങൾക്ക് സോപാധികമായി, ആഹ്ലാദകരമായ പ്രക്രിയയുള്ള ഒരു പോഡ് ഉണ്ടെങ്കിൽ (ഉദാഹരണത്തിന്, wowza) അതിന് നിയന്ത്രണങ്ങളൊന്നും സജ്ജീകരിച്ചിട്ടില്ലെങ്കിൽ, ഈ പോഡ് യഥാർത്ഥത്തിൽ നോഡിന്റെ എല്ലാ വിഭവങ്ങളും ഭക്ഷിക്കുമ്പോൾ ഒരു സാഹചര്യം ഉണ്ടാകാം, എന്നാൽ k8s ന് ഈ നോഡ് അൺലോഡ് ചെയ്‌തതായി കണക്കാക്കുന്നു, വർക്കിംഗ് പോഡുകൾ ഇല്ലാത്ത ഒരു നോഡായി റാങ്ക് ചെയ്യുമ്പോൾ (കൃത്യമായി ലഭ്യമായ ഉറവിടങ്ങൾ വിലയിരുത്തുന്ന പോയിന്റുകളിൽ) ഇതിന് തുല്യമായ പോയിന്റുകൾ നൽകും, ഇത് ആത്യന്തികമായി നോഡുകൾക്കിടയിൽ ലോഡ് അസമമായ വിതരണത്തിലേക്ക് നയിച്ചേക്കാം.

പോഡിന്റെ കുടിയൊഴിപ്പിക്കൽ

നിങ്ങൾക്കറിയാവുന്നതുപോലെ, ഓരോ പോഡിനും 3 QoS ക്ലാസുകളിൽ ഒന്ന് നൽകിയിട്ടുണ്ട്:

1. ഉറപ്പുനൽകി - പോഡിലെ ഓരോ കണ്ടെയ്‌നറിനും മെമ്മറിക്കും സിപിയുവിനും ഒരു അഭ്യർത്ഥനയും പരിധിയും വ്യക്തമാക്കുമ്പോൾ അസൈൻ ചെയ്യുന്നു, ഈ മൂല്യങ്ങൾ പൊരുത്തപ്പെടണം
2. പൊട്ടുന്ന - പോഡിലെ ഒരു കണ്ടെയ്‌നറിനെങ്കിലും അഭ്യർത്ഥനയും പരിധിയും ഉണ്ട്, അഭ്യർത്ഥന < പരിധി
3. നല്ല ശ്രമം - പോഡിലെ ഒരു കണ്ടെയ്‌നർ പോലും പരിമിതമല്ലെങ്കിൽ

അതേ സമയം, ഒരു നോഡിന് വിഭവങ്ങളുടെ അഭാവം (ഡിസ്ക്, മെമ്മറി) അനുഭവപ്പെടുമ്പോൾ, പോഡിന്റെ മുൻഗണനയും അതിന്റെ QoS ക്ലാസും കണക്കിലെടുക്കുന്ന ഒരു പ്രത്യേക അൽഗോരിതം അനുസരിച്ച് kubelet പോഡുകൾ റാങ്ക് ചെയ്യാനും പുറത്താക്കാനും തുടങ്ങുന്നു. ഉദാഹരണത്തിന്, നമ്മൾ RAM നെക്കുറിച്ചാണ് സംസാരിക്കുന്നതെങ്കിൽ, QoS ക്ലാസിനെ അടിസ്ഥാനമാക്കി, ഇനിപ്പറയുന്ന തത്വമനുസരിച്ച് പോയിന്റുകൾ നൽകുന്നു:

• ഗ്യാരണ്ടി:-998
• നല്ല ശ്രമം: 1000
• പൊട്ടിത്തെറിക്കാവുന്ന: കുറഞ്ഞത്(പരമാവധി(2, 1000 - (1000 * മെമ്മറി റിക്വസ്റ്റ് ബൈറ്റുകൾ) / മെഷീൻ മെമ്മറി കപ്പാസിറ്റി ബൈറ്റുകൾ), 999)

ആ. അതേ മുൻ‌ഗണനയോടെ, നോഡിൽ നിന്ന് ഏറ്റവും മികച്ച പ്രയത്‌നമുള്ള QoS ക്ലാസ് ഉപയോഗിച്ച് kubelet ആദ്യം പോഡുകൾ പുറത്താക്കും.

തീരുമാനം: നോഡിലെ വിഭവങ്ങളുടെ അഭാവത്തിൽ, ആവശ്യമുള്ള പോഡ് നോഡിൽ നിന്ന് പുറത്താക്കപ്പെടാനുള്ള സാധ്യത കുറയ്ക്കാൻ നിങ്ങൾ ആഗ്രഹിക്കുന്നുവെങ്കിൽ, മുൻഗണനയ്‌ക്കൊപ്പം, അതിനുള്ള അഭ്യർത്ഥന/പരിധി സജ്ജീകരിക്കുന്നതും നിങ്ങൾ ശ്രദ്ധിക്കേണ്ടതുണ്ട്.

ആപ്ലിക്കേഷൻ പോഡുകളുടെ (HPA) തിരശ്ചീന ഓട്ടോസ്‌കേലിംഗിനുള്ള സംവിധാനം

റിസോഴ്‌സുകളുടെ (സിസ്റ്റം - സിപിയു/റാം അല്ലെങ്കിൽ യൂസർ - ആർ‌പി‌എസ്) ഉപയോഗത്തെ ആശ്രയിച്ച് പോഡുകളുടെ എണ്ണം സ്വയമേവ വർദ്ധിപ്പിക്കുകയും കുറയ്ക്കുകയും ചെയ്യുക എന്നതാണ് ചുമതല, അത്തരം ഒരു k8s എന്റിറ്റി HPA (തിരശ്ചീന പോഡ് ഓട്ടോസ്കെയിലർ). ഇതിന്റെ അൽഗോരിതം ഇപ്രകാരമാണ്:

1. നിരീക്ഷിച്ച ഉറവിടത്തിന്റെ നിലവിലെ റീഡിംഗുകൾ നിർണ്ണയിക്കപ്പെടുന്നു (നിലവിലെ മെട്രിക് മൂല്യം)
2. റിസോഴ്സിനായി ആവശ്യമുള്ള മൂല്യങ്ങൾ നിർണ്ണയിക്കപ്പെടുന്നു (ആവശ്യമുള്ള മെട്രിക് മൂല്യം), അവ സിസ്റ്റം ഉറവിടങ്ങൾക്കായി അഭ്യർത്ഥന ഉപയോഗിച്ച് സജ്ജീകരിച്ചിരിക്കുന്നു
3. നിലവിലുള്ള പകർപ്പുകളുടെ എണ്ണം നിർണ്ണയിക്കപ്പെടുന്നു (നിലവിലെ പകർപ്പുകൾ)
4. ഇനിപ്പറയുന്ന സൂത്രവാക്യം ആവശ്യമുള്ള പകർപ്പുകളുടെ എണ്ണം കണക്കാക്കുന്നു (ആവശ്യമുള്ള പകർപ്പുകൾ)
   ആഗ്രഹിച്ച പകർപ്പുകൾ = [നിലവിലെ പകർപ്പുകൾ * (നിലവിലെ മെട്രിക് മൂല്യം / ആവശ്യമുള്ള മെട്രിക് മൂല്യം)]

ഈ സാഹചര്യത്തിൽ, കോഫിഫിഷ്യന്റ് (നിലവിലെ മെട്രിക് മൂല്യം / ആവശ്യമുള്ള മെട്രിക് മൂല്യം) 1 ന് അടുത്തായിരിക്കുമ്പോൾ സ്കെയിലിംഗ് സംഭവിക്കില്ല (ഈ സാഹചര്യത്തിൽ, നമുക്ക് അനുവദനീയമായ പിശക് സ്വയം സജ്ജമാക്കാൻ കഴിയും; സ്ഥിരസ്ഥിതിയായി ഇത് 0.1 ആണ്).

ആപ്പ്-ടെസ്റ്റ് ആപ്ലിക്കേഷന്റെ (വിന്യാസം എന്ന് വിവരിച്ചിരിക്കുന്നത്) ഉദാഹരണം ഉപയോഗിച്ച് hpa എങ്ങനെ പ്രവർത്തിക്കുന്നുവെന്ന് നോക്കാം, അവിടെ CPU ഉപഭോഗം അനുസരിച്ച് പകർപ്പുകളുടെ എണ്ണം മാറ്റേണ്ടത് ആവശ്യമാണ്:

• ആപ്ലിക്കേഷൻ മാനിഫെസ്റ്റ്

  kind: Deployment
  apiVersion: apps/v1beta2
  metadata:
  name: app-test
  spec:
  selector:
  matchLabels:
  app: app-test
  replicas: 2
  template:
  metadata:
  labels:
  app: app-test
  spec:
  containers:
  - name: nginx
  image: registry.nixys.ru/generic-images/nginx
  imagePullPolicy: Always
  resources:
  requests:
  cpu: 60m
  ports:
  - name: http
  containerPort: 80
  - name: nginx-exporter
  image: nginx/nginx-prometheus-exporter
  resources:
  requests:
  cpu: 30m
  ports:
  - name: nginx-exporter
  containerPort: 9113
  args:
  - -nginx.scrape-uri
  - http://127.0.0.1:80/nginx-status

  ആ. ആപ്ലിക്കേഷൻ പോഡ് തുടക്കത്തിൽ രണ്ട് സന്ദർഭങ്ങളിൽ സമാരംഭിച്ചതായി ഞങ്ങൾ കാണുന്നു, അവയിൽ ഓരോന്നിലും രണ്ട് nginx, nginx-എക്‌സ്‌പോർട്ടർ കണ്ടെയ്‌നറുകൾ അടങ്ങിയിരിക്കുന്നു, അവയിൽ ഓരോന്നിനും ഒരു നിർദ്ദിഷ്ട അഭ്യർത്ഥനകൾ സിപിയുവിനായി.

• HPA മാനിഫെസ്റ്റോ

  apiVersion: autoscaling/v2beta2
  kind: HorizontalPodAutoscaler
  metadata:
  name: app-test-hpa
  spec:
  maxReplicas: 10
  minReplicas: 2
  scaleTargetRef:
  apiVersion: extensions/v1beta1
  kind: Deployment
  name: app-test
  metrics:
  - type: Resource
  resource:
  name: cpu
  target:
  type: Utilization
  averageUtilization: 30

  ആ. ഡിപ്ലോയ്‌മെന്റ് ആപ്പ്-ടെസ്റ്റ് നിരീക്ഷിക്കുകയും സിപിയു ഇൻഡിക്കേറ്ററിനെ അടിസ്ഥാനമാക്കി ആപ്ലിക്കേഷനുമായി പോഡുകളുടെ എണ്ണം ക്രമീകരിക്കുകയും ചെയ്യുന്ന ഒരു എച്ച്പിഎ ഞങ്ങൾ സൃഷ്ടിച്ചു (പോഡ് ആവശ്യപ്പെടുന്ന സിപിയുവിന്റെ 30% ഉപയോഗിക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു), പകർപ്പുകളുടെ എണ്ണത്തിൽ 2-10 പരിധി.

  ഇപ്പോൾ, ചൂളകളിലൊന്നിൽ ഒരു ലോഡ് പ്രയോഗിച്ചാൽ hpa പ്രവർത്തനത്തിന്റെ സംവിധാനം നോക്കാം:

   # kubectl top pod
  NAME                                                   CPU(cores)   MEMORY(bytes)
  app-test-78559f8f44-pgs58            101m         243Mi
  app-test-78559f8f44-cj4jz            4m           240Mi

മൊത്തത്തിൽ ഞങ്ങൾക്ക് ഇനിപ്പറയുന്നവയുണ്ട്:

• ആവശ്യമുള്ള മൂല്യം (ആവശ്യമുള്ള മെട്രിക് മൂല്യം) - hpa ക്രമീകരണങ്ങൾ അനുസരിച്ച്, ഞങ്ങൾക്ക് 30% ഉണ്ട്
• നിലവിലെ മൂല്യം (currentMetricValue) - കണക്കുകൂട്ടലിനായി, കൺട്രോളർ-മാനേജർ %-ൽ വിഭവ ഉപഭോഗത്തിന്റെ ശരാശരി മൂല്യം കണക്കാക്കുന്നു, അതായത്. സോപാധികമായി ഇനിപ്പറയുന്നവ ചെയ്യുന്നു:
  1. മെട്രിക് സെർവറിൽ നിന്ന് പോഡ് മെട്രിക്സിന്റെ കേവല മൂല്യങ്ങൾ സ്വീകരിക്കുന്നു, അതായത്. 101 മീറ്ററും 4 മീറ്ററും
  2. ശരാശരി കേവല മൂല്യം കണക്കാക്കുന്നു, അതായത്. (101m + 4m) / 2 = 53m
  3. ആവശ്യമുള്ള വിഭവ ഉപഭോഗത്തിന് കേവല മൂല്യം ലഭിക്കുന്നു (ഇതിനായി, എല്ലാ കണ്ടെയ്‌നറുകളുടെയും അഭ്യർത്ഥനകൾ സംഗ്രഹിച്ചിരിക്കുന്നു) 60m + 30m = 90m
  4. അഭ്യർത്ഥന പോഡുമായി ബന്ധപ്പെട്ട CPU ഉപഭോഗത്തിന്റെ ശരാശരി ശതമാനം കണക്കാക്കുന്നു, അതായത്. 53 മി / 90 മി * 100% = 59%

പകർപ്പുകളുടെ എണ്ണം മാറ്റേണ്ടതുണ്ടോ എന്ന് നിർണ്ണയിക്കേണ്ടതെല്ലാം ഇപ്പോൾ ഞങ്ങളുടെ പക്കലുണ്ട്; ഇത് ചെയ്യുന്നതിന്, ഞങ്ങൾ ഗുണകം കണക്കാക്കുന്നു:

ratio = 59% / 30% = 1.96

ആ. പകർപ്പുകളുടെ എണ്ണം ~2 മടങ്ങ് വർദ്ധിപ്പിക്കുകയും തുക [2 * 1.96] = 4 ആയി വർദ്ധിപ്പിക്കുകയും വേണം.

തീരുമാനം: നിങ്ങൾക്ക് കാണാനാകുന്നതുപോലെ, ഈ സംവിധാനം പ്രവർത്തിക്കുന്നതിന്, നിരീക്ഷിച്ച പോഡിലെ എല്ലാ കണ്ടെയ്നറുകൾക്കുമുള്ള അഭ്യർത്ഥനകളുടെ സാന്നിധ്യമാണ് ആവശ്യമായ വ്യവസ്ഥ.

നോഡുകളുടെ തിരശ്ചീന ഓട്ടോസ്‌കേലിംഗിനുള്ള സംവിധാനം (ക്ലസ്റ്റർ ഓട്ടോസ്‌കേലർ)

ലോഡ് സർജുകളുടെ സമയത്ത് സിസ്റ്റത്തിലെ നെഗറ്റീവ് ആഘാതം നിർവീര്യമാക്കുന്നതിന്, ഒരു കോൺഫിഗർ ചെയ്ത എച്ച്പിഎ മതിയാകില്ല. ഉദാഹരണത്തിന്, hpa കൺട്രോളർ മാനേജറിലെ ക്രമീകരണങ്ങൾ അനുസരിച്ച്, പകർപ്പുകളുടെ എണ്ണം 2 മടങ്ങ് വർദ്ധിപ്പിക്കണമെന്ന് അത് തീരുമാനിക്കുന്നു, എന്നാൽ അത്തരം ധാരാളം പോഡുകൾ പ്രവർത്തിപ്പിക്കുന്നതിന് നോഡുകൾക്ക് സ്വതന്ത്ര ഉറവിടങ്ങളില്ല (അതായത് നോഡിന് നൽകാൻ കഴിയില്ല അഭ്യർത്ഥന പോഡിലേക്ക് വിഭവങ്ങൾ അഭ്യർത്ഥിച്ചു) കൂടാതെ ഈ പോഡുകൾ തീർച്ചപ്പെടുത്താത്ത അവസ്ഥയിലേക്ക് മാറുന്നു.

ഈ സാഹചര്യത്തിൽ, ദാതാവിന് അനുബന്ധമായ IaaS/PaaS ഉണ്ടെങ്കിൽ (ഉദാഹരണത്തിന്, GKE/GCE, AKS, EKS മുതലായവ), ഇതുപോലുള്ള ഒരു ടൂൾ നോഡ് ഓട്ടോസ്കെയിലർ. ക്ലസ്റ്ററിലും പോഡുകളിലും റിസോഴ്‌സുകളുടെ അഭാവമുണ്ടെങ്കിൽ, ക്ലസ്റ്ററിലെ ഏറ്റവും കുറഞ്ഞ നോഡുകളുടെ എണ്ണം സജ്ജീകരിക്കാനും നിലവിലെ നോഡുകളുടെ എണ്ണം സ്വയമേവ ക്രമീകരിക്കാനും ഇത് നിങ്ങളെ അനുവദിക്കുന്നു (ഒരു നോഡ് ഓർഡർ/നീക്കം ചെയ്യാൻ ക്ലൗഡ് പ്രൊവൈഡർ API-യെ വിളിച്ച്). ഷെഡ്യൂൾ ചെയ്യാൻ കഴിയില്ല (തീർച്ചപ്പെടുത്താത്ത അവസ്ഥയിലാണ്).

തീരുമാനം: നോഡുകൾ സ്വയമേവ സ്‌കെയിൽ ചെയ്യാൻ, പോഡ് കണ്ടെയ്‌നറുകളിൽ അഭ്യർത്ഥനകൾ സജ്ജീകരിക്കേണ്ടത് ആവശ്യമാണ്, അതുവഴി k8-കൾക്ക് നോഡുകളിലെ ലോഡ് ശരിയായി വിലയിരുത്താനും അതിനനുസരിച്ച് അടുത്ത പോഡ് സമാരംഭിക്കുന്നതിന് ക്ലസ്റ്ററിൽ ഉറവിടങ്ങളൊന്നുമില്ലെന്ന് റിപ്പോർട്ടുചെയ്യാനും കഴിയും.

തീരുമാനം

ആപ്ലിക്കേഷൻ വിജയകരമായി പ്രവർത്തിക്കുന്നതിന് കണ്ടെയ്നർ റിസോഴ്സ് പരിധികൾ സജ്ജീകരിക്കേണ്ട ആവശ്യമില്ല എന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്, എന്നാൽ ഇനിപ്പറയുന്ന കാരണങ്ങളാൽ അങ്ങനെ ചെയ്യുന്നതാണ് നല്ലത്:

1. k8s നോഡുകൾക്കിടയിലുള്ള ലോഡ് ബാലൻസിങ്ങിന്റെ കാര്യത്തിൽ ഷെഡ്യൂളറിന്റെ കൂടുതൽ കൃത്യമായ പ്രവർത്തനത്തിന്
2. "പോഡ് എവിക്ഷൻ" ഇവന്റ് സംഭവിക്കാനുള്ള സാധ്യത കുറയ്ക്കുന്നതിന്
3. ആപ്ലിക്കേഷൻ പോഡുകളുടെ (HPA) തിരശ്ചീനമായ ഓട്ടോസ്കെയിലിംഗ് പ്രവർത്തിക്കുന്നതിന്
4. ക്ലൗഡ് ദാതാക്കൾക്കുള്ള നോഡുകളുടെ തിരശ്ചീന ഓട്ടോസ്‌കേലിംഗിനായി (ക്ലസ്റ്റർ ഓട്ടോസ്‌കേലിംഗ്).

ഞങ്ങളുടെ ബ്ലോഗിലെ മറ്റ് ലേഖനങ്ങളും വായിക്കുക:

• ടെക്ടൺ പൈപ്പ്ലൈൻ - കുബർനെറ്റസ്-നേറ്റീവ് പൈപ്പ്ലൈനുകൾ
• Nginx-നായി ഡൈനാമിക് മൊഡ്യൂളുകൾ നിർമ്മിക്കുന്നു
• ClickHouse-ൽ നിന്ന് അനുമതിയില്ലാതെ ClickHouse-ലേക്ക് അനുമതിയോടെയുള്ള മൈഗ്രേഷൻ എന്തിലേക്ക് നയിച്ചു?
• ഗോലാങ്ങിലെ സന്ദർഭ പാക്കേജ് മനസ്സിലാക്കുന്നു
• ഡോക്കർ ഇമേജുകൾ ചുരുക്കുന്നതിനുള്ള മൂന്ന് ലളിതമായ തന്ത്രങ്ങൾ
• ധാരാളം വൈവിധ്യമാർന്ന വെബ് പ്രോജക്റ്റുകളുടെ ബാക്കപ്പ്

അവലംബം: www.habr.com