കുബർനെറ്റസിലെ പോഡ് മുൻഗണനകൾ എങ്ങനെയാണ് ഗ്രാഫാന ലാബിൽ പ്രവർത്തനരഹിതമായത്

കുറിപ്പ്. വിവർത്തനം.: ഗ്രാഫാനയുടെ സ്രഷ്‌ടാക്കൾ പരിപാലിക്കുന്ന ക്ലൗഡ് സേവനത്തിലെ സമീപകാല പ്രവർത്തനരഹിതമായതിന്റെ കാരണങ്ങളെക്കുറിച്ചുള്ള സാങ്കേതിക വിശദാംശങ്ങൾ ഞങ്ങൾ നിങ്ങളുടെ ശ്രദ്ധയിൽപ്പെടുത്തുന്നു. ഇൻഫ്രാസ്ട്രക്ചറിന്റെ ഗുണനിലവാരം മെച്ചപ്പെടുത്തുന്നതിനായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന പുതിയതും വളരെ ഉപകാരപ്രദമെന്നു തോന്നുന്നതുമായ ഒരു ഫീച്ചർ... ഉൽപ്പാദനത്തിന്റെ യാഥാർത്ഥ്യങ്ങളിൽ അതിന്റെ പ്രയോഗത്തിന്റെ നിരവധി സൂക്ഷ്മതകൾ നിങ്ങൾ നൽകിയില്ലെങ്കിൽ എങ്ങനെ ദോഷം ചെയ്യും എന്നതിന്റെ മികച്ച ഉദാഹരണമാണിത്. നിങ്ങളുടെ തെറ്റുകളിൽ നിന്ന് മാത്രമല്ല പഠിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന ഇതുപോലുള്ള മെറ്റീരിയലുകൾ ദൃശ്യമാകുമ്പോൾ ഇത് വളരെ മികച്ചതാണ്. ഗ്രാഫാന ലാബ്‌സിൽ നിന്നുള്ള ഉൽപ്പന്നത്തിന്റെ വൈസ് പ്രസിഡന്റിൽ നിന്നുള്ള ഈ വാചകത്തിന്റെ വിവർത്തനത്തിലാണ് വിശദാംശങ്ങൾ.

ജൂലൈ 19, വെള്ളിയാഴ്ച, ഗ്രാഫാന ക്ലൗഡിലെ ഹോസ്റ്റഡ് പ്രൊമിത്യൂസ് സേവനം ഏകദേശം 30 മിനിറ്റോളം പ്രവർത്തനം നിർത്തി. തടസ്സം നേരിട്ട എല്ലാ ഉപഭോക്താക്കളോടും ഞാൻ ക്ഷമ ചോദിക്കുന്നു. നിങ്ങൾക്ക് ആവശ്യമായ നിരീക്ഷണ ഉപകരണങ്ങൾ നൽകുക എന്നതാണ് ഞങ്ങളുടെ ജോലി, അവ ലഭ്യമല്ലാത്തത് നിങ്ങളുടെ ജീവിതം കൂടുതൽ ദുഷ്കരമാക്കുമെന്ന് ഞങ്ങൾ മനസ്സിലാക്കുന്നു. ഈ സംഭവത്തെ ഞങ്ങൾ അതീവ ഗൗരവത്തോടെയാണ് കാണുന്നത്. എന്താണ് സംഭവിച്ചത്, ഞങ്ങൾ എങ്ങനെ പ്രതികരിച്ചു, അത് ആവർത്തിക്കാതിരിക്കാൻ ഞങ്ങൾ എന്താണ് ചെയ്യുന്നതെന്ന് ഈ കുറിപ്പ് വിശദീകരിക്കുന്നു.

ചരിത്രാതീതകാലം

ഗ്രാഫാന ക്ലൗഡ് ഹോസ്റ്റഡ് പ്രൊമിത്യൂസ് സേവനം അടിസ്ഥാനമാക്കിയുള്ളതാണ് കോർട്ടക്സ് — CNCF പ്രൊജക്‌റ്റ് ഒരു തിരശ്ചീനമായി അളക്കാവുന്നതും വളരെ ലഭ്യവും മൾട്ടി-ടെനന്റ് പ്രൊമിത്യൂസ് സേവനം സൃഷ്‌ടിക്കുന്നതും. കോർട്ടെക്സ് ആർക്കിടെക്ചറിൽ ഒരു കൂട്ടം വ്യക്തിഗത മൈക്രോസർവീസുകൾ അടങ്ങിയിരിക്കുന്നു, അവയിൽ ഓരോന്നിനും അതിന്റേതായ പ്രവർത്തനം നിർവ്വഹിക്കുന്നു: പകർപ്പെടുക്കൽ, സംഭരണം, അന്വേഷണങ്ങൾ മുതലായവ. കോർടെക്‌സ് സജീവമായ വികസനത്തിലാണ്, നിരന്തരം പുതിയ സവിശേഷതകൾ ചേർക്കുകയും പ്രകടനം മെച്ചപ്പെടുത്തുകയും ചെയ്യുന്നു. ഞങ്ങൾ പതിവായി പുതിയ Cortex റിലീസുകൾ ക്ലസ്റ്ററുകളിലേക്ക് വിന്യസിക്കുന്നു, അതിലൂടെ ഉപഭോക്താക്കൾക്ക് ഈ ഫീച്ചറുകൾ പ്രയോജനപ്പെടുത്താൻ കഴിയും - ഭാഗ്യവശാൽ, പ്രവർത്തനരഹിതമാക്കാതെ Cortex അപ്‌ഡേറ്റ് ചെയ്യാൻ കഴിയും.

തടസ്സമില്ലാത്ത അപ്‌ഡേറ്റുകൾക്കായി, അപ്‌ഡേറ്റ് പ്രക്രിയയ്‌ക്കിടെ ഇൻ‌ജസ്റ്റർ കോർ‌ടെക്‌സ് സേവനത്തിന് ഒരു അധിക ഇൻ‌ജസ്റ്റർ പകർപ്പ് ആവശ്യമാണ്. (കുറിപ്പ്. വിവർത്തനം.: ഇൻജസ്റ്റർ - കോർട്ടെക്സിന്റെ അടിസ്ഥാന ഘടകം. സാമ്പിളുകളുടെ നിരന്തരമായ സ്ട്രീം ശേഖരിക്കുക, അവയെ പ്രോമിത്യൂസ് കഷണങ്ങളായി ഗ്രൂപ്പുചെയ്ത് ഡൈനാമോഡിബി, ബിഗ് ടേബിൾ അല്ലെങ്കിൽ കസാന്ദ്ര പോലുള്ള ഒരു ഡാറ്റാബേസിൽ സംഭരിക്കുക എന്നതാണ് ഇതിന്റെ ജോലി.) പുതിയ ഇൻജസ്റ്ററുകളിലേക്ക് നിലവിലെ ഡാറ്റ കൈമാറാൻ ഇത് പഴയ ഇൻജസ്റ്ററുകളെ അനുവദിക്കുന്നു. Ingesters റിസോഴ്സ് ഡിമാൻഡ് ആണെന്നത് ശ്രദ്ധിക്കേണ്ടതാണ്. അവ പ്രവർത്തിക്കുന്നതിന്, നിങ്ങൾക്ക് ഓരോ പോഡിനും 4 കോറുകളും 15 GB മെമ്മറിയും ഉണ്ടായിരിക്കണം, അതായത്. ഞങ്ങളുടെ കുബർനെറ്റസ് ക്ലസ്റ്ററുകളുടെ കാര്യത്തിൽ അടിസ്ഥാന മെഷീന്റെ പ്രോസസ്സിംഗ് പവറിന്റെ 25% മെമ്മറിയും. പൊതുവേ, 4 കോർ, 15 GB മെമ്മറി എന്നിവയേക്കാൾ കൂടുതൽ ഉപയോഗിക്കാത്ത ഉറവിടങ്ങൾ നമുക്ക് സാധാരണയായി ക്ലസ്റ്ററിൽ ഉണ്ട്, അതിനാൽ അപ്‌ഗ്രേഡ് സമയത്ത് ഈ അധിക ഇൻജസ്റ്ററുകൾ നമുക്ക് എളുപ്പത്തിൽ സ്പിൻ ചെയ്യാൻ കഴിയും.

എന്നിരുന്നാലും, സാധാരണ പ്രവർത്തന സമയത്ത് ഒരു മെഷീനിലും ഈ 25% ഉപയോഗിക്കാത്ത വിഭവങ്ങൾ ഇല്ല എന്നത് പലപ്പോഴും സംഭവിക്കാറുണ്ട്. അതെ, ഞങ്ങൾ പരിശ്രമിക്കുക പോലും ചെയ്യുന്നില്ല: സിപിയുവും മെമ്മറിയും മറ്റ് പ്രക്രിയകൾക്ക് എല്ലായ്പ്പോഴും ഉപയോഗപ്രദമാകും. ഈ പ്രശ്നം പരിഹരിക്കാൻ, ഞങ്ങൾ ഉപയോഗിക്കാൻ തീരുമാനിച്ചു കുബെർനെറ്റസ് പോഡ് മുൻഗണനകൾ. മറ്റ് (സ്റ്റേറ്റ്‌ലെസ്) മൈക്രോസർവീസുകളേക്കാൾ ഇൻജസ്റ്ററുകൾക്ക് ഉയർന്ന മുൻഗണന നൽകുക എന്നതാണ് ആശയം. ഒരു അധിക (N+1) ഇൻജസ്റ്റർ പ്രവർത്തിപ്പിക്കേണ്ടിവരുമ്പോൾ, ഞങ്ങൾ മറ്റ് ചെറിയ പോഡുകൾ താൽക്കാലികമായി മാറ്റിസ്ഥാപിക്കുന്നു. ഈ പോഡുകൾ മറ്റ് മെഷീനുകളിലെ സൌജന്യ ഉറവിടങ്ങളിലേക്ക് കൈമാറ്റം ചെയ്യപ്പെടുന്നു, ഒരു അധിക ഇൻജസ്റ്റർ പ്രവർത്തിപ്പിക്കുന്നതിന് മതിയായ "ദ്വാരം" അവശേഷിപ്പിക്കുന്നു.

ജൂലൈ 18 വ്യാഴാഴ്ച, ഞങ്ങളുടെ ക്ലസ്റ്ററുകൾക്കായി ഞങ്ങൾ നാല് പുതിയ മുൻഗണനാ തലങ്ങൾ പുറത്തിറക്കി: ഗുരുതരമാണ്, ഉയർന്ന, ശരാശരി и കുറഞ്ഞ. ഒരാഴ്ചയോളം ക്ലയന്റ് ട്രാഫിക് ഇല്ലാത്ത ഒരു ഇന്റേണൽ ക്ലസ്റ്ററിൽ അവരെ പരീക്ഷിച്ചു. ഡിഫോൾട്ടായി, നിർദ്ദിഷ്ട മുൻഗണനയില്ലാത്ത പോഡുകൾ ലഭിച്ചു ശരാശരി മുൻ‌ഗണന, ഇൻ‌ജസ്റ്ററുകൾക്ക് ക്ലാസ് സജ്ജമാക്കി ഉയർന്നത് മുൻഗണന. ക്രിട്ടിക്കൽ നിരീക്ഷണത്തിനായി നീക്കിവച്ചിരിക്കുന്നു (പ്രോമിത്യൂസ്, അലേർട്ട്മാനേജർ, നോഡ്-എക്‌സ്‌പോർട്ടർ, ക്യൂബ്-സ്റ്റേറ്റ്-മെട്രിക്‌സ് മുതലായവ). ഞങ്ങളുടെ കോൺഫിഗേഷൻ തുറന്നിരിക്കുന്നു, നിങ്ങൾക്ക് PR കാണാൻ കഴിയും ഇവിടെ.

തകര്ച്ച

ജൂലൈ 19 വെള്ളിയാഴ്ച, എഞ്ചിനീയർമാരിൽ ഒരാൾ ഒരു വലിയ ക്ലയന്റിനായി ഒരു പുതിയ സമർപ്പിത കോർട്ടെക്സ് ക്ലസ്റ്റർ സമാരംഭിച്ചു. ഈ ക്ലസ്റ്ററിനായുള്ള കോൺഫിഗറിൽ പുതിയ പോഡ് മുൻഗണനകൾ ഉൾപ്പെടുത്തിയിട്ടില്ല, അതിനാൽ എല്ലാ പുതിയ പോഡുകൾക്കും ഡിഫോൾട്ട് മുൻഗണന നൽകി - ശരാശരി.

കുബെർനെറ്റസ് ക്ലസ്റ്ററിന് പുതിയ കോർടെക്‌സ് ക്ലസ്റ്ററിനായി മതിയായ ഉറവിടങ്ങൾ ഇല്ലായിരുന്നു, കൂടാതെ നിലവിലുള്ള പ്രൊഡക്ഷൻ കോർടെക്‌സ് ക്ലസ്റ്റർ അപ്‌ഡേറ്റ് ചെയ്‌തില്ല (ഇൻജസ്റ്ററുകൾ ഇല്ലാതെ തന്നെ അവശേഷിച്ചു. ഉയർന്ന മുൻഗണന). ഡിഫോൾട്ടായി പുതിയ ക്ലസ്റ്ററിന്റെ ഇൻജസ്റ്ററുകൾ ഉണ്ടായിരുന്നതിനാൽ ശരാശരി മുൻ‌ഗണന, ഉൽ‌പാദനത്തിലെ നിലവിലുള്ള പോഡുകൾ‌ മുൻ‌ഗണന കൂടാതെ പ്രവർത്തിച്ചു, പുതിയ ക്ലസ്റ്ററിന്റെ ഇൻ‌ജസ്റ്ററുകൾ‌ നിലവിലുള്ള കോർ‌ടെക്‌സ് പ്രൊഡക്ഷൻ ക്ലസ്റ്ററിൽ‌ നിന്നും ഇൻ‌ജസ്റ്ററുകളെ മാറ്റി.

പ്രൊഡക്ഷൻ ക്ലസ്റ്ററിലെ പുറത്താക്കപ്പെട്ട ഇൻജസ്റ്ററിനായുള്ള ReplicaSet, പുറത്താക്കപ്പെട്ട പോഡ് കണ്ടെത്തി, നിർദ്ദിഷ്‌ട പകർപ്പുകളുടെ എണ്ണം നിലനിർത്താൻ പുതിയൊരെണ്ണം സൃഷ്‌ടിച്ചു. പുതിയ പോഡ് ഡിഫോൾട്ടായി അസൈൻ ചെയ്‌തു ശരാശരി മുൻഗണന, ഉൽപ്പാദനത്തിലെ മറ്റൊരു "പഴയ" ഇൻജസ്റ്റർ അതിന്റെ വിഭവങ്ങൾ നഷ്ടപ്പെട്ടു. എന്നായിരുന്നു ഫലം ഹിമപാത പ്രക്രിയ, ഇത് കോർട്ടെക്സ് പ്രൊഡക്ഷൻ ക്ലസ്റ്ററുകൾക്കായി ഇൻജസ്റ്ററിൽ നിന്നുള്ള എല്ലാ പോഡുകളുടെയും സ്ഥാനചലനത്തിലേക്ക് നയിച്ചു.

ഇൻജസ്റ്ററുകൾ സ്റ്റേറ്റ്ഫുൾ ആണ് കൂടാതെ കഴിഞ്ഞ 12 മണിക്കൂർ ഡാറ്റ സംഭരിക്കുന്നു. ദീർഘകാല സ്റ്റോറേജിലേക്ക് എഴുതുന്നതിന് മുമ്പ് അവ കൂടുതൽ കാര്യക്ഷമമായി കംപ്രസ് ചെയ്യാൻ ഇത് ഞങ്ങളെ അനുവദിക്കുന്നു. ഇത് നേടുന്നതിന്, ഒരു ഡിസ്ട്രിബ്യൂട്ടഡ് ഹാഷ് ടേബിൾ (DHT) ഉപയോഗിച്ച് കോർടെക്‌സ് സീരീസിൽ ഉടനീളമുള്ള ഡാറ്റ ഷാർഡ് ചെയ്യുകയും ഡൈനാമോ ശൈലിയിലുള്ള കോറം സ്ഥിരത ഉപയോഗിച്ച് മൂന്ന് ഇൻജസ്റ്ററുകളിലുടനീളം ഓരോ സീരീസും പകർത്തുകയും ചെയ്യുന്നു. പ്രവർത്തനരഹിതമാക്കിയ ഇൻജസ്റ്ററുകളിലേക്ക് Cortex ഡാറ്റ എഴുതുന്നില്ല. അങ്ങനെ, ധാരാളം ഇൻജസ്റ്ററുകൾ DHT വിട്ടുപോകുമ്പോൾ, കോർടെക്സിന് എൻട്രികളുടെ മതിയായ പകർപ്പ് നൽകാൻ കഴിയില്ല, മാത്രമല്ല അവ ക്രാഷ് ചെയ്യുകയും ചെയ്യുന്നു.

കണ്ടെത്തലും പരിഹാരവും

"പിശക് ബജറ്റ്" അടിസ്ഥാനമാക്കിയുള്ള പുതിയ പ്രോമിത്യൂസ് അറിയിപ്പുകൾ (പിശക്-ബജറ്റ് അടിസ്ഥാനമാക്കിയുള്ളത് — വിശദാംശങ്ങൾ ഭാവിയിലെ ഒരു ലേഖനത്തിൽ ദൃശ്യമാകും) ഷട്ട്ഡൗൺ ആരംഭിച്ച് 4 മിനിറ്റിനുശേഷം അലാറം മുഴങ്ങാൻ തുടങ്ങി. അടുത്ത അഞ്ച് മിനിറ്റിനുള്ളിൽ, പുതിയതും നിലവിലുള്ളതുമായ പ്രൊഡക്ഷൻ ക്ലസ്റ്ററുകൾ ഹോസ്റ്റുചെയ്യുന്നതിന് ഞങ്ങൾ ചില ഡയഗ്നോസ്റ്റിക്സ് നടത്തുകയും അടിസ്ഥാനമായ കുബർനെറ്റസ് ക്ലസ്റ്ററിനെ സ്കെയിൽ ചെയ്യുകയും ചെയ്തു.

മറ്റൊരു അഞ്ച് മിനിറ്റിനുശേഷം, പഴയ ഇൻജസ്റ്ററുകൾ അവരുടെ ഡാറ്റ വിജയകരമായി എഴുതി, പുതിയവ ആരംഭിച്ചു, കോർട്ടക്സ് ക്ലസ്റ്ററുകൾ വീണ്ടും ലഭ്യമായി.

കോർടെക്‌സിന് മുന്നിൽ സ്ഥിതി ചെയ്യുന്ന ഓതന്റിക്കേഷൻ റിവേഴ്‌സ് പ്രോക്‌സികളിൽ നിന്ന് മെമ്മറിക്ക് പുറത്തുള്ള (OOM) പിശകുകൾ കണ്ടെത്താനും തിരുത്താനും മറ്റൊരു 10 മിനിറ്റ് ചെലവഴിച്ചു. QPS-ൽ പത്തിരട്ടി വർദ്ധനവാണ് OOM പിശകുകൾക്ക് കാരണമായത് (ക്ലയന്റിന്റെ പ്രോമിത്യൂസ് സെർവറുകളിൽ നിന്നുള്ള അമിതമായ ആക്രമണാത്മക അഭ്യർത്ഥനകൾ കാരണം ഞങ്ങൾ വിശ്വസിക്കുന്നു).

പരിണതഫലങ്ങൾ

ആകെ പ്രവർത്തനരഹിതമായ സമയം 26 മിനിറ്റായിരുന്നു. ഡാറ്റയൊന്നും നഷ്ടപ്പെട്ടിട്ടില്ല. ഇൻജസ്റ്ററുകൾ എല്ലാ ഇൻ-മെമ്മറി ഡാറ്റയും ദീർഘകാല സ്റ്റോറേജിലേക്ക് വിജയകരമായി ലോഡുചെയ്‌തു. ഷട്ട്ഡൗൺ സമയത്ത്, ക്ലയന്റ് പ്രൊമിത്യൂസ് സെർവറുകൾ ബഫർ ഇല്ലാതാക്കി (റിമോട്ട്) ഉപയോഗിച്ചുള്ള റെക്കോർഡിംഗുകൾ പുതിയ API remote_write WAL അടിസ്ഥാനമാക്കിയുള്ളതാണ് (രചയിതാവ് കല്ലം സ്റ്റിയാൻ ഗ്രാഫാന ലാബിൽ നിന്ന്) കൂടാതെ ക്രാഷിന് ശേഷം പരാജയപ്പെട്ട എഴുത്തുകൾ ആവർത്തിച്ചു.

പ്രൊഡക്ഷൻ ക്ലസ്റ്റർ റൈറ്റ് പ്രവർത്തനങ്ങൾ

കണ്ടെത്തലുകൾ

ഈ സംഭവത്തിൽ നിന്ന് പാഠം ഉൾക്കൊള്ളുകയും അത് ആവർത്തിക്കാതിരിക്കാൻ ആവശ്യമായ നടപടികൾ കൈക്കൊള്ളുകയും ചെയ്യേണ്ടത് പ്രധാനമാണ്.

തിരിഞ്ഞുനോക്കുമ്പോൾ, ഞങ്ങൾ സ്ഥിരസ്ഥിതി സജ്ജമാക്കാൻ പാടില്ലായിരുന്നു ശരാശരി ഉൽപ്പാദനത്തിലെ എല്ലാ ഇൻജസ്റ്ററുകൾക്കും ലഭിക്കുന്നതുവരെ മുൻഗണന ഉയർന്ന ഒരു മുൻഗണന. കൂടാതെ, അവരെ മുൻകൂട്ടി പരിപാലിക്കേണ്ടത് ആവശ്യമാണ് ഉയർന്ന മുൻഗണന. ഇപ്പോൾ എല്ലാം ശരിയാക്കി. Kubernetes-ൽ പോഡ് മുൻഗണനകൾ ഉപയോഗിക്കുന്നത് പരിഗണിക്കുന്നതിന് ഞങ്ങളുടെ അനുഭവം മറ്റ് ഓർഗനൈസേഷനുകളെ സഹായിക്കുമെന്ന് ഞങ്ങൾ പ്രതീക്ഷിക്കുന്നു.

ക്ലസ്റ്ററിലേക്ക് ആഗോള കോൺഫിഗറേഷനുകളുള്ള ഏതെങ്കിലും അധിക ഒബ്‌ജക്‌റ്റുകളുടെ വിന്യാസത്തിന്മേൽ ഞങ്ങൾ ഒരു അധിക നിയന്ത്രണം ചേർക്കും. ഇനി മുതൽ ഇത്തരം മാറ്റങ്ങൾ വിലയിരുത്തും ബിоകൂടുതല് ആളുകള്. കൂടാതെ, ഒരു പ്രത്യേക പ്രോജക്റ്റ് ഡോക്യുമെന്റിന് ക്രാഷിന് കാരണമായ പരിഷ്ക്കരണം വളരെ ചെറുതായി കണക്കാക്കപ്പെട്ടു - ഇത് ഒരു GitHub ലക്കത്തിൽ മാത്രമാണ് ചർച്ച ചെയ്തത്. ഇനി മുതൽ, കോൺഫിഗറുകളിലെ അത്തരം എല്ലാ മാറ്റങ്ങളും ഉചിതമായ പ്രോജക്റ്റ് ഡോക്യുമെന്റേഷനോടൊപ്പം ഉണ്ടായിരിക്കും.

അവസാനമായി, ഞങ്ങൾ കണ്ട ഓവർലോഡ് OOM തടയാൻ പ്രാമാണീകരണ റിവേഴ്സ് പ്രോക്സിയുടെ വലുപ്പം മാറ്റുന്നത് ഞങ്ങൾ ഓട്ടോമേറ്റ് ചെയ്യും, ഭാവിയിൽ സമാനമായ പ്രശ്നങ്ങൾ ഉണ്ടാകാതിരിക്കാൻ ഫാൾബാക്കും സ്കെയിലിംഗുമായി ബന്ധപ്പെട്ട Prometheus ഡിഫോൾട്ട് ക്രമീകരണങ്ങൾ അവലോകനം ചെയ്യും.

പരാജയത്തിന് ചില പോസിറ്റീവ് അനന്തരഫലങ്ങളും ഉണ്ടായിരുന്നു: ആവശ്യമായ വിഭവങ്ങൾ ലഭിച്ചതിനാൽ, അധിക ഇടപെടലില്ലാതെ കോർട്ടെക്സ് യാന്ത്രികമായി വീണ്ടെടുക്കപ്പെട്ടു. കൂടെ പ്രവർത്തിച്ച വിലപ്പെട്ട അനുഭവവും ഞങ്ങൾ നേടി ഗ്രാഫാന ലോക്കി - ഞങ്ങളുടെ പുതിയ ലോഗ് അഗ്രഗേഷൻ സിസ്റ്റം - പരാജയസമയത്തും ശേഷവും എല്ലാ ഇൻജസ്റ്ററുകളും ശരിയായി പെരുമാറുന്നുവെന്ന് ഉറപ്പാക്കാൻ ഇത് സഹായിച്ചു.

വിവർത്തകനിൽ നിന്ന് പി.എസ്

ഞങ്ങളുടെ ബ്ലോഗിലും വായിക്കുക:

• «കുബർനെറ്റസിലെ ഓട്ടോസ്‌കേലിംഗും റിസോഴ്‌സ് മാനേജ്‌മെന്റും (അവലോകനവും വീഡിയോ റിപ്പോർട്ടും)";
• «കുബർനെറ്റസ് അഡ്വഞ്ചർ ഡെയ്‌ലിമോഷൻ: മേഘങ്ങളിൽ + പരിസരത്ത് അടിസ്ഥാന സൗകര്യങ്ങൾ സൃഷ്ടിക്കുന്നു";
• «കുബർനെറ്റസിലേക്കുള്ള ടിൻഡർ പരിവർത്തനം";
• «നിർമ്മാണത്തിലെ കുബർനെറ്റിന്റെ വിജയഗാഥകൾ. ഭാഗം 10: റെഡ്ഡിറ്റ്".

അവലംബം: www.habr.com