പേജർഡ്യൂട്ടി, അല്ലെങ്കിൽ എന്തുകൊണ്ടാണ് ഓപ്പറേഷൻസ് ഡിപ്പാർട്ട്‌മെന്റിന് രാത്രി ഉറങ്ങാൻ കഴിയാത്തത്

സിസ്റ്റം കൂടുതൽ സങ്കീർണ്ണമാകുമ്പോൾ, എല്ലാത്തരം അലേർട്ടുകളാലും അത് പടർന്ന് പിടിക്കുന്നു. ഇതേ അലേർട്ടുകളോട് പ്രതികരിക്കുകയും അവയെ സമാഹരിക്കുകയും ദൃശ്യവൽക്കരിക്കുകയും ചെയ്യേണ്ടത് ആവശ്യമാണ്. ഇത് പലർക്കും പരിചിതമായ ഒരു സാഹചര്യമാണെന്ന് ഞാൻ കരുതുന്നു.

ചർച്ച ചെയ്യപ്പെടുന്ന പരിഹാരം ഏറ്റവും അപ്രതീക്ഷിതമല്ല, പക്ഷേ തിരയൽ ഈ വിഷയത്തെക്കുറിച്ചുള്ള ഒരു പൂർണ്ണമായ ലേഖനം നൽകുന്നില്ല.

അതിനാൽ, FunCorp-ന്റെ അനുഭവം പങ്കിടാനും ഡ്യൂട്ടി പ്രക്രിയ എങ്ങനെ ക്രമീകരിച്ചിരിക്കുന്നു, ആരാണ് വിളിക്കുന്നത്, എന്തുകൊണ്ട്, എങ്ങനെ നിങ്ങൾക്ക് എല്ലാം നോക്കാം എന്നതിനെക്കുറിച്ച് സംസാരിക്കാനും ഞാൻ തീരുമാനിച്ചു.

എന്താണ് പേജർഡ്യൂട്ടി?

അതിനാൽ, ഈ പ്രശ്നങ്ങളെല്ലാം പരിഹരിക്കുന്നതിന്, ഞങ്ങൾ സൗകര്യപ്രദമായ ഒരു ഉപകരണം തിരയാൻ തുടങ്ങി. കുറച്ച് തിരച്ചിലിന് ശേഷം ഞങ്ങൾ PagerDuty തിരഞ്ഞെടുത്തു. വളരെയധികം സംയോജനങ്ങളും ക്രമീകരണങ്ങളും ഉള്ള തികച്ചും പൂർണ്ണവും സംക്ഷിപ്തവുമായ ഒരു പരിഹാരമായി PD ഞങ്ങൾക്ക് തോന്നി. അവൾ എങ്ങനെയാണ് ഇരിക്കുന്നത്?

ചുരുക്കത്തിൽ, വിവിധ സംയോജനങ്ങളിലൂടെ ഇൻകമിംഗ് സംഭവങ്ങൾ പ്രോസസ്സ് ചെയ്യാനും ഡ്യൂട്ടി ഓർഡറുകൾ സജ്ജീകരിക്കാനും തുടർന്ന് സംഭവത്തിന്റെ നിലയെ ആശ്രയിച്ച് ഡ്യൂട്ടിയിലുള്ള എഞ്ചിനീയറെ അറിയിക്കാനും കഴിയുന്ന ഒരു സംഭവ പ്രോസസ്സിംഗ് പ്ലാറ്റ്‌ഫോമാണ് PagerDuty (ഉയർന്ന തലത്തിൽ - ഒരു കോൾ, താഴ്ന്ന തലത്തിൽ - ആപ്ലിക്കേഷൻ / SMS-ൽ നിന്നുള്ള ഒരു പുഷ്) .

ആരാണ് ഡ്യൂട്ടി ഓഫീസർ?

PD സജ്ജീകരിക്കാൻ തുടങ്ങുന്ന ആദ്യ സ്ഥലമാണിത്.

FunCorp-ൽ, മറ്റ് കമ്പനികളെപ്പോലെ, ഡ്യൂട്ടി ഓഫീസറുടെ ഒരു ഓണററി സ്ഥാനമുണ്ട്. ഇത് ഒരു ദിവസത്തിൽ ഒരിക്കൽ എഞ്ചിനീയറിൽ നിന്ന് എഞ്ചിനീയറിലേക്ക് കൈമാറ്റം ചെയ്യപ്പെടുന്നു. PagerDuty-യിൽ നിന്നുള്ള ഒരു അലേർട്ടിന് പ്രതികരണത്തിന്റെ ഒന്നും രണ്ടും എന്ന് വിളിക്കപ്പെടുന്ന ഒരു വരിയുണ്ട്. ഉയർന്ന മുൻ‌ഗണനയുള്ള ഒരു അലേർട്ട് വന്നതായി കരുതുക, ആദ്യത്തെ വരിയിൽ നിന്ന് ഡ്യൂട്ടി ഓഫീസറെ വിളിച്ച് 10 മിനിറ്റിനുശേഷം അതിനോട് പ്രതികരണമൊന്നും ഉണ്ടായില്ലെങ്കിൽ (അതായത്, അത് അംഗീകരിക്കുന്നതിനോ പരിഹരിച്ച നിലയിലേക്കോ മാറ്റിയിട്ടില്ല), കോൾ രണ്ടാമത്തേതിലേക്ക് പോകുന്നു. ഡ്യൂട്ടി എഞ്ചിനീയർ. ഇത് എസ്കലേഷൻ നയങ്ങളിലൂടെ പേജർഡ്യൂട്ടിയിൽ തന്നെ ക്രമീകരിച്ചിരിക്കുന്നു.

സെക്കൻഡ് ഡ്യൂട്ടി ഓഫീസർ പ്രതികരിച്ചില്ലെങ്കിൽ, അറിയിപ്പ് തിരികെ വരും പ്രധാനം ഡ്യൂട്ടി ഓഫീസർക്ക്.

അതിനാൽ, ഇൻകമിംഗ് ഉയർന്ന മുൻഗണനയുള്ള അലേർട്ടുകൾ പ്രോസസ്സ് ചെയ്യാതെ തുടരാനാവില്ല. 

ഇനി സംഭവങ്ങൾ എവിടെ നിന്ന് വരുമെന്ന് നോക്കാം.

ഞങ്ങൾ എന്ത് സംയോജനമാണ് ഉപയോഗിക്കുന്നത്?

വിവിധ സേവനങ്ങളിൽ നിന്ന് പിഡിക്ക് വ്യത്യസ്ത സംഭവങ്ങൾ ലഭിക്കുന്നു. ഞങ്ങൾക്ക് നിലവിൽ അത്തരം ഏകദേശം 25 സേവനങ്ങളുണ്ട്, അവ പ്രോസസ്സ് ചെയ്യുന്നതിന് ഞങ്ങൾ ചില റെഡിമെയ്ഡ് ഇന്റഗ്രേഷനുകൾ ഉപയോഗിക്കുന്നു.

• പ്രോമിത്തിയസ്

പ്രധാന മെട്രിക്സ് ശേഖരണ സംവിധാനം പ്രൊമിത്യൂസ് ആണ്. ഹബ്രെയിൽ ഇതിനെക്കുറിച്ച് ഇതിനകം ധാരാളം എഴുതിയിട്ടുണ്ട്, വ്യത്യസ്ത പരിതസ്ഥിതികൾക്കായി അവയിൽ പലതും ഞങ്ങളുടെ പക്കലുണ്ടെന്ന് ഞാൻ പറയാം: ഒന്ന് വെർച്വൽ മെഷീനുകളിൽ നിന്നും ഡോക്കറുകളിൽ നിന്നും മെട്രിക്സ് ശേഖരിക്കുന്നു, മറ്റൊന്ന് ആമസോൺ സേവനങ്ങളിൽ നിന്നും മൂന്നാമത്തേത് ഹാർഡ്‌വെയർ മെഷീനുകളിൽ നിന്നും. ടെലിഗ്രാഫ് പ്രധാനമായും ഒരു മെട്രിക്സ് എക്‌സ്‌പോർട്ടറായി ഉപയോഗിക്കുന്നു.

• ഇമെയിൽ

ഇവിടെയും, തലക്കെട്ടിൽ നിന്ന് എല്ലാം വ്യക്തമാണെന്ന് ഞാൻ കരുതുന്നു. ക്രോൺ എക്സിക്യൂട്ട് ചെയ്ത ചില സ്ക്രിപ്റ്റുകളിൽ നിന്ന് അറിയിപ്പുകൾ അയയ്ക്കാൻ ഈ ഏകീകരണം ഉപയോഗിക്കുന്നു. നിങ്ങൾ കത്തുകൾ അയയ്ക്കുന്ന ഒരു നിശ്ചിത വിലാസം PD നിങ്ങൾക്ക് നൽകുന്നു. അത്തരം സംയോജനത്തോടെ ഒരു സേവനം സൃഷ്ടിക്കുമ്പോൾ, നിങ്ങൾക്ക് മുൻഗണനകൾ സജ്ജമാക്കാൻ കഴിയും, ഏത് ക്രമത്തിൽ ഇൻകമിംഗ് സംഭവങ്ങൾ പ്രോസസ്സ് ചെയ്യും, കൃത്യമായി എങ്ങനെ ഒരു അലേർട്ട് സൃഷ്ടിക്കും (ഓരോ ഇൻകമിംഗ് അക്ഷരത്തിനും, ഒരു ഇൻകമിംഗ് കത്തിന് + ഒരു നിശ്ചിത നിയമം മുതലായവ).

• മടിയുള്ള

എന്റെ അഭിപ്രായത്തിൽ, വളരെ രസകരമായ ഒരു സംയോജനം. എന്തെങ്കിലും സംഭവിക്കുന്ന സമയങ്ങളുണ്ട്, പക്ഷേ സംഭവങ്ങളാൽ മൂടപ്പെടില്ല. അതിനാൽ, ഒരു സംഭവം സൃഷ്ടിക്കാൻ ഞങ്ങൾ സ്ലാക്കിൽ നിന്ന് സംയോജനം ചേർത്തു. അതായത്, നിങ്ങൾക്ക് കോർപ്പറേറ്റ് സ്ലാക്കിലേക്ക് എഴുതാം /callofduty എല്ലാം മന്ദഗതിയിലാണ്, ഉടൻ തന്നെ തകരും പിഡി അത് പ്രോസസ്സ് ചെയ്യുകയും സംഭവം ഡ്യൂട്ടി എഞ്ചിനീയർക്ക് അയയ്ക്കുകയും ചെയ്യും.

ഞങ്ങൾ ചെയ്യുന്നു:

ഞങ്ങൾ കാണുന്നു:

• എപിഐ

HTTP സംയോജനം. വാസ്തവത്തിൽ, ഇവിടെ പ്രത്യേകിച്ച് രസകരമായ ഒന്നുമില്ല, JSON ഫോർമാറ്റിലുള്ള ബോഡിയുള്ള ഒരു POST അഭ്യർത്ഥന മാത്രം. ഉദാഹരണത്തിന്, രസകരമായ എന്തെങ്കിലും: ബാഹ്യ നിരീക്ഷണത്തിനായി ഞങ്ങൾ ഇത് ഉപയോഗിക്കുന്നു https://www.statuscake.com/. ലോകത്തിന്റെ വിവിധ ഭാഗങ്ങളിൽ നിന്നുള്ള ഞങ്ങളുടെ സൈറ്റുകളുടെ പ്രവേശനക്ഷമത ഈ സേവനം പരിശോധിക്കുന്നു. നമുക്ക് അസ്വീകാര്യമായ ഒരു പ്രതികരണ കോഡ് ലഭിക്കുമ്പോൾ (ഉദാഹരണത്തിന്, 502), ഒരു സംഭവം സൃഷ്ടിക്കപ്പെടുന്നു, തുടർന്ന് എല്ലാം മുകളിൽ വിവരിച്ച ശൃംഖലയെ പിന്തുടരുന്നു. സ്റ്റാറ്റസ് കേക്കിന് തന്നെ ആന്തരിക URL-കൾ, SSL സർട്ടിഫിക്കറ്റ് അല്ലെങ്കിൽ ഡൊമെയ്ൻ കാലഹരണപ്പെടൽ എന്നിവ നിരീക്ഷിക്കാനുള്ള കഴിവുണ്ട്.

• ലിബ്രെഎൻഎംഎസ്

ഇത് മറ്റൊരു മോണിറ്ററിംഗ് സിസ്റ്റമാണ്, നിങ്ങൾക്ക് ഇതിനെക്കുറിച്ച് കൂടുതൽ അവരുടെ വെബ്‌സൈറ്റിൽ വായിക്കാം https://www.librenms.org/. അതിന്റെ സഹായത്തോടെ, ഞങ്ങൾ സെർവറുകളിൽ നിന്ന് നെറ്റ്‌വർക്ക് ഇന്റർഫേസുകളും iDRAC ഉം നിരീക്ഷിക്കുന്നു.

ഡാറ്റാഡോഗ്, ക്ലൗഡ് വാച്ച് തുടങ്ങിയ സംയോജനങ്ങളും ഉണ്ടായിരുന്നു. അവർക്ക് എന്താണ് സംഭവിച്ചതെന്ന് നിങ്ങൾക്ക് കൂടുതൽ കാണാൻ കഴിയും ഇവിടെ ഇതാ.

ദൃശ്യവൽക്കരണം

പ്രധാന സംഭവ റിപ്പോർട്ടിംഗ് സംവിധാനം സ്ലാക്ക് ആണ്. PD-യിലേക്ക് വരുന്ന എല്ലാ സംഭവങ്ങളും ഒരു പ്രത്യേക ചാറ്റിൽ എഴുതിയതാണ്, അവയുടെ സ്റ്റാറ്റസ് മാറുകയാണെങ്കിൽ, ഇത് ചാറ്റിലും പ്രദർശിപ്പിക്കും.

സീലിംഗിൽ നിന്ന് തൂങ്ങിക്കിടക്കുന്ന മോണിറ്ററുകളുടെ സ്ക്രീനുകളിൽ ഉപയോഗപ്രദമായ ഡാറ്റ പ്രദർശിപ്പിക്കാനുള്ള അവസരം വന്നപ്പോൾ, ഞങ്ങൾക്ക് (devops വകുപ്പിൽ) അവയിൽ പ്രദർശിപ്പിക്കാൻ ഒന്നുമില്ലെന്ന് ഞങ്ങൾ പെട്ടെന്ന് മനസ്സിലാക്കി. ഒരു അത്ഭുതകരമായ ഗ്രാഫാനയുണ്ട്, പക്ഷേ അത് എല്ലാം ഉൾക്കൊള്ളുന്നില്ല, കൂടാതെ ജീവനക്കാർ ചാർട്ടുകളല്ല, അലേർട്ടുകളോട് പ്രതികരിക്കുന്നു.

PD-യ്‌ക്കായി സംക്ഷിപ്‌തവും വിജ്ഞാനപ്രദവുമായ “ബോർഡ്” നായി GitHub-ൽ സമഗ്രവും എന്നാൽ പരാജയപ്പെട്ടതുമായ തിരയലിന് ശേഷം, ഞങ്ങൾ സ്വന്തമായി എഴുതാൻ തീരുമാനിച്ചു - ഞങ്ങൾക്ക് ആവശ്യമുള്ളത് മാത്രം. ആദ്യം PD ഇന്റർഫേസ് തന്നെ പ്രദർശിപ്പിക്കാൻ ഒരു ആശയം ഉണ്ടായിരുന്നെങ്കിലും, അത് കൂടുതൽ അസൗകര്യമായി കാണപ്പെട്ടു.

ഇത് എഴുതാൻ, നിങ്ങൾ ചെയ്യേണ്ടത് വായിക്കാൻ മാത്രമുള്ള അവകാശങ്ങളുള്ള ഒരു PD-യിൽ നിന്ന് ഒരു കീ നേടുക എന്നതാണ്.
ഞങ്ങൾക്ക് ലഭിച്ചത് ഇതാണ്:

സ്‌ക്രീൻ നിലവിലെ തുറന്ന സംഭവങ്ങൾ, തിരഞ്ഞെടുത്ത ഷെഡ്യൂളിൽ നിന്ന് ഡ്യൂട്ടിയിലുള്ള നിലവിലെ എഞ്ചിനീയറുടെ പേര്, ഉയർന്ന മുൻ‌ഗണനയുള്ള സംഭവമില്ലാത്ത സമയം എന്നിവ പ്രദർശിപ്പിക്കുന്നു (ഉയർന്ന മുൻ‌ഗണനയുള്ള സംഭവമുള്ള പാനൽ ചുവപ്പിൽ ഹൈലൈറ്റ് ചെയ്യും).

ഈ നടപ്പാക്കലിന്റെ ഉറവിടങ്ങൾ ഇവിടെ കാണുക.

തൽഫലമായി, ഞങ്ങളുടെ എല്ലാ സംഭവങ്ങളും കാണുന്നതിന് ഞങ്ങൾക്ക് സൗകര്യപ്രദമായ ഒരു ഡാഷ്‌ബോർഡ് ലഭിച്ചു. നിങ്ങളിൽ ചിലർക്ക് ഞങ്ങളുടെ അനുഭവം ഉപയോഗപ്രദമാണെന്ന് തോന്നിയാൽ ഞാൻ സന്തോഷിക്കും.

അവലംബം: www.habr.com