സ്ലർം SRE. Booking.com, Google.com എന്നിവയിൽ നിന്നുള്ള വിദഗ്ധരുമായി ഒരു സമ്പൂർണ്ണ പരീക്ഷണം

ഞങ്ങളുടെ ടീം പരീക്ഷണങ്ങൾ ഇഷ്ടപ്പെടുന്നു. ഓരോ ചേരിപ്പോരും മുമ്പത്തേതിന്റെ സ്ഥിരമായ ആവർത്തനമല്ല, മറിച്ച് അനുഭവത്തിന്റെ പ്രതിഫലനവും നന്മയിൽ നിന്ന് മികച്ചതിലേക്കുള്ള പരിവർത്തനവുമാണ്. എന്നാൽ കൂടെ സ്ലർം SRE പൂർണ്ണമായും പുതിയൊരു ഫോർമാറ്റ് പ്രയോഗിക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു - പങ്കെടുക്കുന്നവർക്ക് "പോരാട്ടത്തിന്" കഴിയുന്നത്ര അടുത്ത് വ്യവസ്ഥകൾ നൽകാൻ.

തീവ്രമായ കോഴ്‌സിനിടെ ഞങ്ങൾ എന്താണ് ചെയ്‌തതെന്ന് ഞങ്ങൾ ഹ്രസ്വമായി വിവരിക്കുകയാണെങ്കിൽ: “ഞങ്ങൾ നിർമ്മിക്കുന്നു, തകർക്കുന്നു, നന്നാക്കുന്നു,
ഞങ്ങൾ പഠിക്കുകയാണ്." കേവലം സിദ്ധാന്തത്തിൽ SRE വിലമതിക്കില്ല - പരിശീലനം, യഥാർത്ഥ പരിഹാരങ്ങൾ, യഥാർത്ഥ പ്രശ്നങ്ങൾ.

ദിമിത്രി അനറ്റോലിയേവിച്ചിന്റെ മാതൃക പിന്തുടർന്ന്, ശക്തമായ മത്സര മനോഭാവം ആരെയും ഉറങ്ങാനോ ഐഫോണിൽ "ആംഗ്രി ബേർഡ്സ്" സമാരംഭിക്കാനോ അനുവദിക്കാതിരിക്കാൻ പങ്കെടുക്കുന്നവരെ ടീമുകളായി തിരിച്ചിരിക്കുന്നു.

നാല് ഉപദേഷ്ടാക്കൾ പങ്കെടുക്കുന്നവർക്ക് പ്രശ്‌നങ്ങളും തകരാറുകളും ബഗുകളും ടാസ്‌ക്കുകളും നൽകി. ഇവാൻ ക്രുഗ്ലോവ്, Booking.com (നെതർലാൻഡ്‌സ്)-ലെ പ്രിൻസിപ്പൽ ഡെവലപ്പർ. ബെൻ ടൈലർ, Booking.com (USA)-ലെ പ്രിൻസിപ്പൽ ഡെവലപ്പർ. എഡ്വേർഡ് മെദ്‌വദേവ്, ടങ്സ്റ്റൺ ലാബിലെ (ജർമ്മനി) CTO. Evgeniy Varavva, ഗൂഗിളിലെ ജനറൽ ഡെവലപ്പർ (സാൻ ഫ്രാൻസിസ്കോ).

കൂടാതെ, പങ്കെടുക്കുന്നവരെ ടീമുകളായി തിരിച്ച് പരസ്പരം മത്സരിക്കുന്നു. രസകരമാണോ?

ഇവാൻ, ബെൻ, എഡ്വേർഡ്, എവ്ജെനി എന്നിവർ മത്സരം ആരംഭിക്കുന്നതിന് മുമ്പ് ദയയുള്ള ലെനിനിസ്റ്റ് കണ്ണിറുക്കലോടെ പാവപ്പെട്ട Slurm SRE പങ്കാളികളെ നോക്കുന്നു.

അതിനാൽ ചുമതല:

നമ്മൾ നമ്മുടേതാണ്, നമ്മൾ പുതിയൊരു ലോകം പണിയും...

സിനിമാ ടിക്കറ്റ് അഗ്രഗേറ്റർ വെബ്സൈറ്റ് ഉണ്ട്. മുൻകൂട്ടി പ്രവർത്തിച്ച ഒരു സാഹചര്യത്തിലാണ് സംഭവങ്ങൾ ഉപദേഷ്ടാക്കൾ കണ്ടുപിടിക്കുന്നത് (പ്രത്യേകിച്ച് സങ്കീർണ്ണവും വഞ്ചനാപരവുമായ മെച്ചപ്പെടുത്തലുകൾ ആരും ഒഴിവാക്കുന്നില്ലെങ്കിലും), സൈറ്റിന്റെ പ്രകടനം വിവിധ അളവുകൾ പ്രകാരം വിവരിച്ചിരിക്കുന്നു. പ്രശ്നങ്ങൾ വളരെ വ്യത്യസ്തമായിരിക്കും: മൗലിൻ റൂജ് തിയേറ്ററിനുള്ള ടിക്കറ്റുകൾ ഡാറ്റാബേസിലേക്ക് ലോഡ് ചെയ്തിട്ടില്ല; സിനിമകളുടെയും പ്രകടനങ്ങളുടെയും പോസ്റ്ററുകൾ 10 സെക്കൻഡിൽ കൂടുതൽ ഡാറ്റാബേസിലേക്ക് ലോഡ് ചെയ്യുന്നു; ഒരു വ്യക്തിഗത സിനിമയുടെ വിവരണം മരവിപ്പിക്കുന്നു; 0,1% ഓർഡറുകൾ ഇതിനകം റിസർവ് ചെയ്തിട്ടുണ്ട്; കാലാകാലങ്ങളിൽ പേയ്‌മെന്റ് പ്രോസസ്സിംഗ് സിസ്റ്റം ഒന്നോ രണ്ടോ മിനിറ്റ് ക്രാഷ് ചെയ്യുന്നു. ഒരു Slurm SRE പങ്കാളിക്ക് അവന്റെ യഥാർത്ഥ ജോലിയിൽ സംഭവിക്കാവുന്ന നിരവധി, നിരവധി, നിരവധി അസുഖകരമായ കാര്യങ്ങൾ.

എന്തും കൈകാര്യം ചെയ്യാൻ ഞങ്ങൾ തയ്യാറാണ്... എല്ലാവരേയും.

ഞങ്ങളുടെ ദീർഘക്ഷമ വെബ്‌സൈറ്റിൽ നിരവധി മൈക്രോ സർവീസുകൾ അടങ്ങിയിരിക്കുന്നു. എല്ലാ സിനിമാശാലകളിൽ നിന്നുമുള്ള ഷോകൾ, വിലകൾ, ലഭ്യമായ സീറ്റുകൾ എന്നിവയെക്കുറിച്ചുള്ള ഡാറ്റ സമാഹരിക്കുക എന്നതാണ് ഇതിന്റെ ചുമതല; ഇത് സിനിമാ അറിയിപ്പുകൾ കാണിക്കുന്നു, ഒരു സിനിമ, ഷോ, ഹാൾ, സ്ഥലം എന്നിവ തിരഞ്ഞെടുക്കാനും ടിക്കറ്റുകൾ ബുക്ക് ചെയ്യാനും പണം നൽകാനും നിങ്ങളെ അനുവദിക്കുന്നു. പൊതുവേ, കാഴ്ചക്കാരന് സ്വപ്നം കാണാൻ കഴിയുന്ന എല്ലാം. എന്നാൽ സൈറ്റിന്റെ സ്ഥിരതയ്ക്കും പ്രവേശനക്ഷമതയ്ക്കും വേണ്ടിയുള്ള ഒരു ടൈറ്റാനിക് പോരാട്ടം ഉള്ളിൽ നടക്കുന്നുണ്ടെന്ന് ഉപയോക്താവ് പോലും സംശയിക്കുന്നില്ല.

തീവ്രമായ സൈറ്റിനായി, ഞങ്ങൾ SLO, SLI, SLA സൂചകങ്ങൾ സൃഷ്ടിച്ചു, ആർക്കിടെക്ചറും ഇൻഫ്രാസ്ട്രക്ചറും വികസിപ്പിച്ചെടുത്തു, സൈറ്റ് വിന്യസിച്ചു, നിരീക്ഷണവും അലേർട്ടിംഗും സജ്ജീകരിച്ചു. പിന്നെ ഞങ്ങൾ പോകുന്നു.

SLO, SLI, SLA

SLI - സേവന നില സൂചകങ്ങൾ. SLO-കൾ സേവന തലത്തിലുള്ള ലക്ഷ്യങ്ങളാണ്. SLA - സേവന നില കരാറുകൾ.

ഒരു സേവനത്തിന്റെ ഉപഭോക്താവും അതിന്റെ വിതരണക്കാരനും തമ്മിലുള്ള ഒരു ഔപചാരിക ഉടമ്പടിയെ സൂചിപ്പിക്കുന്ന ഒരു ഐടിഐഎൽ മെത്തഡോളജി പദമാണ് SLA, സേവനത്തിന്റെ വിവരണം, കക്ഷികളുടെ അവകാശങ്ങളും ബാധ്യതകളും, ഏറ്റവും പ്രധാനമായി, ഇത് നൽകുന്നതിനുള്ള ഗുണനിലവാരത്തിന്റെ സമ്മത നിലവാരവും. സേവനം.

ഒരു SLO എന്നത് ഒരു സേവന നില ലക്ഷ്യമാണ്: SLI അളക്കുന്ന ഒരു സേവന തലത്തിനായുള്ള ടാർഗെറ്റ് മൂല്യം അല്ലെങ്കിൽ മൂല്യങ്ങളുടെ ശ്രേണി. SLO-യുടെ ഒരു സാധാരണ മൂല്യം "SLI ≤ ടാർഗെറ്റ്" അല്ലെങ്കിൽ "ലോവർ ലിമിറ്റ് ≤ SLI ≤ ഉയർന്ന പരിധി" ആണ്.

SLI എന്നത് ഒരു സേവന നില സൂചകമാണ് - നൽകിയിരിക്കുന്ന സേവന നിലവാരത്തിന്റെ ഒരു വശത്തിന്റെ സൂക്ഷ്മമായി നിർവചിക്കപ്പെട്ട അളവ് അളവ്. മിക്ക സേവനങ്ങൾക്കും, കീ SLI അഭ്യർത്ഥന ലേറ്റൻസിയായി കണക്കാക്കപ്പെടുന്നു - ഒരു അഭ്യർത്ഥനയ്ക്കുള്ള പ്രതികരണം നൽകാൻ എത്ര സമയമെടുക്കും. മറ്റ് പൊതുവായ SLI-കളിൽ പിശക് നിരക്ക് ഉൾപ്പെടുന്നു, പലപ്പോഴും ലഭിച്ച എല്ലാ അഭ്യർത്ഥനകളുടെയും ഒരു ഭാഗമാണ്, കൂടാതെ സിസ്റ്റം ത്രൂപുട്ട്, സാധാരണയായി സെക്കൻഡിലെ അഭ്യർത്ഥനകളിൽ അളക്കുന്നു.

ആദ്യം ഞങ്ങൾ വിമാനങ്ങൾ തകർക്കും, പിന്നെ പെൺകുട്ടികൾ, പിന്നെ പെൺകുട്ടികൾ...

ആന്തരികവും ബാഹ്യവുമായ ഘടകങ്ങൾ ആദ്യ മിനിറ്റുകൾ മുതൽ SLO "നശിപ്പിക്കാൻ" തുടങ്ങി. എല്ലാം അഡ്മിനിസ്ട്രേറ്റർമാരുടെ തലയിൽ വീണു-ഡെവലപ്പർ തെറ്റുകൾ, അടിസ്ഥാന സൗകര്യ പരാജയങ്ങൾ, സന്ദർശകരുടെ കുത്തൊഴുക്ക്, DDoS ആക്രമണങ്ങൾ. SLO വഷളാക്കുന്ന എല്ലാം.

"- പ്രിയ പങ്കാളികളേ, നിങ്ങളെ പ്രസാദിപ്പിക്കാൻ ഞാൻ തിടുക്കം കൂട്ടുന്നു, നിങ്ങൾ ആദ്യം പരാജയപ്പെടുന്നത് ... എല്ലാം!"

വഴിയിൽ, സ്പീക്കറുകൾ സ്ഥിരത, പിശക് ബജറ്റ്, ടെസ്റ്റിംഗ് പ്രാക്ടീസ്, തടസ്സങ്ങളുടെ മാനേജ്മെന്റ്, പ്രവർത്തന ലോഡ് എന്നിവ ചർച്ച ചെയ്തു.

ഞങ്ങൾ സ്റ്റോക്കർമാരല്ല, മരപ്പണിക്കാരല്ല...

തുടർന്ന് പങ്കെടുക്കുന്നവർ കാര്യങ്ങൾ ശരിയാക്കാൻ തുടങ്ങി - ആദ്യം എന്താണ് പിടിക്കേണ്ടതെന്ന് മനസിലാക്കുക എന്നതാണ് പ്രധാന കാര്യം.

"- കർത്താവേ, ഈ രൂപത്തിലും അത്തരമൊരു അവസ്ഥയിലും ഇത് ഇങ്ങനെ തകരുന്നത് ഞാൻ കണ്ടിട്ടില്ല!"

അങ്ങനെ, ഒരു അപകടം സംഭവിച്ചു. പേയ്‌മെന്റ് പ്രോസസ്സിംഗ് സേവനം പ്രവർത്തനരഹിതമാണ്. സാധ്യമായ ഏറ്റവും കുറഞ്ഞ സമയത്തിനുള്ളിൽ പ്രവർത്തനം പുനഃസ്ഥാപിക്കാൻ എങ്ങനെ പ്രവർത്തിക്കണം?

വിദഗ്ധർ, പങ്കാളികളെ സ്നേഹപൂർവ്വം നോക്കുന്നു, മറ്റൊരു തന്ത്രം തയ്യാറാക്കുകയാണ്.

അപകടം ഇല്ലാതാക്കാൻ ഓരോ ടീമും ഗ്രൂപ്പിന്റെ പ്രവർത്തനം സംഘടിപ്പിക്കുന്നു - സഹപ്രവർത്തകർ ഉൾപ്പെടുന്നു, താൽപ്പര്യമുള്ള കക്ഷികളെ (പങ്കാളികളെ) അറിയിക്കുന്നു. അതേ സമയം, മുൻഗണനകൾ സജ്ജീകരിച്ചിരിക്കുന്നു. ഈ രീതിയിൽ, പങ്കെടുക്കുന്നവർ വളരെ പരിമിതമായ സമയ സാഹചര്യങ്ങളിൽ സമ്മർദ്ദത്തിൽ പ്രവർത്തിക്കാൻ പരിശീലിപ്പിച്ചു.

"എന്തൊരു ഭീകരതയാണ് പുറത്തുവന്നത്?!"

ശ്വാസം വിട്ടു... വ്യായാമം പൂർത്തിയാക്കുക

സ്പീക്കറുകൾക്കൊപ്പം, ഓരോ പ്രശ്‌നവും പരിഹരിച്ച് സൈറ്റ് താൽക്കാലികമായി സുസ്ഥിരമാക്കിയ ശേഷം, ടീം സംഭവങ്ങൾ എസ്ആർഇ വീക്ഷണകോണിൽ നിന്ന് പഠിച്ചു. ഞങ്ങൾ പ്രശ്നങ്ങൾ വിശദമായി വിശകലനം ചെയ്തു - സംഭവത്തിന്റെ കാരണങ്ങൾ, ഉന്മൂലനത്തിന്റെ പുരോഗതി. അതിനുശേഷം, ടീം-ബൈ-ടീം, കൂട്ടായി, അവ എങ്ങനെ തടയാം എന്നതിനെക്കുറിച്ചുള്ള തീരുമാനങ്ങൾ ഞങ്ങൾ എടുത്തു: നിരീക്ഷണം എങ്ങനെ മെച്ചപ്പെടുത്താം, വാസ്തുവിദ്യ എങ്ങനെ ബുദ്ധിപരമായി മാറ്റാം, വികസനത്തിനും പ്രവർത്തനത്തിനുമുള്ള സമീപനം എങ്ങനെ ക്രമീകരിക്കാം, നിയന്ത്രണങ്ങൾ എങ്ങനെ ശരിയാക്കാം. പോസ്റ്റ്‌മോർട്ടം നടത്തുന്ന രീതി പ്രസംഗകർ തെളിയിച്ചു.

“മറ്റാർക്കാണ് പീഡനം വേണ്ടത്! - ഞാൻ!"

ടീമുകളുടെ വിജയങ്ങൾ ഇലക്ട്രോണിക് സ്കോർബോർഡിൽ കർശനമായും വ്യക്തമായും രേഖപ്പെടുത്തിയിട്ടുണ്ട്.

ആദ്യ സ്ഥാനങ്ങൾക്ക് - ഓഹരി ഉടമകളിൽ നിന്നുള്ള ബോണസ്.

അവലംബം: www.habr.com