Náš tým miluje experimenty. Každý Slörm není statické opakování toho předchozího, ale uvědomění si zkušeností a přechod od dobrého k lepšímu. Ale s jsme se rozhodli použít zcela nový formát — poskytnout účastníkům podmínky, které jsou co nejblíže "bojiště".
Pokud bychom stručně popisovali, čemu jsme se věnovali na intenzivním kurzu: "Stavíme, ničíme, opravujeme,
studujeme." SRE má malou hodnotu v holé teorii — jen praxe, skutečná řešení, skutečné problémy.
Účastníci byli rozděleni do týmů, aby živý soutěžní duch nedovolil nikomu usnout nebo spustit "Angry Birds" na iPhonu podle příkladu Dmitrije Anatoljeviče.
Problémy, chyby, bugy a úkoly zajišťovali účastníkům čtyři mentoři. Ivan Kruglov, hlavní vývojář v Booking.com (Nizozemsko). Ben Tyler, hlavní vývojář v Booking.com (USA). Eduard Medveděv, CTO v Tungsten Labs (Německo). Jevgenij Varavva, široce zaměřený vývojář v Google (San Francisco).
A navíc byli účastníci rozděleni do týmů — a vzájemně soupeří. Zajímavé?
Ivan, Ben, Eduard a Jevgenij se se vřelým pohledem dívají na chudáky účastníky Slörmu SRE před začátkem soutěže.
Takže úkol:
My, my postavíme nový svět...
Existuje webový agregátor vstupenek do kina. Incidency vymýšlejí mentoři v předem propracovaném scénáři (i když nikdo nevylučuje obzvlášť rafinovanou a záludnou improvizaci), funkčnost webu se popisuje různými metrikami. Problémy mohou být různorodé: vstupenky do divadla "Moulin Rouge" se nenačítají do databáze; plakáty filmů a představení se načítají do databáze déle než 10 sekund; popis jednotlivého filmu se zasekává; 0,1 % objednávek končí na již rezervovaných místech; občas na sladké vypadne na minutu-dvě systém zpracování plateb. A mnoho, mnoho, mnoho nepříjemného, co může na účastníka Slörmu SRE spadnout v jeho skutečné práci.
Jsme připraveni se vypořádat se vším… a se všemi.
Naše oceňované webové stránky se skládají z několika mikroslužeb. Jejich úkolem je agregace dat o představeních, cenách a volných místech ze všech kin, ukazují upoutávky filmů, umožňují výběr kina, představení, sálu a místa, rezervaci a platbu vstupenek. Obecně řečeno, vše, o čem si může divák jen přát. Jenže uživatel ani netuší, jak titánský boj o stabilitu a dostupnost webu se odehrává uvnitř.
Pro web na intenzivním kurzu jsme vytvořili ukazatele SLO, SLI, SLA, vyvinuli architekturu a infrastrukturu, nasadili web, nastavili monitoring a alerting. A pak to začalo.
SLO, SLI, SLA
SLI - ukazatele úrovně služby. SLO - cíle úrovně služby. SLA - dohody o úrovni služby.
SLA - termín metodologie ITIL, označující formální smlouvu mezi zákazníkem služby a jejím poskytovatelem, která obsahuje popis služby, práva a povinnosti stran a, co je nejdůležitější, dohodnutou úroveň kvality poskytování této služby.
SLO je cíl úrovně služby: cílová hodnota nebo rozsah hodnot pro úroveň služby, která se měří pomocí SLI. Normální hodnotou pro SLO je „SLI ≤ cílová hodnota“ nebo „dolní mez ≤ SLI ≤ horní mez“.
SLI je ukazatel úrovně služby - pečlivě definované kvantitativní měření jednoho z aspektů poskytované úrovně služby. Pro většinu služeb se jako klíčový SLI považuje latence požadavku - kolik času je potřeba k vrácení odpovědi na požadavek. Další běžné SLI zahrnují frekvenci chyb, často vyjádřenou jako podíl všech přijatých požadavků, a propustnost systému, obvykle měřenou v požadavcích za sekundu.
Nejprve zničíme letadla, no a dívky, dívky pak…
Vnitřní a vnější faktory již od prvních minut začaly „kazit“ SLO. Na hlavu administrátorů se sesypalo všechno - jak chyby vývojářů, tak selhání infrastruktury, nával návštěvníků a DDoS útoky. Vše, co zhoršuje SLO.
„- Drazí účastníci, spěchám vás potěšit, nejprve se vám zhroutí… všechno!“
Během akce lektoři diskutovali o odolnosti, budgetu na chyby, praxi testování, řízení přerušení a prevenci provozní zátěže.
Není z nás topiče, není truhlář…
Účastníci začali opravovat – nejdůležitější je pochopit, za co se chytit jako první.
„- Pane Bože, nikdy jsem neviděl, aby se to rozbilo takto, v takovém stavu a v této pozici!“
Takže došlo k havárii. Služba zpracování plateb selhala. Jak jednat, aby se co nejrychleji obnovila funkčnost?
Odborníci se s úsměvem dívají na účastníky a připravují další záludnost.
Každý tým organizuje práci skupiny na odstranění havárie – zapojují kolegy, informují zájmové strany. Zároveň se stanovují priority. Tak se účastníci trénovali pracovat pod tlakem v podmínkách extrémně omezeného času.
„- Co to za hrůzu vylezlo?!“
Vydýchli se… a dokončili cvičení.
Spolu se speakery po každém vyřešeném problému a dočasně stabilizované stránce týmy zkoumaly incidenty z pohledu SRE. Podrobně analyzovaly problémy – příčiny vzniku, průběh odstranění. Poté rozhodovaly jak týmově, tak kolektivně o jejich dalším zamezení: jak zlepšit monitorování, jak správně změnit architekturu, jak upravit přístup k vývoji a provozu, jak korigovat směrnice. Speakři demonstrovali praxi provádění post-mortem.
„- Kdo další chce utrpení! – Já!“
Na elektronické tabuli byly přehledně a jasně zaznamenávány úspěchy týmů.
Za první místa – odměna od zainteresovaných stran.
Zdroj: habr.com
