Slurm SRE. Heildartilraun með sérfræðingum frá Booking.com og Google.com

Liðið okkar elskar tilraunir. Hver slurm er ekki kyrrstæð endurtekning á þeim fyrri, heldur hugleiðing um upplifunina og umskipti frá góðu til betra. En með Slurm SRE við ákváðum að nota alveg nýtt snið - til að gefa þátttakendum aðstæður sem næst „bardaga“.

Ef við gerum stuttlega grein fyrir því sem við gerðum á hraðnámskeiðinu: „Við smíðum, við brotum, við gerum,
við erum að læra." SRE er lítils virði í kenningum - aðeins æfing, raunverulegar lausnir, raunveruleg vandamál.

Þátttakendum var skipt í lið þannig að öflugt keppnisskap myndi ekki leyfa neinum að sofna eða setja „Angry Birds“ á iPhone, eftir fordæmi Dmitry Anatolyevich.

Fjórir leiðbeinendur gáfu þátttakendum vandamál, galla, galla og verkefni. Ivan Kruglov, aðalhönnuður hjá Booking.com (Hollandi). Ben Tyler, aðalhönnuður hjá Booking.com (Bandaríkin). Eduard Medvedev, tæknistjóri hjá Tungsten Labs (Þýskalandi). Evgeniy Varavva, almennur verktaki hjá Google (San Francisco).

Þar að auki er þátttakendum skipt í lið og keppa sín á milli. Áhugavert?

Slurm SRE. Heildartilraun með sérfræðingum frá Booking.com og Google.com
Ivan, Ben, Eduard og Evgeniy horfa á fátæku Slurm SRE þátttakendurna með góðlátlegum lenínískum augum áður en keppnin hefst.

Svo verkefnið:

Við erum okkar, við munum byggja nýjan heim...

Það er vefsíða sem safnar bíómiða. Atvik eru fundin upp af leiðbeinendum í fyrirfram unnum atburðarás (þótt enginn útiloki sérstaklega háþróaðan og lúmskan spuna), frammistöðu síðunnar er lýst með ýmsum mælikvörðum. Vandamálin geta verið mjög mismunandi: miðar í Moulin Rouge leikhúsið eru ekki hlaðnir inn í gagnagrunninn; veggspjöldum kvikmynda og gjörninga er hlaðið inn í gagnagrunninn á meira en 10 sekúndum; lýsingin á einstakri kvikmynd frýs; 0,1% af pöntunum er þegar frátekið; Af og til hrynur greiðsluvinnslukerfið í eina eða tvær mínútur. Og margt, margt, margt óþægilegt sem getur hent Slurm SRE þátttakanda í raunverulegu starfi sínu.

Slurm SRE. Heildartilraun með sérfræðingum frá Booking.com og Google.com
Við erum tilbúin að takast á við hvað sem er...og alla.

Langþjáð vefsíða okkar samanstendur af nokkrum örþjónustum. Verkefni þess er að safna saman gögnum um sýningar, verð og laus sæti frá öllum kvikmyndahúsum; það sýnir kvikmyndatilkynningar, gerir þér kleift að velja kvikmyndahús, sýningu, sal og stað, bóka og greiða fyrir miða. Almennt allt sem áhorfandinn getur aðeins dreymt um. En notandann grunar ekki einu sinni hvaða títanísk barátta fyrir stöðugleika og aðgengi síðunnar er í gangi inni.

Fyrir öfluga síðuna bjuggum við til SLO, SLI, SLA vísa, þróuðum arkitektúr og innviði, settum upp síðuna, settum upp eftirlit og viðvörun. Og í burtu förum við.

SLO, SLI, SLA

SLI - þjónustustigsvísar. SLOs eru þjónustustigsmarkmið. SLA - þjónustustigssamningar.

SLA er ITIL aðferðafræðihugtak sem táknar formlegan samning milli viðskiptavinar þjónustu og birgja hennar, sem inniheldur lýsingu á þjónustunni, réttindum og skyldum aðila og síðast en ekki síst, umsamið gæðastig fyrir veitingu þessa. þjónustu.

SLO er þjónustustigsmarkmið: markgildi eða gildissvið fyrir þjónustustig sem er mælt af SLI. Eðlilegt gildi fyrir SLO er „SLI ≤ Target“ eða „Lower Limit ≤ SLI ≤ Upper Limit“.

SLI er þjónustustigsvísir - vandlega skilgreindur megindlegur mælikvarði á einn þátt þjónustustigsins sem veitt er. Fyrir flestar þjónustur er lykillinn SLI talinn vera biðtími - hversu langan tíma það tekur að skila svari við beiðni. Aðrar algengar SLI eru meðal annars villuhlutfall, oft gefið upp sem brot af öllum beiðnum sem berast, og afköst kerfisins, venjulega mæld í beiðnum á sekúndu.

Fyrst af öllu munum við brjóta flugvélarnar, og svo stelpurnar og svo stelpurnar...

Innri og ytri þættir fóru að „spilla“ SLO frá fyrstu mínútum. Allt féll stjórnendum á hausinn - mistök þróunaraðila, bilanir í innviðum, innstreymi gesta og DDoS árásir. Allt sem versnar SLO.

Slurm SRE. Heildartilraun með sérfræðingum frá Booking.com og Google.com
“- Kæru þátttakendur, ég flýti mér að þóknast ykkur, það fyrsta sem ykkur mistekst er... allt!”

Í leiðinni ræddu fyrirlesararnir stöðugleika, villufjárhagsáætlun, prófunaraðferðir, stjórnun truflana og rekstrarálag.

Við erum ekki stokers, ekki smiðir...

Þá fóru þátttakendur að laga hlutina - aðalatriðið er að skilja hvað á að grípa fyrst.

Slurm SRE. Heildartilraun með sérfræðingum frá Booking.com og Google.com
"- Drottinn, ég hef aldrei séð það brotna svona, í þessari mynd og í slíkri stöðu!"

Þannig að slys varð. Greiðsluafgreiðsluþjónustan liggur niðri. Hvernig á að bregðast við til að endurheimta virkni á sem skemmstum tíma?

Slurm SRE. Heildartilraun með sérfræðingum frá Booking.com og Google.com
Sérfræðingarnir, horfa ástúðlega á þátttakendur, eru að undirbúa annað brellu.

Hvert teymi skipuleggur vinnu hópsins til að útrýma slysinu - tekur þátt í samstarfsfólki, lætur hagsmunaaðila (hagsmunaaðila) vita. Jafnframt er forgangsraðað. Þannig þjálfuðu þátttakendur sig í að vinna undir álagi við mjög takmarkaðar aðstæður.

Slurm SRE. Heildartilraun með sérfræðingum frá Booking.com og Google.com
"Hvers konar hryllingur hefur komið út?!"

Andaðu frá þér... og kláraðu æfinguna

Ásamt fyrirlesurum, eftir að hvert vandamál var leyst og staðsetningin var tímabundið stöðug, rannsakaði teymið atvikin frá SRE sjónarhorni. Við greindum vandamálin í smáatriðum - orsakir atviks, framvindu brotthvarfs. Eftir það, bæði lið fyrir lið og sameiginlega, tókum við ákvarðanir um hvernig ætti að koma í veg fyrir þá frekar: hvernig ætti að bæta eftirlit, hvernig ætti að breyta skynsamlega arkitektúrnum, hvernig ætti að laga nálgun að þróun og rekstri, hvernig ætti að leiðrétta reglugerðir. Fyrirlesarar sýndu fram á vinnubrögð við að framkvæma skurðaðgerð.

Slurm SRE. Heildartilraun með sérfræðingum frá Booking.com og Google.com
„Hver ​​annar vill kvöl! - Ég!"

Árangur liðanna var nákvæmlega skráður á rafræna stigatöfluna.

Slurm SRE. Heildartilraun með sérfræðingum frá Booking.com og Google.com

Fyrir fyrstu sætin - bónus frá hagsmunaaðilum.

Slurm SRE. Heildartilraun með sérfræðingum frá Booking.com og Google.com

Heimild: www.habr.com

Bæta við athugasemd