SRE Sloerm. Potpuni eksperiment s ekspertima iz Booking.com i Google.com

Naš tim voli eksperimente. Svaki Sloerm nije statična ponavljanja prethodnih, već osvješćivanje iskustva i prelazak od dobrog ka boljem. No, s Sloermom SRE odlučili smo primijeniti potpuno novi format — dati sudionicima uvjete što bliže "borbenim".

Ako ukratko opišemo čime smo se bavili na intenzivu: "Gradimo, rušimo, popraviamo,
istražujemo". SRE malo što vrijedi u suhoparnoj teoriji — samo praksa, stvarna rješenja, stvarni problemi.

Sudionici su bili podijeljeni u timove, kako bi veseliti natjecateljski duh spriječio ikoga da zaspite ili pokrene "Angry Birds" na iPhoneu, poput Dmitrija Anatoljeviča.

Problemi, greške, bugovi i zadaci bili su osigurani sudionicima od strane četiri mentora. Ivan Kruglov, Principal Developer u Booking.com (Nizozemska). Ben Tyler, Principal Developer u Booking.com (Sjedinjene Američke Države). Eduard Medvedev, CTO u Tungsten Labs (Njemačka). Evgenij Varavva, širokopojasni developer u Googleu (San Francisco).

A sudionici su podijeljeni u timove — i natječu se međusobno. Zanimljivo?

Ivan, Ben, Eduard i Evgenij s dobrom lenjinskom sjenom gledaju na jadne sudionike SRE Sloerm-a prije nego što natjecanje započne.

Dakle, zadatak:

Mi ćemo, mi ćemo izgraditi novi svijet…

Postoji aggergator filmskih karata. Incidenti osmišljavaju mentori prema unaprijed pripremljenom scenariju (iako nitko ne isključuje posebno izuzetnu i podlu improvizaciju), funkcionalnost stranice opisuje se različitim metrima. Problemi mogu biti vrlo raznoliki: karte za kazalište

Spremni smo nositi se sa svime… i sa svima.

Naša jako pogođena stranica sastoji se od nekoliko mikroservisa. Njegov zadatak je prikupljanje podataka o sesijama, cijenama i slobodnim mjestima iz svih kina, prikazuje najave filmova, omogućuje odabir kina, sesije, dvorane i mjesta, rezervaciju i plaćanje karata. Ukratko, sve o čemu gledatelj može samo sanjati. Ipak, korisnik ni ne sluti kakva titanska borba za stabilnost i dostupnost stranice odvija se unutra.

Za stranicu na intenzivnom kursu definirali smo pokazatelje SLO, SLI, SLA, razvili arhitekturu i infrastrukturu, implementirali stranicu, postavili praćenje i obavijesti. I tako je počelo.

SLO, SLI, SLA

SLI – pokazatelji razine usluge. SLO – ciljevi razine usluge. SLA – sporazumi o razini usluge.

SLA je pojam iz ITIL metodologije, koji označava formalni ugovor između korisnika usluge i njenog pružatelja, koji sadrži opis usluga, prava i obveze strana i, najvažnije, dogovorenu razinu kvalitete pružene usluge.

SLO je cilj razine usluge: ciljna vrijednost ili raspon vrijednosti za razinu usluge koja se mjeri SLI-jem. Normalna vrijednost za SLO je "SLI ≤ ciljna vrijednost" ili "donja granica ≤ SLI ≤ gornja granica".

SLI je pokazatelj razine usluge – pažljivo definirana kvantitativna mjera jednog od aspekata pružene razine usluge. Za većinu servisa kao ključni SLI smatra se latencija zahtjeva – koliko vremena je potrebno za povrat odgovora na zahtjev. Ostali uobičajeni SLI uključuju frekvenciju grešaka, koja se često izražava kao omjer svih primljenih zahtjeva, i propusnost sustava, obično mjerenu u zahtjevima po sekundi.

Prvo ćemo srušiti avione, a djevojke, djevojke dolaze kasnije...

Unutarnji i vanjski faktori od prvih minuta počeli su "kvariti" SLO. Na administratore je pala cijela hrpa – i greške programera, i kvarovi infrastrukture, i nagli porast posjetitelja, i DDoS napadi. Sve što pogoršava SLO.

"- Dragi sudionici, žurim vas obradovati, prvo što ćete doživjeti je... sve!"

Tijekom prezentacija, govornici su obrađivali otpornost, budžet grešaka, praksu testiranja, upravljanje prekidima i operativnim opterećenjem.

Nismo mi kovači, niti drvoprerađivači...

Ovdje su sudionici počeli popravke — važno je razumjeti s čim se prvo uhvatiti u koštac.

«- Bože, nikada nisam vidio da se ovo kvari ovako, u ovom obliku i u ovom položaju!»

Dakle, došlo je do kvara. Servis za obradu plaćanja je pao. Što učiniti da bismo brzo obnovili rad?

Stručnjaci nježno gledajući sudionike pripremaju novu zamku.

Svaka ekipa organizira rad grupe za otklanjanje kvara — uključuju kolege, obavještavaju zainteresirane strane (stakeholders). Također se postavljaju prioriteti. Tako su sudionici vježbali rad pod pritiskom u uvjetima iznimno ograničenog vremena.

«- Što je to za užas izlazio?!»

Izdahnuli smo... i završili vježbu

Zajedno s govornicima, nakon svake riješene probleme i privremeno stabilizirane stranice, ekipe su proučavale incidente s gledišta SRE-a. Detaljno su analizirali probleme — uzroke pojave, tijek otklanjanja. Nakon toga su, kako timski, tako i kolektivno, donijeli odluku za njihovo daljnje sprječavanje: kako poboljšati nadzor, kako ispravno izmijeniti arhitekturu, kako prilagoditi pristup razvoju i korištenju, kako prilagoditi propise. Govornici su demonstrirali praksu provođenja post-mortem.

«- Tko još želi mučenja! — Ja!»

Na elektronskoj tabli strogo i jasno su zabilježeni uspjesi timova.

Za prva mjesta — nagrada od dionika.

Izvor: habr.com