Slerm SRE. Neprekinjen eksperiment s strokovnjaki iz Booking.com in Google.com

Naša ekipa rada eksperimentira. Svaki SLRM nije statičko ponavljanje prethodnog, već promišljanje iskustva i prelazak od dobrog ka boljem. No sa SLRM-om SRE odlučili smo primeniti potpuno novi format — pružiti učesnicima uslove što bliže "borbenim".

Ako bih ukratko opisao čime smo se bavili tokom intenziva: "Gradimo, uništavamo, popravljamo,
istražujemo." SRE malo vredi u goloj teoreiji — samo praksa, stvarna rešenja, stvarni problemi.

Učesnici su podeljeni u timove kako bi živahni takmičarski duh sprečio svakoga da zaspi ili pokrene "Angry Birds" na iPhone-u kao Dmitrij Anatoljevič.

Problemi, greške, bagovi i zadaci obezbeđivali su učesnicima četiri mentora. Ivan Kruglov, Principal Developer u Booking.com (Nizozemska). Ben Tyler, Principal Developer u Booking.com (Sjedinjene Američke Države). Eduard Medvedev, CTO u Tungsten Labs (Nemačka). Evgenij Varavva, višestruki programer u Google-u (San Francisko).

A učesnici su podeljeni u timove — i takmiče se jedni protiv drugih. Zanimljivo?

Ivan, Ben, Eduard i Evgenij s dobrim LENIN-ovim znakom gledaju jadne učesnike SLRM SRE pre početka takmičenja.

Dakle, zadatak:

Mi ćemo, mi ćemo izgraditi naš novi svet…

Postoji sajt-aggregator karata za bioskop. Incidente smišljaju mentori prema unapred pripremljenom scenariju (iako niko ne isključuje posebno sofisticiranu i podlu improvizaciju), funkcionalnost sajta opisuje se raznim metrikama. Problemi mogu biti raznoliki: karte za pozorište "Moulin Rouge" se ne učitavaju u bazu; posteri filmova i predstava učitavaju se u bazu duže od 10 sekundi; opis pojedinog filma se zamrzava; 0,1% narudžbina dolazi već na rezervisana mesta; povremeno se sistem za obradu plaćanja isključi na minut-dva. I mnogo, mnogo, mnogo neprijatnosti koje mogu zadesiti učesnika SLRM SRE na njegovom stvarnom poslu.

Spremni smo da se nosimo sa svim… i sa svima.

Naša teško pogođena stranica sastoji se od nekoliko mikrosluzbi. Njen zadatak je agregacija podataka o projekcijama, cenama i slobodnim mestima iz svih bioskopa; prikazuje najave filmova, omogućava izbor bioskopa, projekcije, sale i mesta, kao i rezervaciju i plaćanje karata. Sve ono o čemu gledaoci mogu samo da sanjaju. Samo što korisnik ni ne sluti kakva titanska borba za stabilnost i dostupnost stranice se vodi unutra.

Za stranicu na intenzivu formirali smo indikatore SLO, SLI, SLA, razvili arhitekturu i infrastrukturu, implementirali stranicu, postavili monitoring i alerte. I krenulo je.

SLO, SLI, SLA

SLI — indikatori nivoa usluge. SLO — ciljevi nivoa usluge. SLA — ugovori o nivou usluge.

SLA — termin iz ITIL metodologije, koji označava formalni ugovor između korisnika usluge i njenog pružaoca, koji sadrži opis usluge, prava i obaveze strana, i, što je najvažnije, dogovoreni nivo kvaliteta pružanja te usluge.

SLO je cilj nivoa usluge: ciljana vrednost ili opseg vrednosti za nivo usluge, koji se meri SLI-om. Normalna vrednost za SLO je "SLI ≤ ciljana vrednost" ili "donja granica ≤ SLI ≤ gornja granica".

SLI je indikator nivoa usluge — pažljivo definisana kvantitativna mera jednog od aspekata pruženog nivoa usluge. Za većinu usluga, ključni SLI je latencija zahteva — koliko vremena je potrebno da se vrati odgovor na zahtev. Druge raširene SLI uključuju stopu grešaka, često izraženu kao udeo svih primljenih zahteva, i propusnost sistema, obično merenu u zahtevima po sekundi.

Prvo ćemo srušiti avione, a devojke, devojke ćemo kasnije…

Unutrašnji i spoljašnji faktori su od prvih minuta počeli da 'kvare' SLO. Na administratore su se sručile sve — i greške programera, i kvarovi infrastrukture, i nagli porast posetilaca, i DDoS napadi. Sve ono što pogoršava SLO.

"- Dragi učesnici, žurim vas obradovati, prvo vam pada… sve!"

Tokom događaja predavači su obradili otpornost, budžet grešaka, praksu testiranja, upravljanje prekidima i operativnim opterećenjem.

Nismo mi kotlovi, nismo drvodjelje…

Tuk so udeleženci začeli popravljati - pomembno je razumeti, kaj je treba najprej narediti.

«- Gospod, nikoli nisem videl, da bi se to pokvarilo tako, v takšni obliki in v takem položaju!»

Torej, prišlo je do nesreče. Plačilna storitev je padla. Kako ravnati, da hitro obnovimo delovanje?

Strokovnjaki z ljubeznijo opazujejo udeležence, ko pripravljajo naslednjo past.

Vsaka ekipa organizira delo skupine za odpravo nesreče - vključuje sodelavce, obvešča zainteresirane strani (stakeholders). Tako tudi postavljajo prioritete. Tako so se udeleženci učili delati pod pritiskom v izjemno omejenem času.

«- Kaj za vraga se je zgodilo?!»

Zavzdihnili so... in končali vajo.

Skupaj s predavatelji po vsakem rešenem problemu in začasno stabilizirani spletni strani so ekipe preučevale incidente z vidika SRE. Podrobno so analizirali težave - vzroke nastanka, pot odprave. Po tem so tako ekipno kot kolektivno sprejeli odločitve o njihovem nadaljnjem preprečevanju: kako izboljšati spremljanje, kako ustrezno spremeniti arhitekturo, kako prilagoditi pristop k razvoju in delovanju, kako popraviti regulative. Predavatelji so pokazali prakso izvajanja post-mortem.

«- Kdo si še želi muka! - Jaz!»

Na elektronskem tablo so strogo in jasno beležili uspehe ekip.

Za prva mesta - nagrada od zainteresiranih strani.

Izvor: habr.com