Slörm SRE. Puhas katsetamine ekspertide käest Booking.com ja Google.com

Meie meeskond armastab eksperimente. Iga Slõrm ei ole staatiline kordus eelnevatest, vaid kogemuste mõtestamine ja liikumine heast paremaks. Kuid Slõrm SRE otsustasime rakendada täiesti uut formaati — anda osalejatele tingimused, mis on võimalikult lähedased «lahingutingimustele».

Kuid lühidalt kokku võttes, millega me intensiivkursusel tegelesime: «Ehitus, purustamine, parandamine,
uurimine». SRE-l ei ole suurt väärtust puhtas teoorias — ainult praktika, reaalsed lahendused, reaalsed probleemid.

Osalejad jagati meeskondadesse, et elav konkurentsi vaim ei laseks kellelgi magama jääda või käivitada iPhone'is «Angry Birds», nagu Dmitri Anatoljevitš tegi.

Probleeme, tõrkeid, vigu ja ülesandeid tagasid osalejatele neli mentorit. Ivan Kruglov, peaarendaja Booking.com'is (Holland). Ben Tyler, peaarendaja Booking.com'is (USA). Eduard Medvedev, CTO Tungsten Labs'is (Saksamaa). Jevgeni Varavva, laia profiiliga arendaja Google'is (San Francisco).

Ja osalejad on kaotatud meeskondadesse — ja võistlevad üksteisega. Huvitav?

Ivan, Ben, Eduard ja Jevgeni vaatavad heatahtlikult vaeseid Slõrm SRE osalejaid enne võistluse algust.

Nii et ülesanne:

Meie, meie uue maailma ehitame...

On olemas kinopiletite agregaatveebileht. Intsidendid leiavad mentoreid eelnevalt väljatöötatud stsenaariumis (kuigi keegi ei välista ülimalt rafineeritud ja kurja improviseerimist), veebilehe töökindlust kirjeldatakse erinevate mõõdikute abil. Probleemid võivad olla väga erinevad: «Moolen Rouge'i» teatri piletid ei lae andmebaasi; filmide ja etenduste plakatid laaditakse andmebaasi enam kui 10 sekundiga; ühe filmi kirjeldus hangub; 0,1% tellimustest jõuab juba reserveeritud kohtadele; maksesüsteem katkeb perioodiliselt minutiks-kaheks. Ja palju-palju-palju ebameeldivat, mis võib Slõrm SRE osalejale tõeliselt tööle sattuvalt juhtuda.

Oleme valmis kõigega… ja kõigitega toime tulema.

Meie vaevarikas veebisait koosneb mitmest mikroteenusest. Selle eesmärk on koguda andmeid seansside, hindade ja vabade kohtade kohta kõigist kinodest, näidata filmide reklaame, võimaldada valida kino, seansi, saali ja koha ning broneerida ja maksta piletite eest. Ühesõnaga, kõik, millest vaataja vaid unistada oskab. Ainult et kasutaja ei aimagi, milline titaaniline võitlus stabiilsuse ja veebisaidi kättesaadavuse nimel käib selle sees.

Intensiivkursuse veebilehe jaoks määrasime SLO, SLI, SLA näitajad, töötasime välja arhitektuuri ja infrastruktuuri, juurutame veebilehe, seadistame jälgimise ja häirete korraldamise. Ja siis algas.

SLO, SLI, SLA

SLI — teenuse taseme näitajad. SLO — teenuse taseme eesmärgid. SLA — teenuse taseme kokkulepped.

SLA — ITILi metoodikaTermin, mis tähistab ametlikku lepingut teenuse tellija ja tarnija vahel, mis sisaldab teenuse kirjelduse, osaliste õigusi ja kohustusi ning, mis kõige tähtsam, kokku lepitud kvaliteeditase antud teenuse osutamisel.

SLO — teenuse taseme eesmärk: sihtväärtus või väärtuste vahemik teenuse taseme jaoks, mida mõõdetakse SLI abil. Tavaline SLO väärtus on „SLI ≤ sihtväärtus” või „madalam piir ≤ SLI ≤ ülemine piir”.

SLI on teenuse taseme näitaja — hoolikalt määratletud kvantitatiivne mõõt üksikasjadest, mis on seotud antud teenuse tasemega. Enamik teenuseid peavad võtme SLI-na päringu viivitust — kui kaua aega kulub vastuse saamiseks päringule. Teised levinud SLI-d hõlmavad veakordade sagedust, mida sageli väljendatakse kui kõigi saadud päringute osakaalu, ja süsteemi läbilaskevõimet, mida mõõdetakse tavaliselt päringute arvuna sekundis.

Esiteks rikume lennukid, aga tüdrukud, tüdrukud jäävad hiljem…

Sisemised ja välised tegurid hakkasid SLO-d "rikkuva" juba esimestest minutist. Administraatoreid tabas kõik — nii arendajate vead kui infrastruktuuri tõrked, külastajate vool ja DDoS-ründed. Kõik, mis halvendab SLO-d.

"Kallid osalejad, olen rõõmus teid teavitada, et kõigepealt kukub teil … kõik!"

Räägiti nagu ikka resistentsusest, veabudžetist, testimise praktikast, katkestuste ja operatiivkoormuse haldamisest.

Me ei ole kütmismehed ega puutöölised...

Siin osalejad hakkasid remontima — peamine on mõista, millega esimesena tegelema hakata.

«- Jumal, ma pole kunagi näinud, et see nii katki läheks, sellises seisus ja sellises asendis!»

Nii, õnnetus on juhtunud. Maksete töötlemise teenus on maas. Kuidas tegutseda, et taastada töövõime võimalikult kiiresti?

Ekspertide sõbralik pilk osalejate poole valmistab uusi komplitseerivaid olukordi.

Iga meeskond korraldab rikke kõrvaldamise tööd — kaasatakse kolleege, teavitatakse sidusrühmi. Samal ajal seatakse prioriteedid. Nii harjutasid osalejad töötama surve all äärmiselt piiratud aja tingimustes.

«- Mis see õudus nüüd on?!»

Hingati sügavalt välja… ja lõpetati harjutus

Koos esinejatega, pärast iga lahendatud probleemi ja ajutiselt stabiliseeritud veebilehte, uurisid meeskonnad sündmusi SRE vaatepunktist. Probleeme analüüsiti detailideni – tekkepõhjused ja kõrvaldamise käik. Pärast seda langetati koos meeskondade kaupa ja kollektiivselt otsus nende edasise ennetamise kohta: kuidas parandada monitooringut, kuidas muudatusi arhitektuuris õigesti teha, kuidas kohandada lähenemist arendamisele ja käitamisele, kuidas reguleerida protseduure. Esinejad demonstreerisid post-mortem läbiviimise praktikat.

«- Kes veel tahab piinlemist! — Mina!»

Elektroonilisel tablool fikseeriti meeskondade edusammud rangelt ja selgelt.

Esimeste kohtade eest on auhind sidusrühmadelt.

Allikas: habr.com