Slurm SRE. Një eksperiment i plotë me ekspertët nga Booking.com dhe Google.com

Ekipa jonĂ« i do eksperimentet. Çdo Slurm Ă«shtĂ« njĂ« reflektim mbi pĂ«rvojĂ«n dhe njĂ« kalim nga e mira nĂ« mĂ« tĂ« mirĂ«n. Por me Slurm SRE vendosĂ«m tĂ« aplikojmĂ« njĂ« format krejt tĂ« ri — tĂ« japim pjesĂ«marrĂ«sve kushte tĂ« ngjashme me ato "luftarake".

Nëse përshkruaj me shkurtesë se çfarë bëmë gjatë intensivet: "Ndërtojmë, prishim, riparojmë,
studjojmë". SRE nuk ka shumë vlerë në teorinë e bosh, vetëm praktikë, zgjidhje reale, probleme reale.

Pjesëmarrësit u ndanë në grupe, në mënyrë që fryma e fortë konkurruese të mos lejojë askënd të flejë ose të luajë "Angry Birds" në iPhone sipas shembullit të Dmitrijit Anatolievich.

Problemet, gabimet, bugs dhe detyrat u siguruan nga katër mentorë. Ivan Kruglov, Zhvilluesi Kryesor në Booking.com (Holandë). Ben Tyler, Zhvilluesi Kryesor në Booking.com (SHBA). Eduard Medvedev, CTO në Tungsten Labs (Gjermani). Evgeny Varavva, zhvillues me profile të gjera në Google (San Francisco).

Dhe gjithashtu pjesĂ«marrĂ«sit u ndanĂ« nĂ« grupe — dhe konkurronin me njĂ«ri-tjetrin. A Ă«shtĂ« interesante?

Slurm SRE. Një eksperiment i plotë me ekspertët nga Booking.com dhe Google.com
Ivan, Ben, Eduard dhe Evgeny shikojnë me një shikim të butë leninist mbi pjesëmarrësit e pafat të Slurm SRE përpara fillimit të garës.

Pra, kjo është detyra:

Ne do të ndërtojmë një botë të re


Ekziston një faqe-aggregator për biletat në kinema. Incidencat shpikën mentorët në një skenar të punuar më parë (edhe pse askush nuk e përjashton një improvizim të veçantë dhe të ndërlikuar), funksionaliteti i faqes përshkruhet nga metrika të ndryshme. Problemet mund të jenë shumë të ndryshme: biletat për teatrin "Moulin Rouge" nuk ngarkohen në bazë; posterët e filmave dhe shfaqjeve ngarkohen në bazë për më shumë se 10 sekonda; përshkrimi i një filmi të veçantë ngec; 0,1% e porosive arrijnë tashmë në vendet e rezervuara; ndonjëherë sistemi i përpunimit të pagesave bie për një ose dy minuta. Dhe shumë shumë shumë të pakëndshme që mund të ndodhin me pjesëmarrësin e Slurm SRE gjatë punës së tij reale.

Slurm SRE. Një eksperiment i plotë me ekspertët nga Booking.com dhe Google.com
Jemi tĂ« gatshĂ«m tĂ« pĂ«rballojmĂ« gjithçka
 dhe tĂ« gjithĂ«.

Webi ynë me shumë sfida përbëhet nga disa mikroshërbime. Detyra e tij është të agregojë të dhënat për seancat, çmimet dhe vendet e lira nga të gjitha kinematë, ai tregon njoftimet për filma, lejon të zgjidhni kinemanë, seancën, sallën dhe vendin, të rezervoni dhe të paguani biletat. Në përgjithësi, gjithçka që një shikues mund të ëndërrojë. Por, përdoruesi as që e di se çfarë luftë titanike po zhvillohet për stabilitetin dhe disponueshmërin e faqes brenda.

Për faqen e internetit në intensifikuar kemi formuluar treguesit SLO, SLI, SLA, kemi zhvilluar arkitekturën dhe infrastrukturën, kemi deplojuar faqen, kemi vendosur monitorimin dhe alarmet. Dhe gjithçka filloi.

SLO, SLI, SLA

SLI është treguesi i nivelit të shërbimit. SLO janë objektivat e nivelit të shërbimit. SLA janë marrëveshjet mbi nivelin e shërbimit.

SLA është një term i metodologjisë ITIL, që tregon një kontratë formale midis klientit të shërbimit dhe ofruesit të tij, e cila përmban përshkrimin e shërbimit, të drejtat dhe detyrimet e palëve dhe, mbi të gjitha, nivelin e cilësisë së dakorduar të ofrimit të këtij shërbimi.

SLO Ă«shtĂ« objektivi i nivelit tĂ« shĂ«rbimit: njĂ« vlerĂ« ose njĂ« gamĂ« vlerash pĂ«r nivelin e shĂ«rbimit qĂ« matet nga SLI. NjĂ« vlerĂ« normale pĂ«r SLO Ă«shtĂ« "SLI ≀ vlera e synuar" ose "vlera mĂ« e ulĂ«t ≀ SLI ≀ vlera mĂ« e lartĂ«."

SLI Ă«shtĂ« njĂ« tregues i nivelit tĂ« shĂ«rbimit — njĂ« masĂ« e qartĂ« dhe e saktĂ« e njĂ« aspekti tĂ« ofrimit tĂ« shĂ«rbimit. PĂ«r shumicĂ«n e shĂ«rbimeve, SLI kryesor konsiderohet vonesa e kĂ«rkesĂ«s — sa kohĂ« nevojitet pĂ«r tĂ« kthyer njĂ« pĂ«rgjigje pĂ«r kĂ«rkesĂ«n. Tregues tĂ« tjerĂ« tĂ« zakonshĂ«m SLI pĂ«rfshijnĂ« frekuencĂ«n e gabimeve, shpesh e shprehur si njĂ« pĂ«rqindje e tĂ« gjitha kĂ«rkesave tĂ« marra, dhe kapacitetin e sistemit, zakonisht i matur nĂ« kĂ«rkesa pĂ«r sekondĂ«.

Së pari, do të prishim avionët, ndersa vajzat, vajzat do të vinë më vonë...

FaktorĂ«t e brendshĂ«m dhe tĂ« jashtĂ«m qĂ« nga minutat e para filluan tĂ« "prishin" SLO. Administratoret u goditĂ«n nga gjithçka — gabimet e zhvilluesve, dĂ«shtimet e infrastrukturĂ«s, fluksi i vizitorĂ«ve, dhe sulmet DDoS. Gjithçka qĂ« pĂ«rkeqĂ«son SLO.

Slurm SRE. Një eksperiment i plotë me ekspertët nga Booking.com dhe Google.com
"- Të nderuar pjesëmarrës, po ju gëzoj, së pari ju bie... gjithçka!"

Gjatë procesit, folësit analizuan qëndrueshmërinë, buxhetin e gabimeve, praktikën e testimit, menaxhimin e ndërprerjeve dhe ngarkesës operative.

Ne nuk jemi qymyrgjarë, as marangozë...

KĂ«tu pjesĂ«tarĂ«t filluan tĂ« rregullojnĂ« — gjĂ«ja mĂ« kryesore Ă«shtĂ« tĂ« kuptojmĂ« se çfarĂ« tĂ« kapim tĂ« parĂ«n.

Slurm SRE. Një eksperiment i plotë me ekspertët nga Booking.com dhe Google.com
«- Zot, kurrë nuk kam parë që kjo të prishet në këtë mënyrë dhe në këtë pozicion!»

Kështu, ndodhi një aksident. Shërbimi i procesimit të pagesave ra. Si të veprojmë për të rikthyer funksionalitetin në kohën më të shkurtër të mundshme?

Slurm SRE. Një eksperiment i plotë me ekspertët nga Booking.com dhe Google.com
Ekspertët, duke e parë me dashuri pjesëmarrësit, po përgatisin një tjetër sfidë.

Çdo ekip organizon punĂ«n e grupit pĂ«r tĂ« eliminuar aksidentin — angazhon kolegĂ«t, informon interesat (stakeholders). NĂ« tĂ« njĂ«jtĂ«n kohĂ«, vendosen prioritete. KĂ«shtu, pjesĂ«marrĂ«sit stĂ«rviten pĂ«r tĂ« punuar nĂ«n presion nĂ« kushte tĂ« kufizuara kohore.

Slurm SRE. Një eksperiment i plotë me ekspertët nga Booking.com dhe Google.com
«- ÇfarĂ« tmerri doli?!»

Kalon
 dhe përfundojnë ushtrimin

SĂ« bashku me folĂ«sit, pas çdo problemi tĂ« zgjidhur dhe sitit tĂ« stabilizuar pĂ«rkohĂ«sisht, ekipet shqyrtuan incidentet nga kĂ«ndvĂ«shtrimi i SRE. Analizuan me hollĂ«si problemet — shkaqet e shfaqjes, mĂ«nyra e zgjidhjes. Pas kĂ«saj, lojtarĂ«t morĂ«n vendime si ekip ashtu edhe kolektivisht pĂ«r parandalimin e tyre nĂ« tĂ« ardhmen: si tĂ« pĂ«rmirĂ«sojnĂ« monitorimin, si tĂ« ndryshojnĂ« nĂ« mĂ«nyrĂ« tĂ« mençur arkitekturĂ«n, si tĂ« rregullojnĂ« qasjen drejt zhvillimit dhe operimit, si tĂ« korrigjojnĂ« rregullat. FolĂ«sit demonstruan praktikĂ«n e mbajtjes sĂ« post-mortem.

Slurm SRE. Një eksperiment i plotë me ekspertët nga Booking.com dhe Google.com
«- Kush tjetĂ«r do tĂ« vuajĂ«! — UnĂ«!»

Në tabelën elektronike regjistroheshin me rreptësi dhe saktësi arritjet e ekipeve.

Slurm SRE. Një eksperiment i plotë me ekspertët nga Booking.com dhe Google.com

PĂ«r vendet e para — shpĂ«rblim nga stakolderĂ«t.

Slurm SRE. Një eksperiment i plotë me ekspertët nga Booking.com dhe Google.com

Burimi: habr.com

Bleni hostin e besueshĂ«m pĂ«r faqet me mbrojtje nga DDoS, VPS VDS servera đŸ”„ Bli hostin e besueshĂ«m pĂ«r faqet me mbrojtje nga DDoS, VPS VDS servera | ProHoster