{"id":56260,"date":"2020-02-08T00:00:00","date_gmt":"2020-02-07T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/slyorm-sre-sploshnoj-eksperiment-c-ekspertami-iz-booking-com-i-google-com"},"modified":"2020-02-18T14:04:30","modified_gmt":"2020-02-18T11:04:30","slug":"slyorm-sre-sploshnoj-eksperiment-c-ekspertami-iz-booking-com-i-google-com","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/slyorm-sre-sploshnoj-eksperiment-c-ekspertami-iz-booking-com-i-google-com","title":{"rendered":"SRE av Slurm. Ett kontinuerligt experiment med experter fr\u00e5n Booking.com och Google.com","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

V\u00e5rt team \u00e4lskar att experimentera. Varje Sl\u00f6rm \u00e4r inte en statisk upprepning av det f\u00f6rflutna, utan en reflektion \u00f6ver erfarenheter och en \u00f6verg\u00e5ng fr\u00e5n det goda till det b\u00e4sta. Men med Sl\u00f6rm SRE<\/a><\/noindex> har vi beslutat att till\u00e4mpa ett helt nytt format \u2014 att ge deltagarna f\u00f6rh\u00e5llanden som \u00e4r s\u00e5 n\u00e4ra \"strids\"-f\u00f6rh\u00e5llanden som m\u00f6jligt. <\/p>\n

<\/p>\n

F\u00f6r att kort sammanfatta vad vi sysselsatte oss med under intensiven: \"Vi bygger, f\u00f6rst\u00f6r, lagar,
\nstuderar\". SRE betyder lite i ren teori \u2014 endast praktik, verkliga l\u00f6sningar, verkliga problem. <\/p>\n

<\/p>\n

Deltagarna delades in i lag f\u00f6r att den livliga t\u00e4vlingsandan inte skulle f\u00e5 n\u00e5gon att somna eller spela \"Angry Birds\" p\u00e5 iPhone, som Dmitrij Anatoljevitj gjorde. <\/p>\n

<\/p>\n

Problem, buggar och uppgifter hanterades av fyra mentorer. Ivan Kruglov, Principal Developer p\u00e5 Booking.com (Nederl\u00e4nderna). Ben Tyler, Principal Developer p\u00e5 Booking.com (USA). Eduard Medvedev, CTO p\u00e5 Tungsten Labs (Tyskland). Jevgenij Varavva, utvecklare med bred profil p\u00e5 Google (San Francisco).<\/p>\n

<\/p>\n

Och dessutom var deltagarna indelade i lag \u2014 och t\u00e4vlade mot varandra. Intressant? <\/p>\n

<\/p>\n

\"SRE
\nIvan, Ben, Eduard och Jevgenij ser p\u00e5 de stackars deltagarna av Sl\u00f6rm SRE med v\u00e4nlig, men skeptisk blick innan t\u00e4vlingen b\u00f6rjar.<\/em><\/p>\n

<\/p>\n

<\/a><\/noindex>S\u00e5 uppgiften: <\/p>\n

<\/p>\n

Vi bygger v\u00e5r, vi skapar en ny v\u00e4rld\u2026<\/strong><\/p>\n

<\/p>\n

Det finns en webbplats som aggregerar biobiljetter. Incidenter skapas av mentorer utifr\u00e5n ett noggrant utarbetat manus (\u00e4ven om ingen utesluter s\u00e4rskilt finurlig och slug improvisation), och webbplatsens funktionalitet beskrivs med olika m\u00e4tv\u00e4rden. Problematiken kan vara av olika slag: biljetter till teatrar som \"Moulin Rouge\" laddas inte upp i databasen; affischer f\u00f6r filmer och f\u00f6rest\u00e4llningar laddas upp i databasen p\u00e5 mer \u00e4n 10 sekunder; beskrivningen av en specifik film h\u00e4nger; 0,1% av best\u00e4llningarna hamnar p\u00e5 redan reserverade platser; betalningshanteringssystemet kan ibland falla bort i ett par minuter. Och mycket, mycket, mycket obehagligt som kan drabba deltagaren av Sl\u00f6rm SRE i sitt verkliga arbete. <\/p>\n

<\/p>\n

\"SRE
\nVi \u00e4r redo att hantera allt\u2026 och alla.<\/em><\/p>\n

<\/p>\n

V\u00e5r k\u00e4mpande webbplats best\u00e5r av flera mikrotj\u00e4nster. Den har som uppgift att aggregera data om filmer, priser och lediga platser fr\u00e5n alla biografer; den visar filmtrailers, l\u00e5ter anv\u00e4ndaren v\u00e4lja bio, f\u00f6rest\u00e4llning, salong och plats, samt att boka och betala biljetter. Kort sagt, allt vad en \u00e5sk\u00e5dare kan dr\u00f6mma om. Men anv\u00e4ndaren har ingen aning om den titanska kampen f\u00f6r webbplatsens stabilitet och tillg\u00e4nglighet som p\u00e5g\u00e5r bakom kulisserna. <\/p>\n

<\/p>\n

F\u00f6r webbplatsen under intensiven har vi formulerat SLO-, SLI- och SLA-m\u00e5tt, utvecklat arkitektur och infrastruktur, distribuerat webbplatsen, st\u00e4llt in \u00f6vervakning och alerting. Och s\u00e5 var vi ig\u00e5ng. <\/p>\n

\nSLO, SLI, SLA<\/b><\/p>\n

SLI \u00e4r indikatorer f\u00f6r serviceniv\u00e5. SLO \u00e4r serviceniv\u00e5m\u00e5l. SLA \u00e4r serviceavtal. <\/p>\n

SLA \u00e4r en term inom ITIL-metodologin som betecknar ett formellt avtal mellan tj\u00e4nstekunden och dess leverant\u00f6r, vilket inneh\u00e5ller en beskrivning av tj\u00e4nsten, r\u00e4ttigheter och skyldigheter f\u00f6r parterna och, viktigast av allt, den \u00f6verenskomna kvaliteten p\u00e5 den aktuella tj\u00e4nsten.<\/p>\n

SLO \u00e4r serviceniv\u00e5m\u00e5let: ett m\u00e5l eller ett intervall av v\u00e4rden f\u00f6r serviceniv\u00e5n, som m\u00e4ts med SLI. Ett normalt v\u00e4rde f\u00f6r SLO \u00e4r \"SLI \u2264 m\u00e5lv\u00e4rde\" eller \"l\u00e4gre gr\u00e4ns \u2264 SLI \u2264 \u00f6vre gr\u00e4ns.\" <\/p>\n

SLI \u00e4r en indikator p\u00e5 serviceniv\u00e5n \u2013 en noggrant definierad kvantitativ m\u00e4tning av en aspekt av den tillhandah\u00e5llna serviceniv\u00e5n. F\u00f6r de flesta tj\u00e4nster betraktas f\u00f6rdr\u00f6jningen av en beg\u00e4ran som den nyckel-SLI \u2013 hur l\u00e5ng tid det tar att \u00e5terl\u00e4mna ett svar p\u00e5 beg\u00e4ran. Andra vanliga SLI inkluderar felfrekvens, ofta uttryckt som andel av alla mottagna beg\u00e4rningar, och systemets kapacitet, vanligtvis m\u00e4tt i beg\u00e4rningar per sekund.<\/p><\/blockquote>\n

<\/p>\n

F\u00f6rst bryter vi ner flygplanen, ja, och tjejer, tjejerna tar vi senare\u2026<\/strong><\/p>\n

<\/p>\n

Inre och yttre faktorer b\u00f6rjade direkt att \"f\u00f6rst\u00f6ra\" SLO. Allt rasade \u00f6ver administrat\u00f6rerna \u2013 b\u00e5de utvecklarfel, infrastrukturfel, \u00f6kad bes\u00f6kstrafik och DDoS-attacker. Allt som f\u00f6rs\u00e4mrar SLO. <\/p>\n

<\/p>\n

\"SRE
\n\"- K\u00e4ra deltagare, jag har gl\u00e4djen att meddela er att f\u00f6rst och fr\u00e4mst kommer allt att krascha\u2026!\"<\/em><\/p>\n

<\/p>\n

Under tiden diskuterade talarna stabilitet, error budget, testmetoder, hantering av avbrott och operativ belastning.<\/p>\n

<\/p>\n

Vi \u00e4r inte kolare, inte snickare\u2026<\/strong><\/p>\n

<\/p>\n

H\u00e4r b\u00f6rjade deltagarna reparera \u2014 det viktigaste \u00e4r att f\u00f6rst\u00e5 vad man ska ta itu med f\u00f6rst. <\/p>\n

<\/p>\n

\"SRE
\n\u201c- Herregud, jag har aldrig sett n\u00e5got g\u00e5 s\u00f6nder s\u00e5 h\u00e4r, i detta skick och i denna position!\u201d<\/em><\/p>\n

<\/p>\n

S\u00e5, en incident intr\u00e4ffade. Betalningsbehandlingstj\u00e4nsten kraschade. Hur ska vi agera f\u00f6r att \u00e5terf\u00e5 funktionaliteten p\u00e5 kortast m\u00f6jliga tid?<\/p>\n

<\/p>\n

\"SRE
\nExperterna, med ett \u00f6mt \u00f6ga p\u00e5 deltagarna, f\u00f6rbereder n\u00e4sta knep.<\/em><\/p>\n

<\/p>\n

Varje team organiserar arbetet f\u00f6r att \u00e5tg\u00e4rda incidenten \u2014 kopplar in kollegor, informerar intressenter. Samtidigt s\u00e4tts prioriteringar. S\u00e5 tr\u00e4nade deltagarna f\u00f6r att arbeta under press i en mycket begr\u00e4nsad tidsram.<\/p>\n

<\/p>\n

\"SRE
\n\u201c- Vad \u00e4r det f\u00f6r skr\u00e4ck som kommit fram?!\u201c<\/em><\/p>\n

<\/p>\n

Vi andades ut... och avslutade \u00f6vningen.<\/strong><\/p>\n

<\/p>\n

Tillsammans med talarna efter varje l\u00f6st problem och tillf\u00e4lligt stabiliserad webbplats studerade teamen incidenterna ur ett SRE-perspektiv. De analyserade problemen i detalj \u2014 orsaker, l\u00f6sningsf\u00f6rlopp. Efter detta fattade de, b\u00e5de inom team och kollektivet, beslut om hur man skulle f\u00f6rebygga dem i framtiden: hur man kan f\u00f6rb\u00e4ttra \u00f6vervakningen, hur man klokt kan \u00e4ndra arkitekturen, hur man b\u00f6r justera tillv\u00e4gag\u00e5ngss\u00e4ttet f\u00f6r utveckling och drift, hur man kan korrigera reglerna. Talarna visade praktiken att genomf\u00f6ra post-mortem. <\/p>\n

<\/p>\n

\"SRE
\n\u201c- Vem vill ha mer pl\u00e5ga! \u2014 Jag!\u201d<\/em><\/p>\n

<\/p>\n

P\u00e5 den elektroniska tavlan registrerades teamens framg\u00e5ngar strikt och tydligt. <\/p>\n

<\/p>\n

\"SRE<\/p>\n

<\/p>\n

F\u00f6r f\u00f6rsta platsen \u2014 en bel\u00f6ning fr\u00e5n intressenterna.<\/p>\n

<\/p>\n

\"SRE<\/p>\n

K\u00e4lla: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041d\u0430\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043b\u044e\u0431\u0438\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b. \u041a\u0430\u0436\u0434\u044b\u0439 \u0421\u043b\u0451\u0440\u043c \u2014 \u044d\u0442\u043e \u043d\u0435 \u0441\u0442\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445, \u0430 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u0438\u0435 \u043e\u043f\u044b\u0442\u0430 \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u043a \u043b\u0443\u0447\u0448\u0435\u043c\u0443. \u041d\u043e \u0441\u043e \u0421\u043b\u0451\u0440\u043c\u043e\u043c SRE \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043d\u043e\u0432\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u2014 \u0434\u0430\u0442\u044c \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430\u043c \u0443\u0441\u043b\u043e\u0432\u0438\u044f, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0451\u043d\u043d\u044b\u0435 \u043a \u00ab\u0431\u043e\u0435\u0432\u044b\u043c\u00bb. \u0415\u0441\u043b\u0438 \u043a\u0440\u0430\u0442\u043a\u043e \u043e\u0431\u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c, \u0447\u0435\u043c \u043c\u044b \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u0435: \u00ab\u0421\u0442\u0440\u043e\u0438\u043c, \u043b\u043e\u043c\u0430\u0435\u043c, \u0447\u0438\u043d\u0438\u043c, \u0438\u0437\u0443\u0447\u0430\u0435\u043c\u00bb. SRE \u043c\u0430\u043b\u043e \u0447\u0435\u0433\u043e \u0441\u0442\u043e\u0438\u0442 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-56260","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sl\u00f6rm SRE. Ett enda experiment med experter fr\u00e5n Booking.com och Google.com | ProHoster","description":"V\u00e5rt team \u00e4lskar experiment. Varje Sl\u00f6rm \u00e4r inte en statisk upprepning av de tidigare, utan en f\u00f6rst\u00e5else av erfarenheten och en \u00f6verg\u00e5ng fr\u00e5n det goda till det b\u00e4ttre.","canonical_url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/slyorm-sre-sploshnoj-eksperiment-c-ekspertami-iz-booking-com-i-google-com","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"sv_SE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421\u043b\u0451\u0440\u043c SRE. \u0421\u043f\u043b\u043e\u0448\u043d\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438 \u0438\u0437 Booking.com \u0438 Google.com | ProHoster","og:description":"\u041d\u0430\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043b\u044e\u0431\u0438\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b. \u041a\u0430\u0436\u0434\u044b\u0439 \u0421\u043b\u0451\u0440\u043c \u2014 \u044d\u0442\u043e \u043d\u0435 \u0441\u0442\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445, \u0430 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u0438\u0435 \u043e\u043f\u044b\u0442\u0430 \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u043a \u043b\u0443\u0447\u0448\u0435\u043c\u0443.","og:url":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/slyorm-sre-sploshnoj-eksperiment-c-ekspertami-iz-booking-com-i-google-com","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-07T21:00:00+00:00","article:modified_time":"2020-02-18T11:04:30+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"56260","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:28:23","updated":"2022-09-29 15:08:36","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/56260","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/comments?post=56260"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/posts\/56260\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/media?parent=56260"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/categories?post=56260"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/sv\/wp-json\/wp\/v2\/tags?post=56260"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}