{"id":56260,"date":"2020-02-08T00:00:00","date_gmt":"2020-02-07T21:00:00","guid":{"rendered":"https:\/\/prohoster.info\/blog\/blog_prohoster\/slyorm-sre-sploshnoj-eksperiment-c-ekspertami-iz-booking-com-i-google-com"},"modified":"2020-02-18T14:04:30","modified_gmt":"2020-02-18T11:04:30","slug":"slyorm-sre-sploshnoj-eksperiment-c-ekspertami-iz-booking-com-i-google-com","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/slyorm-sre-sploshnoj-eksperiment-c-ekspertami-iz-booking-com-i-google-com","title":{"rendered":"Slurm SRE. Ein durchgehendes Experiment mit Experten von Booking.com und Google.com","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Unser Team liebt Experimente. Jeder Sl\u00f6rm ist keine statische Wiederholung der vorherigen, sondern ein Verst\u00e4ndnis der Erfahrungen und der \u00dcbergang von gut zu besser. Aber mit Sl\u00f6rm SRE<\/a><\/noindex> haben wir beschlossen, ein v\u00f6llig neues Format anzuwenden \u2014 den Teilnehmern Bedingungen zu geben, die m\u00f6glichst nah an den \"echten\" sind. <\/p>\n

<\/p>\n

Kurz gesagt, was wir w\u00e4hrend des Intensivkurses getan haben: \"Wir bauen, brechen ab, reparieren,
\nstudieren.\" SRE hat in reiner Theorie wenig Wert \u2014 nur Praxis, reale L\u00f6sungen, reale Probleme. <\/p>\n

<\/p>\n

Die Teilnehmer wurden in Teams eingeteilt, damit der lebhafte Wettbewerbsgeist niemanden einschlafen oder \"Angry Birds\" auf dem iPhone spielen l\u00e4sst, wie es Dmitry Anatolyevich tat. <\/p>\n

<\/p>\n

Probleme, Bugs, Fehler und Aufgaben wurden den Teilnehmern von vier Mentoren bereitgestellt. Ivan Kruglov, Principal Developer bei Booking.com (Niederlande). Ben Tyler, Principal Developer bei Booking.com (USA). Eduard Medvedev, CTO bei Tungsten Labs (Deutschland). Yevgeny Varavva, vielseitiger Entwickler bei Google (San Francisco).<\/p>\n

<\/p>\n

Und die Teilnehmer sind au\u00dferdem in Teams eingeteilt \u2014 und konkurrieren miteinander. Interessant? <\/p>\n

<\/p>\n

\"Slurm
\nIvan, Ben, Eduard und Yevgeny schauen mit einem freundlichen, leichten Schmunzeln auf die armen Teilnehmer von Sl\u00f6rm SRE vor Beginn des Wettbewerbs.<\/em><\/p>\n

<\/p>\n

<\/a><\/noindex>Also, die Aufgabe: <\/p>\n

<\/p>\n

Wir werden unsere neue Welt aufbauen\u2026<\/strong><\/p>\n

<\/p>\n

Es gibt eine Ticket-Aggregator-Website f\u00fcr Kinos. Die Incidents werden von den Mentoren in einem zuvor ausgearbeiteten Szenario erfunden (obwohl niemand ausgekl\u00fcgelte und heimt\u00fcckische Improvisation ausschlie\u00dft), die Funktionsf\u00e4higkeit der Website wird durch verschiedene Metriken beschrieben. Die Probleme k\u00f6nnen sehr unterschiedlich sein: Tickets f\u00fcr das Theater \"Moulin Rouge\" werden nicht in die Datenbank geladen; Poster von Filmen und Auff\u00fchrungen laden l\u00e4nger als 10 Sekunden in die Datenbank; die Beschreibung eines bestimmten Films h\u00e4ngt; 0,1 % der Bestellungen landen bereits auf reservierten Pl\u00e4tzen; gelegentlich bricht die Zahlungsabwicklung f\u00fcr ein bis zwei Minuten zusammen. Und vieles, vieles Unangenehme, das den Teilnehmer von Sl\u00f6rm SRE in seiner tats\u00e4chlichen Arbeit begegnen kann. <\/p>\n

<\/p>\n

\"Slurm
\nWir sind bereit, mit allem... und mit allen umzugehen.<\/em><\/p>\n

<\/p>\n

Unsere leidenschaftliche Webseite besteht aus mehreren Mikrodiensten. Ihre Aufgabe ist die Aggregation von Daten zu Vorf\u00fchrungen, Preisen und freien Pl\u00e4tzen aus allen Kinos. Sie zeigt Filmank\u00fcndigungen, erm\u00f6glicht die Auswahl von Kino, Vorf\u00fchrung, Saal und Platz und erlaubt die Buchung sowie Bezahlung von Tickets. Kurz gesagt, alles, wovon der Zuschauer nur tr\u00e4umen kann. Doch der Benutzer ahnt nicht einmal, welch titanischer Kampf um die Stabilit\u00e4t und Verf\u00fcgbarkeit der Webseite im Hintergrund stattfindet. <\/p>\n

<\/p>\n

F\u00fcr die Website im Intensivkurs haben wir SLO-, SLI- und SLA-Kennzahlen definiert, die Architektur und Infrastruktur entwickelt, die Seite bereitgestellt, das Monitoring und Alerting eingerichtet. Und es ging los. <\/p>\n

\nSLO, SLI, SLA<\/b><\/p>\n

SLI \u2013 Indikatoren f\u00fcr den Service-Level. SLO \u2013 Ziele f\u00fcr den Service-Level. SLA \u2013 Vereinbarungen \u00fcber den Service-Level. <\/p>\n

SLA ist ein Begriff aus der ITIL-Methodologie und bezeichnet einen formellen Vertrag zwischen dem Dienstleistungsempf\u00e4nger und dem Dienstleistungsanbieter. Er enth\u00e4lt eine Beschreibung der Dienstleistung, die Rechte und Pflichten der Parteien und, das Wichtigste, das vereinbarte Qualit\u00e4tsniveau der bereitgestellten Dienstleistung.<\/p>\n

SLO ist das Ziel f\u00fcr den Service-Level: ein Zielwert oder ein Wertebereich f\u00fcr den Service-Level, der durch SLI gemessen wird. Ein normales SLO ist \"SLI \u2264 Sollwert\" oder \"untere Grenze \u2264 SLI \u2264 obere Grenze.\" <\/p>\n

SLI ist der Indikator f\u00fcr den Service-Level \u2013 eine sorgf\u00e4ltig definierte quantitative Messgr\u00f6\u00dfe eines Aspekts des bereitgestellten Service-Levels. F\u00fcr die meisten Dienste wird die Antwortzeit als Schl\u00fcssel-SLI betrachtet \u2013 wie lange es dauert, eine Antwort auf eine Anfrage zur\u00fcckzugeben. Andere h\u00e4ufige SLIs umfassen die Fehlerquote, oft ausgedr\u00fcckt als Anteil an allen erhaltenen Anfragen, und die Systemdurchsatzrate, die normalerweise in Anfragen pro Sekunde gemessen wird.<\/p><\/blockquote>\n

<\/p>\n

Zuerst werden wir die Flugzeuge zerschlagen, und die M\u00e4dchen, die M\u00e4dchen danach\u2026<\/strong><\/p>\n

<\/p>\n

Innere und \u00e4u\u00dfere Faktoren begannen ab den ersten Minuten, die SLOs zu \"verschlechtern\". Den Administratoren prallte alles entgegen \u2013 die Fehler der Entwickler, Infrastrukturfehler, ein Ansturm von Besuchern und DDoS-Attacken. Alles, was das SLO verschlechtert. <\/p>\n

<\/p>\n

\"Slurm
\n\"- Liebe Teilnehmer, ich freue mich, Ihnen mitteilen zu k\u00f6nnen, dass zuerst f\u00e4llt\u2026 alles!\"<\/em><\/p>\n

<\/p>\n

Im Verlauf des Geschehens er\u00f6rterten die Referenten Stabilit\u00e4t, Fehlerbudget, Testpraktiken, Unterbrechungsmanagement und Betriebsbelastung.<\/p>\n

<\/p>\n

Wir sind keine Heizer, keine Zimmerleute\u2026<\/strong><\/p>\n

<\/p>\n

Hier begannen die Teilnehmer zu reparieren \u2013 das Wichtigste ist zu verstehen, womit man zuerst anfangen soll. <\/p>\n

<\/p>\n

\"Slurm
\n\u201e- Oh Gott, ich habe noch nie gesehen, dass das so kaputtgeht, in diesem Zustand und in dieser Position!\u201c<\/em><\/p>\n

<\/p>\n

Es gab also einen Ausfall. Der Zahlungsabwicklungsdienst ist ausgefallen. Wie sollte man handeln, um die Funktionsf\u00e4higkeit in k\u00fcrzester Zeit wiederherzustellen?<\/p>\n

<\/p>\n

\"Slurm
\nDie Experten schauten liebevoll auf die Teilnehmer und bereiteten die n\u00e4chste Falle vor.<\/em><\/p>\n

<\/p>\n

Jedes Team organisiert die Arbeit der Gruppe zur Beseitigung des Ausfalls \u2013 es werden Kollegen eingebunden, Interessierte (Stakeholder) informiert. Gleichzeitig werden Priorit\u00e4ten gesetzt. So \u00fcbten die Teilnehmer, unter Druck in einer sehr begrenzten Zeit zu arbeiten.<\/p>\n

<\/p>\n

\"Slurm
\n\u201e- Was ist das f\u00fcr ein Horror?!\u201c<\/em><\/p>\n

<\/p>\n

Durchgeatmet\u2026 und die \u00dcbung beendet.<\/strong><\/p>\n

<\/p>\n

Zusammen mit den Referenten analysierten die Teams nach jeder gel\u00f6sten Problematik und stabilisierten Website die Vorf\u00e4lle aus der Sicht des SRE. Sie analysierten die Probleme detailliert \u2013 die Ursachen und den Ablauf der Behebung. Danach trafen sie sowohl teamweise als auch kollektiv Entscheidungen zur weiteren Vermeidung dieser Probleme: wie man das Monitoring verbessert, wie man die Architektur sinnvoll \u00e4ndert, wie man den Ansatz zur Entwicklung und zum Betrieb anpasst, wie man die Regelungen korrigiert. Die Referenten zeigten die Praxis der Durchf\u00fchrung von Post-Mortems. <\/p>\n

<\/p>\n

\"Slurm
\n\u201e- Wer will noch leiden? \u2013 Ich!\u201c<\/em><\/p>\n

<\/p>\n

Auf dem elektronischen Bildschirm wurden die Erfolge der Teams streng und klar festgehalten. <\/p>\n

<\/p>\n

\"Slurm<\/p>\n

<\/p>\n

F\u00fcr die ersten Pl\u00e4tze \u2013 eine Pr\u00e4mie von den Stakeholdern.<\/p>\n

<\/p>\n

\"Slurm<\/p>\n

Quelle: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

\u041d\u0430\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043b\u044e\u0431\u0438\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b. \u041a\u0430\u0436\u0434\u044b\u0439 \u0421\u043b\u0451\u0440\u043c \u2014 \u044d\u0442\u043e \u043d\u0435 \u0441\u0442\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445, \u0430 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u0438\u0435 \u043e\u043f\u044b\u0442\u0430 \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u043a \u043b\u0443\u0447\u0448\u0435\u043c\u0443. \u041d\u043e \u0441\u043e \u0421\u043b\u0451\u0440\u043c\u043e\u043c SRE \u043c\u044b \u0440\u0435\u0448\u0438\u043b\u0438 \u043f\u0440\u0438\u043c\u0435\u043d\u0438\u0442\u044c \u0430\u0431\u0441\u043e\u043b\u044e\u0442\u043d\u043e \u043d\u043e\u0432\u044b\u0439 \u0444\u043e\u0440\u043c\u0430\u0442 \u2014 \u0434\u0430\u0442\u044c \u0443\u0447\u0430\u0441\u0442\u043d\u0438\u043a\u0430\u043c \u0443\u0441\u043b\u043e\u0432\u0438\u044f, \u043c\u0430\u043a\u0441\u0438\u043c\u0430\u043b\u044c\u043d\u043e \u043f\u0440\u0438\u0431\u043b\u0438\u0436\u0451\u043d\u043d\u044b\u0435 \u043a \u00ab\u0431\u043e\u0435\u0432\u044b\u043c\u00bb. \u0415\u0441\u043b\u0438 \u043a\u0440\u0430\u0442\u043a\u043e \u043e\u0431\u0440\u0438\u0441\u043e\u0432\u0430\u0442\u044c, \u0447\u0435\u043c \u043c\u044b \u0437\u0430\u043d\u0438\u043c\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u0438\u043d\u0442\u0435\u043d\u0441\u0438\u0432\u0435: \u00ab\u0421\u0442\u0440\u043e\u0438\u043c, \u043b\u043e\u043c\u0430\u0435\u043c, \u0447\u0438\u043d\u0438\u043c, \u0438\u0437\u0443\u0447\u0430\u0435\u043c\u00bb. SRE \u043c\u0430\u043b\u043e \u0447\u0435\u0433\u043e \u0441\u0442\u043e\u0438\u0442 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-56260","post","type-post","status-publish","format-standard","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Sl\u00e4rm SRE. Ein durchgehendes Experiment mit Experten von Booking.com und Google.com | ProHoster","description":"Unser Team liebt Experimente. Jeder Sl\u00e4rm ist keine statische Wiederholung der vorherigen, sondern das Verst\u00e4ndnis von Erfahrungen und der \u00dcbergang von Gut zu Besser.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/slyorm-sre-sploshnoj-eksperiment-c-ekspertami-iz-booking-com-i-google-com","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0421\u043b\u0451\u0440\u043c SRE. \u0421\u043f\u043b\u043e\u0448\u043d\u043e\u0439 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442 c \u044d\u043a\u0441\u043f\u0435\u0440\u0442\u0430\u043c\u0438 \u0438\u0437 Booking.com \u0438 Google.com | ProHoster","og:description":"\u041d\u0430\u0448\u0430 \u043a\u043e\u043c\u0430\u043d\u0434\u0430 \u043b\u044e\u0431\u0438\u0442 \u044d\u043a\u0441\u043f\u0435\u0440\u0438\u043c\u0435\u043d\u0442\u044b. \u041a\u0430\u0436\u0434\u044b\u0439 \u0421\u043b\u0451\u0440\u043c \u2014 \u044d\u0442\u043e \u043d\u0435 \u0441\u0442\u0430\u0442\u0438\u0447\u043d\u043e\u0435 \u043f\u043e\u0432\u0442\u043e\u0440\u0435\u043d\u0438\u0435 \u043f\u0440\u0435\u0434\u044b\u0434\u0443\u0449\u0438\u0445, \u0430 \u043e\u0441\u043c\u044b\u0441\u043b\u0435\u043d\u0438\u0435 \u043e\u043f\u044b\u0442\u0430 \u0438 \u043f\u0435\u0440\u0435\u0445\u043e\u0434 \u043e\u0442 \u0445\u043e\u0440\u043e\u0448\u0435\u0433\u043e \u043a \u043b\u0443\u0447\u0448\u0435\u043c\u0443.","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/slyorm-sre-sploshnoj-eksperiment-c-ekspertami-iz-booking-com-i-google-com","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-02-07T21:00:00+00:00","article:modified_time":"2020-02-18T11:04:30+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"56260","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 19:28:23","updated":"2022-09-29 15:08:36","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/56260","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=56260"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/56260\/revisions"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=56260"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=56260"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=56260"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}