{"id":93358,"date":"2020-09-06T07:42:57","date_gmt":"2020-09-06T05:42:57","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem"},"modified":"2020-09-06T07:42:57","modified_gmt":"2020-09-06T05:42:57","slug":"monitorim-sportmaster-kak-i-chem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem","title":{"rendered":"Monitoring von Sportmaster \u2014 wie und womit","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Bei der Entwicklung unseres \u00dcberwachungssystems dachten wir bereits in der Phase der Bildung der Produktteams dar\u00fcber nach. Es wurde klar, dass unser Bereich - die Betriebsf\u00fchrung - in diese Teams nicht integriert ist. Warum ist das so?<\/p>\n<p>Das liegt daran, dass unsere Teams um separate Informationssysteme, Mikrodienste und Frontends aufgebaut sind, weshalb sie den allgemeinen Gesundheitszustand des gesamten Systems nicht sehen. Zum Beispiel k\u00f6nnten sie nicht wissen, wie ein kleiner Teil im tiefen Backend die Frontend-Teile beeinflusst. Ihr Interessensbereich beschr\u00e4nkt sich auf die Systeme, mit denen ihr System integriert ist. Wenn Team A und dessen Dienst kaum mit Dienst B verbunden sind, ist dieser Dienst f\u00fcr das Team praktisch unsichtbar.<\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/sportmaster_lab\/blog\/517678\/\"><img decoding=\"async\" alt=\"Monitoring von Sportmaster \u2014 wie und womit\" src=\"\/wp-content\/uploads\/2020\/09\/393621991a8997d449cb3adec71b6af5.png\" style=\"display:block;margin: 0 auto;\" \/><\/a><\/noindex><\/p>\n<p>Unser Team hingegen arbeitet mit Systemen, die stark miteinander integriert sind: Es gibt zahlreiche Verbindungen zwischen ihnen, und sie bilden eine relativ gro\u00dfe Infrastruktur. Und die Funktionsweise des Onlineshops h\u00e4ngt von all diesen Systemen ab (von denen wir \u00fcbrigens eine enorme Anzahl haben). <\/p>\n<p>Es stellt sich heraus, dass unser Team keiner bestimmten Gruppe zugeordnet ist, sondern ein wenig im Hintergrund arbeitet. In dieser gesamten Situation ist es unsere Aufgabe, ein umfassendes Verst\u00e4ndnis dar\u00fcber zu entwickeln, wie Informationssysteme funktionieren, ihre Funktionalit\u00e4t, Integration, Software, Netzwerke und Hardware und wie all diese Elemente miteinander verbunden sind.<br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nDie Plattform, auf der unsere Online-Shops betrieben werden, sieht folgenderma\u00dfen aus:<\/p>\n<ul>\n<li>Front<\/li>\n<li>Middleware<\/li>\n<li>Backoffice<\/li>\n<\/ul>\n<p>\nSo sehr wir uns auch w\u00fcnschen, dass alles reibungslos und fehlerfrei funktioniert, gibt es das einfach nicht. Das liegt wieder an der Anzahl der Systeme und Integrationen \u2014 bei uns sind gewisse Vorf\u00e4lle unvermeidlich, egal wie gut die Tests sind. Dies betrifft sowohl die einzelnen Systeme als auch deren Integration. Man muss den Zustand der gesamten Plattform ganzheitlich im Blick behalten und nicht nur einen bestimmten Teil davon. <\/p>\n<p>Idealerweise sollte die \u00dcberwachung des gesamten Plattformzustands automatisiert werden. Daher haben wir Monitoring als unverzichtbaren Bestandteil dieses Prozesses betrachtet. Urspr\u00fcnglich war es nur f\u00fcr die Frontend-Seite konzipiert, w\u00e4hrend eigene Monitoring-Systeme in den verschiedenen Schichten sowohl von Netzwerk- als auch von Software- und Hardware-Administratoren genutzt wurden. All diese Personen \u00fcberwachten das System nur auf ihrer Ebene, ein umfassendes Verst\u00e4ndnis gab es jedoch bei niemandem.<\/p>\n<p>Wenn beispielsweise eine virtuelle Maschine ausf\u00e4llt, wei\u00df in den meisten F\u00e4llen nur der Administrator, der f\u00fcr die Hardware und die virtuelle Maschine zust\u00e4ndig ist, davon. Das Frontend-Team erkennt in solchen Situationen lediglich, dass die Anwendung abgest\u00fcrzt ist, hat jedoch keine Informationen \u00fcber den Ausfall der virtuellen Maschine. Der Administrator k\u00f6nnte wissen, wer der Kunde ist und ungef\u00e4hr verstehen, was derzeit auf dieser virtuellen Maschine l\u00e4uft, vorausgesetzt, es handelt sich um ein gr\u00f6\u00dferes Projekt. Bei kleineren Projekten hat er wahrscheinlich keine Ahnung. In jedem Fall muss der Administrator zum Besitzer gehen und fragen, welche Anwendungen auf dieser Maschine liefen, was wiederhergestellt und was ge\u00e4ndert werden muss. Wenn etwas Schwerwiegendes defekt ist, beginnt ein Kreislauf, weil niemand die gesamte Systemarchitektur gesehen hat.<\/p>\n<p>Letztendlich wirken sich solche isolierten Vorf\u00e4lle auf das gesamte Frontend, die Benutzer und unsere Hauptgesch\u00e4ftsfunktion \u2014 den Online-Verkauf \u2014 aus. Da wir nicht Teil der Teams sind und uns um den Betrieb aller E-Commerce-Anwendungen im Rahmen des Online-Shops k\u00fcmmern, haben wir uns die Aufgabe gestellt, ein umfassendes \u00dcberwachungssystem f\u00fcr die E-Commerce-Plattform zu schaffen. <\/p>\n<h2>Aufbau und Technologie-Stack<\/h2>\n<p>\nWir begannen mit der Definition mehrerer \u00dcberwachungsebenen f\u00fcr unsere Systeme, in denen wir Metriken sammeln mussten. Und all das musste zusammengef\u00fchrt werden, was wir in der ersten Phase getan haben. Jetzt verfeinern wir in dieser Phase die qualitativ hochwertigste Sammlung von Metriken \u00fcber all unsere Schichten, um Korrelationsanalysen durchzuf\u00fchren und zu verstehen, wie die Systeme sich gegenseitig beeinflussen.<\/p>\n<p>Das Fehlen einer umfassenden \u00dcberwachung in den Anfangsphasen des Anwendungsstarts (da wir erst mit dem Aufbau begannen, als der Gro\u00dfteil der Systeme bereits in Betrieb war) f\u00fchrte dazu, dass wir einen erheblichen technischen Schuldenstand f\u00fcr die Konfiguration der \u00dcberwachung der gesamten Plattform angesammelt haben. Es war uns nicht m\u00f6glich, uns auf die \u00dcberwachung eines bestimmten Informationssystems zu konzentrieren und diese im Detail zu bearbeiten, da die anderen Systeme eine Zeit lang ohne \u00dcberwachung bleiben w\u00fcrden. Um dieses Problem zu l\u00f6sen, haben wir eine Liste der dringend ben\u00f6tigten Metriken zur Bewertung des Zustands der Informationssysteme in den Schichten erstellt und mit deren Implementierung begonnen.<\/p>\n<p>Deshalb haben wir uns entschieden, den Elefanten in Teilen zu essen.<\/p>\n<p>Unser System besteht aus:<\/p>\n<ul>\n<li>Hardware; <\/li>\n<li>Betriebssystem; <\/li>\n<li>Software; <\/li>\n<li>UI-Komponenten in der Monitoring-Anwendung; <\/li>\n<li>Unternehmenskennzahlen; <\/li>\n<li>Integrationsanwendungen; <\/li>\n<li>Informationssicherheit; <\/li>\n<li>Netzwerke; <\/li>\n<li>Lastenausgleich. <\/li>\n<\/ul>\n<p>\n<img decoding=\"async\" alt=\"Monitoring von Sportmaster \u2014 wie und womit\" src=\"\/wp-content\/uploads\/2020\/09\/687a5b8b39b3fd540a9b591f49a019d3.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nIm Mittelpunkt dieses Systems steht die \u00dcberwachung selbst. Um den Zustand des gesamten Systems insgesamt zu verstehen, muss man wissen, was mit den Anwendungen auf all diesen Ebenen und im Kontext der Vielzahl an Anwendungen passiert. <\/p>\n<p>Und jetzt zum Stack. <\/p>\n<p><img decoding=\"async\" alt=\"Monitoring von Sportmaster \u2014 wie und womit\" src=\"\/wp-content\/uploads\/2020\/09\/b9a9b86d788990899e7f04e34fb879d9.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nWir verwenden Software mit offenem Quellcode. Im Zentrum steht Zabbix, das wir in erster Linie als Alarmsystem nutzen. Es ist allgemein bekannt, dass es sich hervorragend f\u00fcr die \u00dcberwachung von Infrastrukturen eignet. Was bedeutet das genau? Es bezieht sich auf die wichtigen Metriken, die jedes Unternehmen mit eigenem Rechenzentrum hat (und Sportmaster hat eigene Rechenzentren) \u2013 Servertemperatur, Speicherzustand, RAID-Zustand, Metriken von Netzwerkger\u00e4ten.<\/p>\n<p>Wir haben Zabbix mit den in Teams weit verbreiteten Messaging-Diensten Telegram und Microsoft Teams integriert. Zabbix deckt die Ebene des tats\u00e4chlichen Netzwerks, der Hardware und teilweise der Software ab, ist jedoch kein Allheilmittel. Diese Daten bereichern wir aus verschiedenen anderen Diensten. Zum Beispiel verbinden wir uns \u00fcber die API direkt mit unserem Virtualisierungssystem und holen Daten zum Hardware-Level ab. <\/p>\n<p>Zus\u00e4tzlich zu Zabbix nutzen wir Prometheus, das es uns erm\u00f6glicht, Metriken in dynamischen Anwendungsumgebungen zu \u00fcberwachen. Das bedeutet, dass wir Metriken \u00fcber HTTP-Endpunkte abrufen k\u00f6nnen, ohne uns Gedanken dar\u00fcber machen zu m\u00fcssen, welche Metriken geladen werden sollen und welche nicht. Basierend auf diesen Daten k\u00f6nnen wir analytische Abfragen entwickeln.<\/p>\n<p>Die Datenquellen f\u00fcr die anderen Schichten, wie zum Beispiel Gesch\u00e4ftsmetriken, lassen sich in drei Komponenten unterteilen.<\/p>\n<p>Erstens sind das externe Gesch\u00e4ftssysteme, Google Analytics, aus denen wir Metriken aus Log-Dateien sammeln. Daraus erhalten wir Daten zu aktiven Nutzern, Konversionen und allem anderen, was mit dem Gesch\u00e4ft verbunden ist. Zweitens gibt es das UI-Monitoring-System, \u00fcber das wir ausf\u00fchrlicher berichten sollten.<\/p>\n<p>Fr\u00fcher begannen wir mit manuellen Tests, die sich zu automatisierten Funktionstests und Integrationen weiterentwickelten. Daraus entstand unser Monitoring, bei dem wir uns auf die Kernfunktionalit\u00e4ten konzentrierten und uns auf Marker st\u00fctzten, die m\u00f6glichst stabil sind und im Laufe der Zeit nur selten ge\u00e4ndert werden.<\/p>\n<p>Die neue Teamstruktur sieht vor, dass alle Aktivit\u00e4ten im Bereich Anwendungen in den Produktteams konzentriert sind, weshalb wir uns nicht mehr ausschlie\u00dflich mit dem Testen besch\u00e4ftigen. Stattdessen haben wir die Tests in ein UI-Monitoring umgewandelt, das mit Java, Selenium und Jenkins (verwendet als Ausf\u00fchrungssystem und f\u00fcr die Berichtserstellung) erstellt wurde. <\/p>\n<p>Wir hatten viele Tests, aber letztendlich beschlossen wir, den Fokus auf die Hauptmetriken, die \u00fcbergeordneten Kennzahlen, zu legen. Wenn wir zu viele spezifische Tests haben, wird es schwierig sein, die Daten aktuell zu halten. Jeder nachfolgende Release w\u00fcrde das gesamte System erheblich st\u00f6ren, und wir w\u00fcrden nur mit dessen Reparatur besch\u00e4ftigt sein. Daher konzentrieren wir uns auf grundlegende Aspekte, die sich nur selten \u00e4ndern, und \u00fcberwachen ausschlie\u00dflich diese.<\/p>\n<p>Zu guter Letzt stellt das zentrale Logging-System die Datenquelle dar. F\u00fcr die Protokolle verwenden wir den Elastic Stack, und dann k\u00f6nnen wir diese Daten in unser Monitoring-System f\u00fcr Gesch\u00e4ftsmetriken integrieren. Dar\u00fcber hinaus verf\u00fcgen wir \u00fcber unseren eigenen Monitoring-API-Dienst, der in Python geschrieben ist, der \u00fcber die API beliebige Dienste abfragt und Daten in Zabbix importiert.<\/p>\n<p>Ein weiterer unverzichtbarer Bestandteil des Monitorings ist die Visualisierung. Diese basiert bei uns auf Grafana. Im Gegensatz zu anderen Visualisierungssystemen zeichnet es sich dadurch aus, dass auf dem Dashboard Metriken aus verschiedenen Datenquellen visualisiert werden k\u00f6nnen. Wir k\u00f6nnen beispielsweise Oberfl\u00e4chenmetriken eines Online-Shops wie die Anzahl der in der letzten Stunde abgeschlossenen Bestellungen aus der Datenbank, Leistungsmetriken des Betriebssystems, auf dem dieser Online-Shop l\u00e4uft, aus Zabbix und Metriken der Instanzen dieser Anwendung aus Prometheus zusammenstellen. Und all dies wird auf einem einzigen Dashboard angezeigt. Anschaulich und zug\u00e4nglich.<\/p>\n<p>Ich m\u00f6chte auf die Sicherheit hinweisen \u2013 wir arbeiten derzeit an einem System, das wir sp\u00e4ter in unser globales \u00dcberwachungssystem integrieren werden. Meiner Meinung nach stehen die Hauptprobleme, mit denen der E-Commerce im Bereich der Informationssicherheit konfrontiert ist, im Zusammenhang mit Bots, Scraping und Brute-Force-Angriffen. Diese Aspekte m\u00fcssen \u00fcberwacht werden, da sie sowohl die Funktionalit\u00e4t unserer Anwendungen als auch die Unternehmensreputation erheblich beeinflussen k\u00f6nnen. Mit dem gew\u00e4hlten Stack decken wir diese Anforderungen erfolgreich ab.<\/p>\n<p>Ein weiterer wichtiger Punkt ist, dass die Anwendungslevel von Prometheus erfasst werden. Dieser ist auch in unser System integriert, zusammen mit Zabbix. Zus\u00e4tzlich nutzen wir sitespeed, einen Service, der es uns erm\u00f6glicht, Parameter wie die Ladegeschwindigkeit unserer Seite, Bottlenecks, die Seitenrendering-Zeit, das Laden von Skripten und mehr zu \u00fcberwachen. Auch dieser Service ist \u00fcber die API integriert. Somit werden unsere Metriken in Zabbix erfasst und wir erhalten auch unsere Alarme von dort. Derzeit werden alle Alarme \u00fcber die Hauptkommunikationskan\u00e4le gesendet (aktuell E-Mail und Telegram; k\u00fcrzlich haben wir auch MS Teams angeschlossen). Wir planen, das Alert-System so weiterzuentwickeln, dass intelligente Bots als Service arbeiten und den Produktteams Informationen zu Monitoring zur Verf\u00fcgung stellen. <\/p>\n<p>F\u00fcr uns sind Metriken nicht nur von einzelnen Informationssystemen wichtig, sondern auch die allgemeinen Metriken der gesamten Infrastruktur, die von den Anwendungen genutzt wird: Cluster <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/de\/server\/\"   title=\"physikalischen Servern\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"1270\">physikalischen Servern<\/a>, in denen die virtuellen Maschinen laufen, Lastenverteilung, Network Load Balancer, das Netzwerk selbst und die Auslastung der Kommunikationskan\u00e4le. Zudem erheben wir Metriken aus unseren eigenen Rechenzentren (wir betreiben mehrere und die Infrastruktur hat betr\u00e4chtliche Gr\u00f6\u00dfen). <\/p>\n<p><img decoding=\"async\" alt=\"Monitoring von Sportmaster \u2014 wie und womit\" src=\"\/wp-content\/uploads\/2020\/09\/aaee82a501dce0eee31c5a81662cd8be.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nDie Vorteile unseres Monitoringsystems liegen darin, dass wir damit den Zustand aller Systeme \u00fcberwachen k\u00f6nnen. Dies erm\u00f6glicht uns, die Auswirkungen der Systeme aufeinander und auf die gemeinsamen Ressourcen zu bewerten. Letztlich hilft es uns auch bei der Planung von Ressourcen, was ebenfalls in unseren Zust\u00e4ndigkeitsbereich f\u00e4llt. Wir verwalten Serverressourcen \u2013 einen Pool im Bereich E-Commerce. Dazu geh\u00f6rt das Ein- und Ausmustern neuer Hardware, der Kauf zus\u00e4tzlicher Komponenten sowie die Durchf\u00fchrung von Audits zur Ressourcennutzung und mehr. Jedes Jahr planen die Teams neue Projekte und entwickeln ihre Systeme weiter, und es ist wichtig, dass wir sie mit den notwendigen Ressourcen unterst\u00fctzen. <\/p>\n<p>Mit Hilfe von Metriken k\u00f6nnen wir die Tendenzen im Ressourcenverbrauch unserer Informationssysteme erkennen. Auf dieser Grundlage sind wir in der Lage, Planung zu betreiben. Auf der Virtualisierungsebene sammeln wir Daten und erhalten Informationen \u00fcber die verf\u00fcgbaren Ressourcen nach Rechenzentren. Innerhalb des Rechenzentrums sehen wir sowohl die Nutzung als auch die tats\u00e4chliche Verteilung und den Verbrauch der Ressourcen. Dies gilt sowohl f\u00fcr stand-alone Server als auch f\u00fcr virtuelle Maschinen und Cluster physischer Server, auf denen all diese virtuellen Systeme effizient laufen. <\/p>\n<h2>Perspektiven<\/h2>\n<p>\nAktuell haben wir die Systemarchitektur insgesamt vorbereitet, es gibt jedoch noch viele Aspekte, an denen wir arbeiten m\u00fcssen. Zumindest ben\u00f6tigen wir eine Schicht f\u00fcr Informationssicherheit, aber es ist auch wichtig, das Netzwerk zu erreichen, ein Alarmsystem auszubauen und die Korrelation zu kl\u00e4ren. Wir haben viele Schichten und Systeme, und auf jeder Schicht gibt es zahlreiche Metriken. Es ergibt sich eine Matroschka in der Matroschka.<\/p>\n<p>Unsere Aufgabe ist es letztendlich, die richtigen Alarme zu erstellen. Zum Beispiel, wenn es ein Problem mit der Hardware gibt, wiederum mit der virtuellen Maschine, auf der eine wichtige Anwendung lief, und der Service nicht irgendwie reserviert war. Wir erfahren, dass die virtuelle Maschine ausgefallen ist. Dann m\u00fcssen die gesch\u00e4ftlichen Metriken alarmiert werden: Die Benutzer sind verschwunden, es gibt keine Konversion, die Benutzeroberfl\u00e4che ist nicht verf\u00fcgbar, Software und Dienste sind ebenfalls ausgefallen.<\/p>\n<p>In diesem Fall erhalten wir Spam aus Alarmen, was nicht dem Format eines effektiven Monitoring-Systems entspricht. Es stellt sich die Frage nach der Korrelation. Ideal w\u00e4re es, wenn unser Monitoring-System sagen k\u00f6nnte: \u201eLeute, eure physische Maschine ist ausgefallen, und damit auch diese Anwendung und diese Metriken\u201c, und zwar mit nur einem Alarm, anstatt uns mit einer Flut von Hunderten von Alarmen zu \u00fcberh\u00e4ufen. Es sollte das Wesentliche berichten \u2013 den Grund, um die schnelle Behebung des Problems durch Lokalisierung zu unterst\u00fctzen.<\/p>\n<p>Unser Benachrichtigungssystem und die Alarmbearbeitung sind rund um einen 24\/7-Notdienst aufgebaut. Alle Alarme, die f\u00fcr uns unerl\u00e4sslich sind und in die Checkliste aufgenommen wurden, werden dorthin weitergeleitet. Jeder Alarm muss unbedingt eine Beschreibung haben: Was ist passiert? Was bedeutet das eigentlich? Auf was hat es Auswirkungen? Au\u00dferdem sollte es einen Link zum Dashboard und eine Anleitung geben, was in diesem Fall zu tun ist. <\/p>\n<p>Das sind alle Anforderungen an die Alarmierung. Die Situation kann sich dann in zwei Richtungen entwickeln \u2013 entweder gibt es ein Problem, das gel\u00f6st werden muss, oder es ist ein Fehler im Monitoring-System aufgetreten. In jedem Fall ist es notwendig, die Situation zu pr\u00fcfen und zu kl\u00e4ren.<\/p>\n<p>Im Durchschnitt erhalten wir jetzt t\u00e4glich etwa hundert Alarme, wobei zu beachten ist, dass die Korrelation der Alarme noch nicht richtig eingestellt ist. Wenn technische Arbeiten erforderlich sind und wir etwas absichtlich deaktivieren, steigt deren Anzahl erheblich. <\/p>\n<p>Neben der \u00dcberwachung der von uns betriebenen Systeme und der Erfassung von Metriken, die f\u00fcr uns als wichtig erachtet werden, erm\u00f6glicht das \u00dcberwachungssystem, Daten f\u00fcr die Produktteams zu sammeln. Diese k\u00f6nnen Einfluss auf die Metrikgestaltung innerhalb der Informationssysteme nehmen, die von uns \u00fcberwacht werden. <\/p>\n<p>Unser Kollege kann kommen und um die Hinzuf\u00fcgung einer Metrik bitten, die f\u00fcr uns und das Team n\u00fctzlich sein k\u00f6nnte. Oder das Team ben\u00f6tigt m\u00f6glicherweise mehr als die grundlegenden Metriken, die wir haben; sie m\u00fcssen eine spezifische verfolgen. In Grafana erstellen wir f\u00fcr jedes Team einen Raum und gew\u00e4hren Admin-Rechte. Au\u00dferdem unterst\u00fctzen wir das Team, wenn sie Dashboards ben\u00f6tigen, aber selbst nicht in der Lage sind oder nicht wissen, wie man das macht. <\/p>\n<p>Da wir nicht im Fluss der Wertsch\u00f6pfung des Teams, ihrer Releases und der Planung involviert sind, n\u00e4hern wir uns allm\u00e4hlich dem Punkt, an dem die Releases aller Systeme nahtlos sind und t\u00e4glich bereitgestellt werden k\u00f6nnen, ohne dass dies mit uns abgestimmt werden muss. Es ist jedoch wichtig f\u00fcr uns, diese Releases zu verfolgen, da sie potenziell die Funktionalit\u00e4t der Anwendung beeintr\u00e4chtigen und etwas kaputtmachen k\u00f6nnten, was kritisch ist. F\u00fcr das Management der Releases nutzen wir Bamboo, von wo wir \u00fcber die API Daten erhalten und sehen k\u00f6nnen, welche Releases in welchen Informationssystemen ver\u00f6ffentlicht wurden und welchen Status sie haben. Das Wichtigste dabei ist der Zeitpunkt der Releases. Wir legen Marker f\u00fcr die Releases \u00fcber die wesentlichen kritischen Metriken, was visuell sehr aufschlussreich ist, wenn Probleme auftreten.<\/p>\n<p>Auf diese Weise k\u00f6nnen wir die Korrelation zwischen neuen Releases und aufkommenden Problemen erkennen. Die Hauptidee ist, zu verstehen, wie das System auf allen Ebenen funktioniert, Probleme schnell zu lokalisieren und ebenso schnell zu beheben. Oftmals ist es n\u00e4mlich so, dass nicht die L\u00f6sung des Problems am meisten Zeit in Anspruch nimmt, sondern die Suche nach der Ursache. <\/p>\n<p>In Zukunft m\u00f6chten wir uns in diesem Bereich auf Proaktivit\u00e4t konzentrieren. Idealerweise m\u00f6chten wir bereits im Voraus \u00fcber anstehende Probleme informiert werden, anstatt nachtr\u00e4glich darauf reagieren zu m\u00fcssen, um pr\u00e4ventiv eingreifen zu k\u00f6nnen. Manchmal gibt es Fehlalarme im \u00dcberwachungssystem, sowohl aufgrund menschlicher Fehler als auch durch \u00c4nderungen in der Anwendung. Wir arbeiten daran, optimieren das System und versuchen, vor jeglichen \u00c4nderungen die Benutzer, die es gemeinsam mit uns nutzen, dar\u00fcber zu informieren oder diese Ma\u00dfnahmen in einem Wartungsfenster durchzuf\u00fchren. <\/p>\n<p>Das System ist seit Anfang des Fr\u00fchlings aktiv und funktioniert erfolgreich ... und zeigt durchaus realistische Gewinne. Nat\u00fcrlich ist dies nicht die endg\u00fcltige Version; wir werden viele n\u00fctzliche Funktionen integrieren. Doch momentan, bei einer so gro\u00dfen Zahl an Integrationen und Anwendungen, ist eine automatisierte \u00dcberwachung wirklich unerl\u00e4sslich.<\/p>\n<p>Wenn Sie ebenfalls gro\u00dfe Projekte mit einer erheblichen Anzahl an Integrationen \u00fcberwachen \u2014 teilen Sie uns in den Kommentaren mit, welche \u201asilberne Kugel\u2018 Sie daf\u00fcr gefunden haben.<br \/>\n<br \/>Quelle: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/sportmaster_lab\/blog\/517678\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043c\u044b \u0437\u0430\u0434\u0443\u043c\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434. \u0421\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043d\u0430\u0448\u0435 \u0434\u0435\u043b\u043e \u2014 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u2014 \u0432 \u044d\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442. \u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a? \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u0441\u0435 \u043d\u0430\u0448\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u043e\u043a\u0440\u0443\u0433 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0438 \u0444\u0440\u043e\u043d\u0442\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044f \u0432\u0441\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432 \u0446\u0435\u043b\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0435 \u0432\u0438\u0434\u044f\u0442. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043d\u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":93359,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93358","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 4.9.10 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043c\u044b \u0437\u0430\u0434\u0443\u043c\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434. \u0421\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043d\u0430\u0448\u0435 \u0434\u0435\u043b\u043e \u2014 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u2014 \u0432 \u044d\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442. \u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a? \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u0441\u0435 \u043d\u0430\u0448\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u043e\u043a\u0440\u0443\u0433 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0438 \u0444\u0440\u043e\u043d\u0442\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044f \u0432\u0441\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432 \u0446\u0435\u043b\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0435 \u0432\u0438\u0434\u044f\u0442. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043d\u0438\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem\" \/>\n\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 4.9.10\" \/>\n\t\t<meta property=\"og:locale\" content=\"de_DE\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043c \u0421\u043f\u043e\u0440\u0442\u043c\u0430\u0441\u0442\u0435\u0440 \u2014 \u043a\u0430\u043a \u0438 \u0447\u0435\u043c | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043c\u044b \u0437\u0430\u0434\u0443\u043c\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434. \u0421\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043d\u0430\u0448\u0435 \u0434\u0435\u043b\u043e \u2014 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u2014 \u0432 \u044d\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442. \u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a? \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u0441\u0435 \u043d\u0430\u0448\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u043e\u043a\u0440\u0443\u0433 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0438 \u0444\u0440\u043e\u043d\u0442\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044f \u0432\u0441\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432 \u0446\u0435\u043b\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0435 \u0432\u0438\u0434\u044f\u0442. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043d\u0438\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-09-06T05:42:57+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-09-06T05:42:57+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Wir \u00fcberwachen Sportmaster \u2013 wie und womit | ProHoster","description":"Bei der Entwicklung unseres Monitoringsystems haben wir dar\u00fcber nachgedacht, als die Produktteams gebildet wurden. Es wurde schnell klar, dass unser Bereich \u2013 der Betrieb \u2013 in diese Teams \u00fcberhaupt nicht einbezogen wird. Warum ist das so? Nun, alle unsere Teams sind um separate Informationssysteme, Mikrodienste und Frontend-L\u00f6sungen organisiert, weshalb sie den allgemeinen Gesundheitszustand des gesamten Systems nicht sehen. Zum Beispiel sehen sie, dass sie","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043c \u0421\u043f\u043e\u0440\u0442\u043c\u0430\u0441\u0442\u0435\u0440 \u2014 \u043a\u0430\u043a \u0438 \u0447\u0435\u043c | ProHoster","og:description":"\u041e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043c\u044b \u0437\u0430\u0434\u0443\u043c\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434. \u0421\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043d\u0430\u0448\u0435 \u0434\u0435\u043b\u043e \u2014 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u2014 \u0432 \u044d\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442. \u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a? \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u0441\u0435 \u043d\u0430\u0448\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u043e\u043a\u0440\u0443\u0433 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0438 \u0444\u0440\u043e\u043d\u0442\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044f \u0432\u0441\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432 \u0446\u0435\u043b\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0435 \u0432\u0438\u0434\u044f\u0442. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043d\u0438","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-09-06T05:42:57+00:00","article:modified_time":"2020-09-06T05:42:57+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"93358","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 11:49:43","updated":"2026-02-09 16:45:36"},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/93358","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=93358"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/93358\/revisions"}],"predecessor-version":[{"id":158514,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/93358\/revisions\/158514"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/93359"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=93358"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=93358"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=93358"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}