Hallo an alle!
Unser Unternehmen beschäftigt sich mit der Softwareentwicklung und dem anschließenden technischen Support. Technischer Support erfordert nicht nur die Behebung von Fehlern, sondern auch die Überwachung der Leistung unserer Anwendungen.
Wenn beispielsweise einer der Dienste abgestürzt ist, müssen Sie dieses Problem automatisch erfassen und mit der Lösung beginnen und dürfen nicht darauf warten, dass unzufriedene Benutzer den technischen Support kontaktieren.
Wir sind ein kleines Unternehmen und verfügen nicht über die Ressourcen, um komplexe Lösungen für Überwachungsanwendungen zu studieren und zu warten. Wir mussten eine einfache und effektive Lösung finden.
Überwachungsstrategie
Es ist nicht einfach, die Funktionalität einer Anwendung zu überprüfen; diese Aufgabe ist nicht trivial, man könnte sogar sagen kreativ. Es ist besonders schwierig, ein komplexes Multi-Link-System zu verifizieren.
Wie kann man einen Elefanten essen? Nur in Teilen! Wir nutzen diesen Ansatz zur Überwachung von Anwendungen.
Das Wesentliche unserer Überwachungsstrategie:
Teilen Sie Ihre Anwendung in Komponenten auf.
Erstellen Sie Kontrollprüfungen für jede Komponente.
Eine Komponente gilt als betriebsbereit, wenn alle ihre Kontrollprüfungen fehlerfrei durchgeführt werden. Eine Anwendung gilt als fehlerfrei, wenn alle ihre Komponenten funktionsfähig sind.
Somit kann jedes System als Baum von Komponenten dargestellt werden. Komplexe Komponenten werden in einfachere zerlegt. Einfache Komponenten verfügen über Prüfungen.
Benchmarks sind nicht dazu gedacht, Funktionstests durchzuführen, sie sind keine Unit-Tests. Kontrollprüfungen sollen prüfen, wie sich die Komponente im aktuellen Moment anfühlt, ob alle für ihre Funktion notwendigen Ressourcen vorhanden sind und ob Probleme vorliegen.
Es gibt keine Wunder; die meisten Kontrollen müssen unabhängig entwickelt werden. Aber keine Angst, denn in den meisten Fällen benötigt eine Prüfung 5-10 Zeilen Code, aber Sie können jede beliebige Logik implementieren und werden klar verstehen, wie die Prüfung funktioniert.
Überwachungssystem
Nehmen wir an, wir haben die Anwendung in Komponenten aufgeteilt, Prüfungen für jede Komponente entwickelt und implementiert, aber was machen wir mit den Ergebnissen dieser Prüfungen? Woher wissen wir, ob eine Prüfung fehlgeschlagen ist?
Wir brauchen ein Überwachungssystem. Sie wird folgende Aufgaben wahrnehmen:
- Erhalten Sie Testergebnisse und ermitteln Sie anhand dieser den Status von Komponenten.
Optisch sieht dies so aus, als würde der Komponentenbaum hervorgehoben. Funktionsfähige Komponenten werden grün, problematische rot. - Führen Sie sofort allgemeine Prüfungen durch.
Das Überwachungssystem kann einige Kontrollen selbst durchführen. Warum das Rad neu erfinden, nutzen wir es. Sie können beispielsweise überprüfen, ob eine Website-Seite geöffnet wird oder der Server pingt. - Senden Sie Benachrichtigungen über Probleme an interessierte Parteien.
- Visualisierung von Überwachungsdaten, Bereitstellung von Berichten, Grafiken und Statistiken.
Kurze Beschreibung des ASMO-Systems
Am besten lässt sich das anhand eines Beispiels erklären. Schauen wir uns an, wie die Überwachung der Leistung des ASMO-Systems organisiert ist.
ASMO ist ein automatisiertes meteorologisches Unterstützungssystem. Das System hilft Straßendienstspezialisten zu verstehen, wo und wann die Straße mit Enteisungsmitteln behandelt werden muss. Das System sammelt Daten von Straßenkontrollpunkten. Ein Straßenkontrollpunkt ist ein Ort auf der Straße, an dem Geräte installiert sind: eine Wetterstation, eine Videokamera usw. Um Gefahrensituationen vorherzusagen, erhält das System Wettervorhersagen von externen Quellen.
Die Zusammensetzung des Systems ist also recht typisch: Website, Agent, Ausrüstung. Beginnen wir mit der Überwachung.
Das System in Komponenten zerlegen
Im ASMO-System lassen sich folgende Komponenten unterscheiden:
1. Persönliches Konto
Dies ist eine Webanwendung. Sie müssen mindestens prüfen, ob die Anwendung im Internet verfügbar ist.
2. Datenbank
Die Datenbank speichert Daten, die für die Berichterstellung wichtig sind, und Sie müssen sicherstellen, dass Datenbanksicherungen erfolgreich erstellt werden.
3. Server
Mit Server meinen wir die Hardware, auf der Anwendungen ausgeführt werden. Es ist notwendig, den Status von Festplatte, RAM und CPU zu überprüfen.
4. Agent
Dies ist ein Windows-Dienst, der viele verschiedene Aufgaben nach einem Zeitplan ausführt. Sie müssen mindestens überprüfen, ob der Dienst ausgeführt wird.
5. Agentenaufgabe
Nur zu wissen, dass ein Agent arbeitet, reicht nicht aus. Ein Agent kann arbeiten, aber die ihm zugewiesenen Aufgaben nicht ausführen. Lassen Sie uns die Agentenkomponente in Aufgaben aufteilen und prüfen, ob jede Agentenaufgabe erfolgreich funktioniert.
6. Straßenkontrollpunkte (Container aller MPCs)
Es gibt viele Straßenkontrollpunkte, also kombinieren wir alle MPCs in einer Komponente. Dies erleichtert das Auslesen der Überwachungsdaten. Beim Betrachten des Status der Komponente „ASMO-System“ wird sofort klar, wo die Probleme liegen: bei Anwendungen, Hardware oder im Maximalsteuerungssystem.
7. Straßenkontrollpunkt (eine Höchstgrenze)
Wir betrachten diese Komponente als betriebsbereit, wenn alle Geräte auf diesem MPC betriebsbereit sind.
8. Gerät
Hierbei handelt es sich um eine Videokamera oder Wetterstation, die an der maximalen Konzentrationsgrenze installiert wird. Es muss überprüft werden, ob das Gerät ordnungsgemäß funktioniert.
Im Überwachungssystem sieht der Komponentenbaum folgendermaßen aus:
Überwachung von Webanwendungen
Wir haben das System also in Komponenten unterteilt und müssen nun für jede Komponente Prüfungen durchführen.
Zur Überwachung einer Webanwendung verwenden wir die folgenden Prüfungen:
1. Überprüfen des Öffnens der Hauptseite
Diese Prüfung wird vom Überwachungssystem durchgeführt. Zur Ausführung geben wir die Seitenadresse, das erwartete Antwortfragment und die maximale Ausführungszeit der Anfrage an.
2. Überprüfung der Zahlungsfrist für die Domain
Eine sehr wichtige Prüfung. Wenn eine Domain unbezahlt bleibt, können Benutzer die Website nicht öffnen. Die Lösung des Problems kann mehrere Tage dauern, weil... DNS-Änderungen werden nicht sofort übernommen.
3. Überprüfung des SSL-Zertifikats
Heutzutage nutzen fast alle Websites das https-Protokoll für den Zugriff. Damit das Protokoll ordnungsgemäß funktioniert, benötigen Sie ein gültiges SSL-Zertifikat.
Nachfolgend finden Sie die Komponente „Persönliches Konto“ im Überwachungssystem:
Alle oben genannten Prüfungen funktionieren für die meisten Anwendungen und erfordern keine Codierung. Das ist sehr cool, da Sie in 5 Minuten mit der Überwachung jeder Webanwendung beginnen können. Im Folgenden finden Sie zusätzliche Prüfungen, die für eine Webanwendung durchgeführt werden können. Ihre Implementierung ist jedoch komplexer und anwendungsspezifischer, sodass wir sie in diesem Artikel nicht behandeln.
Was können Sie sonst noch überprüfen?
Um Ihre Webanwendung umfassender zu überwachen, können Sie die folgenden Prüfungen durchführen:
- Anzahl der JavaScript-Fehler pro Zeitraum
- Anzahl der Fehler auf der Webanwendungsseite (Back-End) für den Zeitraum
- Anzahl erfolgloser Webanwendungsantworten (Antwortcode 404, 500 usw.)
- Durchschnittliche Ausführungszeit der Abfrage
Überwachen eines Windows-Dienstes (Agent)
Im ASMO-System übernimmt der Agent die Rolle eines Aufgabenplaners, der geplante Aufgaben im Hintergrund ausführt.
Wenn alle Agentenaufgaben erfolgreich abgeschlossen werden, funktioniert der Agent ordnungsgemäß. Es stellt sich heraus, dass Sie zur Überwachung eines Agenten dessen Aufgaben überwachen müssen. Daher unterteilen wir die Komponente „Agent“ in Aufgaben. Für jede Aufgabe erstellen wir eine separate Komponente im Überwachungssystem, wobei die „Agent“-Komponente die „übergeordnete“ Komponente ist.
Wir teilen die Agent-Komponente in untergeordnete Komponenten (Aufgaben) auf:
Daher haben wir eine komplexe Komponente in mehrere einfache Komponenten zerlegt. Jetzt müssen wir Prüfungen für jede einzelne Komponente erstellen. Bitte beachten Sie, dass die übergeordnete Komponente „Agent“ keine Prüfungen durchführt, da das Überwachungssystem ihren Status unabhängig vom Status seiner untergeordneten Komponenten berechnet. Mit anderen Worten: Wenn alle Aufgaben erfolgreich abgeschlossen wurden, wird der Agent erfolgreich ausgeführt.
Es gibt mehr als hundert Aufgaben im ASMO-System. Ist es wirklich notwendig, für jede Aufgabe eindeutige Prüfungen zu erstellen? Natürlich ist die Kontrolle besser, wenn wir für jede Agentenaufgabe eigene spezielle Prüfungen entwickeln und implementieren, aber in den meisten Fällen reicht es aus, universelle Prüfungen zu verwenden.
Das ASMO-System verwendet nur universelle Prüfungen für Aufgaben und dies reicht aus, um die Leistung des Systems zu überwachen.
Fortschritt überprüfen
Die einfachste und effektivste Prüfung ist die Ausführungsprüfung. Die Prüfung stellt sicher, dass die Aufgabe fehlerfrei abgeschlossen wird. Alle Aufgaben verfügen über diese Prüfung.
Verifizierungsalgorithmus
Nach jeder Aufgabenausführung müssen Sie das Ergebnis der SUCCESS-Prüfung an das Überwachungssystem senden, wenn die Aufgabenausführung erfolgreich war, oder ERROR, wenn die Ausführung mit einem Fehler abgeschlossen wurde.
Mit dieser Prüfung können folgende Probleme erkannt werden:
- Die Aufgabe wird ausgeführt, schlägt jedoch mit einem Fehler fehl.
- Die Ausführung der Aufgabe wurde gestoppt, sie ist beispielsweise eingefroren.
Schauen wir uns genauer an, wie diese Probleme gelöst werden.
Problem 1 – Die Aufgabe wird ausgeführt, schlägt jedoch mit einem Fehler fehl
Unten sehen Sie einen Fall, in dem die Aufgabe zwischen 14:00 und 16:00 Uhr ausgeführt wird, aber fehlschlägt.
Die Abbildung zeigt, dass beim Scheitern einer Aufgabe sofort ein Signal an das Überwachungssystem gesendet wird und der Status der entsprechenden Prüfung im Überwachungssystem zu Alarm wird.
Bitte beachten Sie, dass im Überwachungssystem der Status der Komponente vom Verifizierungsstatus abhängt. Durch den Alarmstatus der Prüfung werden alle übergeordneten Komponenten auf Alarm gesetzt, siehe Abbildung unten.
Problem 2 – Die Ausführung der Aufgabe wurde gestoppt (eingefroren)
Wie erkennt das Überwachungssystem, dass eine Aufgabe feststeckt?
Das Prüfergebnis hat einen Gültigkeitszeitraum von beispielsweise 1 Stunde. Wenn eine Stunde vergeht und kein neues Testergebnis vorliegt, setzt das Überwachungssystem den Teststatus auf Alarm.
Im Bild oben wurde das Licht um 14:00 Uhr ausgeschaltet. Um 15:00 Uhr erkennt das Überwachungssystem, dass das Testergebnis (ab 14:00 Uhr) fehlerhaft ist, weil Die Relevanzzeit ist abgelaufen (eine Stunde), aber es gibt kein neues Ergebnis und die Prüfung wechselt in den Alarmstatus.
Um 16:00 Uhr wurden die Lichter wieder eingeschaltet, das Programm wird die Aufgabe abschließen und das Ausführungsergebnis an das Überwachungssystem senden, der Teststatus wird wieder zu Erfolg.
Welche Relevanzprüfungszeit sollte ich verwenden?
Die Relevanzzeit muss größer sein als der Aufgabenausführungszeitraum. Ich empfehle, die Relevanzzeit 2-3 Mal länger als den Zeitraum der Aufgabenausführung einzustellen. Dies ist notwendig, um zu vermeiden, dass Sie falsche Benachrichtigungen erhalten, wenn beispielsweise eine Aufgabe länger als gewöhnlich gedauert hat oder jemand das Programm neu geladen hat.
Fortschritt überprüfen
Das ASMO-System verfügt über die Aufgabe „Prognose laden“, die einmal pro Stunde versucht, eine neue Prognose von einer externen Quelle herunterzuladen. Der genaue Zeitpunkt, zu dem eine neue Prognose im externen System erscheint, ist nicht bekannt, es ist jedoch bekannt, dass dies zweimal täglich geschieht. Es stellt sich heraus, dass es normal ist, wenn es mehrere Stunden lang keine neue Vorhersage gibt. Wenn es jedoch länger als einen Tag lang keine neue Vorhersage gibt, ist irgendwo etwas kaputt. Beispielsweise kann sich das Datenformat in einem externen Prognosesystem ändern, weshalb ASMO keine neue Prognoseveröffentlichung sehen wird.
Verifizierungsalgorithmus
Die Aufgabe sendet das Ergebnis der ERFOLGREICH-Prüfung an das Überwachungssystem, wenn es ihr gelingt, Fortschritte zu erzielen (Herunterladen einer neuen Wettervorhersage). Erfolgt kein Fortschritt oder tritt ein Fehler auf, wird nichts an das Überwachungssystem gesendet.
Die Prüfung muss ein Relevanzintervall haben, so dass in dieser Zeit garantiert neue Fortschritte erzielt werden.
Bitte beachten Sie, dass wir erst mit Verzögerung von dem Problem erfahren, da das Überwachungssystem wartet, bis die Gültigkeitsdauer des letzten Scanergebnisses abgelaufen ist. Daher muss die Gültigkeitsdauer des Schecks nicht zu lang gewählt werden.
Datenbanküberwachung
Zur Kontrolle der Datenbank im ASMO-System führen wir folgende Prüfungen durch:
- Überprüfung der Backup-Erstellung
- Überprüfen des freien Speicherplatzes
Überprüfung der Backup-Erstellung
Bei den meisten Anwendungen ist es wichtig, über aktuelle Datenbanksicherungen zu verfügen, damit Sie das Programm bei einem Serverausfall auf einem neuen Server bereitstellen können.
ASMO erstellt einmal pro Woche eine Sicherungskopie und sendet diese an den Speicher. Bei erfolgreichem Abschluss dieses Vorgangs wird das Ergebnis der Erfolgskontrolle an das Überwachungssystem übermittelt. Das Verifizierungsergebnis ist 9 Tage lang gültig. Diese. Um die Erstellung von Backups zu steuern, wird der oben besprochene „Fortschrittskontroll“-Mechanismus verwendet.
Überprüfen des freien Speicherplatzes
Wenn auf der Festplatte nicht genügend freier Speicherplatz vorhanden ist, kann die Datenbank nicht ordnungsgemäß funktionieren. Daher ist es wichtig, die Menge des freien Speicherplatzes zu kontrollieren.
Es ist praktisch, Metriken zur Überprüfung numerischer Parameter zu verwenden.
Metriken ist eine numerische Variable, deren Wert an das Überwachungssystem übermittelt wird. Das Überwachungssystem überprüft die Schwellenwerte und berechnet den Metrikstatus.
Unten sehen Sie ein Bild davon, wie die Komponente „Datenbank“ im Überwachungssystem aussieht:
Serverüberwachung
Zur Überwachung des Servers verwenden wir die folgenden Prüfungen und Metriken:
1. Freier Speicherplatz
Wenn der Speicherplatz erschöpft ist, kann die Anwendung nicht ausgeführt werden. Wir verwenden zwei Schwellenwerte: Die erste Stufe ist WARNUNG, die zweite Stufe ist ALARM.
2. Durchschnittlicher RAM-Wert in Prozent pro Stunde
Wir verwenden den Stundendurchschnitt, weil... Wir sind nicht an seltenen Rennen interessiert.
3. Durchschnittlicher CPU-Prozentsatz pro Stunde
Wir verwenden den Stundendurchschnitt, weil... Wir sind nicht an seltenen Rennen interessiert.
4. Ping-Überprüfung
Überprüft, ob der Server online ist. Das Überwachungssystem kann diese Prüfung durchführen; es ist nicht erforderlich, Code zu schreiben.
Unten sehen Sie ein Bild davon, wie die Komponente „Server“ im Überwachungssystem aussieht:
Geräteüberwachung
Ich erzähle Ihnen, wie die Daten gewonnen werden. Für jeden Straßenkontrollpunkt (MPC) gibt es eine Aufgabe im Aufgabenplaner, zum Beispiel „Vermessung MPC M2 km 200“. Die Aufgabe empfängt alle 30 Minuten Daten von allen MPC-Geräten.
Problem mit dem Kommunikationskanal
Die meisten Geräte befinden sich außerhalb der Stadt; für die Datenübertragung wird ein GSM-Netzwerk verwendet, das nicht stabil funktioniert (es gibt ein Netzwerk oder es gibt keins).
Aufgrund häufiger Netzwerkausfälle sah die Überprüfung der MPC-Umfrage im Monitoring zunächst so aus:
Es stellte sich heraus, dass dies keine funktionierende Option war, da es viele falsche Meldungen über Probleme gab. Dann wurde beschlossen, für jedes Gerät eine „Fortschrittskontrolle“ durchzuführen, d. h. Nur wenn das Gerät ohne Fehler abgefragt wird, wird das Erfolgssignal an das Überwachungssystem gesendet. Die Relevanzzeit wurde auf 5 Stunden festgelegt.
Jetzt sendet die Überwachung nur dann Benachrichtigungen über Probleme, wenn das Gerät länger als 5 Stunden nicht abgefragt werden kann. Mit hoher Wahrscheinlichkeit handelt es sich dabei nicht um Fehlalarme, sondern um echte Probleme.
Unten sehen Sie ein Bild davon, wie die Ausrüstung im Überwachungssystem aussieht:
Wichtig!
Wenn das GSM-Netzwerk nicht mehr funktioniert, werden nicht alle MDC-Geräte abgefragt. Um die Anzahl der E-Mails vom Überwachungssystem zu reduzieren, abonnieren unsere Ingenieure Benachrichtigungen über Komponentenprobleme mit dem Typ „MPC“ statt „Gerät“. Dadurch können Sie für jeden MPC eine Benachrichtigung erhalten, anstatt für jedes Gerät eine separate Benachrichtigung.
Endgültiges ASMO-Überwachungsschema
Lassen Sie uns alles zusammenfassen und sehen, welche Art von Überwachungsschema wir haben.
Abschluss
Fassen wir zusammen.
Was hat uns die Überwachung der Leistung von ASMO gebracht?
1. Die Zeit zur Fehlerbehebung hat sich verkürzt
Wir haben bereits von Nutzern über Mängel gehört, jedoch melden nicht alle Nutzer Mängel. Es kam vor, dass wir eine Woche nach ihrem Auftreten von einer Fehlfunktion einer Systemkomponente erfuhren. Jetzt benachrichtigt uns das Überwachungssystem über Probleme, sobald ein Problem erkannt wird.
2. Die Systemstabilität hat sich erhöht
Da die Fehler früher behoben wurden, begann das Gesamtsystem deutlich stabiler zu arbeiten.
3. Reduzierung der Anzahl der Anrufe beim technischen Support
Viele Probleme werden mittlerweile behoben, bevor Benutzer überhaupt davon erfahren. Benutzer begannen, sich seltener an den technischen Support zu wenden. All dies wirkt sich positiv auf unseren Ruf aus.
4. Steigerung der Kunden- und Nutzerbindung
Der Kunde bemerkte positive Veränderungen in der Stabilität des Systems. Benutzer haben bei der Nutzung des Systems weniger Probleme.
5. Reduzieren Sie die Kosten für den technischen Support
Wir haben aufgehört, manuelle Kontrollen durchzuführen. Jetzt sind alle Prüfungen automatisiert. Früher erfuhren wir von Benutzern von Problemen; oft war es schwierig zu verstehen, über welches Problem der Benutzer sprach. Mittlerweile werden die meisten Probleme vom Überwachungssystem gemeldet; die Benachrichtigungen enthalten technische Daten, die immer klar machen, was wo schief gelaufen ist.
Wichtig!
Sie können das Überwachungssystem nicht auf demselben Server installieren, auf dem Ihre Anwendungen ausgeführt werden. Wenn der Server ausfällt, funktionieren die Anwendungen nicht mehr und es gibt niemanden, der dies benachrichtigen kann.
Das Überwachungssystem muss auf einem separaten Server in einem anderen Rechenzentrum laufen.
Wenn Sie in einem neuen Rechenzentrum keinen dedizierten Server nutzen möchten, können Sie ein Cloud-Monitoring-System nutzen. Unser Unternehmen verwendet das Cloud-Überwachungssystem Zidium, Sie können jedoch auch jedes andere Überwachungssystem verwenden. Die Kosten für ein Cloud-Überwachungssystem sind geringer als die Anmietung eines neuen Servers.
Empfehlungen:
- Teilen Sie Anwendungen und Systeme so detailliert wie möglich in Form eines Komponentenbaums auf, damit Sie leichter erkennen können, wo und was fehlerhaft ist, und die Kontrolle vollständiger ist.
- Um die Funktionalität einer Komponente zu überprüfen, verwenden Sie Tests. Es ist besser, viele einfache Prüfungen zu verwenden als eine komplexe.
- Konfigurieren Sie metrische Schwellenwerte auf der Seite des Überwachungssystems, anstatt sie in Code zu schreiben. Dies erspart Ihnen die Notwendigkeit, die Anwendung neu zu kompilieren, neu zu konfigurieren oder neu zu starten.
- Planen Sie bei benutzerdefinierten Prüfungen einen relevanten Zeitspielraum ein, um den Erhalt falscher Benachrichtigungen zu vermeiden, da die Durchführung einiger Prüfungen etwas länger dauerte als üblich.
- Versuchen Sie, die Komponenten im Überwachungssystem nur dann rot werden zu lassen, wenn definitiv ein Problem vorliegt. Wenn sie umsonst rot werden, hören Sie auf, auf die Benachrichtigungen des Überwachungssystems zu achten, und ihre Bedeutung geht verloren.
Wenn Sie noch kein Überwachungssystem verwenden, starten Sie! Es ist nicht so schwierig, wie es scheint. Es macht Spaß, den grünen Zutatenbaum zu betrachten, den Sie selbst gezüchtet haben.
Viel Glück.
Source: habr.com