Monitoring + Lasttest = Prognose und Fehlerminimierung

Die IT-Abteilung der VTB sah sich mehrfach mit Notfallsituationen im Betrieb der Systeme konfrontiert, wenn die Last auf diesen erheblich anstieg. Daher entstand die Notwendigkeit, ein Modell zu entwickeln und zu testen, das die Spitzenlast auf kritische Systeme vorhersagen könnte. Zu diesem Zweck richteten die IT-Spezialisten der Bank ein Monitoring ein, analysierten die Daten und lernten, Prognosen zu automatisieren. Welche Tools geholfen haben, die Last vorherzusagen und ob es gelang, die Arbeit mit ihrer Hilfe zu optimieren, erklären wir in einem kurzen Artikel.

Probleme mit hochbelasteten Services treten in praktisch allen Branchen auf, sind jedoch im Finanzsektor kritisch. In der Stunde X müssen alle Einsatzkräfte bereit sein, und deshalb war es notwendig, im Voraus zu wissen, was passieren könnte, und sogar den Tag zu bestimmen, an dem die Last ansteigen würde, sowie zu erkennen, mit welchen Systemen diese konfrontiert werden. Störungen müssen bekämpft und verhindert werden, weshalb die Notwendigkeit, ein System für vorausschauende Analytik einzuführen, keineswegs diskutiert wurde. Es war notwendig, die Systeme auf der Grundlage der Monitoring-Daten zu modernisieren.

Analytik im Handumdrehen

Das Gehaltsprojekt ist eines der sensibelsten im Falle eines Ausfalls. Es ist auch am klarsten vorherzusagen, und deshalb wurde damit begonnen. Aufgrund der hohen Abhängigkeit konnten in Zeiten von Spitzenlasten auch andere Teilsysteme, einschließlich des Online-Banking (DBO), Probleme haben. Zum Beispiel begannen Kunden, erfreut über SMS-Benachrichtigungen über Geldeingänge, aktiv diese zu nutzen. Die Last konnte dabei um mehr als das Zehnfache ansteigen. 

Das erste Modell für die Prognose wurde manuell erstellt. Wir haben die Daten des letzten Jahres ausgewertet und gezählt, an welchen Tagen die höchsten Spitzen zu erwarten sind: zum Beispiel am 1., 15. und 25. eines Monats sowie in den letzten Tagen des Monats. Dieses Modell erforderte erhebliche Arbeitsressourcen und lieferte keine genauen Vorhersagen. Dennoch identifizierte es Engpässe, an denen „Hardware“ hinzugefügt werden musste, und ermöglichte eine Optimierung des Geldtransfers, indem mit Schlüsselklienten vereinbart wurde, dass die Gehälter nicht „auf einen Schlag“ ausgezahlt werden; die Transaktionen aus verschiedenen Regionen wurden zeitlich gestaffelt. Jetzt bearbeiten wir sie in Teilen, die die IT-Infrastruktur der Bank ohne Probleme „verarbeiten“ kann.

Nachdem wir das erste positive Ergebnis erzielt hatten, gingen wir zur Automatisierung der Prognose über. Weitere zehn kritische Punkte warteten auf ihre Bearbeitung.

Integrierter Ansatz

In der VTB wurde das Monitoring-System von MicroFocus implementiert. Von dort haben wir die Datensammlung für die Prognose, das Speichersystem und das Berichtsgenerierungssystem übernommen. Im Grunde gab es bereits ein Monitoring, es galt nur, Metriken hinzuzufügen, ein Vorhersagemodul zu integrieren und neue Berichte zu erstellen. Unterstützung bietet der externe Dienstleister „Technoserv“, weshalb die Hauptarbeiten zur Umsetzung des Projekts in der Verantwortung seiner Spezialisten lagen, das Modell haben wir jedoch selbst entwickelt. Das Prognosesystem wurde auf Basis von Prophet erstellt – dieses Open-Source-Produkt wurde bei Facebook entwickelt. Es ist einfach zu bedienen und lässt sich leicht in die bei uns installierten Monitoring-Tools und Vertica integrieren. Grob gesagt analysiert das System die Auslastung und extrapoliert diese mithilfe von Fourier-Reihen. Es gibt auch die Möglichkeit, bestimmte Koeffizienten für die Tage, die aus unserem Modell stammen, hinzuzufügen. Die Metriken werden ohne menschliches Zutun erfasst, einmal pro Woche wird die Prognose automatisch neu berechnet, neue Berichte werden an die Empfänger versendet. 

Dieser Ansatz identifiziert die wesentlichen Zyklen, zum Beispiel jährliche, monatliche, vierteljährliche und wöchentliche. Die Auszahlung von Gehältern und Vorschüssen, Urlaubszeiträume, Feiertage und Verkaufsaktionen – all dies beeinflusst die Anzahl der Anfragen an die Systeme. Es stellte sich heraus, dass einige Zyklen sich überlagern, wobei der Hauptanteil (75%) der Belastung auf den Zentralen Föderalen Bezirk entfällt. Juristische und natürliche Personen verhalten sich unterschiedlich. Während die Last von „natürlichen Personen“ relativ gleichmäßig über die Wochentage verteilt ist (viele kleine Transaktionen), fällt bei Unternehmen 99,9 % auf die Arbeitszeiten, wobei die Transaktionen kurz sein können, aber auch mehrere Minuten oder sogar Stunden in Anspruch nehmen können.

Auf Basis der erhaltenen Daten werden langanhaltende Trends bestimmt. Das neue System hat aufgezeigt, dass viele Menschen in die digitale Bankenwelt wechseln. Das ist allgemein bekannt, aber mit einem solchen Ausmaß hatten wir nicht gerechnet und anfangs daran nicht geglaubt: Die Anzahl der Anfragen in den Bankfilialen sinkt extrem schnell, und genauso steigt die Anzahl der Online-Transaktionen. Dementsprechend wächst auch die Belastung der Systeme und wird weiter wachsen. Derzeit prognostizieren wir die Belastung bis Februar 2020. Normale Tage können wir mit einer Abweichung von 3 % vorhersagen, Spitzenzeiten mit einer Abweichung von 10 %. Das ist ein gutes Ergebnis.

Herausforderungen

Wie gewohnt gab es einige Schwierigkeiten. Der Extrapolationsmechanismus unter Verwendung von Fourier-Reihen hat Probleme, wenn er nahe null geht – wir wissen, dass an Wochenenden juristische Personen wenig Transaktionen generieren, aber das Vorhersagemodul gibt Werte weit von null aus. Man hätte sie manuell korrigieren können, aber das ist nicht unsere Methode. Außerdem musste das Problem der schmerzlosen Datenerfassung von den Quellsystemen gelöst werden. Die regelmäßige Datensammlung erfordert erhebliche Rechenressourcen, deswegen haben wir schnelle Caches mit Hilfe von Replikation aufgebaut und erhalten Geschäftsdaten bereits von Replikaten. Das Fehlen zusätzlicher Last auf den Master-Systemen in solchen Fällen ist eine zwingende Anforderung.

Neue Herausforderungen

Die im Vorfeld gestellte Aufgabe zur Vorhersage von Spitzen wurde gelöst: Seit Mai gab es im Zusammenhang mit Überlastungen keinen Systemausfall in der Bank, und das neue Prognosesystem hat dabei eine nicht unwesentliche Rolle gespielt. Ja, es war nicht ausreichend, und jetzt möchte die Bank verstehen, wie gefährlich die Spitzen für sie sind. Wir benötigen Prognosen unter Verwendung von Metriken aus Lasttests, und ungefähr 30 % der kritischen Systeme funktionieren bereits damit, die anderen befinden sich im Prozess der Prognoseerstellung. In der nächsten Phase planen wir, die Last auf den Systemen nicht in Geschäftstransaktionen, sondern in Bezug auf die IT-Infrastruktur zu prognostizieren, d. h. wir werden auf eine tiefere Ebene gehen. Außerdem müssen wir die Erfassung der Metriken und die Erstellung von Prognosen vollständig automatisieren, um uns nicht mit Exporten befassen zu müssen. Darin gibt es nichts Außergewöhnliches – wir verknüpfen einfach Monitoring und Lasttests gemäß den besten internationalen Praktiken.

Quelle: habr.com