{"id":39133,"date":"2019-10-31T22:28:01","date_gmt":"2019-10-31T19:28:01","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev\/"},"modified":"2019-10-31T22:28:01","modified_gmt":"2019-10-31T19:28:01","slug":"monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","status":"publish","type":"post","link":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","title":{"rendered":"Monitoring + Lasttest = Prognose und Fehlerminimierung","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Die IT-Abteilung der VTB sah sich mehrfach mit Notfallsituationen im Betrieb der Systeme konfrontiert, wenn die Last auf diesen erheblich anstieg. Daher entstand die Notwendigkeit, ein Modell zu entwickeln und zu testen, das die Spitzenlast auf kritische Systeme vorhersagen k\u00f6nnte. Zu diesem Zweck richteten die IT-Spezialisten der Bank ein Monitoring ein, analysierten die Daten und lernten, Prognosen zu automatisieren. Welche Tools geholfen haben, die Last vorherzusagen und ob es gelang, die Arbeit mit ihrer Hilfe zu optimieren, erkl\u00e4ren wir in einem kurzen Artikel.<\/p>\n

\"Monitoring
\n<\/a><\/noindex>
\nProbleme mit hochbelasteten Services treten in praktisch allen Branchen auf, sind jedoch im Finanzsektor kritisch. In der Stunde X m\u00fcssen alle Einsatzkr\u00e4fte bereit sein, und deshalb war es notwendig, im Voraus zu wissen, was passieren k\u00f6nnte, und sogar den Tag zu bestimmen, an dem die Last ansteigen w\u00fcrde, sowie zu erkennen, mit welchen Systemen diese konfrontiert werden. St\u00f6rungen m\u00fcssen bek\u00e4mpft und verhindert werden, weshalb die Notwendigkeit, ein System f\u00fcr vorausschauende Analytik einzuf\u00fchren, keineswegs diskutiert wurde. Es war notwendig, die Systeme auf der Grundlage der Monitoring-Daten zu modernisieren.<\/p>\n

Analytik im Handumdrehen<\/h2>\n

\nDas Gehaltsprojekt ist eines der sensibelsten im Falle eines Ausfalls. Es ist auch am klarsten vorherzusagen, und deshalb wurde damit begonnen. Aufgrund der hohen Abh\u00e4ngigkeit konnten in Zeiten von Spitzenlasten auch andere Teilsysteme, einschlie\u00dflich des Online-Banking (DBO), Probleme haben. Zum Beispiel begannen Kunden, erfreut \u00fcber SMS-Benachrichtigungen \u00fcber Geldeing\u00e4nge, aktiv diese zu nutzen. Die Last konnte dabei um mehr als das Zehnfache ansteigen.\u00a0<\/p>\n

Das erste Modell f\u00fcr die Prognose wurde manuell erstellt. Wir haben die Daten des letzten Jahres ausgewertet und gez\u00e4hlt, an welchen Tagen die h\u00f6chsten Spitzen zu erwarten sind: zum Beispiel am 1., 15. und 25. eines Monats sowie in den letzten Tagen des Monats. Dieses Modell erforderte erhebliche Arbeitsressourcen und lieferte keine genauen Vorhersagen. Dennoch identifizierte es Engp\u00e4sse, an denen \u201eHardware\u201c hinzugef\u00fcgt werden musste, und erm\u00f6glichte eine Optimierung des Geldtransfers, indem mit Schl\u00fcsselklienten vereinbart wurde, dass die Geh\u00e4lter nicht \u201eauf einen Schlag\u201c ausgezahlt werden; die Transaktionen aus verschiedenen Regionen wurden zeitlich gestaffelt. Jetzt bearbeiten wir sie in Teilen, die die IT-Infrastruktur der Bank ohne Probleme \u201everarbeiten\u201c kann.<\/p>\n

Nachdem wir das erste positive Ergebnis erzielt hatten, gingen wir zur Automatisierung der Prognose \u00fcber. Weitere zehn kritische Punkte warteten auf ihre Bearbeitung.<\/p>\n

Integrierter Ansatz<\/h2>\n

\nIn der VTB wurde das Monitoring-System von MicroFocus implementiert. Von dort haben wir die Datensammlung f\u00fcr die Prognose, das Speichersystem und das Berichtsgenerierungssystem \u00fcbernommen. Im Grunde gab es bereits ein Monitoring, es galt nur, Metriken hinzuzuf\u00fcgen, ein Vorhersagemodul zu integrieren und neue Berichte zu erstellen. Unterst\u00fctzung bietet der externe Dienstleister \u201eTechnoserv\u201c, weshalb die Hauptarbeiten zur Umsetzung des Projekts in der Verantwortung seiner Spezialisten lagen, das Modell haben wir jedoch selbst entwickelt. Das Prognosesystem wurde auf Basis von Prophet erstellt \u2013 dieses Open-Source-Produkt wurde bei Facebook entwickelt. Es ist einfach zu bedienen und l\u00e4sst sich leicht in die bei uns installierten Monitoring-Tools und Vertica integrieren. Grob gesagt analysiert das System die Auslastung und extrapoliert diese mithilfe von Fourier-Reihen. Es gibt auch die M\u00f6glichkeit, bestimmte Koeffizienten f\u00fcr die Tage, die aus unserem Modell stammen, hinzuzuf\u00fcgen. Die Metriken werden ohne menschliches Zutun erfasst, einmal pro Woche wird die Prognose automatisch neu berechnet, neue Berichte werden an die Empf\u00e4nger versendet.\u00a0<\/p>\n

Dieser Ansatz identifiziert die wesentlichen Zyklen, zum Beispiel j\u00e4hrliche, monatliche, viertelj\u00e4hrliche und w\u00f6chentliche. Die Auszahlung von Geh\u00e4ltern und Vorsch\u00fcssen, Urlaubszeitr\u00e4ume, Feiertage und Verkaufsaktionen \u2013 all dies beeinflusst die Anzahl der Anfragen an die Systeme. Es stellte sich heraus, dass einige Zyklen sich \u00fcberlagern, wobei der Hauptanteil (75%) der Belastung auf den Zentralen F\u00f6deralen Bezirk entf\u00e4llt. Juristische und nat\u00fcrliche Personen verhalten sich unterschiedlich. W\u00e4hrend die Last von \u201enat\u00fcrlichen Personen\u201c relativ gleichm\u00e4\u00dfig \u00fcber die Wochentage verteilt ist (viele kleine Transaktionen), f\u00e4llt bei Unternehmen 99,9 % auf die Arbeitszeiten, wobei die Transaktionen kurz sein k\u00f6nnen, aber auch mehrere Minuten oder sogar Stunden in Anspruch nehmen k\u00f6nnen.<\/p>\n

\"Monitoring
\n
\nAuf Basis der erhaltenen Daten werden langanhaltende Trends bestimmt. Das neue System hat aufgezeigt, dass viele Menschen in die digitale Bankenwelt wechseln. Das ist allgemein bekannt, aber mit einem solchen Ausma\u00df hatten wir nicht gerechnet und anfangs daran nicht geglaubt: Die Anzahl der Anfragen in den Bankfilialen sinkt extrem schnell, und genauso steigt die Anzahl der Online-Transaktionen. Dementsprechend w\u00e4chst auch die Belastung der Systeme und wird weiter wachsen. Derzeit prognostizieren wir die Belastung bis Februar 2020. Normale Tage k\u00f6nnen wir mit einer Abweichung von 3 % vorhersagen, Spitzenzeiten mit einer Abweichung von 10 %. Das ist ein gutes Ergebnis.<\/p>\n

Herausforderungen<\/h2>\n

\nWie gewohnt gab es einige Schwierigkeiten. Der Extrapolationsmechanismus unter Verwendung von Fourier-Reihen hat Probleme, wenn er nahe null geht \u2013 wir wissen, dass an Wochenenden juristische Personen wenig Transaktionen generieren, aber das Vorhersagemodul gibt Werte weit von null aus. Man h\u00e4tte sie manuell korrigieren k\u00f6nnen, aber das ist nicht unsere Methode. Au\u00dferdem musste das Problem der schmerzlosen Datenerfassung von den Quellsystemen gel\u00f6st werden. Die regelm\u00e4\u00dfige Datensammlung erfordert erhebliche Rechenressourcen, deswegen haben wir schnelle Caches mit Hilfe von Replikation aufgebaut und erhalten Gesch\u00e4ftsdaten bereits von Replikaten. Das Fehlen zus\u00e4tzlicher Last auf den Master-Systemen in solchen F\u00e4llen ist eine zwingende Anforderung.<\/p>\n

Neue Herausforderungen<\/h2>\n

\nDie im Vorfeld gestellte Aufgabe zur Vorhersage von Spitzen wurde gel\u00f6st: Seit Mai gab es im Zusammenhang mit \u00dcberlastungen keinen Systemausfall in der Bank, und das neue Prognosesystem hat dabei eine nicht unwesentliche Rolle gespielt. Ja, es war nicht ausreichend, und jetzt m\u00f6chte die Bank verstehen, wie gef\u00e4hrlich die Spitzen f\u00fcr sie sind. Wir ben\u00f6tigen Prognosen unter Verwendung von Metriken aus Lasttests, und ungef\u00e4hr 30 % der kritischen Systeme funktionieren bereits damit, die anderen befinden sich im Prozess der Prognoseerstellung. In der n\u00e4chsten Phase planen wir, die Last auf den Systemen nicht in Gesch\u00e4ftstransaktionen, sondern in Bezug auf die IT-Infrastruktur zu prognostizieren, d. h. wir werden auf eine tiefere Ebene gehen. Au\u00dferdem m\u00fcssen wir die Erfassung der Metriken und die Erstellung von Prognosen vollst\u00e4ndig automatisieren, um uns nicht mit Exporten befassen zu m\u00fcssen. Darin gibt es nichts Au\u00dfergew\u00f6hnliches \u2013 wir verkn\u00fcpfen einfach Monitoring und Lasttests gem\u00e4\u00df den besten internationalen Praktiken.
\n
Quelle: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

IT-\u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0443 \u0412\u0422\u0411 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0448\u0442\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u043c\u0438 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438 \u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0430 \u0431\u044b \u043f\u0438\u043a\u043e\u0432\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e IT-\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b \u0431\u0430\u043d\u043a\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b. \u041a\u0430\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043c\u043e\u0433\u043b\u0438 \u0441\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043b\u0438 \u0441 \u0438\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":29368,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-39133","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Monitoring + Lasttests = Vorhersage und Ausf\u00e4lle vermeiden | ProHoster","description":"Die IT-Abteilung der VTB musste mehrfach mit au\u00dfergew\u00f6hnlichen Situationen im Betrieb der Systeme umgehen, wenn die Last auf ihnen mehrfach anstieg.","canonical_url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"de_DE","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 + \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u043e\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 = \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0441\u0431\u043e\u0435\u0432 | ProHoster","og:description":"IT-\u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0443 \u0412\u0422\u0411 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0448\u0442\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u043c\u0438 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430.","og:url":"https:\/\/prohoster.info\/de\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:28:01+00:00","article:modified_time":"2019-10-31T19:28:01+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"39133","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 00:53:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:55:36","updated":"2026-01-24 00:53:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/39133","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/comments?post=39133"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/posts\/39133\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media\/29368"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/media?parent=39133"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/categories?post=39133"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/de\/wp-json\/wp\/v2\/tags?post=39133"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}