{"id":39133,"date":"2019-10-31T22:28:01","date_gmt":"2019-10-31T19:28:01","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev\/"},"modified":"2019-10-31T22:28:01","modified_gmt":"2019-10-31T19:28:01","slug":"monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","title":{"rendered":"Monitoring + test obci\u0105\u017ceniowy = prognozowanie i brak awarii","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Dzia\u0142 IT VTB wielokrotnie napotyka\u0142 sytuacje awaryjne w pracy system\u00f3w, kiedy obci\u0105\u017cenie na nie znacznie wzrasta\u0142o. Dlatego pojawi\u0142a si\u0119 potrzeba opracowania i przetestowania modelu, kt\u00f3ry przewidywa\u0142by szczytowe obci\u0105\u017cenie krytycznych system\u00f3w. W tym celu specjali\u015bci IT banku skonfigurowali monitorowanie, przeanalizowali dane i nauczyli si\u0119 automatyzowa\u0107 prognozy. Jakie narz\u0119dzia pomog\u0142y w przewidywaniu obci\u0105\u017cenia i czy uda\u0142o si\u0119 dzi\u0119ki nim zoptymalizowa\u0107 prac\u0119, opowiemy w kr\u00f3tkim artykule.<\/p>\n

\"Monitoring
\n<\/a><\/noindex>
\nProblemy z wysokoobci\u0105\u017conymi serwisami wyst\u0119puj\u0105 praktycznie we wszystkich bran\u017cach, ale w finansowej s\u0105 one krytyczne. W godzinie X wszystkie jednostki operacyjne musz\u0105 by\u0107 gotowe, dlatego konieczne by\u0142o wcze\u015bniejsze przewidzenie, co mo\u017ce si\u0119 zdarzy\u0107, a nawet okre\u015blenie dnia, kiedy wzro\u015bnie obci\u0105\u017cenie i kt\u00f3re systemy si\u0119 z nim zmierz\u0105. Nale\u017cy walczy\u0107 z awariami i je zapobiega\u0107, dlatego konieczno\u015b\u0107 wdro\u017cenia systemu analityki prognozuj\u0105cej nie by\u0142a nawet przedmiotem dyskusji. Trzeba by\u0142o zmodernizowa\u0107 systemy w oparciu o dane z monitoringu.<\/p>\n

Analiza zrobiona na szybko<\/h2>\n

\nProjekt p\u0142acowy to jeden z najbardziej wra\u017cliwych w przypadku awarii. Jest r\u00f3wnie\u017c najbardziej zrozumia\u0142y do prognozowania, dlatego zdecydowano si\u0119 zacz\u0105\u0107 od niego. Z powodu wysokiej powi\u0105zania w momentach szczytowego obci\u0105\u017cenia mog\u0142y mie\u0107 problemy tak\u017ce inne podsystemy, w tym zdalne us\u0142ugi bankowe (DBO). Na przyk\u0142ad klienci, kt\u00f3rzy otrzymali SMS o wp\u0142ywie pieni\u0119dzy, zaczynali aktywnie z nich korzysta\u0107. Obci\u0105\u017cenie w tym czasie mog\u0142o wzrosn\u0105\u0107 o wi\u0119cej ni\u017c rz\u0105d wielko\u015bci.\u00a0<\/p>\n

Pierwszy model prognozy stworzyli\u015bmy r\u0119cznie. Wzi\u0119li\u015bmy dane za ostatni rok i policzyli\u015bmy, w jakie dni spodziewane s\u0105 maksymalne szczyty: na przyk\u0142ad 1., 15. i 25. dnia miesi\u0105ca, a tak\u017ce w ostatnich dniach miesi\u0105ca. Model ten wymaga\u0142 powa\u017cnych nak\u0142ad\u00f3w pracy i nie dawa\u0142 dok\u0142adnych prognoz. Niemniej jednak ujawni\u0142 w\u0105skie gard\u0142a, w kt\u00f3re nale\u017ca\u0142o doda\u0107 'sprz\u0119t', i pozwoli\u0142 zoptymalizowa\u0107 proces przesy\u0142ania pieni\u0119dzy, umawiaj\u0105c si\u0119 z kluczowymi klientami: aby nie wyp\u0142aca\u0107 pensji 'jednym rzutem', transakcje z r\u00f3\u017cnych region\u00f3w roz\u0142o\u017cono w czasie. Teraz przetwarzamy je partiami, kt\u00f3re infrastruktura IT banku jest w stanie 'przetrawi\u0107' bez awarii.<\/p>\n

Otrzymuj\u0105c pierwszy pozytywny wynik, przeszli\u015bmy do automatyzacji prognozowania. Czeka\u0142o jeszcze dziesi\u0119\u0107 krytycznych obszar\u00f3w.<\/p>\n

Zintegrowane podej\u015bcie<\/h2>\n

\nW VTB wdro\u017cono system monitorowania firmy MicroFocus. Stamt\u0105d wzi\u0119li\u015bmy zbieranie danych do prognozowania, system przechowywania i system generowania raport\u00f3w. W zasadzie monitoring ju\u017c istnia\u0142, wystarczy\u0142o doda\u0107 metryki, modu\u0142 przewidywania i stworzy\u0107 nowe raporty. To rozwi\u0105zanie wspiera zewn\u0119trzny kontrahent \u201eTechnoserv\u201d, wi\u0119c g\u0142\u00f3wne prace nad realizacj\u0105 projektu spocz\u0119\u0142y na jego specjalistach, ale model budowali\u015bmy samodzielnie. System prognozowania zrealizowano na bazie Prophet \u2014 ten otwarty produkt zosta\u0142 opracowany w Facebooku. Jest prosty w u\u017cyciu i \u0142atwo integruje si\u0119 z posiadanymi przez nas narz\u0119dziami monitorowania kompleksowego oraz Vertica. M\u00f3wi\u0105c w uproszczeniu, system analizuje krzyw\u0105 obci\u0105\u017cenia i na podstawie szereg\u00f3w Fouriera dokonuje jej ekstrapolacji. Istnieje r\u00f3wnie\u017c mo\u017cliwo\u015b\u0107 dodawania pewnych wsp\u00f3\u0142czynnik\u00f3w na podstawie dni, wzi\u0119tych z naszego modelu. Metryki s\u0105 zbierane bez udzia\u0142u cz\u0142owieka, raz w tygodniu prognoza automatycznie jest przeliczana, a nowe raporty s\u0105 wysy\u0142ane do odbiorc\u00f3w.\u00a0<\/p>\n

Takie podej\u015bcie ujawnia g\u0142\u00f3wne cykle, na przyk\u0142ad roczne, miesi\u0119czne, kwartalne i tygodniowe. Wyp\u0142ata wynagrodze\u0144 i zaliczek, okresy urlopowe, \u015bwi\u0119ta i wyprzeda\u017ce \u2014 wszystko to wp\u0142ywa na liczb\u0119 zapyta\u0144 do system\u00f3w. Ustalono na przyk\u0142ad, \u017ce niekt\u00f3re cykle nak\u0142adaj\u0105 si\u0119 na siebie, a g\u0142\u00f3wny ci\u0119\u017car (75%) na systemy spoczywa na Centralnym Obwodzie Federalnym. Osoby prawne i fizyczne zachowuj\u0105 si\u0119 inaczej. Je\u015bli obci\u0105\u017cenie od \u201efizycznych\u201d jest stosunkowo r\u00f3wnomiernie roz\u0142o\u017cone w ci\u0105gu tygodnia (to bardzo wiele ma\u0142ych transakcji), to w przypadku firm 99,9% przypada na godziny pracy, przy czym transakcje mog\u0105 by\u0107 kr\u00f3tkie lub trwa\u0107 kilka minut, a nawet godzin.<\/p>\n

\"Monitoring
\n
\nNa podstawie zebranych danych okre\u015blane s\u0105 d\u0142ugoterminowe trendy. Nowy system ujawnia, \u017ce ludzie masowo przenosz\u0105 si\u0119 do DBO. To wszystkim wiadomo, ale nie spodziewali\u015bmy si\u0119 takiej skali i na pocz\u0105tku w to nie wierzyli\u015bmy: liczba wizyt w bankowych oddzia\u0142ach drastycznie szybko maleje, a ilo\u015b\u0107 zdalnych transakcji ro\u015bnie w tym samym tempie. Odpowiednio, obci\u0105\u017cenie system\u00f3w tak\u017ce wzrasta i b\u0119dzie ros\u0142o dalej. Obecnie prognozujemy obci\u0105\u017cenie do lutego 2020 roku. W normalnych dniach udaje si\u0119 przewidzie\u0107 z b\u0142\u0119dem do 3%, a w szczytowych \u2014 z b\u0142\u0119dem do 10%. To dobry wynik.<\/p>\n

Pu\u0142apki<\/h2>\n

\nBez trudno\u015bci, jak to zwykle bywa, si\u0119 nie oby\u0142o. Mechanizm ekstrapolacji z wykorzystaniem szereg\u00f3w Fouriera nieprzyjemnie przechodzi przez zero \u2014 wiemy, \u017ce w weekendy osoby prawne generuj\u0105 ma\u0142o transakcji, ale modu\u0142 przewidywania podaje warto\u015bci dalekie od zera. Mo\u017cna by je poprawi\u0107 wymuszenie, ale wola\u0142em nie stosowa\u0107 takich \u0142atek. Ponadto trzeba by\u0142o rozwi\u0105za\u0107 problem bezbolesnego pobierania danych z system\u00f3w \u017ar\u00f3d\u0142owych. Regularne zbieranie informacji wymaga powa\u017cnych zasob\u00f3w obliczeniowych, dlatego zbudowali\u015bmy szybkie cache z u\u017cyciem replikacji, otrzymuj\u0105c dane biznesowe ju\u017c z replik. Brak dodatkowego obci\u0105\u017cenia dla g\u0142\u00f3wnych system\u00f3w w takich przypadkach to kluczowy wym\u00f3g.<\/p>\n

Nowe wyzwania<\/h2>\n

\nPostawione jasno zadanie przewidywania szczyt\u00f3w zosta\u0142o rozwi\u0105zane: od maja tego roku nie by\u0142o \u017cadnych awarii zwi\u0105zanych z przeci\u0105\u017ceniem w banku, a nowy system prognozowania odegra\u0142 w tym niebagateln\u0105 rol\u0119. Tak, okaza\u0142o si\u0119, \u017ce to niewystarczaj\u0105ce, a teraz bank chce zrozumie\u0107, jak niebezpieczne s\u0105 dla niego szczyty. Potrzebujemy prognoz z wykorzystaniem metryk z test\u00f3w obci\u0105\u017ceniowych, a dla oko\u0142o 30% krytycznych system\u00f3w ju\u017c to dzia\u0142a, reszta jest w trakcie pozyskiwania prognoz. W nast\u0119pnym etapie zamierzamy prognozowa\u0107 obci\u0105\u017cenie system\u00f3w nie w biznesowych transakcjach, ale w kategoriach infrastruktury IT, tzn. zejdziemy na ni\u017cszy poziom. Ponadto musimy w pe\u0142ni zautomatyzowa\u0107 zbieranie metryk i budowanie prognoz na ich podstawie, aby nie zajmowa\u0107 si\u0119 ich eksportem. Nie ma w tym nic nadzwyczajnego \u2014 po prostu \u0142\u0105czymy monitorowanie i testowanie obci\u0105\u017ceniowe zgodnie z najlepszymi \u015bwiatowymi praktykami.
\n
\u0179r\u00f3d\u0142o: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

IT-\u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0443 \u0412\u0422\u0411 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0448\u0442\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u043c\u0438 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438 \u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0430 \u0431\u044b \u043f\u0438\u043a\u043e\u0432\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e IT-\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b \u0431\u0430\u043d\u043a\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b. \u041a\u0430\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043c\u043e\u0433\u043b\u0438 \u0441\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043b\u0438 \u0441 \u0438\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":29368,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-39133","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Monitoring + testy obci\u0105\u017ceniowe = prognozowanie i brak awarii | ProHoster","description":"IT departament WTB wielokrotnie musia\u0142 zmaga\u0107 si\u0119 z nietypowymi sytuacjami w pracy system\u00f3w, gdy obci\u0105\u017cenie na nie wielokrotnie wzrasta\u0142o.","canonical_url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"pl_PL","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 + \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u043e\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 = \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0441\u0431\u043e\u0435\u0432 | ProHoster","og:description":"IT-\u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0443 \u0412\u0422\u0411 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0448\u0442\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u043c\u0438 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430.","og:url":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:28:01+00:00","article:modified_time":"2019-10-31T19:28:01+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"39133","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 00:53:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:55:36","updated":"2026-01-24 00:53:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/39133","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/comments?post=39133"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/posts\/39133\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media\/29368"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/media?parent=39133"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/categories?post=39133"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/pl\/wp-json\/wp\/v2\/tags?post=39133"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}