{"id":39133,"date":"2019-10-31T22:28:01","date_gmt":"2019-10-31T19:28:01","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev\/"},"modified":"2019-10-31T22:28:01","modified_gmt":"2019-10-31T19:28:01","slug":"monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","title":{"rendered":"Overv\u00e5gning + belastningstest = forudsigelse og frav\u00e6r af nedbrud","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

IT-afdelingen i VTB har flere gange v\u00e6ret n\u00f8dt til at h\u00e5ndtere n\u00f8dsituationer i systemernes drift, n\u00e5r belastningen p\u00e5 dem steg markant. Derfor opstod behovet for at udvikle og afpr\u00f8ve en model, der kunne forudsige spidsbelastningen p\u00e5 kritiske systemer. Dertil har bankens IT-specialister indstillet overv\u00e5gning, analyseret data og l\u00e6rt at automatisere prognoser. Hvilke v\u00e6rkt\u00f8jer hjalp med at forudsige belastningen, og lykkedes det at optimere driften ved hj\u00e6lp af dem, vil vi fort\u00e6lle om i en kort artikel.<\/p>\n

\"Overv\u00e5gning
\n<\/a><\/noindex>
\nProblemer med h\u00f8jbelastede tjenester opst\u00e5r praktisk talt i alle industrier, men for den finansielle sektor er de kritiske. P\u00e5 time X skal alle kampvogne v\u00e6re klar, og derfor var det n\u00f8dvendigt at vide p\u00e5 forh\u00e5nd, hvad der kunne ske og endda bestemme dagen, hvor belastningen ville stige, og hvilke systemer der ville blive ber\u00f8rt. Der skal k\u00e6mpes mod fejl og forebygges, s\u00e5 behovet for at implementere et system for prognoseanalyse var ikke engang til diskussion. Det var n\u00f8dvendigt at modernisere systemerne baseret p\u00e5 overv\u00e5gningsdata.<\/p>\n

Analytik p\u00e5 kn\u00e6ene<\/h2>\n

\nL\u00f8nprojekter er det mest f\u00f8lsomme tilf\u00e6lde ved fejlfunktion. Det er ogs\u00e5 det letteste at forudsige, s\u00e5 vi besluttede at begynde her. P\u00e5 grund af den h\u00f8je sammenh\u00e6ng kunne andre undersystemer, herunder fjernbanktjenester (DBO), opleve problemer under spidsbelastning. For eksempel ville kunder, der var glade for SMS-beskeder om indbetalinger, begynde at bruge pengene aktivt. Belastningen kunne samtidig stige med mere end en ordens st\u00f8rrelse.\u00a0<\/p>\n

Den f\u00f8rste model til prognosen blev skabt manuelt. Vi tog en eksport fra det seneste \u00e5r og vurderede, hvilke dage der forventedes at v\u00e6re maksimale toppe: for eksempel den 1., 15. og 25. samt i slutningen af m\u00e5neden. Denne model kr\u00e6vede betydelige arbejdsressourcer og gav ikke pr\u00e6cise prognoser. Ikke desto mindre afsl\u00f8rede den flaskehalse, hvor der var behov for at tilf\u00f8je \"hardware\", og gjorde det muligt at optimere pengestr\u00f8msprocessen ved at aftale med n\u00f8glekunder: for ikke at udbetale l\u00f8nnen \"pludseligt\", blev transaktioner fra forskellige regioner spredt over tid. Nu behandler vi dem i dele, som bankens IT-infrastruktur kan \"ford\u00f8je\" uden fejl.<\/p>\n

Efter at have opn\u00e5et det f\u00f8rste positive resultat, gik vi videre til automatiseringen af prognoser. Der ventede endnu et dusin kritiske omr\u00e5der p\u00e5 deres tur.<\/p>\n

Helhedsorienteret tilgang<\/h2>\n

\nI VTB har de implementeret et overv\u00e5gningssystem fra MicroFocus. Derfra tog vi dataindsamlingen til prognosen, lagringssystemet og rapportgenereringssystemet. I realiteten var overv\u00e5gningen allerede p\u00e5 plads, det var kun n\u00f8dvendigt at tilf\u00f8je metrikker, prediktionsmodulet og skabe nye rapporter. Dette l\u00f8sning underst\u00f8ttes af den eksterne leverand\u00f8r \"Tekhnoserv\", s\u00e5 hovedparten af arbejdet med projektets implementering l\u00e5 p\u00e5 deres specialister, men modellen byggede vi selv. Prognosesystemet blev lavet p\u00e5 basis af Prophet - dette \u00e5bne produkt er udviklet af Facebook. Det er brugervenligt og let at integrere med de overv\u00e5gningsv\u00e6rkt\u00f8jer og Vertica, vi allerede har. Groft sagt analyserer systemet belastningskurven og foretager en ekstrapolation baseret p\u00e5 Fourier-r\u00e6kker. Der er ogs\u00e5 mulighed for at tilf\u00f8je visse koefficienter pr. dag, taget fra vores model. Metrikkerne indsamles uden menneskelig indblanding, prognosen genberegnes automatisk en gang om ugen, og nye rapporter sendes til modtagerne.\u00a0<\/p>\n

Denne tilgang afsl\u00f8rer de vigtigste cykler, s\u00e5som \u00e5rlige, m\u00e5nedlige, kvartalsvise og ugentlige. Udbetaling af l\u00f8nninger og forskud, ferieperioder, helligdage og salg - alt dette p\u00e5virker antallet af henvendelser til systemerne. Det viste sig for eksempel, at nogle cykler overlapper hinanden, og den st\u00f8rste belastning (75%) p\u00e5 systemerne stammer fra den centrale f\u00f8derale kreds. Juridiske og fysiske personer opf\u00f8rer sig forskelligt. Hvis belastningen fra \"fysiske personer\" er relativt j\u00e6vnt fordelt over ugen (dette skyldes mange sm\u00e5 transaktioner), s\u00e5 st\u00e5r virksomheder for 99,9% af belastningen i arbejdstiden, hvor transaktionerne kan v\u00e6re korte, men ogs\u00e5 kan tage flere minutter eller endda timer at behandle.<\/p>\n

\"Overv\u00e5gning
\n
\nBaseret p\u00e5 de indsamlede data bestemmes langvarige tendenser. Det nye system har afsl\u00f8ret, at folk i stort omfang skifter til DBO. Det er velkendt, men vi havde ikke forventet s\u00e5danne st\u00f8rrelser og troede dem ikke i starten: Antallet af henvendelser i bankens kontorer falder ekstremt hurtigt, og samtidig stiger antallet af fjerntransaktioner. Derfor vokser belastningen p\u00e5 systemerne ogs\u00e5, og det vil forts\u00e6tte med at stige. I \u00f8jeblikket forudser vi belastningen indtil februar 2020. Det er muligt at forudsige normale dage med en margin p\u00e5 3%, mens toppene kan forudses med en margin p\u00e5 10%. Det er et godt resultat.<\/p>\n

Faldgruber<\/h2>\n

\nDer har ikke v\u00e6ret nogen besv\u00e6r, som s\u00e6dvanligt. Ekstrapolationsmekanismen ved hj\u00e6lp af Fourier-r\u00e6kker klarer ikke overgangen ved nul \u2014 vi ved, at virksomheder genererer f\u00e5 transaktioner i weekenden, men forudsigelsesmodulet giver v\u00e6rdier langt fra nul. Det kunne v\u00e6re blevet justeret tvunget, men det er ikke vores metode. Derudover m\u00e5tte vi l\u00f8se problemet med sk\u00e5nsom dataindsamling fra kilde-systemer. Regelm\u00e6ssig indsamling af information kr\u00e6ver betydelige beregningsressourcer, derfor har vi bygget hurtige caches ved hj\u00e6lp af replikering, og vi modtager forretningsdata direkte fra replikater. Manglende ekstra belastning p\u00e5 master-systems i s\u00e5danne tilf\u00e6lde er et blokkerende krav.<\/p>\n

Nye udfordringer<\/h2>\n

\nDen direkte opgave om forudsigelse af toppe er blevet l\u00f8st: der har ikke v\u00e6ret nogen nedbrud relateret til overbelastning i banken siden maj i \u00e5r, og det nye forudsigelsessystem har spillet en betydelig rolle i dette. Ja, det viste sig at v\u00e6re utilstr\u00e6kkeligt, og nu \u00f8nsker banken at forst\u00e5, hvor farlige toppene er for dem. Vi har brug for forudsigelser ved hj\u00e6lp af m\u00e5linger fra belastningstests, og dette fungerer allerede for ca. 30% af de kritiske systemer, resten er i gang med at f\u00e5 forudsigelser. I n\u00e6ste fase planl\u00e6gger vi at forudsige belastningen p\u00e5 systemerne ikke i forretningstransaktioner, men i termer af IT-infrastruktur, dvs. vi vil g\u00e5 en lag dybere. Desuden skal vi helt automatisere indsamlingen af metrikker og opbygningen af forudsigelser baseret p\u00e5 dem, s\u00e5 vi ikke beh\u00f8ver at h\u00e5ndtere eksportprocesserne. Der er intet bem\u00e6rkelsesv\u00e6rdigt ved det \u2014 vi kombinerer blot overv\u00e5gning og belastningstest i overensstemmelse med de bedste globale praksisser.
\n
Kilde: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

IT-\u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0443 \u0412\u0422\u0411 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0448\u0442\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u043c\u0438 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438 \u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0430 \u0431\u044b \u043f\u0438\u043a\u043e\u0432\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e IT-\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b \u0431\u0430\u043d\u043a\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b. \u041a\u0430\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043c\u043e\u0433\u043b\u0438 \u0441\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043b\u0438 \u0441 \u0438\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":29368,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-39133","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Overv\u00e5gning + belastningstest = forudsigelse og frav\u00e6r af nedbrud | ProHoster","description":"IT-afdelingen hos VTB har flere gange st\u00e5et over for us\u00e6dvanlige situationer i systemernes drift, n\u00e5r belastningen p\u00e5 dem er steget mange gange.","canonical_url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 + \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u043e\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 = \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0441\u0431\u043e\u0435\u0432 | ProHoster","og:description":"IT-\u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0443 \u0412\u0422\u0411 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0448\u0442\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u043c\u0438 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430.","og:url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:28:01+00:00","article:modified_time":"2019-10-31T19:28:01+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"39133","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 00:53:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:55:36","updated":"2026-01-24 00:53:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/39133","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=39133"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/39133\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media\/29368"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=39133"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=39133"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=39133"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}