{"id":39133,"date":"2019-10-31T22:28:01","date_gmt":"2019-10-31T19:28:01","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev\/"},"modified":"2019-10-31T22:28:01","modified_gmt":"2019-10-31T19:28:01","slug":"monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","status":"publish","type":"post","link":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","title":{"rendered":"Surveillance + tests de charge = pr\u00e9vision et absence d'interruptions","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Le d\u00e9partement IT de VTB a d\u00fb faire face \u00e0 plusieurs situations impr\u00e9vues dans le fonctionnement des syst\u00e8mes, lorsque la charge sur eux augmentait consid\u00e9rablement. Il est donc devenu n\u00e9cessaire de d\u00e9velopper et de tester un mod\u00e8le capable de pr\u00e9dire la charge de pointe sur les syst\u00e8mes critiques. Pour cela, les experts IT de la banque ont configur\u00e9 une surveillance, analys\u00e9 les donn\u00e9es et appris \u00e0 automatiser les pr\u00e9visions. Quels outils ont aid\u00e9 \u00e0 pr\u00e9dire la charge et ont-ils r\u00e9ussi \u00e0 optimiser le fonctionnement gr\u00e2ce \u00e0 eux, nous le raconterons dans un bref article.<\/p>\n

\"Surveillance
\n<\/a><\/noindex>
\nLes probl\u00e8mes avec les services fortement sollicit\u00e9s surviennent dans pratiquement tous les secteurs, mais ils sont critiques dans le domaine financier. \u00c0 l'heure H, toutes les unit\u00e9s op\u00e9rationnelles doivent \u00eatre pr\u00eates, c'est pourquoi il \u00e9tait n\u00e9cessaire de savoir \u00e0 l'avance ce qui pourrait arriver, et m\u00eame de d\u00e9terminer le jour o\u00f9 la charge augmenterait et quels syst\u00e8mes y seraient confront\u00e9s. Il faut lutter contre les pannes et les pr\u00e9venir, c'est pourquoi la n\u00e9cessit\u00e9 de mettre en place un syst\u00e8me d'analyse pr\u00e9dictive n'a m\u00eame pas \u00e9t\u00e9 d\u00e9battue. Il fallait moderniser les syst\u00e8mes sur la base des donn\u00e9es de surveillance.<\/p>\n

Analyse sur le pouce<\/h2>\n

\nLe projet de paie est l'un des plus sensibles en cas de panne. Il est \u00e9galement le plus compr\u00e9hensible pour la pr\u00e9vision, c'est pourquoi nous avons d\u00e9cid\u00e9 de commencer par lui. En raison de la forte interconnexion, d'autres sous-syst\u00e8mes, y compris le service bancaire \u00e0 distance (SBD), pouvaient \u00e9galement rencontrer des probl\u00e8mes lors des pics de charge. Par exemple, les clients, ravis de recevoir des SMS concernant le versement d'argent, commen\u00e7aient \u00e0 les utiliser activement. La charge pouvait alors augmenter de fa\u00e7on exponentielle.\u00a0<\/p>\n

Nous avons d'abord cr\u00e9\u00e9 le premier mod\u00e8le de pr\u00e9vision manuellement. Nous avons pris les donn\u00e9es d'une extraction sur l'ann\u00e9e \u00e9coul\u00e9e et avons calcul\u00e9 quels jours conna\u00eetraient les pics maximaux : par exemple, les 1er, 15 et 25, ainsi que les derniers jours du mois. Ce mod\u00e8le n\u00e9cessitait un effort consid\u00e9rable et ne fournissait pas de pr\u00e9visions pr\u00e9cises. N\u00e9anmoins, il a permis d'identifier des goulets d'\u00e9tranglement o\u00f9 il fallait ajouter des ressources mat\u00e9rielles, et a permis d'optimiser le processus de versement des salaires, en nous mettant d'accord avec certains clients cl\u00e9s : pour \u00e9viter de verser les salaires en une seule fois, les transactions provenant de diff\u00e9rentes r\u00e9gions ont \u00e9t\u00e9 \u00e9chelonn\u00e9es dans le temps. Maintenant, nous les traitons par phases, que l'infrastructure IT de la banque est capable de g\u00e9rer sans interruptions.<\/p>\n

Apr\u00e8s avoir obtenu le premier r\u00e9sultat positif, nous sommes pass\u00e9s \u00e0 l'automatisation des pr\u00e9visions. Une dizaine de zones critiques attendaient leur tour.<\/p>\n

Approche globale<\/h2>\n

\nChez VTB, nous avons mis en place un syst\u00e8me de surveillance de l'entreprise MicroFocus. De l\u00e0, nous avons pris la collecte de donn\u00e9es pour les pr\u00e9visions, le syst\u00e8me de stockage et le syst\u00e8me de g\u00e9n\u00e9ration de rapports. En gros, la surveillance existait d\u00e9j\u00e0, il ne restait qu'\u00e0 ajouter des m\u00e9triques, un module de pr\u00e9diction et \u00e0 cr\u00e9er de nouveaux rapports. Ce syst\u00e8me est soutenu par un prestataire externe, \u00ab Technoserv \u00bb, donc la plupart des travaux de mise en \u0153uvre du projet ont \u00e9t\u00e9 confi\u00e9s \u00e0 ses sp\u00e9cialistes, mais nous avons construit le mod\u00e8le nous-m\u00eames. Nous avons cr\u00e9\u00e9 le syst\u00e8me de pr\u00e9vision bas\u00e9 sur Prophet \u2014 ce produit open-source a \u00e9t\u00e9 d\u00e9velopp\u00e9 par Facebook. Il est simple \u00e0 utiliser et s'int\u00e8gre facilement avec nos outils de surveillance et Vertica d\u00e9j\u00e0 en place. En termes simples, le syst\u00e8me analyse le graphique de charge et fait son extrapolation sur la base des s\u00e9ries de Fourier. Il est \u00e9galement possible d'ajouter certains coefficients par jour, extraits de notre mod\u00e8le. Les m\u00e9triques sont recueillies sans intervention humaine, une fois par semaine la pr\u00e9vision est automatiquement recalcul\u00e9e, de nouveaux rapports sont envoy\u00e9s aux destinataires.\u00a0<\/p>\n

Cette approche r\u00e9v\u00e8le les principales cyclicit\u00e9s, telles que les annuelles, mensuelles, trimestrielles et hebdomadaires. Le versement des salaires et des avances, les p\u00e9riodes de cong\u00e9s, les f\u00eates et les soldes \u2014 tout cela influence le nombre de demandes aux syst\u00e8mes. Il a \u00e9t\u00e9 constat\u00e9, par exemple, que certains cycles se superposent, et que la charge principale (75 %) sur les syst\u00e8mes provient du District f\u00e9d\u00e9ral central. Les personnes morales et physiques se comportent diff\u00e9remment. Si la charge des \u00ab physiques \u00bb est relativement uniform\u00e9ment r\u00e9partie sur les jours de la semaine (ce qui repr\u00e9sente beaucoup de petites transactions), pour les entreprises, 99,9 % se concentrent sur les heures de travail, et les transactions peuvent \u00eatre courtes ou prendre plusieurs minutes voire des heures.<\/p>\n

\"Surveillance
\n
\nSur la base des donn\u00e9es re\u00e7ues, des tendances \u00e0 long terme sont identifi\u00e9es. Le nouveau syst\u00e8me a r\u00e9v\u00e9l\u00e9 que les gens se tournent massivement vers la DBO. C'est bien connu, mais nous ne nous attendions pas \u00e0 une telle ampleur et au d\u00e9but, nous n'y avons pas cru : le nombre de visites dans les agences bancaires diminue extr\u00eamement rapidement, et il en va de m\u00eame pour le nombre de transactions \u00e0 distance qui augmente tout aussi vite. Par cons\u00e9quent, la charge sur les syst\u00e8mes augmente \u00e9galement et continuera d'augmenter. Actuellement, nous pr\u00e9voyons la charge jusqu'en f\u00e9vrier 2020. Les jours normaux peuvent \u00eatre pr\u00e9dits avec une pr\u00e9cision de 3 %, tandis que les jours de pointe avec une pr\u00e9cision de 10 %. C'est un bon r\u00e9sultat.<\/p>\n

Les pi\u00e8ges<\/h2>\n

\nSans difficult\u00e9s, comme c'est souvent le cas, cela n'a pas \u00e9t\u00e9 possible. Le m\u00e9canisme d'extrapolation utilisant les s\u00e9ries de Fourier passe mal par z\u00e9ro - nous savons que pendant le week-end, les personnes morales g\u00e9n\u00e8rent peu de transactions, mais le module de pr\u00e9diction fournit des valeurs loin de z\u00e9ro. On aurait pu les corriger de force, mais les solutions temporaires ne sont pas notre m\u00e9thode. De plus, nous avons d\u00fb r\u00e9soudre le probl\u00e8me de l'extraction indolore de donn\u00e9es \u00e0 partir des syst\u00e8mes sources. La collecte r\u00e9guli\u00e8re d'informations n\u00e9cessite des ressources informatiques s\u00e9rieuses, c'est pourquoi nous avons construit des caches rapides en utilisant la r\u00e9plication, obtenant ainsi des donn\u00e9es commerciales \u00e0 partir des r\u00e9pliques. L'absence de charge suppl\u00e9mentaire sur les syst\u00e8mes principaux dans de tels cas est une exigence bloquante.<\/p>\n

Nouveaux d\u00e9fis<\/h2>\n

\nLa t\u00e2che directe de pr\u00e9diction des pics a \u00e9t\u00e9 r\u00e9solue : il n'y a pas eu d'\u00e9checs li\u00e9s \u00e0 la surcharge dans la banque depuis mai de cette ann\u00e9e, et le nouveau syst\u00e8me de pr\u00e9vision a jou\u00e9 un r\u00f4le non n\u00e9gligeable dans cela. Oui, il s'est av\u00e9r\u00e9 insuffisant, et maintenant la banque souhaite comprendre \u00e0 quel point les pics sont dangereux pour elle. Nous avons besoin de pr\u00e9visions utilisant des m\u00e9triques de tests de charge, et cela fonctionne d\u00e9j\u00e0 pour environ 30 % des syst\u00e8mes critiques, les autres \u00e9tant en cours d'obtention de pr\u00e9visions. \u00c0 l'\u00e9tape suivante, nous pr\u00e9voyons de pr\u00e9dire la charge sur les syst\u00e8mes non pas en termes de transactions commerciales, mais en termes d'infrastructure informatique, c'est-\u00e0-dire en descendant d'un niveau. De plus, nous devons automatiser compl\u00e8tement la collecte de m\u00e9triques et l'\u00e9tablissement de pr\u00e9visions sur cette base, afin de ne pas avoir \u00e0 g\u00e9rer des extractions. Il n'y a rien d'exceptionnel \u00e0 cela - nous croisons simplement la surveillance et les tests de charge selon les meilleures pratiques mondiales.
\n
Source : habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

IT-\u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0443 \u0412\u0422\u0411 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0448\u0442\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u043c\u0438 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438 \u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0430 \u0431\u044b \u043f\u0438\u043a\u043e\u0432\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e IT-\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b \u0431\u0430\u043d\u043a\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b. \u041a\u0430\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043c\u043e\u0433\u043b\u0438 \u0441\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043b\u0438 \u0441 \u0438\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":29368,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-39133","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Surveillance + tests de charge = pr\u00e9visions et absence d'interruptions | ProHoster","description":"Le d\u00e9partement IT de VTB a d\u00fb faire face plusieurs fois \u00e0 des situations impr\u00e9vues dans le fonctionnement des syst\u00e8mes, lorsque la charge sur ceux-ci augmentait consid\u00e9rablement.","canonical_url":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"fr_FR","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 + \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u043e\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 = \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0441\u0431\u043e\u0435\u0432 | ProHoster","og:description":"IT-\u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0443 \u0412\u0422\u0411 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0448\u0442\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u043c\u0438 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430.","og:url":"https:\/\/prohoster.info\/fr\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:28:01+00:00","article:modified_time":"2019-10-31T19:28:01+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"39133","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 00:53:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:55:36","updated":"2026-01-24 00:53:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts\/39133","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/comments?post=39133"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/posts\/39133\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/media\/29368"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/media?parent=39133"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/categories?post=39133"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/fr\/wp-json\/wp\/v2\/tags?post=39133"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}