{"id":39133,"date":"2019-10-31T22:28:01","date_gmt":"2019-10-31T19:28:01","guid":{"rendered":"https:\/\/prohoster.info\/blog\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev\/"},"modified":"2019-10-31T22:28:01","modified_gmt":"2019-10-31T19:28:01","slug":"monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","title":{"rendered":"Monitoraggio + test di carico = previsione e assenza di interruzioni","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Il dipartimento IT di VTB ha dovuto affrontare pi\u00f9 volte situazioni straordinarie nel funzionamento dei sistemi, quando il carico su di essi aumentava notevolmente. Da qui \u00e8 emersa la necessit\u00e0 di sviluppare e testare un modello in grado di prevedere il carico di picco sui sistemi critici. Per fare ci\u00f2, gli specialisti IT della banca hanno impostato il monitoraggio, analizzato i dati e imparato ad automatizzare le previsioni. Quali strumenti hanno aiutato a prevedere il carico e se sono riusciti a ottimizzare il lavoro grazie a essi, lo racconteremo in un piccolo articolo.<\/p>\n

\"Monitoraggio
\n<\/a><\/noindex>
\nI problemi legati ai servizi ad alto carico si presentano praticamente in tutti i settori, ma per quello finanziario sono critici. Nell'ora X tutte le unit\u00e0 operative devono essere pronte, pertanto era necessario sapere in anticipo cosa potrebbe accadere e persino determinare il giorno in cui il carico aumenter\u00e0 e quali sistemi lo affronteranno. Occorre combattere e prevenire i guasti, quindi la necessit\u00e0 di implementare un sistema di analisi predittiva non \u00e8 stata nemmeno messa in discussione. Era necessario ammodernare i sistemi basandosi sui dati di monitoraggio.<\/p>\n

Analisi improvvisata<\/h2>\n

\nIl progetto stipendi \u00e8 uno dei pi\u00f9 sensibili in caso di guasti. \u00c8 anche il pi\u00f9 comprensibile per le previsioni, quindi si \u00e8 deciso di partire da esso. A causa dell'elevata interconnessione, nei momenti di carico di picco potrebbero verificarsi problemi anche in altri sottosistemi, compreso il servizio bancario a distanza (DBO). Ad esempio, i clienti, felici di ricevere SMS riguardanti l'arrivo di denaro, iniziavano a utilizzarlo attivamente. Il carico, a questo punto, poteva aumentare di oltre un ordine di grandezza.\u00a0<\/p>\n

Il primo modello per la previsione \u00e8 stato creato manualmente. Abbiamo preso un estratto dell'ultimo anno e calcolato in quali giorni sono attesi i picchi massimi: ad esempio, il 1\u00b0, il 15\u00b0 e il 25\u00b0 giorno, cos\u00ec come negli ultimi giorni del mese. Questo modello richiedeva un notevole dispendio di lavoro e non forniva previsioni precise. Tuttavia, ha rivelato i colli di bottiglia in cui era necessario aggiungere \"hardware\" e ha consentito di ottimizzare il processo di trasferimento di denaro, concordando con i clienti principali: per non erogare lo stipendio \"tutto in una volta\", le transazioni da diverse regioni sono state distribuite nel tempo. Ora le elaboriamo a blocchi, che l'infrastruttura IT della banca \u00e8 in grado di elaborare senza guasti.<\/p>\n

Ricevuto il primo risultato positivo, siamo passati all'automazione delle previsioni. Aspettava il suo turno anche un'altra dozzina di aree critiche.<\/p>\n

Approccio complesso<\/h2>\n

\nIn VTB \u00e8 stato implementato il sistema di monitoraggio della societ\u00e0 MicroFocus. Da l\u00ec abbiamo preso la raccolta dei dati per le previsioni, il sistema di archiviazione e il sistema di generazione dei report. Di fatto, il monitoraggio era gi\u00e0 presente; dovevamo solo aggiungere le metriche, il modulo di previsione e creare nuovi report. Questo intervento \u00e8 supportato da un appaltatore esterno, \"Tehnoserv\", quindi il lavoro principale di realizzazione del progetto \u00e8 stato svolto dai suoi specialisti, ma il modello \u00e8 stato costruito da noi. Il sistema di previsione \u00e8 stato realizzato sulla base di Prophet, un prodotto open-source sviluppato da Facebook. \u00c8 semplice da usare e si integra facilmente con i mezzi di monitoraggio complesso e Vertica che abbiamo in uso. In termini semplici, il sistema analizza il grafico di carico e, sulla base delle serie di Fourier, ne fa l'estrapolazione. \u00c8 anche possibile aggiungere alcuni coefficienti per giorno, presi dal nostro modello. Le metriche vengono raccolte senza l'intervento umano, e ogni settimana la previsione viene ricalcolata automaticamente, mentre i nuovi report vengono inviati ai destinatari.\u00a0<\/p>\n

Questo approccio evidenzia le principali ciclicit\u00e0, ad esempio annuali, mensili, trimestrali e settimanali. Il pagamento di stipendi e anticipi, i periodi di ferie, le festivit\u00e0 e i saldi \u2014 tutto ci\u00f2 influisce sul numero di richieste ai sistemi. \u00c8 emerso, per esempio, che alcuni cicli si sovrappongono, e il carico principale (75%) sui sistemi proviene dal Distretto federale centrale. Le persone giuridiche e fisiche si comportano in modo diverso. Se il carico delle \"persone fisiche\" \u00e8 relativamente uniformemente distribuito durante la settimana (con molte piccole transazioni), per le aziende il 99,9% \u00e8 concentrato negli orari di lavoro, e le transazioni possono essere brevi, mentre altre possono richiedere minuti e anche ore per essere elaborate.<\/p>\n

\"Monitoraggio
\n
\nSulla base dei dati ricevuti vengono definiti i trend a lungo termine. Il nuovo sistema ha rivelato che le persone stanno abbandonando massicciamente il DBO. Questo \u00e8 di pubblico dominio, ma non ci aspettavamo una tale portata e inizialmente non ci credevamo: il numero di richieste presso gli uffici bancari sta diminuendo molto rapidamente, e allo stesso modo cresce il numero di transazioni a distanza. Di conseguenza, anche il carico sui sistemi cresce e continuer\u00e0 a crescere. Attualmente prevediamo il carico fino a febbraio 2020. I giorni normali possono essere previsti con un margine d'errore del 3%, mentre i picchi con un margine d'errore del 10%. Questo \u00e8 un buon risultato.<\/p>\n

Inconvenienti<\/h2>\n

\nNon sono mancati gli inconvenienti, come al solito. Il meccanismo di estrapolazione utilizzando le serie di Fourier ha difficolt\u00e0 a passare attraverso lo zero: sappiamo che nei fine settimana le persone giuridiche generano poche transazioni, ma il modello di previsione restituisce valori lontani da zero. Si sarebbe potuto correggerli forzatamente, ma le soluzioni alternative non fanno per noi. Inoltre, \u00e8 stato necessario risolvere il problema della raccolta dei dati dalle fonti di sistema senza dolorose interruzioni. La raccolta regolare delle informazioni richiede notevoli risorse computazionali, quindi abbiamo costruito cache rapide utilizzando la replica, ricevendo i dati aziendali gi\u00e0 dalle repliche. L'assenza di carico aggiuntivo sui sistemi master in questi casi \u00e8 un requisito vincolante.<\/p>\n

Nuove sfide<\/h2>\n

\nIl compito diretto di previsione dei picchi \u00e8 stato risolto: non ci sono stati guasti legati al sovraccarico in banca dal maggio di quest'anno, e il nuovo sistema di previsione ha giocato un ruolo non trascurabile in questo. S\u00ec, si \u00e8 rivelato insufficiente, e ora la banca vuole capire quanto siano pericolosi per essa i picchi. Abbiamo bisogno di previsioni utilizzando metriche dai test di carico, e per circa il 30% dei sistemi critici questo funziona gi\u00e0; gli altri sono in fase di ottenimento delle previsioni. Nella prossima fase intendiamo prevedere il carico sui sistemi non in termini di transazioni aziendali, ma in termini di infrastruttura IT, cio\u00e8 scenderemo a un livello inferiore. Inoltre, dobbiamo automatizzare completamente la raccolta delle metriche e la costruzione delle previsioni basate su di esse, in modo da non doverci occupare di esportazioni. Non c'\u00e8 nulla di eccezionale in questo: stiamo semplicemente incrociando il monitoraggio e il test di carico secondo le migliori pratiche mondiali.
\n
Fonte: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

IT-\u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0443 \u0412\u0422\u0411 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0448\u0442\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u043c\u0438 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430. \u041f\u043e\u044d\u0442\u043e\u043c\u0443 \u043f\u043e\u044f\u0432\u0438\u043b\u0430\u0441\u044c \u043d\u0435\u043e\u0431\u0445\u043e\u0434\u0438\u043c\u043e\u0441\u0442\u044c \u0440\u0430\u0437\u0440\u0430\u0431\u043e\u0442\u0430\u0442\u044c \u0438 \u043e\u043f\u0440\u043e\u0431\u043e\u0432\u0430\u0442\u044c \u043c\u043e\u0434\u0435\u043b\u044c, \u043a\u043e\u0442\u043e\u0440\u0430\u044f \u043f\u0440\u0435\u0434\u0441\u043a\u0430\u0437\u044b\u0432\u0430\u043b\u0430 \u0431\u044b \u043f\u0438\u043a\u043e\u0432\u0443\u044e \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u043d\u0430 \u043a\u0440\u0438\u0442\u0438\u0447\u043d\u044b\u0435 \u0441\u0438\u0441\u0442\u0435\u043c\u044b. \u0414\u043b\u044f \u044d\u0442\u043e\u0433\u043e IT-\u0441\u043f\u0435\u0446\u0438\u0430\u043b\u0438\u0441\u0442\u044b \u0431\u0430\u043d\u043a\u0430 \u043d\u0430\u0441\u0442\u0440\u043e\u0438\u043b\u0438 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433, \u043f\u0440\u043e\u0430\u043d\u0430\u043b\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u043b\u0438 \u0434\u0430\u043d\u043d\u044b\u0435 \u0438 \u043d\u0430\u0443\u0447\u0438\u043b\u0438\u0441\u044c \u0430\u0432\u0442\u043e\u043c\u0430\u0442\u0438\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u044b. \u041a\u0430\u043a\u0438\u0435 \u0438\u043d\u0441\u0442\u0440\u0443\u043c\u0435\u043d\u0442\u044b \u043f\u043e\u043c\u043e\u0433\u043b\u0438 \u0441\u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u0442\u044c \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0443 \u0438 \u043f\u043e\u043b\u0443\u0447\u0438\u043b\u043e\u0441\u044c \u043b\u0438 \u0441 \u0438\u0445 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":29368,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-39133","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47Monitoraggio + test di carico = previsione e assenza di guasti | ProHoster","description":"Il dipartimento IT di VTB ha dovuto affrontare diverse situazioni straordinarie nel funzionamento dei sistemi, quando il carico su di essi aumentava notevolmente.","canonical_url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"it_IT","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433 + \u043d\u0430\u0433\u0440\u0443\u0437\u043e\u0447\u043d\u043e\u0435 \u0442\u0435\u0441\u0442\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 = \u043f\u0440\u043e\u0433\u043d\u043e\u0437\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u0435 \u0438 \u043e\u0442\u0441\u0443\u0442\u0441\u0442\u0432\u0438\u0435 \u0441\u0431\u043e\u0435\u0432 | ProHoster","og:description":"IT-\u0434\u0435\u043f\u0430\u0440\u0442\u0430\u043c\u0435\u043d\u0442\u0443 \u0412\u0422\u0411 \u043d\u0435\u0441\u043a\u043e\u043b\u044c\u043a\u043e \u0440\u0430\u0437 \u043f\u0440\u0438\u0445\u043e\u0434\u0438\u043b\u043e\u0441\u044c \u0441\u0442\u0430\u043b\u043a\u0438\u0432\u0430\u0442\u044c\u0441\u044f \u0441 \u043d\u0435\u0448\u0442\u0430\u0442\u043d\u044b\u043c\u0438 \u0441\u0438\u0442\u0443\u0430\u0446\u0438\u044f\u043c\u0438 \u0432 \u0440\u0430\u0431\u043e\u0442\u0435 \u0441\u0438\u0441\u0442\u0435\u043c, \u043a\u043e\u0433\u0434\u0430 \u043d\u0430\u0433\u0440\u0443\u0437\u043a\u0430 \u043d\u0430 \u043d\u0438\u0445 \u043c\u043d\u043e\u0433\u043e\u043a\u0440\u0430\u0442\u043d\u043e \u0432\u043e\u0437\u0440\u0430\u0441\u0442\u0430\u043b\u0430.","og:url":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/monitoring-nagruzochnoe-testirovanie-prognozirovanie-i-otsutstvie-sboev","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T19:28:01+00:00","article:modified_time":"2019-10-31T19:28:01+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"39133","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-24 00:53:19","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 00:55:36","updated":"2026-01-24 00:53:19","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/39133","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/comments?post=39133"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/posts\/39133\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media\/29368"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/media?parent=39133"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/categories?post=39133"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/it\/wp-json\/wp\/v2\/tags?post=39133"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}