{"id":33632,"date":"2019-10-31T21:53:52","date_gmt":"2019-10-31T18:53:52","guid":{"rendered":"https:\/\/prohoster.info\/blog\/eshhe-odna-sistema-monitoringa\/"},"modified":"2019-10-31T21:53:52","modified_gmt":"2019-10-31T18:53:52","slug":"eshhe-odna-sistema-monitoringa","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/eshhe-odna-sistema-monitoringa","title":{"rendered":"Endnu et monitoreringssystem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"Endnu
\n16 modemer, 4 mobiloperat\u00f8rer = Udg\u00e5ende hastighed 933,45 Mbit\/s<\/em> <\/p>\n

<\/p>\n

Introduktion<\/h2>\n

<\/p>\n

Hej! Dette er en artikel om, hvordan vi har skrevet et nyt overv\u00e5gningssystem til os selv. I forhold til de eksisterende adskiller det sig ved muligheden for h\u00f8jfrekvent synkron indsamling af m\u00e5linger og et meget lavt ressourceforbrug. Sp\u00f8rgselsfrekvensen kan n\u00e5 op p\u00e5 0,1 millisekunder med en synkroniseringsn\u00f8jagtighed mellem m\u00e5lingerne p\u00e5 10 nanosekunder. Alle bin\u00e6re filer fylder 6 megabyte. <\/p>\n

<\/a><\/noindex><\/p>\n

Om projektet<\/h2>\n

<\/p>\n

Vi har et ret specifikt produkt. Vi tilbyder en samlet l\u00f8sning til at summere b\u00e5ndbredde og failover p\u00e5 datatransmission. Det fungerer ved, at der er flere kanaler, for eksempel Operat\u00f8r1 (40Mbit\/s) + Operat\u00f8r2 (30Mbit\/s) + Noget andet (5 Mbit\/s), hvilket resulterer i \u00e9n stabil og hurtig kanal, hvor hastigheden vil v\u00e6re cirka s\u00e5dan: (40+30+5)x0.92=75\u00d70.92=69 Mbit\/s. <\/p>\n

<\/p>\n

S\u00e5danne l\u00f8sninger er eftertragtede der, hvor kapaciteten af en enkelt kanal ikke er tilstr\u00e6kkelig. For eksempel transport, videosystemer og realtids streaming af video, transmission af direkte tv- og radioudsendelser, samt i sommerhuse, hvor udbyderne kun inkluderer de store fire, og hastigheden p\u00e5 \u00e9n modem\/kanal ikke er nok.
\nTil hver af disse retninger udgiver vi en s\u00e6rskilt serie af enheder, men den softwarem\u00e6ssige del er n\u00e6sten ensartet, og et kvalitets overv\u00e5gningssystem er en af dets vigtigste moduler uden hvilken produktet ville v\u00e6re umuligt.<\/p>\n

<\/p>\n

I l\u00f8bet af flere \u00e5r har vi form\u00e5et at skabe et multilevelt, hurtigt, tv\u00e6rplatforms og letv\u00e6gts overv\u00e5gningssystem. Dette vil vi gerne dele med det respektable f\u00e6llesskab.<\/p>\n

<\/p>\n

Problemformulering<\/h2>\n

<\/p>\n

Overv\u00e5gningssystemet sikrer indsamling af m\u00e5linger fra to fundamentalt forskellige klasser: realtidsm\u00e5linger og alle andre. Systemet til overv\u00e5gning havde kun f\u00f8lgende krav:<\/p>\n

<\/p>\n

    \n
  1. H\u00f8jfrekvent synkron indsamling af realtidsm\u00e5linger og transmission af dem til kommunikationsstyringssystemet uden forsinkelser.
    \nH\u00f8j frekvens og synkronisering af forskellige metrikker er ikke bare vigtige, men livsvigtige for analysen af entropien i datatransmissionskanaler. Hvis den gennemsnitlige forsinkelse i en datatransmissionskanal er 30 millisekunder, vil en synkroniseringsfejl mellem de \u00f8vrige metrikker p\u00e5 kun \u00e9n millisekund f\u00f8re til en hastighedsnedgang i den resulterende kanal p\u00e5 cirka 5%. Hvis vi fejler i synkroniseringen med 1 millisekund i fire kanaler, kan hastigheden nemt falde til 30%. Desuden \u00e6ndrer entropien i kanalerne sig meget hurtigt, s\u00e5 hvis vi m\u00e5ler den mindre end \u00e9n gang hver 0,5 millisekund, vil vi p\u00e5 hurtige kanaler med lav forsinkelse opleve h\u00f8j hastighedsnedgang. Naturligvis er s\u00e5dan pr\u00e6cision ikke n\u00f8dvendig for alle metrikker og under alle forhold. N\u00e5r forsinkelsen i kanalen er 500 millisekunder, og vi arbejder med s\u00e5danne, vil en fejl p\u00e5 1 millisekund n\u00e6sten ikke v\u00e6re m\u00e6rkbar. For metrikker relateret til livsunderst\u00f8ttelse er en sp\u00f8rgerate og synkronisering p\u00e5 2 sekunder tilstr\u00e6kkelig, men selve overv\u00e5gningssystemet skal kunne arbejde med ekstremt h\u00f8j sp\u00f8rgerate og ekstremt pr\u00e6cis synkronisering af metrikker.<\/li>\n
  2. Minimal ressourceforbrug og en ensartet stak.
    \nDet endelige device kan v\u00e6re b\u00e5de et kraftfuldt ombordssystem, der kan analysere situationen p\u00e5 vejen eller udf\u00f8re biometrisk registrering af mennesker, samt en enhedsstyring i st\u00f8rrelsen af en h\u00e5ndflade, der b\u00e6res under en kuglesikker vest af en specialstyrkessoldat for at transmittere video i realtid under d\u00e5rlige forbindelser. P\u00e5 trods af denne variation i arkitektur og beregningskapacitet \u00f8nsker vi en ensartet softwarestak.<\/li>\n
  3. Parasoll-arkitektur
    \nMetrikker skal indsamles og aggregeres p\u00e5 det endelige device, have et lokalt lagersystem og visualisering i realtid og retrospektivt. Hvis der er forbindelse, skal data sendes til det centraliserede overv\u00e5gningssystem. N\u00e5r forbindelsen er frav\u00e6rende, skal k\u00f8en for sending akkumuleres og ikke forbruge RAM. <\/li>\n
  4. API til integration i kundens overv\u00e5gningssystem, fordi ingen har brug for mange overv\u00e5gningssystemer. Kunden skal indsamle data fra alle enheder og netv\u00e6rk i en samlet overv\u00e5gning.<\/li>\n<\/ol>\n

    <\/p>\n

    What we achieved<\/h2>\n

    <\/p>\n

    For the sake of not overloading this already substantial longread, I won't provide examples and measurements of all monitoring systems. This would require another article. I will simply say that we were unable to find a monitoring system capable of capturing two metrics simultaneously with an error of less than 1 millisecond and that operates equally effectively on both ARM architecture with 64MB RAM and x86_64 architecture with 32GB RAM. Therefore, we decided to develop our own system that can handle all of this. Here\u2019s what we came up with:<\/p>\n

    <\/p>\n

    Summation of the bandwidth of three channels for different network topologies<\/h3>\n

    \n

    \r\n \"Afspil\r\n
    <\/div>\r\n <\/div><\/center>
    \n
    \r\n \"Afspil\r\n
    <\/div>\r\n <\/div><\/center><\/p>\n

    Visualization of some key metrics<\/h3>\n

    \n\"Endnu
    \n\"Endnu
    \n\"Endnu
    \n\"Endnu<\/p>\n

    Arkitektur<\/h2>\n

    <\/p>\n

    As the primary programming language, both on the device and in the data center, we use Golang. It has significantly simplified our lives with its implementation of concurrency and the ability to obtain one statically linked executable binary file for each service. As a result, we save significantly on resources, methods, and traffic for deploying services to end devices, as well as on development and debugging time. <\/p>\n

    <\/p>\n

    The system is implemented according to the classic modular principle and contains several subsystems:<\/p>\n

    <\/p>\n

      \n
    1. Registration of metrics.
      \nEach metric is served by its own thread and synchronized through channels. We achieved synchronization accuracy of up to 10 nanoseconds.<\/li>\n
    2. Storage of metrics
      \nVi overvejede mellem at skrive vores eget lager til tidsdata eller bruge noget eksisterende. Databasen er n\u00f8dvendig til retrospektive data, der skal visualiseres senere. Dvs. der er ingen data om forsinkelser i kanalen hver 0,5 millisekund eller fejlmeddelelser i transportnetv\u00e6rket, men der er hastighed p\u00e5 hver gr\u00e6nseflade hver 500 millisekund. Udover h\u00f8je krav til tv\u00e6rplatforme og lavt ressourcetr\u00e6k er det ekstremt vigtigt for os at kunne behandle dataene der, hvor de opbevares. Dette sparer enormt meget beregningsressourcer. Siden 2016 har vi brugt databasen Tarantool i dette projekt, og vi ser ikke nogen erstatning for den i horisonten. Fleksibel, med optimal ressourceforbrug og en mere end passende teknisk support. Derudover er GIS-modulet implementeret i Tarantool. Det er selvf\u00f8lgelig ikke s\u00e5 kraftfuldt som PostGIS, men det er tilstr\u00e6kkeligt til vores opgaver med opbevaring af nogle metrikker knyttet til steder (aktuelle for transport). <\/li>\n
    3. Visualisering af metrikker
      \nDet er relativt simpelt. Vi tager data fra lageret og viser dem enten i realtid eller retrospektivt. <\/li>\n
    4. Datasynkronisering med det centrale overv\u00e5gningssystem.
      \nDet centrale overv\u00e5gningssystem modtager data fra alle enheder, opbevarer dem med en angivet retrospektiv og leverer dem via API til kundens overv\u00e5gningssystem. I mods\u00e6tning til klassiske overv\u00e5gningssystemer, hvor 'hovedenheden' bev\u00e6ger sig og indsamler data, har vi det omvendte setup. Enhederne sender selv data, n\u00e5r der er forbindelse. Dette er et meget vigtigt punkt, da det muligg\u00f8r at hente data fra enheden i de tidsperioder, hvor den ikke var tilg\u00e6ngelig, uden at belaste kanaler og ressourcer, n\u00e5r enheden ikke er tilg\u00e6ngelig. Som central overv\u00e5gningssystem bruger vi Influx monitoring server. I mods\u00e6tning til andre alternativer kan den importere retrospektive data (dvs. med en tidsstempel, der er forskellig fra det tidspunkt, da m\u00e5lingen blev modtaget). De indsamlede m\u00e5linger visualiseres af den finjusterede Grafana. Denne standardstack blev ogs\u00e5 valgt, fordi den har f\u00e6rdige API-integrationer til stort set ethvert overv\u00e5gningssystem for kunden.<\/li>\n
    5. Datasynkronisering med det centrale enhedsh\u00e5ndteringssystem.
      \nEnhedsstyringssystemet implementerer Zero Touch Provisioning (firmwareopdatering, konfiguration osv.) og adskiller sig fra overv\u00e5gningssystemet ved kun at modtage problemer med enheder. Dette er triggere for drift af de indbyggede hardwareoverv\u00e5gningssystemer og alle m\u00e5linger af livscyklussystemer: CPU- og SSD-temperatur, CPU-belastning, ledig plads og S.M.A.R.T-sundhed p\u00e5 diske. Lagringen af subsystemet er ogs\u00e5 bygget p\u00e5 Tarantool. Dette giver os en betydelig hastighed i aggregering af tidsserier p\u00e5 tusindvis af enheder, og det l\u00f8ser fuldst\u00e6ndigt problemet med datasynkronisering med disse enheder. Tarantool har et fantastisk indbygget k\u00f8system og garanteret levering. Denne vigtige funktion fik vi out-of-the-box, fantastisk!<\/li>\n<\/ol>\n

      <\/p>\n

      Netv\u00e6rksstyringssystem<\/h3>\n

      \n\"Endnu<\/p>\n

      vil v\u00e6re udsolgt<\/h2>\n

      <\/p>\n

      Indtil videre er det svageste led vores centrale overv\u00e5gningssystem. Det er implementeret p\u00e5 99,9% med den standardiserede tech stack, og det har en r\u00e6kke ulemper:<\/p>\n

      <\/p>\n

        \n
      1. InfluxDB mister data ved str\u00f8mafbrydelse. Normalt henter kunden hurtigt alt, hvad der kommer fra enhederne, og i selve databasen er der ingen data \u00e6ldre end 5 minutter, men i fremtiden kan det blive et problem.<\/li>\n
      2. Grafana har en r\u00e6kke problemer med aggregering af data og synkronisering af deres visning. Det mest almindelige problem er, n\u00e5r der i databasen ligger en tidsserie med et interval p\u00e5 2 sekunder, lad os sige fra 00:00:00, mens Grafana begynder at vise data i aggregation fra +1 sekund. Som resultat ser brugeren en ustabil graf.<\/li>\n
      3. Overdreven m\u00e6ngde kode til API-integration med tredjepartsoverv\u00e5gningssystemer. Det kan g\u00f8res betydeligt mere kompakt, og selvf\u00f8lgelig genskrives i Go)<\/li>\n<\/ol>\n

        <\/p>\n

        Jeg har bevidst valgt ikke at beskrive de tekniske detaljer, men kun at skitsere designet af dette system. For det f\u00f8rste vil det kr\u00e6ve en hel artikel at beskrive systemet teknisk fuldt ud. For det andet vil det ikke v\u00e6re interessant for alle. Skriv i kommentarfeltet, hvilke tekniske detaljer du gerne vil vide.<\/p>\n

        <\/p>\n

        Konklusion<\/h2>\n

        <\/p>\n

        Hvis nogen har sp\u00f8rgsm\u00e5l ud over denne artikel, kan I kontakte mig p\u00e5 a.rodin @ qedr.com <\/p>\n

        <\/p>\n

        16 modemmer, 4 mobiloperat\u00f8rer= Udg\u00e5ende hastighed 933,45.<\/p>\n

        Kilde: habr.com<\/a><\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"

        16 \u043c\u043e\u0434\u0435\u043c\u043e\u0432, 4 \u0441\u043e\u0442\u043e\u0432\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430= \u0418\u0441\u0445\u043e\u0434\u044f\u0449\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c 933.45 \u041c\u0431\u0438\u0442\/\u0441 \u0412\u0432\u0435\u0434\u0435\u043d\u0438\u0435 \u041f\u0440\u0438\u0432\u0435\u0442! \u042d\u0442\u043e \u0441\u0442\u0430\u0442\u044c\u044f \u043f\u0440\u043e \u0442\u043e, \u043a\u0430\u043a \u043c\u044b \u043d\u0430\u043f\u0438\u0441\u0430\u043b\u0438 \u0434\u043b\u044f \u0441\u0435\u0431\u044f \u043d\u043e\u0432\u0443\u044e \u0441\u0438\u0441\u0442\u0435\u043c\u0443 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430. \u041e\u0442 \u0441\u0443\u0449\u0435\u0441\u0442\u0432\u0443\u044e\u0449\u0438\u0445 \u043e\u043d\u0430 \u043e\u0442\u043b\u0438\u0447\u0430\u0435\u0442\u0441\u044f \u0432\u043e\u0437\u043c\u043e\u0436\u043d\u043e\u0441\u0442\u044c\u044e \u0432\u044b\u0441\u043e\u043a\u043e\u0447\u0430\u0441\u0442\u043e\u0442\u043d\u043e\u0433\u043e \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u043d\u043e\u0433\u043e \u043f\u043e\u043b\u0443\u0447\u0435\u043d\u0438\u044f \u043c\u0435\u0442\u0440\u0438\u043a \u0438 \u043e\u0447\u0435\u043d\u044c \u043c\u0430\u043b\u0435\u043d\u044c\u043a\u0438\u043c \u043f\u043e\u0442\u0440\u0435\u0431\u043b\u0435\u043d\u0438\u0435\u043c \u0440\u0435\u0441\u0443\u0440\u0441\u043e\u0432. \u0427\u0430\u0441\u0442\u043e\u0442\u0430 \u043e\u043f\u0440\u043e\u0441\u0430 \u043c\u043e\u0436\u0435\u0442 \u0434\u043e\u0441\u0442\u0438\u0433\u0430\u0442\u044c 0.1 \u043c\u0438\u043b\u043b\u0438\u0441\u0435\u043a\u0443\u043d\u0434\u044b \u0441 \u0442\u043e\u0447\u043d\u043e\u0441\u0442\u044c\u044e \u0441\u0438\u043d\u0445\u0440\u043e\u043d\u0438\u0437\u0430\u0446\u0438\u0438 \u043c\u0435\u0436\u0434\u0443 \u043c\u0435\u0442\u0440\u0438\u043a\u0430\u043c\u0438 \u0432 10 \u043d\u0430\u043d\u043e\u0441\u0435\u043a\u0443\u043d\u0434. \u0412\u0441\u0435 \u0431\u0438\u043d\u0430\u0440\u043d\u044b\u0435 \u0444\u0430\u0439\u043b\u044b \u0437\u0430\u043d\u0438\u043c\u0430\u044e\u0442 […]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":25323,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-33632","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t\n\t\n\t\n\t\n\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\t\t\n\n","aioseo_head_json":{"title":"\ud83e\udd47En anden overv\u00e5gningssystem | ProHoster","description":"\ud83e\udd47En anden overv\u00e5gningssystem | ProHoster","canonical_url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/eshhe-odna-sistema-monitoringa","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u0415\u0449\u0435 \u043e\u0434\u043d\u0430 \u0441\u0438\u0441\u0442\u0435\u043c\u0430 \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 | ProHoster","og:description":"16 \u043c\u043e\u0434\u0435\u043c\u043e\u0432, 4 \u0441\u043e\u0442\u043e\u0432\u044b\u0445 \u043e\u043f\u0435\u0440\u0430\u0442\u043e\u0440\u0430= \u0418\u0441\u0445\u043e\u0434\u044f\u0449\u0430\u044f \u0441\u043a\u043e\u0440\u043e\u0441\u0442\u044c 933.45.","og:url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/eshhe-odna-sistema-monitoringa","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2019-10-31T18:53:52+00:00","article:modified_time":"2019-10-31T18:53:52+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"33632","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":"2026-01-21 16:05:20","breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-03-01 01:19:51","updated":"2026-01-21 16:05:20","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/33632","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=33632"}],"version-history":[{"count":0,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/33632\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media\/25323"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=33632"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=33632"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=33632"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}