{"id":93358,"date":"2020-09-06T07:42:57","date_gmt":"2020-09-06T05:42:57","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem"},"modified":"2020-09-06T07:42:57","modified_gmt":"2020-09-06T05:42:57","slug":"monitorim-sportmaster-kak-i-chem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem","title":{"rendered":"Overv\u00e5ger Sportmaster - hvordan og med hvad","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"<p>Vi begyndte at overveje oprettelsen af et overv\u00e5gningssystem i forbindelse med dannelsen af vores produktteams. Det blev klart, at vores felt \u2014 drift \u2014 ikke bliver en del af disse teams. Hvorfor er det s\u00e5dan?<\/p>\n<p>Faktisk er alle vores teams bygget op omkring separate informationssystemer, mikrotjenester og frontend-l\u00f8sninger, s\u00e5 de ser ikke den overordnede sundhedstilstand af systemet som helhed. For eksempel kan de v\u00e6re uvidende om, hvordan en lille del i den dybe backend p\u00e5virker frontend-delen. Deres interesseomr\u00e5de er begr\u00e6nset til de systemer, som deres system er integreret med. Hvis teamet og deres service A n\u00e6sten ikke er relateret til service B, s\u00e5 er denne service n\u00e6sten usynlig for teamet.<\/p>\n<p><noindex><a rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/sportmaster_lab\/blog\/517678\/\"><img decoding=\"async\" alt=\"Overv\u00e5ger Sportmaster - hvordan og med hvad\" src=\"\/wp-content\/uploads\/2020\/09\/393621991a8997d449cb3adec71b6af5.png\" style=\"display:block;margin: 0 auto;\" \/><\/a><\/noindex><\/p>\n<p>Vores team arbejder derimod med systemer, der er meget t\u00e6t integrerede med hinanden: der er mange forbindelser mellem dem, og det er en ret stor infrastruktur. Og arbejdet i vores internetbutik afh\u00e6nger af alle disse systemer (som vi i \u00f8vrigt har i stort antal). <\/p>\n<p>S\u00e5 det ender med, at vores afdeling ikke h\u00f8rer til et bestemt team, men befinder sig lidt p\u00e5 sidelinjen. I hele denne historie er vores opgave at forst\u00e5 i kompleksitet, hvordan informationssystemerne fungerer, deres funktionalitet, integrationer, software, netv\u00e6rk, hardware, og hvordan alt dette h\u00e6nger sammen.<br \/>\n<noindex><a rel=\"nofollow\" name=\"habracut\"><\/a><\/noindex><br \/>\nPlatformen, som vores internetbutikker fungerer p\u00e5, ser s\u00e5ledes ud:<\/p>\n<ul>\n<li>frontend<\/li>\n<li>middle-office<\/li>\n<li>back-office<\/li>\n<\/ul>\n<p>\nUanset hvor meget vi \u00f8nsker det, findes der ikke noget, der fungerer perfekt, og hvor alle systemer k\u00f8rer glat. Det kommer igen an p\u00e5 antallet af systemer og integrationer \u2014 i vores tilf\u00e6lde er nogle h\u00e6ndelser uundg\u00e5elige, uanset kvaliteten af testningen. Dette g\u00e6lder b\u00e5de internt i et enkelt system samt i relation til deres integration. Derudover skal vi holde \u00f8je med hele platformens tilstand som helhed, ikke kun med \u00e9n separat del af den. <\/p>\n<p>Ideelt set b\u00f8r overv\u00e5gningen af hele platformens sundhed automatiseres. Og vi er n\u00e5et frem til overv\u00e5gning som en uundg\u00e5elig del af denne proces. I starten blev det kun oprettet for frontend-delen, mens der faktisk har v\u00e6ret og stadig er egne overv\u00e5gningssystemer p\u00e5 lagene for netv\u00e6rksfolk, softwareadministratorer og hardware. Alle disse personer holdt \u00f8je med overv\u00e5gningen kun p\u00e5 deres eget niveau, og der var heller ikke nogen samlet forst\u00e5else.<\/p>\n<p>For example, if a virtual machine crashes, in most cases only the administrator responsible for the hardware and the virtual machine is aware of this. The front team, in such cases, saw the fact that the application crashed, but they had no data regarding the virtual machine's failure. The administrator might know who the client is and have a rough idea of what is currently running on this virtual machine, provided that it is a large project. For smaller ones, he probably doesn't know. In any case, the administrator needs to go to the owner, ask what was on this machine that needs to be restored and what needs to be changed. If something very serious broke down, there would be a frenzy going in circles\u2014because no one saw the system as a whole.<\/p>\n<p>Ultimately, such fragmented stories affect the entire frontend, the users, and our core business function\u2014online sales. Since we are not part of the teams and deal with the operation of all e-commerce applications within the online store, we took on the task of creating a comprehensive monitoring system for the e-commerce platform. <\/p>\n<h2>System Structure and Stack<\/h2>\n<p>\nWe started by highlighting several monitoring layers for our systems, within which we need to collect metrics. All of this needed to be unified, which we accomplished in the first phase. Now, for this phase, we are working on the most high-quality collection of metrics across all our layers to establish correlations and understand how systems influence each other.<\/p>\n<p>The absence of comprehensive monitoring during the initial stages of application launch (as we began building it when most systems were already in operation) led to a significant technical debt regarding the configuration of monitoring across the platform. We couldn't afford to focus on setting up monitoring for a single IS and elaborate on it in detail, as the other systems would remain without monitoring for some time. To address this challenge, we identified a list of the most necessary metrics for assessing the state of the information system by layers and began its implementation.<\/p>\n<p>Therefore, we decided to tackle the elephant in parts.<\/p>\n<p>Our system consists of:<\/p>\n<ul>\n<li>hardware; <\/li>\n<li>operating system; <\/li>\n<li>software; <\/li>\n<li>UI-komponenter i overv\u00e5gningsapplikationen; <\/li>\n<li>forretningsmetrik; <\/li>\n<li>integrationsapplikationer; <\/li>\n<li>informationssikkerhed; <\/li>\n<li>netv\u00e6rk; <\/li>\n<li>lastbalancer. <\/li>\n<\/ul>\n<p>\n<img decoding=\"async\" alt=\"Overv\u00e5ger Sportmaster - hvordan og med hvad\" src=\"\/wp-content\/uploads\/2020\/09\/687a5b8b39b3fd540a9b591f49a019d3.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nI centrum af dette system er selve overv\u00e5gningen. For at forst\u00e5 status for hele systemet, er det n\u00f8dvendigt at vide, hvad der sker med applikationerne p\u00e5 alle disse niveauer og i forhold til hele m\u00e6ngden af applikationer. <\/p>\n<p>S\u00e5 lad os tale om stakken. <\/p>\n<p><img decoding=\"async\" alt=\"Overv\u00e5ger Sportmaster - hvordan og med hvad\" src=\"\/wp-content\/uploads\/2020\/09\/b9a9b86d788990899e7f04e34fb879d9.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nVi bruger open source-software. I centrum har vi Zabbix, som vi prim\u00e6rt bruger som alarmeringssystem. Det er velkendt, at det er ideelt til overv\u00e5gning af infrastrukturen. Hvad menes der med det? Pr\u00e6cis de lavniveau metrikker, som hver virksomhed har, der har sit eget datacenter (og Sportmaster har sine egne datacentre) \u2014 servertemperatur, hukommelsestilstand, RAID-status, metrikker for netv\u00e6rksenheder.<\/p>\n<p>Vi har integreret Zabbix med messengerne Telegram og Microsoft Teams, som aktivt bruges i teams. Zabbix d\u00e6kker lag af den faktiske netv\u00e6rk, hardware og delvist software, men det er ikke en universall\u00f8sning. Vi beriger disse data med nogle andre tjenester. For eksempel, for hardwarens niveau, forbinder vi direkte via API i vores virtualiseringssystem og henter data. <\/p>\n<p>Hvad mere. Udover Zabbix bruger vi Prometheus, som muligg\u00f8r overv\u00e5gning af metrikker i applikationer i dynamiske milj\u00f8er. Det betyder, at vi kan f\u00e5 applikationsmetrikker via HTTP-endpoint og ikke bekymre os om, hvilke metrikker der skal indl\u00e6ses, og hvilke ikke. Baseret p\u00e5 disse data kan vi arbejde med analytiske foresp\u00f8rgsler.<\/p>\n<p>Datakilderne for de \u00f8vrige lag, f.eks. forretningsmetrikker, er opdelt i tre komponenter.<\/p>\n<p>For det f\u00f8rste er det eksterne forretningssystemer, Google Analytics, vi indsamler metrikker fra logfiler. Herfra f\u00e5r vi data om aktive brugere, konverteringer og alt andet relateret til forretningen. For det andet er det UI-overv\u00e5gningssystemet. Det b\u00f8r beskrives n\u00e6rmere.<\/p>\n<p>Engang startede vi med manuel testning, som voksede til automatiserede tests af funktionalitet og integrationer. Herfra udviklede vi overv\u00e5gningen og beholdt kun den grundl\u00e6ggende funktionalitet og bundet os til de mark\u00f8rer, der er mest stabile og ikke ofte \u00e6ndrer sig over tid.<\/p>\n<p>Den nye teamstruktur indeb\u00e6rer, at al aktivitet vedr\u00f8rende applikationer fokuseres omkring produktteams, s\u00e5 vi er stoppet med ren testning. I stedet har vi lavet UI-overv\u00e5gning skrevet i Java, Selenium og Jenkins (som bruges som styresystem for k\u00f8rsel og rapportgenerering). <\/p>\n<p>Vi havde mange tests, men i sidste ende besluttede vi at fokusere p\u00e5 hovedvejen, den overordnede metrik. Og hvis vi har mange specifikke tests, vil det v\u00e6re sv\u00e6rt at opretholde datavaliditeten. Hver efterf\u00f8lgende udgivelse vil drastisk \u00e6ndre hele systemet, og vi vil kun fokusere p\u00e5 at reparere det. Derfor har vi fokuseret p\u00e5 helt grundl\u00e6ggende ting, som sj\u00e6ldent \u00e6ndrer sig, og monitorerer kun dem.<\/p>\n<p>Endelig, for det tredje, er datakilden et centralt loggingssystem. Vi bruger Elastic Stack til logs, og derefter kan vi tr\u00e6kke disse data ind i vores overv\u00e5gningssystem for forretningsmetrikker. Derudover fungerer vores egen Monitoring API-service, skrevet i Python, som sp\u00f8rger API'er fra forskellige tjenester og henter data ind i Zabbix.<\/p>\n<p>En anden uundg\u00e5elig komponent i overv\u00e5gning er visualisering. Vores bygger p\u00e5 Grafana. Blandt andre visualiseringssystemer skiller den sig ud ved, at dashboardet kan visualisere metrikker fra forskellige datakilder. Vi kan samle overordnede metrikker fra en online butik, for eksempel antallet af ordreafgivninger i den seneste time fra databasen, OS-ydeevnemetrikker, hvorp\u00e5 denne online butik k\u00f8rer, fra Zabbix, og metrikker fra instanserne af applikationen fra Prometheus. Alt dette vil v\u00e6re p\u00e5 \u00e9t dashboard. Tydeligt og tilg\u00e6ngeligt.<\/p>\n<p>Jeg vil n\u00e6vne sikkerhed \u2013 vi er i gang med at forbedre et system, som vi senere vil integrere med et globalt overv\u00e5gningssystem. Efter min mening er de st\u00f8rste udfordringer, som e-handel st\u00e5r overfor inden for informationssikkerhed, relateret til bots, parserne og brute-force angreb. Det er vigtigt at holde \u00f8je med dette, da det kan f\u00e5 kritiske konsekvenser b\u00e5de for vores applikationers drift og for vores omd\u00f8mme fra et forretningsperspektiv. Og med den valgte techstack d\u00e6kker vi disse opgaver effektivt.<\/p>\n<p>En vigtig ting er, at applikationsniveauet indsamles af Prometheus. Den er ogs\u00e5 integreret med Zabbix. Derudover har vi sitespeed, en tjeneste, som g\u00f8r det muligt for os at monitorere parametre s\u00e5som indl\u00e6sningstid for vores side, flaskehalse, side-rendering, scriptindl\u00e6sning osv., som ogs\u00e5 er integreret via API. S\u00e5 vores metrics indsamles i Zabbix, og vi sender ogs\u00e5 alarmer derfra. Alle alarmer g\u00e5r indtil videre via de prim\u00e6re kommunikationsmetoder (for nu er det e-mail og telegram, vi har for nylig tilf\u00f8jet MS Teams). Vi planl\u00e6gger at forbedre alarmerne, s\u00e5 intelligente bots fungerer som en tjeneste og giver information om overv\u00e5gning til alle de produktteam, der \u00f8nsker det. <\/p>\n<p>For os er metrics vigtige ikke kun for individuelle informationssystemer, men ogs\u00e5 for de samlede metrics for hele den infrastruktur, som applikationerne bruger: klustre <a class=\"wpil_keyword_link\" href=\"https:\/\/prohoster.info\/da\/server\/\"   title=\"fysiske servere\" data-wpil-keyword-link=\"linked\"  data-wpil-monitor-id=\"1270\">fysiske servere<\/a>, hvor virtuelle maskiner k\u00f8rer, trafikbelastningsaflastere, Network Load Balancere, selve netv\u00e6rket og udnyttelsen af kommunikationskanaler. Plus metrics fra vores egne datacentre (vi har flere, og infrastrukturen er ret betydelig). <\/p>\n<p><img decoding=\"async\" alt=\"Overv\u00e5ger Sportmaster - hvordan og med hvad\" src=\"\/wp-content\/uploads\/2020\/09\/aaee82a501dce0eee31c5a81662cd8be.png\" style=\"display:block;margin: 0 auto;\" \/><br \/>\n<br \/>\nFordelene ved vores overv\u00e5gningssystem er, at vi med det kan se tilstanden af alle systemers funktionalitet, vurdere deres indflydelse p\u00e5 hinanden og p\u00e5 de samlede ressourcer. Og i sidste ende giver det os mulighed for at planl\u00e6gge ressourcer, hvilket ogs\u00e5 falder inden for vores ansvarsomr\u00e5de. Vi administrerer serverressourcer \u2014 en pulje inden for e-commerce, tilf\u00f8jer og fjerner nyt udstyr, k\u00f8ber nyt, foretager revisions af ressourceudnyttelse osv. Hvert \u00e5r planl\u00e6gger teamene nye projekter, udvikler deres systemer, og det er vigtigt for os at sikre, at de har de n\u00f8dvendige ressourcer. <\/p>\n<p>Og ved hj\u00e6lp af metrics kan vi se tendenser i ressourceforbruget fra vores informationssystemer. Og baseret p\u00e5 dem kan vi planl\u00e6gge noget. P\u00e5 virtualiseringsniveauet indsamler vi data og ser information om det tilg\u00e6ngelige antal ressourcer i forhold til datacentrene. Og inden i datacentret kan vi se b\u00e5de udnyttelsen og den faktiske fordeling og forbrug af ressourcer. B\u00e5de for standalone-servere og virtuelle maskiner samt klustre af fysiske servere, hvor disse virtuelle maskiner k\u00f8rer effektivt. <\/p>\n<h2>Udsigter<\/h2>\n<p>\nVi har nu grundlaget for systemet klar, men der er stadig mange omr\u00e5der, vi skal arbejde p\u00e5. Mindst \u00e9n af dem er lag af informationssikkerhed, men det er ogs\u00e5 vigtigt at f\u00e5 styr p\u00e5 netv\u00e6rket, udvikle alarmering og l\u00f8se korrelationssp\u00f8rgsm\u00e5let. Vi har mange lag og systemer, og p\u00e5 hvert lag er der en r\u00e6kke metrikker. Det bliver en matrj\u00f8ske p\u00e5 niveau af matrj\u00f8ske.<\/p>\n<p>Vores opgave er i sidste ende at skabe de rigtige alarmer. For eksempel, hvis der opst\u00e5r et problem med hardware, igen med den virtuelle maskine, hvor der var en vigtig applikation, og servicen ikke var i nogen form for reserve. Vi opdager, at den virtuelle maskine er d\u00f8d. Derefter vil der blive alarmeret om forretningsmetrikker: brugerne er forsvundet, der er ingen konvertering, UI i gr\u00e6nsefladen er utilg\u00e6ngelig, og software og services er ogs\u00e5 d\u00f8de.<\/p>\n<p>I dette scenario vil vi f\u00e5 spam fra alarmerne, og det falder ikke ind under en korrekt overv\u00e5gningssystem format. Sp\u00f8rgsm\u00e5let om correlation opst\u00e5r. Derfor, i ideelt set, skal vores overv\u00e5gningssystem sige: \"Folkens, I har mistet den fysiske maskine, og samtidig er denne applikation og disse metrikker d\u00f8de,\" alt sammen med \u00e9n alarm i stedet for at bombardere os med hundrede alarmer. Den skal informere om hoved\u00e5rsagen, da dette fremmer hurtig probleml\u00f8sning ved at lokalise den.<\/p>\n<p>Vores alarmeringssystem og h\u00e5ndtering af alarmer er bygget op omkring en 24-timers hotline. Alle alarmer, som vi anser for at v\u00e6re must-haves og som indg\u00e5r i tjeklisten, sendes dertil. Hver alarm skal have en beskrivelse: hvad der skete, hvad det betyder, og hvad det p\u00e5virker. Desuden skal der v\u00e6re et link til dashboardet og en instruktion om, hvad man skal g\u00f8re i denne situation. <\/p>\n<p>Det er alt, hvad der ang\u00e5r kravene til alarmering. Herefter kan situationen udvikle sig i to retninger - enten er der et problem, og det skal l\u00f8ses, eller der er opst\u00e5et en fejl i overv\u00e5gningssystemet. Men i begge tilf\u00e6lde skal man unders\u00f8ge sagen.<\/p>\n<p>I gennemsnit f\u00e5r vi omkring hundrede alarmer om dagen, dette er under foruds\u00e6tning af, at alarmkorrelationen endnu ikke er ordentligt konfigureret. Og hvis der skal udf\u00f8res tekniske arbejdet, og vi tvangsafbryder noget, stiger antallet mange gange. <\/p>\n<p>Udover overv\u00e5gning af de systemer, vi driver, og indsamling af metrics, som vi anser for vigtige, giver vores overv\u00e5gningssystem mulighed for at samle data til produktteams. De kan have indflydelse p\u00e5 de metrics, der overv\u00e5ges i vores informationssystemer. <\/p>\n<p>Vores kolleger kan komme og anmode om at tilf\u00f8je en metric, der viser sig at v\u00e6re nyttig for b\u00e5de os og teamet. Eller for eksempel kan teamet finde, at de grundl\u00e6ggende metrics, vi har, ikke er tilstr\u00e6kkelige, og de har brug for at overv\u00e5ge en specifik metric. I Grafana opretter vi et rum for hvert team og giver dem admin-rettigheder. Hvis teamet har brug for dashboards, og de ikke selv kan\/ved hvordan man g\u00f8r det, hj\u00e6lper vi dem. <\/p>\n<p>Da vi ikke er en del af v\u00e6rdiskabelsesstr\u00f8mmen for teamet, deres udgivelser og planl\u00e6gning, n\u00e5r vi gradvist til et punkt, hvor udgivelserne af alle systemer er problemfrie, og de kan rulles ud dagligt uden at koordinere det med os. Det er vigtigt for os at overv\u00e5ge disse udgivelser, fordi de potentielt kan p\u00e5virke applikationens funktionalitet og for\u00e5rsage fejl, hvilket er kritisk. Til styring af udgivelser bruger vi Bamboo, hvor vi via API f\u00e5r data og kan se, hvilke udgivelser der er blevet foretaget i hvilke informationssystemer, og deres status. Og det vigtigste - p\u00e5 hvilket tidspunkt. Udgivelsesmark\u00f8rer p\u00e5l\u00e6gges de vigtigste kritiske metrics, hvilket visuelt setter fokus p\u00e5 problemer i tilf\u00e6lde af fejl.<\/p>\n<p>P\u00e5 denne m\u00e5de kan vi se korrelationen mellem nye udgivelser og opst\u00e5ede problemer. Hovedideen er at forst\u00e5, hvordan systemet fungerer p\u00e5 alle lag, hurtigt lokalisere problemet og lige s\u00e5 hurtigt l\u00f8se det. For ofte tager det mere tid at finde \u00e5rsagen end at l\u00f8se problemet. <\/p>\n<p>Og derfor \u00f8nsker vi i fremtiden at fokusere p\u00e5 proaktivitet inden for dette omr\u00e5de. Ideelt set ville vi gerne vide om en kommende problemstilling p\u00e5 forh\u00e5nd, i stedet for at handle efter faktum, s\u00e5 vi kan forebygge det i stedet for at skulle l\u00f8se det. Nogle gange sker der falske alarmer i overv\u00e5gningssystemet, b\u00e5de p\u00e5 grund af menneskelige fejl og \u00e6ndringer i applikationen. Og vi arbejder p\u00e5 dette, justerer systemet og fors\u00f8ger at advare brugerne, der arbejder sammen med os, f\u00f8r vi foretager nogen manipulationer med overv\u00e5gningssystemet, eller gennemf\u00f8rer disse aktiviteter i tekniske vinduer. <\/p>\n<p>S\u00e5 systemet er startet op og har fungeret succesfuldt siden begyndelsen af for\u00e5ret\u2026 og viser et ganske reelt overskud. Selvf\u00f8lgelig er det ikke den endelige version, vi vil implementere mange flere nyttige funktioner. Men lige nu, med s\u00e5 mange integrationer og applikationer, kan man faktisk ikke undv\u00e6re automatisering af overv\u00e5gningen.<\/p>\n<p>Hvis du ogs\u00e5 overv\u00e5ger store projekter med et betydeligt antal integrationer \u2014 s\u00e5 skriv i kommentarerne, hvilken s\u00f8lvkugle du har fundet til dette.<br \/>\n<br \/>Kilde: <a content=\"nofollow\" rel=\"nofollow\" href=\"https:\/\/habr.com\/ru\/company\/sportmaster_lab\/blog\/517678\/\">habr.com<\/a> <\/p>","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"excerpt":{"rendered":"<p>\u041e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043c\u044b \u0437\u0430\u0434\u0443\u043c\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434. \u0421\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043d\u0430\u0448\u0435 \u0434\u0435\u043b\u043e \u2014 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u2014 \u0432 \u044d\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442. \u041f\u043e\u0447\u0435\u043c\u0443 \u0442\u0430\u043a? \u0414\u0435\u043b\u043e \u0432 \u0442\u043e\u043c, \u0447\u0442\u043e \u0432\u0441\u0435 \u043d\u0430\u0448\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043f\u043e\u0441\u0442\u0440\u043e\u0435\u043d\u044b \u0432\u043e\u043a\u0440\u0443\u0433 \u043e\u0442\u0434\u0435\u043b\u044c\u043d\u044b\u0445 \u0438\u043d\u0444\u043e\u0440\u043c\u0430\u0446\u0438\u043e\u043d\u043d\u044b\u0445 \u0441\u0438\u0441\u0442\u0435\u043c, \u043c\u0438\u043a\u0440\u043e\u0441\u0435\u0440\u0432\u0438\u0441\u043e\u0432 \u0438 \u0444\u0440\u043e\u043d\u0442\u043e\u0432, \u043f\u043e\u044d\u0442\u043e\u043c\u0443 \u043e\u0431\u0449\u0435\u0435 \u0441\u043e\u0441\u0442\u043e\u044f\u043d\u0438\u0435 \u0437\u0434\u043e\u0440\u043e\u0432\u044c\u044f \u0432\u0441\u0435\u0439 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u0432 \u0446\u0435\u043b\u043e\u043c \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0435 \u0432\u0438\u0434\u044f\u0442. \u041d\u0430\u043f\u0440\u0438\u043c\u0435\u0440, \u043e\u043d\u0438 [&hellip;]<\/p>\n","protected":false,"gt_translate_keys":[{"key":"rendered","format":"html"}]},"author":1,"featured_media":93359,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[688],"tags":[],"class_list":["post-93358","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-administrirovanie"],"aioseo_notices":[],"aioseo_head":"\n\t\t<!-- All in One SEO 5.0.3 - aioseo.com -->\n\t<meta name=\"description\" content=\"\u041e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043c\u044b \u0437\u0430\u0434\u0443\u043c\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434. \u0421\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043d\u0430\u0448\u0435 \u0434\u0435\u043b\u043e \u2014 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u2014 \u0432 \u044d\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442.\" \/>\n\t<meta name=\"robots\" content=\"max-image-preview:large\" \/>\n\t<meta name=\"author\" content=\"Yuri Gagarin\"\/>\n\t<link rel=\"canonical\" href=\"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem\" \/>\n\t\t<meta name=\"generator\" content=\"All in One SEO (AIOSEO) 5.0.3\" \/>\n\t\t<meta property=\"og:locale\" content=\"da_DK\" \/>\n\t\t<meta property=\"og:site_name\" content=\"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b\" \/>\n\t\t<meta property=\"og:type\" content=\"article\" \/>\n\t\t<meta property=\"og:title\" content=\"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043c \u0421\u043f\u043e\u0440\u0442\u043c\u0430\u0441\u0442\u0435\u0440 \u2014 \u043a\u0430\u043a \u0438 \u0447\u0435\u043c | ProHoster\" \/>\n\t\t<meta property=\"og:description\" content=\"\u041e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043c\u044b \u0437\u0430\u0434\u0443\u043c\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434. \u0421\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043d\u0430\u0448\u0435 \u0434\u0435\u043b\u043e \u2014 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u2014 \u0432 \u044d\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442.\" \/>\n\t\t<meta property=\"og:url\" content=\"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem\" \/>\n\t\t<meta property=\"og:image\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:secure_url\" content=\"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg\" \/>\n\t\t<meta property=\"og:image:width\" content=\"350\" \/>\n\t\t<meta property=\"og:image:height\" content=\"350\" \/>\n\t\t<meta property=\"article:published_time\" content=\"2020-09-06T05:42:57+00:00\" \/>\n\t\t<meta property=\"article:modified_time\" content=\"2020-09-06T05:42:57+00:00\" \/>\n\t\t<meta property=\"article:publisher\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<meta property=\"article:author\" content=\"https:\/\/www.facebook.com\/prohoster\" \/>\n\t\t<!-- All in One SEO -->\n\n","aioseo_head_json":{"title":"\ud83e\udd47Vi overv\u00e5ger Sportmaster \u2014 hvordan og med hvad | ProHoster","description":"Vi begyndte at t\u00e6nke p\u00e5 at oprette et overv\u00e5gningssystem i fase med dannelsen af produktteamene. Det blev klart, at vores omr\u00e5de \u2014 drift \u2014 ikke indg\u00e5r i disse teams.","canonical_url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem","robots":"max-image-preview:large","keywords":"","webmasterTools":{"miscellaneous":""},"schema":null,"og:locale":"da_DK","og:site_name":"ProHoster | \u041a\u0443\u043f\u0438\u0442\u044c \u043d\u0430\u0434\u0435\u0436\u043d\u044b\u0439 \u0445\u043e\u0441\u0442\u0438\u043d\u0433 \u0434\u043b\u044f \u0441\u0430\u0439\u0442\u043e\u0432 \u0441 \u0437\u0430\u0449\u0438\u0442\u043e\u0439 \u043e\u0442 DDoS, VPS VDS \u0441\u0435\u0440\u0432\u0435\u0440\u044b","og:type":"article","og:title":"\ud83e\udd47\u041c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043c \u0421\u043f\u043e\u0440\u0442\u043c\u0430\u0441\u0442\u0435\u0440 \u2014 \u043a\u0430\u043a \u0438 \u0447\u0435\u043c | ProHoster","og:description":"\u041e \u0441\u043e\u0437\u0434\u0430\u043d\u0438\u0438 \u0441\u0438\u0441\u0442\u0435\u043c\u044b \u043c\u043e\u043d\u0438\u0442\u043e\u0440\u0438\u043d\u0433\u0430 \u043c\u044b \u0437\u0430\u0434\u0443\u043c\u0430\u043b\u0438\u0441\u044c \u043d\u0430 \u044d\u0442\u0430\u043f\u0435 \u0444\u043e\u0440\u043c\u0438\u0440\u043e\u0432\u0430\u043d\u0438\u044f \u043f\u0440\u043e\u0434\u0443\u043a\u0442\u043e\u0432\u044b\u0445 \u043a\u043e\u043c\u0430\u043d\u0434. \u0421\u0442\u0430\u043b\u043e \u043f\u043e\u043d\u044f\u0442\u043d\u043e, \u0447\u0442\u043e \u043d\u0430\u0448\u0435 \u0434\u0435\u043b\u043e \u2014 \u044d\u043a\u0441\u043f\u043b\u0443\u0430\u0442\u0430\u0446\u0438\u044f \u2014 \u0432 \u044d\u0442\u0438 \u043a\u043e\u043c\u0430\u043d\u0434\u044b \u043d\u0438\u043a\u0430\u043a \u043d\u0435 \u043f\u043e\u043f\u0430\u0434\u0430\u0435\u0442.","og:url":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/monitorim-sportmaster-kak-i-chem","og:image":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:secure_url":"https:\/\/prohoster.info\/wp-content\/uploads\/2021\/11\/logo-350.jpg","og:image:width":350,"og:image:height":350,"article:published_time":"2020-09-06T05:42:57+00:00","article:modified_time":"2020-09-06T05:42:57+00:00","article:publisher":"https:\/\/www.facebook.com\/prohoster","article:author":"https:\/\/www.facebook.com\/prohoster"},"aioseo_meta_data":{"post_id":"93358","title":null,"description":null,"keywords":null,"keyphrases":null,"primary_term":null,"canonical_url":null,"og_title":null,"og_description":null,"og_object_type":"default","og_image_type":"default","og_image_url":null,"og_image_width":null,"og_image_height":null,"og_image_custom_url":null,"og_image_custom_fields":null,"og_video":null,"og_custom_url":null,"og_article_section":null,"og_article_tags":null,"twitter_use_og":false,"twitter_card":"default","twitter_image_type":"default","twitter_image_url":null,"twitter_image_custom_url":null,"twitter_image_custom_fields":null,"twitter_title":null,"twitter_description":null,"schema":{"blockGraphs":[],"customGraphs":[],"default":{"data":{"Article":[],"Course":[],"Dataset":[],"FAQPage":[],"Movie":[],"Person":[],"Product":[],"ProductReview":[],"Car":[],"Recipe":[],"Service":[],"SoftwareApplication":[],"WebPage":[]},"graphName":"","isEnabled":true},"graphs":[]},"schema_type":null,"schema_type_options":null,"pillar_content":false,"robots_default":true,"robots_noindex":false,"robots_noarchive":false,"robots_nosnippet":false,"robots_nofollow":false,"robots_noimageindex":false,"robots_noodp":false,"robots_notranslate":false,"robots_max_snippet":null,"robots_max_videopreview":null,"robots_max_imagepreview":"large","priority":null,"frequency":null,"local_seo":null,"seo_analyzer_scan_date":null,"breadcrumb_settings":null,"limit_modified_date":false,"reviewed_by":null,"ai":null,"created":"2021-02-28 11:49:43","updated":"2026-02-09 16:45:36","focus_keyword":null,"additional_keywords":null,"truseo_locale":null},"gt_translate_keys":[{"key":"link","format":"url"}],"_links":{"self":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/93358","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/comments?post=93358"}],"version-history":[{"count":1,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/93358\/revisions"}],"predecessor-version":[{"id":158514,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/posts\/93358\/revisions\/158514"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media\/93359"}],"wp:attachment":[{"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/media?parent=93358"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/categories?post=93358"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prohoster.info\/da\/wp-json\/wp\/v2\/tags?post=93358"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}