{"id":94153,"date":"2020-09-13T19:42:30","date_gmt":"2020-09-13T17:42:30","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/victoriametrics-i-monitoring-privatnyh-oblakov-pavel-kolobaev"},"modified":"2020-09-13T19:42:30","modified_gmt":"2020-09-13T17:42:30","slug":"victoriametrics-i-monitoring-privatnyh-oblakov-pavel-kolobaev","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/victoriametrics-i-monitoring-privatnyh-oblakov-pavel-kolobaev","title":{"rendered":"VictoriaMetrics och \u00f6vervakning av privata moln. Pavel Kolobayev","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

\"VictoriaMetrics<\/p>\n

<\/p>\n

VictoriaMetrics \u2013 en snabb och skalbar databashanteringssystem f\u00f6r lagring och bearbetning av tidsseriedata (en post bildar tid och en upps\u00e4ttning v\u00e4rden kopplade till den tiden, till exempel erh\u00e5llna genom periodisk avl\u00e4sning av sensorstatus eller insamling av m\u00e4tv\u00e4rden).<\/p>\n

<\/a><\/noindex>
\n

\r\n \"Spela\r\n
<\/div>\r\n <\/div><\/center><\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Jag heter Pavel Kolobayev. DevOps, SRE, LeroyMerlin, allting som kod \u2013 det handlar om oss: om mig och om andra anst\u00e4llda p\u00e5 LeroyMerlin.<\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

https:\/\/bit.ly\/3jf1fIK<\/a><\/noindex><\/p>\n

<\/p>\n

Det finns ett moln baserat p\u00e5 OpenStack. D\u00e4r finns en liten l\u00e4nk till teknikradarn. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Det \u00e4r byggt p\u00e5 Kubernetes-h\u00e5rdvara samt alla tillh\u00f6rande tj\u00e4nster till OpenStack och loggning. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

S\u00e5 h\u00e4r s\u00e5g v\u00e5r plan ut under utvecklingen. N\u00e4r vi utvecklade detta hade vi en Prometheus-operator som lagrade data inne i sj\u00e4lva K8s-klustret. Den hittar automatiskt det som beh\u00f6ver skrapas och l\u00e4gger det, grovt sagt, vid sina f\u00f6tter. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

All data m\u00e5ste vi flytta utanf\u00f6r Kubernetes-klustret, f\u00f6r om n\u00e5got h\u00e4nder m\u00e5ste vi f\u00f6rst\u00e5 vad och var. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Den f\u00f6rsta l\u00f6sningen \u2013 vi anv\u00e4nder federation, n\u00e4r vi har en extern Prometheus som g\u00e5r in i Kubernetes-klustret via en federation.<\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Men h\u00e4r uppst\u00e5r sm\u00e5 problem. I v\u00e5rt fall b\u00f6rjade problemen n\u00e4r vi hade 250 000 m\u00e4tv\u00e4rden, och n\u00e4r det blev 400 000 m\u00e4tv\u00e4rden ins\u00e5g vi att vi inte kunde arbeta s\u00e5. Vi \u00f6kade scrape_timeout till 25 sekunder.<\/p>\n

<\/p>\n

Varf\u00f6r var vi tvungna att g\u00f6ra detta? Prometheus b\u00f6rjar r\u00e4kna ner timeout-tiden fr\u00e5n b\u00f6rjan av h\u00e4mtningen. Det spelar ingen roll att datan fortfarande fl\u00f6dar. Om datan inte har fl\u00f6dat under den angivna tidsperioden och sessionen inte st\u00e4ngs via http, s\u00e5 anses sessionen misslyckad och datan g\u00e5r inte in i Prometheus.<\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Alla k\u00e4nner igen graferna som vi f\u00e5r n\u00e4r delar av datan saknas. Graferna \u00e4r hackiga och det \u00e4r oacceptabelt f\u00f6r oss. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Det n\u00e4sta alternativet \u2013 \u00e4r shardning baserat p\u00e5 tv\u00e5 olika Prometheus via samma federation.<\/p>\n

<\/p>\n

Till exempel, att helt enkelt ta och shardera dem efter namn. Det \u00e4r ocks\u00e5 m\u00f6jligt att anv\u00e4nda, men vi beslutade att g\u00e5 vidare. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Vi m\u00e5ste nu p\u00e5 n\u00e5got s\u00e4tt hantera dessa shards. Vi kan ta promxy, som g\u00e5r till shardomr\u00e5det, multiplicerar datan. Den fungerar med tv\u00e5 shards som en enda ing\u00e5ngspunkt. Detta kan implementeras via promxy, men det \u00e4r fortfarande f\u00f6r komplicerat. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Det f\u00f6rsta alternativet \u2013 vi vill avst\u00e5 fr\u00e5n federationmekanismen eftersom den \u00e4r mycket l\u00e5ngsam. <\/p>\n

<\/p>\n

Utvecklarna av Prometheus s\u00e4ger tydligt: \"Grabbar, anv\u00e4nd andra TimescaleDB, eftersom vi inte kommer att st\u00f6dja l\u00e5ngtidslagring av m\u00e4tv\u00e4rden\". Det \u00e4r inte deras uppgift. \"VictoriaMetrics<\/p>\n

<\/p>\n

Vi antecknar p\u00e5 papperslappar att vi faktiskt beh\u00f6ver exportera data f\u00f6r att inte lagra allt p\u00e5 ett st\u00e4lle. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Den andra nackdelen \u00e4r minnesf\u00f6rbrukningen. Ja, jag f\u00f6rst\u00e5r att m\u00e5nga kommer att s\u00e4ga att ett par gigabyte minne \u00e4r billigt nu \u00e5r 2020, men \u00e4nd\u00e5. <\/p>\n

<\/p>\n

Just nu har vi en dev- och en prod-milj\u00f6. I dev \u00e4r det cirka 9 gigabyte f\u00f6r 350 000 m\u00e4tv\u00e4rden. I prod \u00e4r det lite \u00f6ver 14 gigabyte f\u00f6r 780 000 m\u00e4tv\u00e4rden. Retentiontiden \u00e4r endast 30 minuter. Det \u00e4r d\u00e5ligt. Och jag ska f\u00f6rklara varf\u00f6r.<\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Vi g\u00f6r ber\u00e4kningar, det vill s\u00e4ga, vid en och en halv miljon m\u00e4tv\u00e4rden, vilket vi redan \u00e4r n\u00e4ra, f\u00e5r vi under designfasen 35-37 gigabyte minne. Men vid 4 miljoner m\u00e4tv\u00e4rden kr\u00e4vs det redan omkring 90 gigabyte minne. Det h\u00e4r har ber\u00e4knats enligt den formel som utvecklarna av Prometheus tillhandah\u00e5ller. Vi har granskat korrelationen och f\u00f6rst\u00e5tt att vi inte vill betala flera miljoner f\u00f6r en server bara f\u00f6r \u00f6vervakning. <\/p>\n

<\/p>\n

Vi kommer inte bara att \u00f6ka antalet maskiner, vi \u00f6vervakar \u00e4ven de virtuella maskinerna sj\u00e4lva. S\u00e5 ju fler virtuella maskiner, desto fler olika m\u00e4tv\u00e4rden och s\u00e5 vidare. Vi kommer att ha en speciell tillv\u00e4xt av v\u00e5r kluster vad g\u00e4ller m\u00e4tv\u00e4rden.<\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Det \u00e4r inte s\u00e5 illa med lagringsutrymmet h\u00e4r, men vi skulle vilja f\u00f6rb\u00e4ttra det. Vi har f\u00e5tt totalt 120 gigabyte under 15 dagar, varav 100 \u00e4r komprimerade data och 20 \u00e4r okomprimerade data, men man vill alltid ha mindre. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

D\u00e4rf\u00f6r skriver vi ner \u00e4nnu en punkt \u2013 det handlar om stor resursf\u00f6rbrukning som vi \u00e4nd\u00e5 vill spara p\u00e5, eftersom vi inte vill att v\u00e5r \u00f6vervakningskluster ska konsumera mer resurser \u00e4n v\u00e5r kluster som hanterar OpenStack.<\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Det finns en annan nackdel med Prometheus som vi har identifierat, och det \u00e4r att det \u00e5tminstone finns n\u00e5got minnesbegr\u00e4nsning. Med Prometheus \u00e4r det mycket v\u00e4rre eftersom det inte finns n\u00e5gra s\u00e5dana justeringsm\u00f6jligheter. Att anv\u00e4nda begr\u00e4nsningar i Docker \u00e4r inte heller ett alternativ. Om din RAF skulle krascha och det finns 20-30 gigabyte, kommer det att ta v\u00e4ldigt l\u00e5ng tid att \u00e5terh\u00e4mta sig. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Detta \u00e4r ytterligare en anledning till varf\u00f6r Prometheus inte passar oss, det vill s\u00e4ga att man inte kan begr\u00e4nsa minnesanv\u00e4ndningen. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Vi skulle kunna g\u00e5 till en s\u00e5dan l\u00f6sning. Denna l\u00f6sning beh\u00f6vs f\u00f6r att organisera en HA-kluster. Vi vill att v\u00e5ra m\u00e4tv\u00e4rden alltid ska vara tillg\u00e4ngliga oavsett plats, \u00e4ven om servern som lagrar dessa m\u00e4tv\u00e4rden kraschar. D\u00e4rf\u00f6r m\u00e5ste vi bygga en s\u00e5dan l\u00f6sning. <\/p>\n

<\/p>\n

Denna l\u00f6sning s\u00e4ger att vi kommer att ha redundanta shardar och d\u00e4rmed ocks\u00e5 redundanta kostnader f\u00f6r resursanv\u00e4ndning. Den kan n\u00e4stan skalas horisontellt, men resursf\u00f6rbrukningen kommer att vara enorm. <\/p>\n

<\/p>\n

\"VictoriaMetrics<\/p>\n

<\/p>\n

Nackdelarna i tur och ordning s\u00e5som vi har skrivit ner dem:<\/p>\n

<\/p>\n