Wielt eng Datelagerung fir Prometheus: Thanos vs VictoriaMetrics

Moien alleguer. Drënner ass den Transkript Bericht vum Big Monitoring Meetup 4.

Prometheus - e Iwwerwaachungssystem fir verschidde Systemer a Servicer, mat der Hëllef vun deem Systemadministrateuren Informatioun iwwer déi aktuell Systemparameter sammelen an Alarmer opsetzen fir Notifikatiounen iwwer Ofwäichungen an der Operatioun vu Systemer ze kréien.

De Bericht wäert e Verglach enthalen Thanos и VictoriaMetrics - Projete fir laangfristeg Lagerung vu Prometheus Metriken.

Als éischt wäert ech Iech iwwer Prometheus soen. Dëst ass en Iwwerwaachungssystem deen Metriken aus spezifizéierten Ziler sammelt a se op lokal Späichere späichert. Prometheus kann Metriken op Fernspeicher ophuelen a kann Alarmer an Opnamregelen generéieren.

Prometheus Limitatiounen:

• Et huet keng global Ufro Vue. Dëst ass wann Dir verschidde onofhängeg Instanzen vu Prometheus hutt. Si sammelen Metriken. An Dir wëllt iwwer all dës Metriken aus verschiddene Prometheus Instanzen gesammelt ginn. Prometheus erlaabt dëst net.
• Mat Prometheus ass d'Performance op nëmmen ee Server limitéiert. Prometheus skaléiert net automatesch iwwer verschidde Serveren. Dir kënnt Är Ziler nëmmen manuell tëscht Multiple Prometheus opdeelen.
• Den Ëmfang vun de Metriken am Prometheus ass limitéiert op nëmmen ee Server aus dem selwechte Grond datt et net automatesch iwwer verschidde Servere kann skaléieren.
• Et ass net sou einfach Datesécherheet am Prometheus ze organiséieren.

Léisunge fir dës Problemer / Erausfuerderungen?

D'Léisungen sinn:

• Thanos
• VictoriaMetrics
• Uber M3
• Cortex

All dës Léisunge si fir Fernspeicherung vun Daten gesammelt vum Prometheus. Si léisen de Fernspeicherproblem vum fréiere Rutsch op verschidde Weeër. An dëser Presentatioun wäert ech nëmmen iwwer déi éischt zwou Léisungen schwätzen: Thanos и VictoriaMetrics.

Fir d'éischte Kéier Informatiounen iwwer Thanos erschéngt vun dëse Link. D'Architektur gëtt do beschriwwen Thanos a wéi et funktionnéiert.

Thanos hëlt d'Donnéeën déi Prometheus op der lokaler Scheif gespäichert a kopéiert se op S3, fir GCS oder zu engem aneren Objet Stockage.

Also bitt Thanos eng global Ufro Vue. Dir kënnt Daten, déi an Objektlagerung gespäichert sinn, vu multiple Prometheus Instanzen ufroen.

Thanos ënnerstëtzt PromQL an Prometheus Ufro API.

Thanos benotzt Prometheus Code fir Daten ze späicheren.

Thanos gëtt vun de selwechten Entwéckler wéi Prometheus entwéckelt.

op VictoriaMetricsAn. Hei ze verschécken, wou mir fir d'éischt geschwat hunn VictoriaMetrics.

VictoriaMetrics kritt Daten vu verschiddene Prometheus Remote Write API Prometheus ënnerstëtzt.

VictoriaMetrics bitt eng global Ufro Vue, well verschidde Prometheus Instanzen Daten op eng VictoriaMetrics schreiwen kënnen. Deementspriechend kënnt Dir Ufroen iwwer all dës Donnéeën maachen.

VictoriaMetrics ënnerstëtzt och, wéi Thanos, PromQL a Prometheus Ufro API.

Am Géigesaz zu Thanos, gëtt VictoriaMetrics Quellcode vun Null geschriwwe an optimiséiert fir Geschwindegkeet a Ressourceverbrauch.

VictoriaMetrics, am Géigesaz zu Thanos, skaléiert souwuel vertikal wéi horizontal. Iessen Single-Node Versioun, déi vertikal skaléiert. Dir kënnt mat engem Prozessor an 1 GB Erënnerung ufänken a graduell op Honnerte vu Prozessoren an 1 TB Erënnerung wuessen. VictoriaMetrics kann all dës Ressourcen benotzen. Seng Leeschtung wäert ëm ongeféier 100 Mol eropgoen am Verglach mat engem 1-Kär System.

D'Geschicht vum Thanos huet am November 2017 ugefaang, wéi den éischten ëffentlechen Engagement opgetaucht ass. Virun dësem gouf den Thanos intern entwéckelt onwahrscheinlech.io.

Am Juni 2019 gouf et eng Landmark Verëffentlechung 0.5.0, an där ewechgeholl Klatsch Protokoll. Hie gouf vum Thanos ewechgeholl well hien net gutt gespillt huet. Dacks huet den Thanos Cluster net korrekt geschafft, Knäppercher verbonne mat deem falsch wéinst dem Klatschprotokoll. Dofir hu mir décidéiert hien vun do ewechzehuelen. Ech mengen dat ass déi richteg Entscheedung.

Am selwechte Juni 2019 hu se d'Uwendungsnummer geschéckt 256 в Cloud Native Computing Foundation.

An no e puer Méint gouf den Thanos ugeholl Cloud Native Computing Foundation, déi Prometheus, Kubernetes an aner populär Projeten enthält.

Am Januar 2018 huet d'Entwécklung vu VictoriaMetrics ugefaang.

Am September 2018 hunn ech VictoriaMetrics fir d'éischte Kéier ëffentlech ernimmt.

Am Dezember 2018 gouf eng Single-Node Versioun publizéiert.

Am Mee 2019 publizéiert goufen Quelle vu béide Single-Node a Cluster Versiounen.

Am Juni 2019, grad wéi Thanos, hu mir eng Demande un d'CNCF Foundation ënner Nummer ofginn 255. Mir hunn een Dag virum Thanos applizéiert.

Mee do si mir leider nach ëmmer net ugeholl ginn. Gemeinschaftshëllef gebraucht.

Loosst eis déi wichtegst Rutschen kucken, déi d'Architektur vun Thanos a VictoriaMetrics weisen.

Loosst eis mam Thanos ufänken. Déi giel Komponente si Prometheus Komponenten. Alles anescht ass Thanos Komponenten. Loosst d'mat de wichtegste Bestanddeel ufänken. Thanos Sidecar ass e Komponent deen nieft all Prometheus installéiert ass. Et lued Prometheus Daten aus der lokaler Späichere an S3 oder en aneren Object Storage.

Et gëtt och e Komponent genannt Thanos Store Gateway, deen dës Donnéeën vun Object Storage op Entréeën Ufroe vun Thanos Query liesen kann. Thanos Query implementéiert PromQL a Prometheus API. Dat ass, vu baussen gesäit et aus wéi Prometheus. Kritt PromQL Ufroen, schéckt se op Thanos Store Gateway, Thanos Store Gateway recuperéiert déi néideg Donnéeën vun Object Storage, schéckt se zréck.

Awer mir späicheren Daten an Object Storage ouni déi lescht zwou Stonnen wéinst enger Feature vun der Thanos Sidecar Implementatioun, déi déi lescht zwou Stonnen net op Object Storage S3 eropluede kann, well Prometheus nach keng Dateie fir dës zwou Stonnen an der lokaler Späichere erstallt huet.

Wéi hutt Dir decidéiert dëst ëmzegoen? Thanos Query, zousätzlech zu Ufroen un den Thanos Store Gateway, schéckt parallel Ufroen un all Thanos Sidecar, deen nieft Prometheus läit.

An Thanos Sidecar, am Tour, Proxy Ufroe weider un Prometheus, an retrives Daten fir déi lescht zwou Stonnen.

Zousätzlech zu dëse Komponenten gëtt et och eng fakultativ Komponent, ouni déi den Thanos net gutt funktionnéiert. Dëst ass den Thanos Compact, dee verantwortlech ass fir kleng Dateien op Object Storage a gréisser Dateien ze fusionéieren déi hei vun Thanos Sidecars eropgeluede goufen. Thanos Sidecar lued Datendateien an zwou Stonnen erop. Dës Dateien, wa se net a méi grouss Dateien fusionéiert sinn, da kann hir Zuel ganz bedeitend wuessen. Wat méi esou Dateien, wat méi Erënnerung fir Thanos Store Gateway gebraucht gëtt, wat méi Ressourcen gebraucht ginn fir Daten iwwer d'Netz ze transferéieren, Metadaten. Thanos Store Gateway gëtt ineffektiv. Dofir ass et néideg den Thanos Compact auszeféieren, deen kleng Dateien a gréisser fusionéiert, sou datt et manner esou Dateie gëtt an d'Overhead op der Thanos Store Gateway ze reduzéieren.

Et gëtt och esou e Komponent wéi Thanos Ruler. Et féiert Prometheus Alarmreegelen aus a kann Prometheus Opnamregelen evaluéieren fir Daten zréck an Object Storage ze schreiwen. Awer dës Komponent ass net recommandéiert, well ... Hien tendéiert onkomplett Donnéeën zréck.

Dëst ass den einfache Schema vum Thanos.

Loosst eis et elo mam VictoriaMetrics Schema vergläichen.

VictoriaMetrics huet 2 Versiounen: Single-Node a Cluster Versioun. Single-Node leeft op engem Computer. Een Node huet dës Komponenten net, nëmmen ee Binär. Dëse Binär op der Rutsch gesäit aus wéi dëse Quadrat. Alles wat am Quadrat ass ass den Inhalt vun der binärer Datei fir d'Single-Node Versioun. Dir musst net iwwer hien wëssen. Dir leeft just de Binär an alles funktionnéiert fir eis.

D'Cluster Versioun ass méi komplizéiert. Bannen et ginn dräi verschidde Komponenten: vmselect, vminsert a vmstorage. Vun hirem Numm soll kloer sinn wat jidderee vun hinnen mécht. D'Insert Komponent akzeptéiert Daten a verschiddene Formater: vum Prometheus Remote Write API, Influx Line Protokoll, Graphite Protokoll a vum OpenTSDB Protokoll. D'Insert Komponent akzeptéiert se, parséiert se a verdeelt se tëscht existente Späicherkomponenten, wou d'Donnéeën scho gespäichert sinn. De Select Komponent akzeptéiert am Tour PromQL Ufroen. Hien implementéiert PromQL, wéi och d'Prometheus Ufro API, an et kann als Ersatz fir Prometheus zu Grafana oder aner Prometheus API Clienten benotzt ginn. Select akzeptéiert eng promql Ufro, parséiert se, liest déi néideg Donnéeën fir dës Ufro aus Späicherknäppchen auszeféieren, veraarbecht dës Donnéeën a gëtt eng Äntwert zréck.

Loosst eis d'Komplexitéit vun der Installatioun vun Thanos a VictoriaMetrics vergläichen.

Loosst eis mam Thanos ufänken. Ier Dir ufänkt mat Thanos ze schaffen, musst Dir en Eemer an Object Storage erstellen, sou wéi S3 oder GCS, sou datt den Thanos Sidecar Daten dran schreiwen kann.

Dann fir all Prometheus musst Dir den Thanos Sidecar installéieren. Virun dësem, musst Dir drun erënneren d'Datekomprimatioun am Prometheus auszeschalten. Datekomprimatioun kompriméiert periodesch Daten an der lokaler Prometheus-Späichere fir de Ressourceverbrauch ze reduzéieren.

Wann Dir Thanos Sidecar op Ärem Prometheus installéiert, musst Dir dës Datekomprimatioun auszeschalten, well Thanos Sidecar funktionnéiert net richteg mat Datekomprimatioun aktivéiert. Dëst bedeit datt Äre Prometheus ufänkt Daten an zwou Stonne Blocken ze späicheren an stoppt dës Blocken a méi grouss ze fusionéieren. Deementspriechend, wann Dir Ufroe maacht, déi d'Dauer vun de leschten zwou Stonnen iwwerschreiden, da wäerte se net esou effizient funktionnéieren wéi se geschafft hätten wann d'Datekomprimatioun aktivéiert wier.

Dofir recommandéiert Thanos d'Datenretentiounszäit an der lokaler Lagerung op 6-8 Stonnen ze reduzéieren fir d'Overhead vun enger grousser Zuel vu klenge Blocken ze reduzéieren.

Wann Dir Thanos Sidecar installéiert hutt, musst Dir zwee Komponente fir all Objektlagereemer installéieren. Dëst sinn Thanos Compactor an Thanos Store Gateway.

Duerno musst Dir Thanos Query installéieren an et konfiguréieren sou datt et mat all Thanos Store Gateways verbënnt, déi Dir hutt, a kann och mat all Thanos Sidecars konnektéieren.

Et kann e liichte Problem ginn hei.

Dir musst eng zouverlässeg a sécher Verbindung vun Thanos Query op dës Komponenten konfiguréieren. A wann Äre Prometheus a verschiddene Rechenzentren oder a verschiddene VPCs läit, da sinn d'Verbindunge mat hinnen vu baussen verbueden. Awer fir datt Thanos Query funktionnéiert, musst Dir iergendwéi d'Verbindung do konfiguréieren, an Dir musst e Wee erausfannen.

Wann Dir vill esou Datenzenteren hutt, da geet d'Zouverlässegkeet vum ganze System deementspriechend of. Zënter Thanos Query muss permanent Verbindunge mat all Thanos Sidecars erhalen, déi a verschiddenen Datenzentere lokaliséiert sinn. Fir all erakommen Ufro gëtt et Ufroe fir all Thanos Sidecars routen. Wann d'Verbindung ënnerbrach ass, kritt Dir entweder en onkomplett Satz vun Daten, oder Dir kritt eng "Cluster ass erof" Äntwert.

An VictoriaMetrics ass alles e bësse méi einfach. Fir d'Single-Node Versioun musst Dir just ee Binär lafen an alles funktionnéiert.

An der Cluster Versioun ass et genuch fir all déi uewe genannten dräi Zorte vu Komponenten an all Quantitéit ze lafen déi Dir braucht, oder benotzt Helmdiagramm fir de Start vun Komponenten an Kubernetes ze automatiséieren. Mir plangen och e Kubernetes Bedreiwer ze maachen. D'Helm Chart deckt e puer Fäll net of a léisst Iech selwer an de Fouss schéissen. Zum Beispill erlaabt et Iech d'Zuel vun de Späicherknäppchen ze reduzéieren, wat zu Datenverloscht féiert.

Nodeems Dir eng binär oder eng cluster Versioun lancéiert hutt, musst Dir just Prometheus an d'Konfiguratioun addéieren Astellung fir Remote Write URLsou datt et ufänkt Daten parallel zu der lokaler Lagerung an der Fernlagerung ze schreiwen. Wéi Dir gesitt, soll dës Konfiguratioun vill méi zouverlässeg ausféieren am Verglach mat der Thanos Konfiguratioun. Mir brauche keng Verbindung vu VictoriaMetrics un all Prometheus z'erhalen, well Prometheus selwer mat VictoriaMetrics konnektéieren an Daten iwwerdroen.

Loosst eis d'Ënnerstëtzung vum Thanos a VictoriaMetrics betruechten.

Thanos muss Sidecar iwwerwaachen fir sécherzestellen datt se net ophalen Daten an Objektspeicherung ze lueden. Si kënnen dës Donnéeën eroflueden wéinst Downloadfehler stoppen, zum Beispill Är Netzwierkverbindung mat Object Storage ass temporär ënnerbrach, oder Object Storage ass temporär net verfügbar. Thanos Sidecar wäert dëst am Moment bemierken, e Feeler mellen, kann ofbriechen an dann ophalen ze schaffen. Wann Dir et net iwwerwaacht, da stoppt Dir d'Daten op Object Storage ze transferéieren. Wann d'Retentiounszäit passéiert (6-8 Stonnen recommandéiert), da verléiert Dir Daten, déi net an Object Storage opgehalen sinn.

Thanos compactors kënnen ophalen ze schaffen wéinst Rennen ass mat Sidecar. Compactors huelen Daten aus Object Storage a fusionéieren se a méi grouss Stécker vun Daten. Well compactors net mat Sidecars synchroniséiert sinn, kann déi folgend geschéien: Sidecar huet nach keng Zäit de Spär fäerdeg ze maachen, Compactor decidéiert datt dëse Block komplett geschriwwe gouf. Compactor fänkt et ze liesen. Et liest de Block net voll a hält op ze schaffen. Gesinn Detailer hei.

Store Gateway kann onkonsequent Daten zréckginn wéinst Rennen tëscht Compactor a Sidecars. Datselwecht geschitt hei, well de Store Gateway op kee Fall mat Compactors a Sidecars synchroniséiert ass. Deementspriechend kënnen d'Coursebedéngungen optrieden wann de Store Gateway net en Deel vun den Donnéeën gesäit oder onnéideg Donnéeën gesäit.

De Query-Komponent an Thanos gëtt als Standard en deelweis Resultat zréck wann e puer Sidecars oder Store Gateways am Moment net verfügbar sinn. Dir kritt en Deel vun den Donnéeën, an Dir wäert net mol wëssen, datt Dir net all d'Donnéeë kritt hutt. Dëst ass wéi et par défaut funktionnéiert. An enger ähnlecher Situatioun gëtt VictoriaMetrics markéiert Daten als partiell zréck.

Am Géigesaz zu Thanos verléiert VictoriaMetrics selten Daten. Och wann d'Verbindung vu Prometheus op VictoriaMetrics ënnerbrach ass, ass dëst kee Problem, well Prometheus weider erakommen nei Daten am Write Ahead Log opzehuelen, d'Gréisst vun deenen 2 Stonnen ass. Wann Dir Är Verbindung mat VictoriaMetrics bannent zwou Stonnen restauréiert, ginn Är Donnéeën net verluer. Prometheus kann Daten derbäi ginn nodeems d'Verbindung op VictoriaMetrics restauréiert gouf.

Am Géigesaz zum Thanos, deen Daten nëmmen no zwou Stonnen op Objektlagerung schreift, replizéiert Prometheus automatesch Daten mam Remote Schreifprotokoll op Fernspeicherung, sou wéi VictoriaMetrics. Dir sidd keng Angscht lokal Stockage am Prometheus ze verléieren. Wann hien op eemol d'lokal Späichere verléiert, da verléiert Dir am schlëmmste Fall déi lescht Sekonnen vun Daten, déi keng Zäit haten an der Fernspeicherung opgeholl ze ginn.

Kubernetes geréiert automatesch de Cluster, am Géigesaz zu Thanos. Et ass schwéier all Thanos Komponenten an ee Kubernetes Cluster ze placéieren, am Géigesaz zu VictoriaMetrics Cluster Komponenten.

VictoriaMetrics huet e ganz einfachen Update fir déi nei Versioun. Stop just VictoriaMetrics, aktualiséieren d'Binaeren a starten se. Wann se iwwer e SIGINT Signal gestoppt ginn, maachen all VictoriaMetrics Binären e graziéisen Ofschloss. Si späicheren déi néideg Donnéeën korrekt, schließen erakommen Verbindungen korrekt fir näischt ze verléieren. Also verléiert Dir näischt beim Upgrade.

VictoriaMetrics mécht et ganz einfach e Cluster auszebauen. Füügt just déi néideg Komponenten derbäi a schafft weider.

Iwwert Fallen an Thanos a VictoriaMetrics.

Thanos huet déi folgend Fallen. Prometheus muss Daten fir déi lescht zwou Stonnen späicheren. Wa se verluer goen, verléiert Dir se komplett well se nach net op Object Storage wéi S3 geschriwwe goufen.

De Store Gateway-Komponent an de Komprimatorkomponent kënne vill Erënnerung erfuerderen fir mat enger grousser Object Storage ze schaffen, wann et vill kleng Dateien do gespäichert sinn. Wat méi grouss ass d'Zuel an d'Gréisst vun de Dateien, dest méi Store Gateway a Komprimator RAM ass erfuerderlech fir Metainformatioun ze späicheren. Den Thanos huet vill Themen iwwer d'Tatsaach datt Store Gateway a Komprimator Crash mat Duerchschnëttsvolumen vun opgeholl Daten.

Thanos gëtt ugekënnegt fir onbestëmmt ze skala mat der Quantitéit vum Prometheus deen Dir hutt. Dëst ass tatsächlech net wouer. Well all Ufroe duerch d'Query-Komponente goen, déi gläichzäiteg all Store Gateway Komponenten an all Sidecar-Komponente musse pollen, zéien d'Daten vun do aus an zéien se dann vir. Natierlech ass d'Ufrogeschwindegkeet limitéiert duerch de luesste schwaache Link, de luesste Store Gateway oder de luesste Sidecar.

Dës Komponente kënnen ongläich gelueden sinn. Zum Beispill hutt Dir Prometheus, deen Millioune Metriken pro Sekonn sammelt. An et gëtt de Prometheus, deen Dausende vu Metriken pro Sekonn sammelt. Prometheus, deen Millioune Metriken pro Sekonn sammelt, setzt eng vill méi héich Belaaschtung op de Server op deen et leeft. Deementspriechend schafft Sidecar do méi lues. An am allgemengen klappt do alles lues. An d'Query Komponent zitt Daten vun do ganz lues. Deementspriechend gëtt d'Leeschtung vun Ärem ganze Stärekoup vun dësem luesen Sidecar limitéiert.

Par défaut gëtt Thanos deelweis Daten wann e puer Sidecars an entweder de Store Gateway net verfügbar sinn. Zum Beispill, wann Är Sidecars ronderëm d'Welt a verschiddenen Datenzentere verspreet sinn, da geet d'Wahrscheinlechkeet vun engem Verbindungsfehler an der Unverfügbarkeet vun Komponenten staark erop. Deementspriechend kritt Dir an de meeschte Fäll deelweis Daten ouni et iwwerhaapt ze wëssen.

VictoriaMetrics huet och Falen. Den éischte Fall ass d'Optioun déi d'Quantitéit vum RAM limitéiert fir de VictoriaMetrics Cache benotzt. Par défaut ass et gläich wéi 60% vum RAM op der Maschinn wou VictoriaMetrics leeft oder 60% vum RAM vum VictoriaMetrics Pod zu Kubernetes.

Wann Dir dëse Wäert falsch ännert, kënnt Dir d'Performance vu VictoriaMetrics ruinéieren. Zum Beispill, wann Dir de Wäert ze niddreg setzt, kënnen d'Donnéeën net méi an de VictoriaMetrics Cache passen. Dofir muss si extra Aarbecht maachen an de Prozessor an den Disk lueden. Wann Dir dës Optioun ze grouss mécht, erhéicht et éischtens d'Wahrscheinlechkeet datt VictoriaMetrics mat engem Feeler am Gedächtnis ofbriechen, an zweetens wäert et zu der Tatsaach féieren datt et ganz wéineg RAM am Betribssystem Erënnerung bleift Fichier Cache. An VictoriaMetrics hänkt op engem Fichier Cache fir Leeschtung. Wann et net genuch ass, kann d'Laascht op der Disk staark eropgoen. Dofir, Rotschléi: ännert de Parameter net ausser absolut néideg.

Zweet Optioun. Dëst ass RetentionPeriod - eng Period déi als Standard op 1 Mount gesat ass. Dëst ass d'Längt vun der Zäit VictoriaMetrics Daten späichert. No dëser Period läscht VictoriaMetrics d'Donnéeën.

Vill Leit lafen VictoriaMetrics ouni dëse Parameter a Rekord Daten fir e Mount. An da froe se: Firwat sinn d'Donnéeën vum Mount virdrun verschwannen? Well d'Default RetentionPeriod ass 1 Mount. Dofir musst Dir déi richteg RetentionPeriod wëssen an astellen.

Loosst eis déi eenzegaarteg Features kucken.

Thanos huet eng Fonktioun genannt downsampling: 5-Minutt a Stonn Intervalle, déi oft funktionnéiert net richteg. Wann Dir googlet a kuckt op hiren Thema op github, et gi vill Themen am Zesummenhang mat dëser Downsampling, datt et heiansdo net richteg funktionnéiert oder net funktionnéiert wéi d'Benotzer erwaarden.

Thanos huet Daten Deduplication fir Prometheus HA Pairen. Wann zwee Prometheus déiselwecht Metriken aus deeneselwechten Ziler sammelen an den Thanos späichert se an Object Storage. Thanos kann dës Donnéeën richteg deduplizéieren, am Géigesaz zu VictoriaMetrics.

Thanos huet eng Alarmkomponent déi an der Thanos Schema war. Awer hien net recommandéiert fir an der Produktioun ze benotzen.

Thanos huet de Virdeel datt Thanos a Prometheus deeselwechte Code deelen. Thanos a Prometheus gi vun de selwechten Entwéckler entwéckelt. Mat Verbesserunge vum Thanos oder Prometheus gewënnt déi aner Säit.

D'Haaptfeature vum VictoriaMetrics ass MetricsQL. Dëst sinn VictoriaMetrics Extensiounen fir PromQL, iwwer déi ech an der viregter grousser Iwwerwaachungsmetup geschwat hunn.

VictoriaMetrics ënnerstëtzt d'Datebelaaschtung mat ville verschiddene Protokoller. VictoriaMetrics kann net nëmmen Daten vum Prometheus akzeptéieren, awer och iwwer d'Influx, OpenTSDB a Graphite Protokoller.

VictoriaMetrics Daten huelen vill manner Plaz op am Verglach zum Thanos a Prometheus.

Wann Dir real Daten opgeholl hutt, schwätzen d'Benotzer iwwer eng 2-5 Mol Reduktioun vun der Gréisst vun den Daten op der Disk am Verglach zum Prometheus an Thanos.

En anere Virdeel vu VictoriaMetrics ass datt et fir Geschwindegkeet optimiséiert ass.

Loosst eis d'Käschte vun der Infrastruktur kucken.

Ee vun de Virdeeler vum Thanos ass datt et Daten an Objektlagerung späichert, wat relativ bëlleg ass.

Wann Dir Daten an Objektspeicher späichert, musst Dir fir Daten Schreif- a Liesoperatioune bezuelen ($ 10 pro Millioun Operatiounen). Wann Dir Daten op Objektlagerung schreift, bezuelt Dir Är Hostingkäschte fir Daten op den Internet eropzelueden, wann Äre Stärekoup net an AWS ass, ass et gratis. Wann Dir Daten liest, bezuelt Dir tëscht $10 an $230 pro 1TB. Dëst kann bedeitend sinn wann Dir dacks historesch Daten aus dem Thanos-Cluster ufroen.

Fir en Thanos Cluster musst Dir fir Servere bezuelen fir Compact, Store Gateway, Query Komponenten déi vill Erënnerung erfuerderen, an CPU fir grouss Quantitéiten un Daten.

VictoriaMetrics huet déi folgend Ausgaben. Wann Dir Daten op GCE HDD Drive späichert, da kënnt et op $40 fir 1TB. Fir VictoriaMetrics si gewéinlech HDD-Laufwerke genuch, keng SSDs, déi fënnef Mol méi kaschten, sinn néideg. VictoriaMetrics ass fir HDD optimiséiert.

VictoriaMetrics erfuerdert Serveren fir Komponenten: entweder Single-Nod oder Clustered Komponenten, déi, am Géigesaz zu Thanos Komponenten, vill manner CPU a RAM erfuerderen - an deementspriechend méi bëlleg sinn.

Beispiller vun Ëmsetzung.

Thanos huet en Implementéierungsbeispill am Gitlab. Gitlab leeft ganz op Thanos. Mee do ass net alles sou glat. Wann Dir se kucken Problemer, da gesitt Dir datt se dauernd e puer hunn operationell Problemer mat Thanos: Et gëtt net genuch Erënnerung fir de Store Gateway oder Query Komponenten. Si mussen permanent d'Quantitéit un Erënnerung erhéijen.

Dofir ginn d'Käschte fir dës Problemer ze léisen erop.

Déi zweet Implementatioun, déi méi erfollegräich ka sinn, ass d'Improbable Firma, déi ugefaang huet Thanos z'entwéckelen. Si hunn den Thanos Quellcode publizéiert. Improbable ass eng Firma déi Spillmotoren entwéckelt.

VictoriaMetrics huet ëffentlech Implementéierungsbeispiller:

• wix.com Websäit Builder
• Adidas implementéiert VictoriaMetrics an huet souguer eng Presentatioun um leschte PromCon 2019 gemaach
• TrafficStars - Annonce Reseau
• Seznam.cz ass eng populär tschechesch Sichmotor.

An da waren et keng-Numm Firmen déi ech elo net nennen kann. Si hunn net zoustëmmen.

• Ee grousse Spillentwéckler. Méi grouss wéi onwahrscheinlech.
• Major Grafik Software Entwéckler.
• Grouss russesch Bank.
• Europäesche Wandkraaftanlage Hiersteller deen erfollegräich VictoriaMetrics getest huet. Dësen Hiersteller implementéiert VictoriaMetrics fir Daten ze iwwerwaachen, déi vu Wandturbinen gesammelt ginn mat enger Rate vun 50 Proben pro Sekonn pro Sensor. All Wandturbin huet e puer honnert Sensoren. Si hunn e puer honnert Wandkraaftanlagen.
• Russesch Fluchgesellschaften déi VictoriaMetrics ëmsetzen wëllen, awer nach ëmmer net. Mir sinn op der Kontraktphase mat hinnen.

Conclusiounen.

VictoriaMetrics an Thanos léisen ähnlech Probleemer, awer op verschidde Weeër:

• Global Ufro Vue
• horizontale Skala
• arbiträr Retentioun

Spass.

Mir waarden op Iech bei eis Telegram Kanal.

Nëmme registréiert Benotzer kënnen un der Ëmfro deelhuelen. Umellen, wann ech glift.

Wat benotzt Dir als laangfristeg Lagerung fir Prometheus?

• 35,3%Thanos 6

• 0,0%Cortex 0

• 0,0%M3DB0

• 41,2%VictoriaMetrics7

• 23,5%aner 4

17 Benotzer hunn gestëmmt. 16 Benotzer hu sech enthalen.

Source: will.com