Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ndewo, unu niile. N'okpuru bụ ederede akụkọ sitere na Big Monitoring Meetup 4.

Prometheus - usoro nlekota oru maka usoro na ọrụ dị iche iche, site n'enyemaka nke ndị na-ahụ maka usoro nwere ike ịnakọta ozi gbasara usoro nke usoro dị ugbu a ma guzobe ihe ngosi iji nweta ọkwa banyere ndịiche na ọrụ nke usoro.

Akụkọ a ga-agụnye ntụnyere Thanos и VictoriaMetrics - oru ngo maka nchekwa ogologo oge nke Prometheus metrics.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Nke mbụ, m ga-agwa gị gbasara Prometheus. Nke a bụ usoro nleba anya nke na-anakọta metrik site na ebumnuche akọwapụtara ma chekwaa ya na nchekwa mpaghara. Prometheus nwere ike ịdekọ metrics na nchekwa dịpụrụ adịpụ ma nwee ike iwepụta ọkwa na iwu ndekọ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Oke Prometheus:

  • O nweghị nlele ajụjụ zuru ụwa ọnụ. Nke a bụ mgbe ị nwere ọtụtụ ihe atụ nke prometheus nọọrọ onwe ya. Ha na-anakọta metrik. Ma ịchọrọ ịjụ ajụjụ n'elu igwe metrik ndị a anakọtara site na oge prometheus dị iche iche. Prometheus anabataghị nke a.
  • Site na prometheus, arụmọrụ bụ naanị otu sava. Prometheus anaghị agbanye ọtụtụ sava ozugbo. Ị nwere ike iji aka kewaa ebumnuche gị n'etiti ọtụtụ Prometheus.
  • Oke metrik dị na Prometheus bụ naanị otu nkesa maka otu ihe kpatara na ọ nweghị ike ịgbakọ n'ofe ọtụtụ sava.
  • Ọ dịghị mfe ịhazi nchekwa data na Prometheus.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ngwọta maka nsogbu/ihe ịma aka ndị a?

Ihe ngwọta bụ:

Ngwọta ndị a niile bụ maka nchekwa data dịpụrụ adịpụ nke Prometheus nakọtara. Ha na-edozi nsogbu nchekwa dịpụrụ adịpụ site na slide gara aga n'ụzọ dị iche iche. N'ihe ngosi a, m ga-ekwu naanị maka azịza abụọ mbụ: Thanos и VictoriaMetrics.

Maka oge mbụ ozi gbasara Thanos pụtara site na njikọ a. A kọwara ụkpụrụ ụlọ ebe ahụ Thanos na ka o si arụ ọrụ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Thanos na-ewere data Prometheus echekwara na diski mpaghara wee depụta ya na S3, ka GCS ma ọ bụ na nchekwa ihe ọzọ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ya mere Thanos na-enye echiche ajụjụ zuru ụwa ọnụ. Ị nwere ike jụọ data echekwara na nchekwa ihe site na ọtụtụ oge Prometheus.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Thanos na-akwado PromQL na API ajụjụ Prometheus.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Thanos na-eji koodu Prometheus chekwaa data.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

A na-emepụta Thanos site na otu ndị mmepe dị ka Prometheus.

on VictoriaMetrics. Ebe a ngalaba, ebe mbụ anyị kwuru banyere ya VictoriaMetrics.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics na-enweta data site na ọtụtụ prometheus API ide ihe ime ime protocol kwadoro Prometheus.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics na-enye nlele ajụjụ zuru ụwa ọnụ, ebe ọ bụ na ọtụtụ oge Prometheus nwere ike ide data na otu VictoriaMetrics. N'ihi ya, ị nwere ike ịjụ ajụjụ na data a niile.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics na-akwadokwa, dị ka Thanos, PromQL na Prometheus querying API.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

N'adịghị ka Thanos, koodu isi iyi VictoriaMetrics ka edere site na ọkọ ma na-ahazi ya maka ọsọ na oriri akụrụngwa.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics, n'adịghị ka Thanos, akpịrịkpa ma kwụ ọtọ na kwụ ọtọ. Rie Ụdị ọnụ ọnụ otu, nke na-akpụ akpụ kwụ ọtọ. Ị nwere ike ịmalite site na otu processor na 1 GB nke ebe nchekwa wee jiri nwayọọ nwayọọ na-eto ruo narị narị processors na 1 TB nke ebe nchekwa. VictoriaMetrics nwere ike iji akụrụngwa ndị a niile. Ọrụ ya ga-abawanye ihe dị ka ugboro 100 ma e jiri ya tụnyere usoro 1-isi.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Akụkọ ihe mere eme nke Thanos malitere na Nọvemba 2017, mgbe mmemme ọha mbụ pụtara. Tupu nke a, e mepụtara Thanos n'ime agaghị ekwe omume.io.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Na June 2019 enwere mwepụta akara ngosi 0.5.0, nke wepụrụ asịrị protocol. E wepụrụ ya na Thanos n'ihi na ọ naghị eme nke ọma. Ọtụtụ mgbe ụyọkọ Thanos anaghị arụ ọrụ nke ọma, ọnụ ụzọ jikọtara ya na ezighi ezi n'ihi usoro ịgba asịrị. Ya mere, anyị kpebiri iwepụ ya n'ebe ahụ. Echere m na nke a bụ mkpebi ziri ezi.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

N'otu June 2019, ha zigara nọmba ngwa 256 в Ngwé ojii Ngwá Ọrụ Ngwá Ọrụ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ma mgbe ọnwa ole na ole gasịrị, a nabatara Thanos Ngwé ojii Ngwá Ọrụ Ngwá Ọrụ, nke gụnyere Prometheus, Kubernetes na ọrụ ndị ọzọ na-ewu ewu.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Na Jenụwarị 2018, mmepe nke VictoriaMetrics malitere.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Na Septemba 2018, akpọrọ m VictoriaMetrics n'ihu ọha na nke mbụ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Na Disemba afọ 2018, ebipụtara ụdị otu ọnụ ọnụ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Na May 2019 e bipụtara isi mmalite nke ma Single-node na ụyọkọ ụdị.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Na June 2019, dị ka Thanos, anyị debere ngwa na ntọala CNCF n'okpuru nọmba 255. Anyị tinyere akwụkwọ otu ụbọchị tupu Thanos tinye akwụkwọ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ma, ọ dị mwute ikwu, a ka nabataghị anyị ebe ahụ. Enyemaka obodo chọrọ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ka anyị leba anya na ihe nkiri slide kacha mkpa na-egosi ihe owuwu nke Thanos na VictoriaMetrics.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ka anyị bido na Thanos. Akụkụ edo edo bụ akụkụ Prometheus. Ihe ọ bụla ọzọ bụ akụrụngwa Thanos. Ka anyị malite na akụkụ kacha mkpa. Thanos Sidecar bụ akụrụngwa arụnyere n'akụkụ Prometheus ọ bụla. Ọ na-ebunye data Prometheus site na nchekwa mpaghara n'ime S3 ma ọ bụ Nchekwa Ihe ọzọ.

Enwekwara akụrụngwa akpọrọ Thanos Store Gateway, nke nwere ike ịgụ data a sitere na Nchekwa Ihe na arịrịọ mbata sitere na Thanos Query. Ajụjụ Thanos na-arụ ọrụ PromQL na Prometheus API. Ya bụ, site n'èzí ọ dị ka Prometheus. Na-anata ajụjụ PromQL, ziga ha na Thanos Store Gateway, Thanos Store Gateway na-eweghachite data dị mkpa site na Nchekwa Ihe, ziga ya azụ.

Mana anyị na-echekwa data na Nchekwa Ihe na-enweghị awa abụọ gara aga n'ihi njirimara nke mmejuputa Thanos Sidecar, nke na-enweghị ike bulite awa abụọ ikpeazụ na Ihe Nchekwa S3, ebe Prometheus emebeghị faịlụ maka awa abụọ a na nchekwa mpaghara.

Kedu ka ị siri kpebie ịgagharị na nke a? Thanos Query, na mgbakwunye na arịrịọ na ọnụ ụzọ ụlọ ahịa Thanos, na-eziga arịrịọ ndị yiri ya na Thanos Sidecar ọ bụla, nke dị n'akụkụ Prometheus.

Na Thanos Sidecar, n'aka nke ya, proxies na-arịọ Prometheus ọzọ, wee weghachite data maka awa abụọ gara aga.

Na mgbakwunye na ihe ndị a, enwekwara nhọrọ nhọrọ nke Thanos agaghị arụ ọrụ nke ọma. Nke a bụ Thanos Compact, nke na-ahụ maka ijikọ obere faịlụ na Nchekwa Ihe n'ime faịlụ buru ibu nke Thanos Sidecars bugoro ebe a. Thanos Sidecar na-ebugote faịlụ data ebe ahụ n'ime awa abụọ. Faịlụ ndị a, ọ bụrụ na ejikọtaghị ha na faịlụ buru ibu, mgbe ahụ ọnụọgụ ha nwere ike itolite nke ukwuu. Ka faịlụ ndị dị otú ahụ na-abawanye, ka a na-achọkwu ebe nchekwa maka Ụlọ Ahịa Thanos, otú ahụ ka a na-achọkwu ihe onwunwe iji nyefee data na netwọk, metadata. Ọnụ ụzọ ụlọ ahịa Thanos adịghị arụ ọrụ. Ya mere, ọ dị mkpa ka ị na-agba ọsọ Thanos Compact, nke na-ejikọta obere faịlụ n'ime ndị buru ibu, nke mere na faịlụ dị otú ahụ dị ole na ole ma belata n'elu na Ụlọ Ahịa Thanos.

Enwekwara akụrụngwa dị ka Thanos Ruler. Ọ na-eme iwu ịdọ aka na ntị Prometheus ma nwee ike nyochaa iwu ndekọ Prometheus iji dee data azụ na Nchekwa Ihe. Mana a naghị atụ aro ka ejiri akụrụngwa a, n'ihi na ... Ọ na-achọ ịlaghachi data ezughị ezu.

Nke a bụ atụmatụ dị mfe nke Thanos.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ugbu a, ka anyị jiri ya tụnyere atụmatụ VictoriaMetrics.

VictoriaMetrics nwere ụdị 2: Otu ọnụ ọnụ na ụdị ụyọkọ. Otu ọnụ ọnụ na-agba n'otu kọmputa. Otu ọnụ ọnụ enweghị akụrụngwa ndị a, naanị otu ọnụọgụ abụọ. Nke a ọnụọgụ abụọ na slide dị ka square a. Ihe niile dị n'ime square bụ ọdịnaya nke faịlụ ọnụọgụ abụọ maka ụdị Single-node. Ọ dịghị mkpa ka ị mara banyere ya. Naanị ị na-agba ọsọ ọnụọgụ abụọ na ihe niile na-arụ ọrụ maka anyị.

Ụdị ụyọkọ ahụ dị mgbagwoju anya karị. N'ime ya enwere ihe atọ dị iche iche: vmselect, vminsert na vmstorage. Site n'aha ha, ekwesịrị ka o doo anya ihe onye ọ bụla n'ime ha na-eme. Ihe ntinye ntinye na-anabata data n'ụdị dị iche iche: site na Prometheus remote dee API, Usoro ahịrị Influx, Protocol Graphite na site na OpenTSDB protocol. Ihe ntinye ntinye na-anabata ha, tụba ha ma kesaa ha n'etiti ihe nchekwa dị adị, ebe echekwara data ahụ. Akụrụngwa Họrọ, n'aka nke ya, na-anabata ajụjụ PromQL. Ọ na-emejuputa atumatu PromQL, yana Prometheus querying API, enwere ike iji ya dị ka nnọchi Prometheus na Grafana ma ọ bụ ndị ahịa Prometheus API ndị ọzọ. Họrọ na-anabata arịrịọ promql, tụba ya, gụọ data dị mkpa maka imezu arịrịọ a site na ọnụ nchekwa, hazie data a wee weghachi nzaghachi.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ka anyị tulee mgbagwoju anya nke ịwụnye Thanos na VictoriaMetrics.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ka anyị bido na Thanos. Tupu ịmalite ịrụ ọrụ na Thanos, ịkwesịrị ịmepụta bọket na Nchekwa Ihe, dị ka S3 ma ọ bụ GCS, ka Thanos Sidecar wee dee ya data.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Mgbe ahụ maka Prometheus ọ bụla, ịkwesịrị ịwụnye Thanos Sidecar. Tupu nke a, ịkwesịrị icheta iji gbanyụọ nchịkọta data na Prometheus. Mkpokọta data na-akpakọba data n'oge nchekwa Prometheus mpaghara iji belata oriri akụrụngwa.

Mgbe ị wụnye Thanos Sidecar na Prometheus gị, ị ga-ewepụrịrị kọmpụta data a, n'ihi na Thanos Sidecar anaghị arụ ọrụ nke ọma na nkwado data. Nke a pụtara na Prometheus gị na-amalite ịchekwa data n'ime awa abụọ ma kwụsị ijikọ ngọngọ ndị ahụ ka ọ bụrụ nke buru ibu. N'ihi ya, ọ bụrụ na ị na-ajụ ajụjụ gafere oge nke awa abụọ gara aga, mgbe ahụ, ha agaghị arụ ọrụ nke ọma ka ha nwere ike ịrụ ọrụ ma ọ bụrụ na agbanyere compaction data.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ya mere, Thanos na-atụ aro ibelata oge njide data na nchekwa mpaghara ruo awa 6-8 iji belata ọnụ ọgụgụ buru ibu nke obere ngọngọ.

Ozugbo ị wụnyela Thanos Sidecar, ị ga-etinyerịrị ihe abụọ maka bọket Nchekwa Ihe ọ bụla. Ndị a bụ Thanos Compactor na Thanos Store Gateway.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Mgbe nke ahụ gasịrị, ịkwesịrị ịwụnye Thanos Query wee hazie ya ka ọ nwee ike jikọọ na ọnụ ụzọ ụlọ ahịa Thanos niile ị nwere, ma nwee ike jikọọ na Thanos Sidecars niile.

Enwere ike inwe ntakịrị nsogbu ebe a.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ịkwesịrị ịhazi njikọ ntụkwasị obi na ntụkwasị obi sitere na Thanos Query na akụrụngwa ndị a. Ma ọ bụrụ na Prometheus gị dị na ebe data dị iche iche, ma ọ bụ na VPC dị iche iche, mgbe ahụ, a machibidoro njikọ na ha site n'èzí. Mana maka ajụjụ Thanos ka ọ rụọ ọrụ, ịkwesịrị ịhazi njikọ ahụ n'ụzọ ụfọdụ, ị ga-achọpụtakwa ụzọ.

Ọ bụrụ na ị nwere ọtụtụ ebe data dị otú ahụ, mgbe ahụ, ya mere, ntụkwasị obi nke usoro dum na-ebelata. Ebe ọ bụ na ajụjụ Thanos ga-ejigide njikọ na Thanos Sidecars niile dị na ebe data dị iche iche. Maka arịrịọ ọ bụla na-abata, ọ ga-ebuga arịrịọ na Thanos Sidecars niile. Ọ bụrụ na a kwụsịrị njikọ ahụ, ị ​​ga-enweta data ezughị ezu, ma ọ bụ ị ga-enweta nzaghachi "ụyọkọ adaala".

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Na VictoriaMetrics ihe niile dị ntakịrị mfe. Maka ụdị Single-node, naanị ị ga-agba ọsọ otu ọnụọgụ abụọ na ihe niile na-arụ ọrụ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

N'ụdị ụyọkọ ahụ, o zuru ezu iji mee ụdị ngwa atọ niile dị n'elu n'ụdị ọ bụla ịchọrọ, ma ọ bụ jiri. chaatị okpu ka akpaaka mmalite nke components na Kubernetes. Anyị na-emekwa atụmatụ ime onye ọrụ Kubernetes. Chaatị Helm anaghị ekpuchi ụfọdụ ikpe wee mee ka ị gbaa onwe gị n'ụkwụ. Dịka ọmụmaatụ, ọ na-enye gị ohere ibelata ọnụ ọgụgụ nke oghere nchekwa, nke ga-eduga na ọnwụ data.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Mgbe ịmalitechara otu ọnụọgụ abụọ ma ọ bụ ụdị agbakọtara, naanị ị ga-etinye Prometheus na nhazi ahụ. ntọala maka url ide anyanke mere na ọ na-amalite ide data n'otu n'otu na nchekwa mpaghara na ebe nchekwa dịpụrụ adịpụ. Dị ka ị pụrụ ịhụ, nhazi a kwesịrị ịrụ ọrụ nke ọma karị ma e jiri ya tụnyere nhazi Thanos. Ọ dịghị anyị mkpa idowe njikọ sitere na VictoriaMetrics na Prometheus niile, n'ihi na Prometheus n'onwe ya na-ejikọta na VictoriaMetrics ma na-ebufe data.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ka anyị tụlee nkwado nke Thanos na VictoriaMetrics.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Thanos kwesịrị inyocha Sidecar iji hụ na ha akwụsịghị itinye data n'ime Nchekwa Ihe. Ha nwere ike ịkwụsị nbudata data a n'ihi njehie nbudata, dịka ọmụmaatụ njikọ netwọk gị na Nchekwa Ihe na-akwụsị nwa oge, ma ọ bụ Nchekwa ihe adịghị adị nwa oge. Thanos Sidecar ga-achọpụta nke a n'oge a, kọọ njehie, nwere ike ịdaba wee kwụsị ọrụ. Ọ bụrụ na inyochaghị ya, ị ga-akwụsị ịnyefe data na Nchekwa Ihe. Ọ bụrụ na oge njide gafere (awa 6-8 akwadoro), mgbe ahụ ị ga-atụfu data na-akwụsịghị na Nchekwa Ihe.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Thanos compactors nwere ike kwụsị ịrụ ọrụ n'ihi agbụrụ na Sidecar. Compacctors na-ewere data sitere na Nchekwa Ihe wee jikọta ya n'ime iberibe data buru ibu. Ebe ọ bụ na compactors na-adịghị emekọrịta ihe na Sidecars, ndị na-esonụ nwere ike ime: Sidecar enwebeghị oge iji wuchaa ngọngọ, Compactor kpebiri na nke a ngọngọ e kpamkpam dere. Compactor amalite ịgụ ya. Ọ naghị agụ ngọngọ ahụ n'uju wee kwụsị ịrụ ọrụ. Hụ nkọwa ebe a.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ọnụ ụzọ ụlọ ahịa nwere ike weghachite data na-ekwekọghị ekwekọ n'ihi agbụrụ dị n'etiti Compactor na Sidecars. Otu ihe ahụ na-eme ebe a, n'ihi na ejikọtaghị ọnụ ụzọ ụlọ ahịa na Compactors na Sidecars n'ụzọ ọ bụla. N'ihi ya, ọnọdụ agbụrụ nwere ike ime mgbe ọnụ ụzọ ụlọ ahịa ahụghị akụkụ nke data ma ọ bụ hụ data na-adịghị mkpa.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Akụkụ ajụjụ dị na Thanos na ndabara na-eweghachi nsonaazụ akụkụ ma ọ bụrụ na ụfọdụ Sidecars ma ọ bụ ọnụ ụzọ ụlọ ahịa adịghị ugbu a. Ị ga-enweta akụkụ nke data ahụ, ma ị gaghị ama na ị nwetaghị data niile. Nke a bụ ka ọ na-arụ ọrụ na ndabara. N'ọnọdụ yiri nke ahụ, VictoriaMetrics na-eweghachi data akara dị ka akụkụ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

N'adịghị ka Thanos, VictoriaMetrics anaghị atụfu data. Ọbụna ma ọ bụrụ na a kwụsịrị njikọ sitere na Prometheus na VictoriaMetrics, nke a abụghị nsogbu, ebe ọ bụ na Prometheus na-aga n'ihu na-edekọ data ọhụrụ na-abata na Write Ahead Log, nke nha ya bụ awa 2. Ọ bụrụ na ị weghachi njikọ gị na VictoriaMetrics n'ime awa abụọ, data gị agaghị efu. Prometheus nwere ike tinye data mgbe iweghachite njikọ na VictoriaMetrics.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

N'adịghị ka Thanos, nke na-ede data na nchekwa ihe naanị mgbe awa abụọ gachara, Prometheus na-emegharị data na-akpaghị aka site na iji usoro ide ihe dịpụrụ adịpụ na nchekwa dịpụrụ adịpụ, dị ka VictoriaMetrics. Ị naghị atụ egwu ịtụfu nchekwa mpaghara na Prometheus. Ọ bụrụ na ọ tụfuru nchekwa mpaghara na mberede, mgbe ahụ n'ọnọdụ kachasị njọ, ị ga-atụfu sekọnd ikpeazụ nke data na-enweghị oge ịdekọ na nchekwa dịpụrụ adịpụ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Kubernetes na-ejikwa ụyọkọ ahụ na-akpaghị aka, n'adịghị ka Thanos. O siri ike itinye akụrụngwa Thanos niile n'otu ụyọkọ Kubernetes, n'adịghị ka akụrụngwa ụyọkọ VictoriaMetrics.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics nwere mmelite dị mfe maka ụdị ọhụrụ ahụ. Naanị kwụsị VictoriaMetrics, melite ọnụọgụ abụọ wee malite ya. Mgbe ejiri akara SIGINT kwụsịrị, ọnụọgụ abụọ VictoriaMetrics na-eme mmechi mara mma. Ha na-echekwa data dị mkpa nke ọma, mechie njikọ ndị na-abata n'ụzọ ziri ezi ka ị ghara idafu ihe ọ bụla. Yabụ na ị gaghị atụfu ihe ọ bụla mgbe ị na-emelite.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics na-eme ka ọ dị mfe ịgbasa ụyọkọ. Naanị tinye ihe ndị dị mkpa ma gaa n'ihu na-arụ ọrụ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Banyere ọnyà dị na Thanos na VictoriaMetrics.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Thanos nwere ọnyà ndị a. Prometheus ga-echekwa data maka awa abụọ gara aga. Ọ bụrụ na ha furu efu, ị ga-atụfu ha kpamkpam n'ihi na edebeghị ha na Nchekwa Ihe dị ka S3.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Akụkụ ụlọ ahịa ọnụ ụzọ ámá na kọmpat nwere ike ịchọ ọtụtụ ebe nchekwa iji rụọ ọrụ na nnukwu ihe nchekwa ihe ma ọ bụrụ na enwere ọtụtụ obere faịlụ echekwara n'ebe ahụ. Ka ọnụ ọgụgụ na nha faịlụ na-abawanye, ka a na-achọkwu ọnụ ụzọ Store na compactor RAM iji chekwaa metainformation. Thanos nwere ọtụtụ okwu gbasara eziokwu ahụ Ọnụ ụzọ echekwabara na mkpọka kọmpat nwere oke data edekọtara.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

A na-akpọsa Thanos ka ọ dị elu ruo mgbe ebighị ebi site na ọnụọgụ Prometheus ị nwere. Nke a abụghị eziokwu. Ebe ọ bụ na arịrịọ niile na-aga site na akụrụngwa ajụjụ, nke ga-enwerịrị ntụle n'otu oge niile akụrụngwa Store Gateway yana akụkụ Sidecar niile, wepụ data n'ebe ahụ wee hazie ya. N'ụzọ doro anya, a na-ejedebe ọsọ nke arịrịọ site na njikọ adịghị ike dị nwayọ, ọnụ ụzọ ụlọ ahịa dị nwayọ ma ọ bụ Sidecar dị nwayọ.

Enwere ike ibunye akụrụngwa ndị a n'ụzọ na-ezighi ezi. Dịka ọmụmaatụ, ị nwere Prometheus, nke na-anakọta nde metrik kwa nkeji. Ma enwere Prometheus, nke na-anakọta puku kwuru puku metrik kwa nkeji. Prometheus, nke na-anakọta ọtụtụ nde metrics kwa sekọnd, na-etinye ibu dị elu na nkesa ọ na-agba ọsọ. N'ihi ya, Sidecar na-arụ ọrụ nwayọ n'ebe ahụ. Na n'ozuzu ihe niile na-arụ ọrụ nwayọọ nwayọọ n'ebe ahụ. Ngwa ajuju ga-esi ebe ahụ wepụta data nwayọ nwayọ. N'ihi nke a, arụmọrụ nke ụyọkọ gị niile ga-ejedebe site na Sidecar ngwa ngwa.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Site na ndabara, Thanos na-enye data akụkụ ma ọ bụrụ na ụfọdụ Sidecars na ma ọ bụ ọnụ ụzọ ụlọ ahịa adịghị. Dịka ọmụmaatụ, ọ bụrụ na ụgbọ ala gị gbasasịa gburugburu ụwa na ebe data dị iche iche, mgbe ahụ ohere nke ọdịda njikọ na enweghị akụrụngwa na-abawanye nke ukwuu. N'ihi ya, n'ọtụtụ ọnọdụ, ị ga-enweta data akụkụ n'amaghịdị ya.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics nwekwara ọnyà. Ọnyà mbụ bụ nhọrọ nke na-amachi ọnụ ọgụgụ RAM ejiri maka cache VictoriaMetrics. Site na ndabara, ọ hà nhata 60% nke RAM na igwe ebe VictoriaMetrics na-agba ma ọ bụ 60% nke RAM nke VictoriaMetrics pod na Kubernetes.

Ọ bụrụ na ị gbanwee uru a na ezighi ezi, ị nwere ike imebi arụmọrụ VictoriaMetrics. Dịka ọmụmaatụ, ọ bụrụ na ịtọọ uru dị oke ala, data nwere ike ghara ịdaba na cache VictoriaMetrics. N'ihi nke a, ọ ga-arụkwu ọrụ ma buo processor na diski. Ọ bụrụ na ị na-eme ka nhọrọ a buru ibu, ọ na-abawanye, nke mbụ, enwere ike na VictoriaMetrics ga-adaba na njehie ebe nchekwa, na nke abụọ, ọ ga-eduga n'eziokwu ahụ na a ga-enwe obere RAM fọdụrụ na ebe nchekwa sistemụ arụmọrụ maka. cache faịlụ. Na VictoriaMetrics na-adabere na cache faịlụ maka ịrụ ọrụ. Ọ bụrụ na ezughị ezu, ibu dị na diski nwere ike ịba ụba nke ukwuu. Ya mere, ndụmọdụ: agbanwela oke ma ọ bụrụ na ọ dị oke mkpa.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Nhọrọ nke abụọ. Nke a bụ NjidePeriod - oge edobere ka ọ bụrụ ọnwa 1 na ndabara. Nke a bụ ogologo oge VictoriaMetrics na-echekwa data. Mgbe oge a gachara, VictoriaMetrics na-ehichapụ data.

Ọtụtụ ndị mmadụ na-agba VictoriaMetrics na-enweghị oke a ma dekọọ data maka otu ọnwa. Ma mgbe ahụ, ha na-ajụ: gịnị kpatara data maka ọnwa gara aga ji pụọ? N'ihi na oge ndowe ndabara bụ ọnwa 1. Ya mere, ịkwesịrị ịma ma tọọ oge njide ziri ezi.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ka anyị leba anya na njirimara pụrụ iche.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Thanos nwere njiri mara akpọrọ downsampling: nkeji 5 na nkeji oge, nke na-abụkarị adịghị arụ ọrụ nke ọma. Ọ bụrụ na ị google wee lelee okwu ha na github, enwere ọtụtụ okwu metụtara mbelata a, na mgbe ụfọdụ ọ naghị arụ ọrụ nke ọma, ma ọ bụ ọ naghị arụ ọrụ dịka ndị ọrụ tụrụ anya.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Thanos nwere mwepu data maka ụzọ abụọ Prometheus HA. Mgbe Prometheus abụọ na-anakọta otu metrics site na otu ebumnuche ma Thanos na-echekwa ha na Nchekwa Ihe. Thanos nwere ike wepụta data a nke ọma, n'adịghị ka VictoriaMetrics.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Thanos nwere akụrụngwa njikere nke dị na atụmatụ Thanos. Ma ya adịghị atụ aro maka iji na mmepụta.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Thanos nwere uru na Thanos na Prometheus na-ekerịta otu koodu ahụ. Thanos na Prometheus bụ ndị otu mmepe mepụtara. Site na nkwalite nke Thanos ma ọ bụ Prometheus, akụkụ nke ọzọ na-emeri.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Isi njirimara VictoriaMetrics bụ MetricsQL. Ndị a bụ mgbakwunye VictoriaMetrics maka PromQL, nke m kwuru maka ya na nnukwu nleba anya gara aga.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics na-akwado ibu data site na iji ọtụtụ ụkpụrụ dị iche iche. VictoriaMetrics nwere ike ọ bụghị naanị ịnakwere data sitere na Prometheus, kamakwa site na influx, OpenTSDB na graphite protocol.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Data VictoriaMetrics na-ewe obere ohere ma e jiri ya tụnyere Thanos na Prometheus.

Ọ bụrụ na ịdekọ ezigbo data, ndị ọrụ na-ekwu maka mbelata oge 2-5 na nha data dị na diski ma e jiri ya tụnyere Prometheus na Thanos.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Uru ọzọ nke VictoriaMetrics bụ na ọ kachasị maka ọsọ.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ka anyị leba anya n'ụgwọ akụrụngwa.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Otu n'ime uru nke Thanos bụ na ọ na-echekwa data na nchekwa ihe, nke dị ọnụ ala.

Mgbe ị na-echekwa data na nchekwa ihe, ị ga-akwụrịrị ụgwọ maka ide na ịgụ ọrụ data ($ 10 kwa nde arụmọrụ). Mgbe ị na-ede data na nchekwa ihe, ị na-akwụ ụgwọ nnabata gị maka ibugo data na ịntanetị; ọ bụrụ na ụyọkọ gị adịghị na AWS, ọ bụ n'efu ebe ahụ. Mgbe ị na-agụ data, ị na-akwụ n'etiti $10 na $230 kwa 1TB. Nke a nwere ike ịba uru ma ọ bụrụ na ị na-ajụkarị data akụkọ ihe mere eme site na ụyọkọ Thanos.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Maka ụyọkọ Thanos, ịkwesịrị ịkwụ ụgwọ maka sava maka kọmpat, ọnụ ụzọ ụlọ ahịa, ngwa ajụjụ chọrọ ọtụtụ ebe nchekwa, yana CPU maka nnukwu data.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics nwere mmefu ndị a. Ọ bụrụ na ị na-echekwa data na draịva GCE HDD, ọ ga-apụta $40 maka 1TB. Maka VictoriaMetrics, draịva HDD nkịtị ezuola; ọ nweghị SSD, nke riri okpukpu ise karịa, achọrọ. VictoriaMetrics bụ nke kachasị maka HDD.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics chọrọ sava maka akụrụngwa: ma ọ bụ Single-nod ma ọ bụ akụrụngwa jikọtara ọnụ, nke, n'adịghị ka akụrụngwa Thanos, chọrọ obere CPU na RAM - ma ga-adị ọnụ ala karịa.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Ihe atụ nke mmejuputa iwu.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Thanos nwere ihe atụ mmejuputa iwu na Gitlab. Gitlab na-agba ọsọ kpamkpam na Thanos. Mana ọ bụghị ihe niile dị mma ebe ahụ. Ọ bụrụ na ị na-ele ha anya mbipụta, mgbe ahụ ị pụrụ ịhụ na ha na-enwe mgbe nile nsogbu arụ ọrụ na Thanos: Enweghị ebe nchekwa zuru oke maka ihe mejupụtara ọnụ ụzọ ụlọ ahịa ma ọ bụ ajụjụ ajụjụ. Ha ga-abawanye ụba nke ebe nchekwa mgbe niile.

N'ihi nke a, ego nke idozi nsogbu ndị a na-abawanye.

Mmezu nke abụọ, nke nwere ike ịga nke ọma karị, bụ ụlọ ọrụ na-apụghị ime eme, nke malitere ịmalite Thanos. Ha bipụtara koodu isi mmalite Thanos. Ihe na-agaghị ekwe omume bụ ụlọ ọrụ na-emepụta igwe egwuregwu.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics nwere ọmụmaatụ mmejuputa ọha:

  • wix.com na-ewu weebụsaịtị
  • Adidas na-emejuputa VictoriaMetrics na ọbụna mee ihe ngosi na PromCon 2019 ikpeazụ
  • TrafficStars - netwọk mgbasa ozi
  • Seznam.cz bụ igwe ọchụchọ Czech ama ama.

Ma mgbe ahụ, enweghị ụlọ ọrụ na-enweghị aha m na-enweghị ike ịkpọ aha ugbu a. Ha ekwetaghị.

  • Otu nnukwu onye nrụpụta egwuregwu. Karịrị ihe agaghị ekwe omume.
  • Onye nrụpụta ngwanrọ ndịna-emeputa ihe.
  • Nnukwu ụlọ akụ Russia.
  • Ndị na-emepụta turbine ikuku nke Europe nke nwalere VictoriaMetrics nke ọma. Onye nrụpụta a na-emejuputa VictoriaMetrics iji nyochaa data anakọtara site na igwe ikuku ikuku na ọnụego 50 sample kwa nkeji kwa sekọnd. Igwe ikuku ikuku ọ bụla nwere ọtụtụ narị sensọ. Ha nwere ọtụtụ ụgbọ mmiri ikuku.
  • Ndị ụgbọ elu Russia chọrọ itinye VictoriaMetrics, mana enweghị ike. Anyị na ha nọ na ọkwa nkwekọrịta.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetricsMkpebi.

VictoriaMetrics na Thanos na-edozi nsogbu ndị yiri ya, mana n'ụzọ dị iche iche:

  • Echiche ajụjụ zuru ụwa ọnụ
  • kehoraizin scaling
  • njide aka ike

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Achọpụta.

Anyị na-echere gị na nke anyị telegram ọwa.

Ịhọrọ nchekwa data maka Prometheus: Thanos vs VictoriaMetrics

Naanị ndị ọrụ edebanyere aha nwere ike isonye na nyocha a. banye, Biko.

Kedu ihe ị na-eji dịka nchekwa ogologo oge maka Prometheus?

  • 35,3%Thanos6

  • 0,0%Cortex0

  • 0,0%M3DB0

  • 41,2%VictoriaMetrics7

  • 23,5%ndị ọzọ4

Ndị ọrụ 17 tụrụ vootu. Ndị ọrụ 16 anabataghị.

isi: www.habr.com

Tinye a comment