αα½ααααΈβα’αααβααΆααα’ααααααΆα ααΆαααααααααααΊααΆααααα·α αΆαα·α .
- αααααααααααα½ααα·αα·ααααααααΆαααααααααα αα·αααααΆαααααααααα αααααΆααααα½αααΈα’ααααααααααααααααααααα’αΆα αααααΌαααααααΆαα’αααΈαααΆαααΆαααααααα αα α»αααααααααααααααα αα·ααααα αααΆαααΌαααααΉαααΎααααΈααα½αααΆαααΆαααΌαααααΉαα’αααΈαααααΆααα αααα»αααααα·ααααα·ααΆαααααααααααα
αααΆαααΆαααααΉααα½ααααα αΌαααΆααααααααα ΠΈ - αααααααααααΆααααΆααααααΆαα»αααααααααααααααααα Prometheus α



ααααΌααααα»αααΉαααααΆααα’αααα’αααΈ Prometheus α αααααΊααΆαααααααααααα½ααα·αα·αααααααααααΌαααααααααΈααααα αααααΆααααααΆαα α αΎααααααΆαα»αααΆαα αααα»ααααααααααα»ααααα»ααααααα Prometheus α’αΆα αααααααΆαααααααα αααααααααα»αααΈα ααααΆα α αΎαα’αΆα αααααΎαααΆαααΌαααααΉα αα·αα αααΆααααα

αααααααα Prometheusα
- ααΆαα·αααΆααα·αααααΆααααα½αααΆαααααα αααααΊααΆααααααα’αααααΆαα§ααΆα αααα―αααΆαααααΆα αααΎααα prometheus α αα½ααααααααΌαααααααα α αΎαα’αααα αααα½ααα ααΎααααΌαααααααααααΆαααααααααααααΌαααΆαααΈα§ααΆα ααα prometheus ααααααααααΆα Prometheus αα·αα’αα»ααααΆαα±ααααΏααααααα
- ααΆαα½αααΉα prometheus ααΆαα’αα»ααααααααΌαααΆααααααααααΉααααΆαααΈααααααα½αααα»αααααα Prometheus αα·αααααΎααΆαααααααΆααααααααααααααααα·αα ααΎαααΆαααΈαααα αααΎαααα α’αααα’αΆα αααααααααα ααααα’αααααααααα½αα―ααααΆα Prometheus α αααΎαα
- αα·ααΆαααΆααααααααααα αααα»α Prometheus ααααΌαααΆααααααα αααααααααΆαααΈααααα½ααααααΆααα ααα»ααααΌα ααααΆαααααΆαα·αα’αΆα ααααΎααΆαααααααΆααααααααααααααααα·αα ααΎαααΆαααΈαααα αααΎααααααα
- ααΆαα·αααΆααααα½ααααααα»αααΆααααα ααα»ααααα·ααΆααα·αααααααα αααα»α Prometheus α

αααααααααΆαα αααααααα αΆ/αααα αΆαααααααΆααααα?
αααααααααΆαααΊα
αααααααααΆαααΆααα’αααααααΊαααααΆααααΆααααααΆαα»ααα·ααααααααΈα ααααΆαααααααααΌαααΆαααα Prometheus α αα½ααααααααααΆααααα αΆααΆααααα»αααΈα ααααΆαααΈααααΆααα»αααΆααα·ααΈααααααααααΆα αααα»ααααααα αΆαααα αααα»αααΉααα·ααΆαα’αααΈαααααααααΆαααΈαααααΌαααα»αααααα ΠΈ .
ααΆααΎαααααΌαααααααΆαα’αααΈ αααα αΆααααα½αααα . ααααΆααααααααααααΌαααΆααα·αααααΆαα ααΈααα αα·ααααααααααΆααααΎαααΆαα

Thanos αααα·ααααααααα Prometheus αααααΆαα»ααα αααα»αααΆαααΌαααααΆα α αΎαα ααααααΆαα S3 αα α¬αα αααααααααα»αααααα»ααααααααα

ααΌα αααα Thanos αααααααΌααα·αααααΆααααα½αααΆαααα α’αααα’αΆα αα½ααα·ααααααααααααααΆαα»ααααα»αααααΆαααααα»αααααα»ααΈααααα» Prometheus α αααΎαα

Thanos ααΆαααα PromQL αα·α .

Thanos ααααΎααΌα Prometheus ααΎααααΈαααααΆαα»ααα·ααααααα

Thanos ααααΌαααΆααααααΎαα‘αΎααααα’αααα’αα·ααααααααΌα ααααΆαα ααΉα Prometheus α
αα ααΎ α αα ααΈααα αααααΆαααααααααααΎαααΆααα·ααΆαααΆααΎαααααΌα .

VictoriaMetrics ααα½ααα·ααααααααΈ prometheus ααΆα αααΎαα αα·ααΈααΆααααααΆααααααα Prometheus α

VictoriaMetrics αααααααΌααα·αααααΆααααα½αααΆααα α αΆααααΆααααΈα§ααΆα ααα Prometheus α αααΎαα’αΆα ααααααα·αααααααα VictoriaMetrics αα½αα ααΌα ααααα αΎα α’αααα’αΆα ααααΎαααα½αααΎαα·ααααααααΆααα’αααααα

VictoriaMetrics ααααΆαααααααααααΌα ααΆ Thanos, PromQL αα·α Prometheus querying API α

αα·αααΌα Thanos αα ααΌαααααα VictoriaMetrics ααααΌαααΆααααααααΈααααΌα α αΎαααααΌαααΆαααααΎα±αααααααΎαα‘αΎααααααΆααααααΏα αα·αααΆαααααΎααααΆααααααΆαα

VictoriaMetrics αα·αααΌα Thanos αα ααααΎααΆαααααααΆαααΆααααααα αα·ααααααα ααα·ααα αααααααΎααΆαααααααΆααααααα α’αααα’αΆα α αΆααααααΎαααΆαα½α processor αα½α αα·αα’αααα αα αΆα 1 GB α αΎαααααα·α αααα α ααΎαα‘αΎααααααΆαααα processors αα·α 1 TB αα memoryα VictoriaMetrics α’αΆα ααααΎααααΆααααααΆαααΆααα’αααααααΆαα ααααΎαααΆαααααααΆααΉαααΎαα‘αΎααααα αα 100 αααααααΉααααααααα 1-core α

αααααααα·ααΆααααααααα Thanos ααΆαα αΆααααααΎααα αααα»ααααα·α ααα·ααΆ 2017 αα ααααααααΆαααααααααΆα α·αααααΆααΆααΆαααααΎαααααΌαααΆααααα αΆααααα½αα αα»αααα Thanos ααααΌαααΆααααααΎαα‘αΎααα ααΆααααα»α .

αα αααα·αα»ααΆ ααααΆα 2019 ααΆαααΆαα ααααααΆα 0.5.0 ααααααα»αααα αα·ααΈααΆαα ααΆααααααΌαααΆαααααα ααααΈ Thanos αααααΆαααααΆαααααααααα·αααΆαααα’α ααΆααΏαα α ααααα Thanos αα·αααααΎαααΆαααααΉαααααΌααα ααααΆααααααΆαααα ααΆαα·αααααΉαααααΌα αααααΆααα·ααΈααΆααα·ααΆαααΎαα ααΌα ααααα αΎα ααΎαααΎααααααα α α·αααααααΆααα ααααΈααΈαααα αααα»ααα·αααΆαααααΆααΆααααααα α α·αααααααΉαααααΌαα

αα αααα·αα»ααΆααααΆα 2019 ααΌα ααααΆαα½αααααΆαααααΎαααααΆααααα»α Π² .

α αΎααααααΆααααΈααΈαααΈαα Thanos ααααΌαααΆαααα½ααα ααααα½αααΆα Prometheus, Kubernetes αα·αααααααααααα·ααααααααααα

αα ααααααΆααααΆα 2018 ααΆαα’αα·αααααα VictoriaMetrics ααΆαα αΆααααααΎαα

αα αααααααΆ ααααΆα 2018 αααα»αααΆαααΎαα‘αΎαααΆααΆααΆαααα’αααΈ VictoriaMetrics ααΆααΎαααααΌαα

αα ααααααΌ ααααΆα 2018 αααα Single-node ααααΌαααΆαααααα»αααααααΆαα

αα ααα§αααΆ 2019 αααααααααΆαα Single-node αα·α cluster versionsα

αα αααα»ααααα·αα»ααΆ ααααΆα 2019 ααΌα ααααΆαα ααΉα Thanos ααα ααΎαααΆαααΆααααΆαααααααΎαα»ααα ααΌααα·αα· CNCF αααααααα . ααΎαααΆαααΆααααΆααααα½ααααααα»αααα Thanos ααΆααααΆαααα

ααα»ααααααΆα’αα»αα ααΎααα αααα·αααααΌαααΆαααα½ααααα ααΈαααααα ααααΌαααΆααααα½αααΈαα ααααα

ααΌααααα‘ααααΎαααααΆαααααΆαααααααααα αΆαααΈααααΆαααααααα Thanos αα·α VictoriaMetricsα

αααα αΆααααααΎαααΆαα½α Thanos α αααΆαααΆαα»αααααΏαααΊααΆαααΆαααΆαα» Prometheus α α’αααΈααααααααααΊααΆαααΆαααΆαα» Thanos α α αΌαα αΆααααααΎαααΆαα½αααΉααααΆαααΆαα»ααααΆαααααα»αα Thanos Sidecar ααΊααΆαααΆαααΆαα»αα½ααααααααΌαααΆαααα‘αΎααα ααΆααααΉαααααα Prometheus α ααΆαααα»ααα·αααααα Prometheus ααΈααΆααααα»ααααα»ααααα»ααα αααα»α S3 α¬ααααα»αααα»αααααααααα
ααΆααααΆαααΆαα»αααααα½αα α ααΆ Thanos Store Gateway αααα’αΆα α’αΆααα·αααααααααααΈ Object Storage ααΆαααΆαααααΎαα»αα αΌαααΈ Thanos Query α Thanos Query α’αα»αααα PromQL αα·α Prometheus API α αααααΊααΈααΆααααα ααΆααΎααα ααΌα ααΆ Prometheus α ααα½ααααα½α PromQL ααααΎααΆαα Thanos Store Gateway, Thanos Store Gateway ααΆααααα·ααααααα αΆαααΆα αααΈ Object Storage ααααΎααΆαααα·αα
ααα»ααααααΎααααααΆαα»ααα·αααααααα αααα»α Object Storage ααααα·αααααΎααααααααΈαααααα α»ααααααααα αααααΆααααααααα·ααααα½αααααΆαα’αα»αααααα Thanos Sidecar ααααα·αα’αΆα αααα ααααΈαααααα α»αααααααα ααΆαα Object Storage S3 ααΆααα αααααΆα Prometheus αα·αααΆααααΆααααααΎαα―αααΆααααααΆααααααααααΈαααααααααα αααα»ααααααααααα»ααααα»ααααα»αα
ααΎβα’αααβαααααα βα α·αααβα αΌαβαα»ααα·αβαααβαααβααααβααΆ? Thanos Query ααααααααΈααΎααααΎαα ααΆαα Thanos Store Gateway ααααΎααααΎααααααααΆαα Thanos Sidecar αααααΆαααΈααΆαααα ααΆααααΉα Prometheus α
α αΎα Thanos Sidecar αααα»ααα αα·α ααααΌααααΈααααΎαα»ααααααααα Prometheus α αΎαααΆααααα·αααααααααααΆααααααααααΈαααααα α»ααααααα
ααααααααΈααΎαααΆαααΆαα»ααΆααααα ααΆααααΆααααΆαααΆαααααα α α·αααααααα ααααα·αααΎ Thanos ααΉααα·αααααΎαααΆαααα’αααααα αααααΊααΆ Thanos Compact αααααα½ααα»αααααΌααααα»αααΆααα½ααααα αΌαααααΆααΌαα―αααΆαααΌα ααα ααΎ Object Storage αα αααα»αα―αααΆαααααΆααααααααΌαααΆααααα αααα ααΈαααααα Thanos Sidecarsα Thanos Sidecar αααα»αα―αααΆααα·αααααααα ααΈααααααα»αααααααααΈαααααα α―αααΆαααΆααααα ααααα·αααΎαα½αααΆαα·αααααΌαααΆααααα αΌααα αααα»αα―αααΆαααααααα α ααα½ααααααα½αααα’αΆα ααΎαα‘αΎααααΆαααααΆααα α―αααΆαααααααααΆααααα αααΎα α’αααα αα αΆαααΆααααα αααΎαααααΌαααΆααααααΆαα Thanos Store Gateway ααααΆαααΆααααα αααΎαααΊααααΌαααΆαααΎααααΈααααααα·ααααααααΆααααααΆα αα·ααα·ααααααααααΆα Thanos Store Gateway ααααΆαααΆααααΆαααααα·αααααΆαα ααΌα ααααα αΎα α αΆαααΆα αααααΌαααααΎαααΆα Thanos Compact ααααααα αΌαα―αααΆαααΌα ααα ααΆα―αααΆαααααΆααα»α ααΎααααΈαα»αα±ααα―αααΆααααααααα·α ααΆααα»α αα·αααΆαααααααααΆαα αααΆαααΎ Thanos Store Gateway α
ααΆααααΆαααΆαα»ααααααΌα ααΆ Thanos Ruler αααααα ααΆααααα·ααααα·α αααΆαααααααΆαα’αΆαααα Prometheus αα·αα’αΆα ααΆααααααα αααΆαααα Prometheus ααΎααααΈααααααα·αααααααααα‘αααα αααααααααα»αααααα»αα·αα ααα»αααααααΆαααΆαα»ααααα·αααααΌαααΆαααααΆαααααααα ... ααΆαα .
αααααΊααΆαααααααΆαααααΆαααααααα Thanos α

α₯α‘αΌαααα α αΌαααΎαααααααααααΆααΆαα½αααΉααααααααΆααα VictoriaMetrics α
VictoriaMetrics ααΆα 2 ααααα ααααΆαααααα½α αα·αααααα αααααα ααααΆαααααα½αααααΎαααΆαααΎαα»αααααΌααααα½αα ααααΆαααααα½ααα·αααΆααααΆαααΆαα»ααΆααααααα ααΊααααΆααααααΆαααααααααααααΈαααα»αααααα αααααααααααααΈααα ααΎααααΆααααααΎααα ααΌα ααΆααΆααααααα α’αααΈααααααααΆαααααα ααΆααααα»αααΆαααααΊααΆααΆαα·ααΆααα―αααΆααααααΈααααααΆαααααα Single-node α α’ααααα·αα αΆαααΆα αααΉαα’αααΈααΆααααα α’αααααααΆααααααααΎαααΆααααααααααααααΈα α αΎαα’αααΈαααααΎαααΆααααααΆααααΎαα
ααααα αααααααΊαααα»αααααΆαααΆαα αα ααΆααααα»αααΆααΆααααΆαααΆαααΈαααααααααΆ: vmselect, vminsert αα·α vmstorage α ααΈααααααααααα½ααα ααΆαα½αααα αααΆααααΆαα½αααααααΆαααααααΎα’αααΈα αααΆαααΆααααα αΌαααα½ααααα·αααααααααα»αααααααααααααααααΆα ααΈ Prometheus remote write API, Influx line protocol, Graphite protocol αα·α OpenTSDB protocolα αααΆαααΆααααα αΌαααα½ααααα½αααΆ ααααα½αααΆ αα·αα ααα αΆααα½αααΆαααΆααααΆαααΆαα»αααα»ααααααΆαααααΆαα ααααα·ααααααααααΌαααΆααααααΆαα»ααα½α α αΎαα αα αααα»αααα αααΆαααΆα Select ααα½ααααααα½α PromQL α ααΆααα’αα»αααα ααααΌα ααΆ Prometheus querying API α αΎαααΆα’αΆα ααααΌαααΆαααααΎααΆααΆααααα½α Prometheus αα αααα»α Grafana α¬α’αα·αα·αα Prometheus API ααααααααα ααααΎαααΎαααα½αααααααΎ promql αααααΆ α’αΆααα·ααααααα αΆαααΆα ααααααΆααααΆαα’αα»ααααααααΎαααααΈααααΆαααααα»α ααααΎαααΆααα·ααααααααα αα·ααααα‘ααααΆαααααΎαααα

α αΌαααΎαααααααααααΆααααα»αααααΆαααααΆαααα‘αΎα Thanos αα·α VictoriaMetrics α

αααα αΆααααααΎαααΆαα½α Thanos α αα»ααααα’αααα αΆααααααΎαααααΎααΆαααΆαα½α Thanos α’αααααααΌααααααΎααα»ααα αααα»α Object Storage ααΌα ααΆ S3 α¬ GCS ααΌα αααα Thanos Sidecar α’αΆα ααααααα·αααααααα ααΆααΆαα

αααααΆαααααααααΆαα Prometheus ααΈαα½αα α’αααααααΌαααα‘αΎα Thanos Sidecarα αα»αααα α’αααααααΌαα αΆαααΎααααΈαα·αααΆαααααα½ααα·αααααααα αααα»α Prometheus α ααΆαααααα½ααα·αααααα ααααα½ααα·ααααααααΆαααα αΆααα αααα»αααααΆαααααα»α Prometheus αααα»αααααα ααΎααααΈααΆαααααααααΆαααααΎααααΆααααααΆαα
αα αααα’αααααα‘αΎα Thanos Sidecar αα ααΎ Prometheus ααααα’ααα α’αααααααΌααααα·αααΆαααααα½ααα·ααααααααα ααΈααααα Thanos Sidecar αα·αααααΎαααΆαααααΉαααααΌαααΆαα½αααΆαααααα½ααα·ααααααα αααααΆααααααΆ Prometheus ααααα’αααα αΆααααααΎααααααΆαα»ααα·αααααααααα»ααααα»αααααααααΈααααα α αΎαααααααα αΌααααα»αααΆααααααα ααΆαααα»αααααΆαα ααΌα ααααα αΎα ααααα·αααΎα’αααααααΎαααα½ααααααΎαααΈααααααααΈαααααα α»αααααα ααααα½αααααΉααα·αααααΎαααΆαααααααααααααα·αααααΆαααΌα ααααα½αααα’αΆα ααααΎαααΆαααΆααα ααααα·αααΎααΆαααααα½ααα·ααααααααααΌαααΆαααΎαα

ααΌα αααα Thanos αααααα’αα»ααΆαααα±ααααΆααααααααααααααΆαααααΆαα»ααα·αααααααα αααα»αααααΆαααααα»ααααα»ααααα»αααααααΉα 6-8 αααα ααΎααααΈααΆαααααααααΆαα αααΆαααΎαααα»αααΌα ααα½αα ααα½αααα
αα ααααααα’αααααΆαααα‘αΎα Thanos Sidecar α’αααααααΌαααα‘αΎααααΆαααΆαααΈααααααΆαα Object Storage Bucket ααΈαα½ααα ααΆαααααααΊααΆ Thanos Compactor αα·α Thanos Store Gateway α

αααααΆααααΈααα α’αααααααΌαααα‘αΎα Thanos Query α αΎαααααααα ααΆααααααααααΆ ααΎααααΈα±ααααΆα’αΆα ααααΆαααα Thanos Store Gateways ααΆααα’αααααα’αααααΆα α αΎαααα’αΆα ααααΆαααα Thanos Sidecars ααΆααα’ααα
αααα ααααΆααΆααααα αΆααααα·α αα ααΈαααα

α’αααααααΌαααααααα ααΆααααααααααΆααααααΆαααααα’αΆα αα»αα α·αααααΆα αα·ααα»ααααα·ααΆαααΈ Thanos Query αα ααΆαααααΆαααΆαα»ααΆαααααα α αΎαααααα·αααΎ Prometheus ααααα’αααααΆαααΈααΆαααα αααα»αααααααααααα·ααααααααααααααααΆ α¬αα αααα»α VPCs αααααααααΆ αααααΆααααααΆαααα αα½αααααΈααΆααααα ααααΌαααΆαα αΆαααΆααα ααα»ααααααΎααααΈα±αα Thanos Query ααααΎαααΆα α’αααααααΌαααααααα ααΆααααααααααΆααααααΆαααα ααΈααα α αΎαα’αααααααΌααααα·ααΈαα½αα
ααααα·αααΎα’αααααΆαααααααααααα·ααααααααααααα αααΎα ααα ααΆαααΏααΆααααααααααααααΆααααΌαααΉαααα α»αα α αΆααααΆααααΈ Thanos Query ααααΌααααααααΆααΆααααααΆααα₯αααααααα ααΆαα Thanos Sidecars αααααΆαααΈααΆαααα αααα»αααααααααααα·ααααααααααααααααΆα αααααΆααααΆααααΆαααααΎαα»αα αΌα ααΆααΉααααααΌαααααΎαα ααΆαα Thanos Sidecars ααΆααα’ααα ααααα·αααΎααΆααααααΆααααααΌαααΆαααααΆα α’αααααΉαααα½αααΆααααα»ααα·αααααααα·ααααααα α¬α’αααααΉαααα½αααΆαααΆαααααΎααα "cluster is down"α

αα αααα»α VictoriaMetrics α’αααΈααααααααΆαααΊααΆααααααΆαααααα·α α αααααΆαααααα Single-node α’αααααααΆααααααααΌαααΆαααααΎαααΆααααααααααααααΈααα½α α αΎαα’αααΈαααααΎαααΆαα

αα αααα»αααααα ααααα ααΆαααααααααΆααααΎααααΈααααΎαααΆααααΆαααΆαααΆααααΈααΆαααΎαααα»αααα·ααΆαααΆαα½ααααα’αααααααΌαααΆα α¬ααααΎ ααΎααααΈααααΎα±ααααααΎαααΆααααααΆαααΆααα αααα»α Kubernetes αααααααααααααααα·α ααΎαααααΆααααααααααααΎαααααα·ααααα·αα Kubernetes αααααα ααααΌαααΆα Helm αα·αααααααααααααΎααααΈαα½αα ααα½α αα·αα’αα»ααααΆαα±ααα’αααααΆαααααα½αα―ααααααΎαα α§ααΆα ααα ααΆα’αα»ααααΆαα±ααα’αααααΆαααααααα ααα½αααααΆαααααα»α αααααΉαααΆαα±ααααΆααααααα·ααααααα

αααααΆααααΈα’αααααΆαααΎαααααΎαααΆααααααααααααααΈα α¬ααααααΆα ααααα α’αααααααΆααααααααΌααααααα Prometheus αα αααα»αααΆααααααα ααΌα ααααααΆα αΆααααααΎαααααααα·αααααααααααα ααΉααααααααααα»ααααα»αααααα αα·αα§ααααααααα»αααΈα ααααΆαα ααΌα αααα’αααα’αΆα ααΎαααΎα ααΆαααααααα ααΆααααααααααααα½αααα’αα»ααααααΆαα αααΎααα½αα±αααα»αα α·αααααΆαααΎαααααααααα ααΉαααΆαααααααα ααΆαααααααα Thanos α ααΎααα·αα αΆαααΆα ααααααΆααΆααααααΆααααΈ VictoriaMetrics αα Prometheus ααΆααα’αααα ααααα Prometheus αααα½αααααααΆαααα VictoriaMetrics αα·ααααααΌααα·ααααααα

α αΌαααΎααα·α αΆαααΆααΆαααΆαααααααα Thanos αα·α VictoriaMetrics α

Thanos ααααΌααααα½ααα·αα·ααα Sidecar ααΎααααΈααααΆααααΆαα½ααααα·αααααααααΆααααα»ααα·αααααααα αααα»α Object Storageα αα½αααα’αΆα ααααααααΆαααΆααααα·ααααααααα αααααΆαααα α»ααααα»αααΆαααΆααα α§ααΆα ααα ααΆαααααΆαααααααΆαααααα’ααααα Object Storage ααααΌαααΆαααααΆαααΆααααααα’αΆαααα α¬ Object Storage ααΊαα·αααΆαααΆααααααα’αΆααααα Thanos Sidecar ααΉαβαααααΆααβααΎαβα ααα»α βαααβαα βαααβααα ααΆαααΆαααβα’αααΈβαααα αΆ α’αΆα βααΉαβααΆαα α αΎαβαααααΆααβααβαααβααααΎαααΆαα ααααα·αααΎα’ααααα·ααααα½ααα·αα·αααααΆαα αααα’αααααΉααααααααααα·αααααααα Object Storageα ααααα·αααΎαααααααΆαααααΆαα»αααΆαααααααα»ααα (6-8 αααααααααΆαααααΆα) αααα’αααααΉαααΆααααααα·ααααααααααα·αααΆααααα αααα αααα»ααααααααααα»αααααα»α

α§αααααααααα½α Thanos α’αΆα αααααααΎαααΆααααααΆααα . Compactors αααα·ααααααααΈ Object Storage α αΎααααα αΌαααΆαα αααα»αααααααααααα·ααααααα αααααΆαα§αααααααααα½ααα·αααααΌαααΆαααααΎααααΆαααααααΆαα½α Sidecar ααΆα’αΆα ααΎαα‘αΎαα Sidecar αα·αααΆααααΆααααααΎααααΈαααα αααααα»ααα Compactor αααααα α α·αααααΆαααα»ααααααααΌαααΆααααααααΆαααααα»αα αααΆαααΈααααα αΆααα αΆααααααΎαα’αΆαααΆα ααΆαα·αα’αΆααααα»αααααααααα αΎααααααααΎαααΆαα ααΎαααααααΆααααα’α·α .

Store Gateway α’αΆα αααα‘αααα·αααααααα·ααααΈαααααΆααααααΆ αααααΆαααααΆααααααΆαααααΆα Compactor αα·α Sidecarsα ααΆααΆααΏαααΌα ααααΆαα ααΈααα ααααα Store Gateway αα·αααααΌαααΆαααααΎααααΆαααααααΆαα½α Compactors αα·α Sidecars ααΆααααααααΆαααΆαα½αα‘αΎαα ααΌα ααααα αΎα ααααααααααααΆααααααΆααα’αΆα ααΎαα‘αΎααα αααααα Store Gateway αα·αααΎαααααααααα·αααααα α¬ααΎααα·ααααααααααα·αα αΆαααΆα αα

αααΆαααΆααααα½ααα αααα»α Thanos ααΆαααααΆαααΎα αααα‘αααααααααα½αααααα ααααα·αααΎ Sidecars α¬ Store Gateways αα½αα ααα½ααα·αααΆααα ααααααα α’αααααΉαααα½αααΆαααααααα½ααααα·αααααα α αΎαα’αααααΉααα·αααΉαααΆα’ααααα·αααΆαααα½ααα·ααααααααΆααα’αααααααα αααααΆαααααααααΆααααΎαααΆαααΆαααααΆαααΎαα αααα»αααααΆαααΆαααααααααααΆ VictoriaMetrics αααα‘αααα·αααααααααααΆααααααΆααααΆαααααα

αα·αααΌα Thanos αα VictoriaMetrics ααααααΉαααΆααααααα·ααααααααΆααα αααααΈααΆααΆααααααΆααααΈ Prometheus αα VictoriaMetrics ααααΌαααΆαααααΆαααααα ααααα·ααααααΆαααα αΆαα ααααα Prometheus αααααααααααΆαα·ααααααααααΈαααα αΌααααααα»α Write Ahead Log αααααΆαααα α 2 ααααα ααααα·αααΎα’αααααααΆαααΆααααααΆααααααα’ααααα VictoriaMetrics αααα»αααααααααΈααααα αα·ααααααααααα’αααααΉααα·αααΆαααααα‘αΎαα Prometheus .

αα·αααΌα Thanos αααααααααα·αααααααα ααααα»αααα»ααααααΆααααΈααΈααααα Prometheus α αααααα·αααααααααααααααααααααα·αααααααΎαα·ααΈααΆααααααααΈα ααααΆααα αααααααααα»αααΈα ααααΆα ααΌα ααΆ VictoriaMetrics ααΆααΎαα α’ααααα·αααααΆα ααΆααααααααααααααα»ααααα»ααααα»ααα Prometheus ααα ααααα·αααΎααααΆαααααααΆααααΆαααααααα ααααα»ααααα»αααΌαααααΆα ααααααα»αααααΈααα’αΆααααααααα»α α’αααααΉαααΆααααααα·αααααααααα»ααα·ααΆααΈα α»ααααααααααα·αααΆααααααααΆααΎααααΈαααααααΆαα αααα»αα§ααααααααα»αααΈα ααααΆαα

Kubernetes αααααααααα ααααααααααααααααααααα· αα·αααΌα Thanos ααα ααΆαα·ααΆααααα»αααΆαααΆαααααΆαααΆαα» Thanos ααΆααα’αααα αααα»αα ααααα Kubernetes αααα½α αα·αααΌα αααΆαααΆαα»α ααααα VictoriaMetrics ααα

VictoriaMetrics ααΆαααΆαα’αΆαααααααααΆαααααααα»αα ααααααααααααΈα ααααΆαααααααααα VictoriaMetrics ααααΎαα αα α»ααααααααΆααααααααααααααΈα α αΎαααΎαααααΎαααΆαααΆα αα ααααααααΆαααααααααΆαααααααααΆ SIGINT αααααααααααααΈα VictoriaMetrics ααΆααα’ααααααΎααΆααα·ααααΆααααΌαα αα½ααααααααΆαα»ααα·ααααααα αΆαααΆα ααααΆαααααΉαααααΌα αα·αααΆαααααΆααα αΌαα±ααααΆαααααΉαααααΌα ααΎααααΈαα»αα±ααααΆαααααα’αααΈααΆααα’ααα ααΌα αααα α’αααβααΉαβαα·αβααΆαααααβα’αααΈβα‘αΎα αααβααααΎβαα αα α»ααααααααΆαα

VictoriaMetrics ααααΎα±ααααΆααΆαααΆαααΆααααα½ααααα»αααΆααααααΈαα αααααα ααααΆαααααααααααααΆαααΆαα»α αΆαααΆα αα αΎαααααααααΎααΆαα

α’αααΈαααα αΆαα αααα»α Thanos αα·α VictoriaMetrics α

Thanos ααΆαβαααα αΆβααΌα βααΆαβαααααα Prometheus ααααΌααααααααΆαα»ααα·αααααααααααΆααααααααααΈαααααα α»ααααααα ααααα·αααΎαα½αααααΆααααα α’αααααΉαααΆαααααααΆααΆαααααα»α ααααααα½ααααα·αααΆααααααΌαααΆαααααααα ααΆαα Object Storage ααΌα S3 ααα

αααΆαααΆα Store Gateway αα·ααααΆαααΆαα»ααααα½αα’αΆα ααααΌαααΆαα’αααα αα αΆαα αααΎαααΎααααΈααααΎαααΆαααΆαα½α Object Storage ααααααα·αααΎααΆαα―αααΆαααΌα αααΆα αααΎαααααΌαααΆααααααΆαα»ααα ααΈαααα α ααα½α αα·αααα αα―αααΆαααΆααααα αααΎα ααα Store Gateway αα·α RAM ααΆααααααΌα ααααΌαααΆαααΆαααΆα ααΎααααΈαααααΆαα»ααααααααα·ααααααα Thanos ααΆααααα αΆααΆα αααΎαααΆααααααΉαααΆααα·ααααα .

Thanos ααααΌαααΆαααααααααααΆαααΎααααΈααααΎααΆαααααααΆαααααα·ααααααααΆαα½αααΉαα ααα½α Prometheus αααα’αααααΆαα ααααα·αααΆαα·ααα·αααα αααααΆαααααΎααΆααα’ααααααααΆαααααΆαααΆαα»αααα½α αααααααΌααααααααααα·αααα»ααααααααΆαααααΆααΌααααΆαααΆαα» Store Gateway αα·ααααΆαααΆαα» Sidecar ααΆααα’αα ααΆααα·ααααααααΈααΈααα α αΎααααααΆααααααααΎαααΆαααΆααΆαα»αα ααΆααααααα ααααΏαααααΆαααααΎαα»αααααΌαααΆααααααααααααααααααααα»α α αααααααΌαααΊααααα»α Store α¬ Sidecar ααΊααααα»αα
αααΆαααΆαα»ααΆαααααα’αΆα αααα»ααα·αααααΎααααΆα α§ααΆα ααα α’αααααΆα Prometheus ααααααααΌαααΆαααΆααααΆααααααααααα»ααα½ααα·ααΆααΈα α αΎαααΆα Prometheus ααααααααΌαααΆαααΆααααΆαααααααααααα»ααα½ααα·ααΆααΈα Prometheus ααααααααΌαααΆαααΆααααΆααααααααααα»ααα½ααα·ααΆααΈ ααΆααααααα»ααααααααΆααα ααΎαααΆαααΈααααααααΆααααΎαααΆαα ααΌα ααααα αΎα Sidecar ααααΎααΆαααΊαααΆααα ααΈαααα α αΎαααΆααΌαα α’αααΈααααααααΆαααααΎαααΆαααΊα α αα ααΈαααα α αΎααααΆαααΆααααα½αααΉαααΆααα·ααααααααΈααΈαααααΊαααΆααα ααΌα ααααα αΎα ααααΎαααΆαααα αααααααΆααααΌαααααα’αααααΉαααααΌαααΆααααααααα Sidecar ααΊααααα

ααΆαααααΆαααΎα Thanos ααααααα·αααααααα½αααααα ααααα·αααΎ Sidecars αα½αα ααα½α αα·α Store Gateway αα·αα’αΆα ααααΎααΆαα ααΆα§ααΆα ααα ααααα·αααΎ Sidecars ααααα’αααααααΌαααΆαααα αΆααααα αΆααα αα»ααα·ααα·ααααααα αααα»αααααααααααα·ααααααααααααααααΆ αααααααααΆαααααΆααααΆαααααααΆααααααΆαα αα·αααΆααα·αααΆααααΆαααΆαααΎαα‘αΎααααΆαααααΆααα ααΌα ααααα αΎα αααα»αααααΈααΆαα αααΎα α’αααααΉαααα½αααΆααα·αααααααα½ααααααααααα·αααΉααααα½αα

VictoriaMetrics ααβααΆαβαααα αΆβαααα ααααα ααΈαα½αααΊααΆαααααΎαααααααααα ααα½α RAM αααααααΎαααααΆααααααΆαααααααΆαα VictoriaMetrics α ααΆαααααΆαααΎα ααΆααααΎααΉα 60% αα RAM αα ααΎαααΆαααΈαααα VictoriaMetrics αααα»αααααΎαααΆα α¬ 60% αα RAM αα VictoriaMetrics pod αα αααα»α Kubernetes α
ααααα·αααΎα’αααααααΆααααααΌααααααααααα·αααααΉαααααΌα α’αααα’αΆα ααααααΆαααααΎαααΆααααα VictoriaMetricsα α§ααΆα ααα ααααα·αααΎα’αααααααααααααααΆαααα αα·ααααααα’αΆα ααΉααα·αααααΉαααααΆαααααααΆαα VictoriaMetrics αααααα αααααΆααααααααΆαααΉαααααΌαααααΎααΆαααΆααααααααα·ααααα»ααα½αααααΆααα·αααΆαα ααααα·αααΎα’αααααααΎα±αααααααΎααααααααα ααΆααΎαα‘αΎα ααΈαα½α ααααααΆαααα VictoriaMetrics ααΉαααΆααααΆαα½αααΉαααα α»αααα’αααα αα αΆα α αΎαααΈααΈαααΆααΉαααΆαα±ααααΆααα·ααααααΆααΉαααΆα RAM αα·α αα½α αααα»ααα αααα»αα’αααα αα αΆαααααααααααααα·ααααα·ααΆααααααΆαα ααααΆαααααααΆααα―αααΆαα α αΎα VictoriaMetrics ααΉαααα’ααααΎααααΆαααααααΆααα―αααΆααααααΆααααααΎαααΆαα ααααα·αααΎααΆαα·ααααααααααΆαααα ααΆααααα»ααα ααΎααΆαα’αΆα ααΎαα‘αΎααααΆαααααΆααα ααΌα αααα ααααΌααααΆαα αα»αααααΆααααααΌααααΆαααΆαααααα αα»αααααΆααα αΆαααΆα αα

αααααΎαααΈααΈαα αααααΊααΆαααααααααααΆαα»α - αααααααααααααΌαααΆαααααααα 1 ααααΆαααααΆαααΎαα αααααΊααΆααααααααα VictoriaMetrics αααααΆαα»ααα·ααααααα αααααΆααααΈααααααααα VictoriaMetrics αα»ααα·ααααααα
ααα»αααααΆα αααΎαααααΎαααΆα VictoriaMetrics αααααααΆααααΆαααΆααααααααα α αΎααααααααΆαα·αααααααααααααα½αααα αα½α βααβαα½αβααΆβα ααα»βα’αααΈβααΆαβααΆβαα·ααααααβααβαα»αβααΆαα? αααααΆααααααααααααααΆαα»αααααΆαααΎαααΊ 1 ααα ααΌα ααααα αΎα α’αααααααΌαααΉα αα·αααααααααααααααααΆαα»αααααΉαααααΌαα

αααααΎααααααααα·αααααααααα

Thanos ααΆααααααααα·ααααα½αα α ααΆ downsampling: α αααααααα 5 ααΆααΈ αα·ααα½ααααα αααααΆααΉαααΆαα . ααααα·αααΎα’ααα google α αΎαααΎααααα αΆαααααα½ααααα ααΎ github ααΆααααα αΆααΆα αααΎαααΆααααααΉαααΆαα α»αααααΌααα ααααααααααααΆαα·αααααΎαααΆαααααΉαααααΌα α¬αα·αααααΎαααΆαααΌα αααα’αααααααΎααααΆααααααΉααα»αα

Thanos ααΆαααΆαααααΆα ααα·αααααααααααΆααααΌ Prometheus HAα αα αααααα Prometheus ααΈααααααΌαααααααααΌα ααααΆααΈααααα ααΌα ααααΆ α αΎα Thanos αααααΆαα»αααΆαα αααα»α Object Storage α Thanos α’αΆα α αααααα·αααααααααααΆαααααΉαααααΌα αα·αααΌα VictoriaMetrics ααα

Thanos ααΆααααΆαααΆαα»ααΆααααΏαααααααα·ααα αααα»ααααααααΆααα Thanos α ααα»ααααααΆαα .

Thanos ααΆααα»ααααααααα·ααα Thanos αα·α Prometheus α αααααααααΌαααΌα ααααΆα Thanos αα·α Prometheus ααααΌαααΆααααααΎαα‘αΎααααα’αααα’αα·ααααααααΌα ααααΆα ααΆαα½αααΉαααΆααααααα’ Thanos α¬ Prometheus ααΆααΈααααΆααααααααα

αα»αααΆαααααΆαααααα VictoriaMetrics ααΊ MetricsQL α ααΆαααααααΊααΆααααααααααααααα VictoriaMetrics αααααΆαα PromQL ααααααα»αααΆααα·ααΆαα’αααΈαα α―αα·α αα ααααα»ααααα½ααα·αα·αααααααΈαα»αα

VictoriaMetrics ααΆααααααΆααααα»ααα·αααααααααααααΎαα·ααΈααΆαααααααααααΆααΆα αααΎαα VictoriaMetrics αα·αααααΉαααα’αΆα ααα½ααααα·ααααααααΈ Prometheus ααα»ααααααα αααααΆααααΆαααααα·ααΈααΆα Influx, OpenTSDB αα·α Graphite αααααα

αα·αααααα VictoriaMetrics ααααΎααα ααα·α ααΆαα αααΎαααΎαααααααααα ααΉα Thanos αα·α Prometheus α
ααααα·αααΎα’ααααααααααΆαα·αααααααα·αααααΆαα α’αααααααΎααααΆαααα·ααΆαα’αααΈααΆαααΆαααααααααα ααα·αααααααα ααΎααΆα 2-5 ααααΎαααααααααα ααΉα Prometheus αα·α Thanos α

α’ααααααααααααα½αααααααα VictoriaMetrics ααΊααΆααΆααααΌαααΆαααααΎα±αααααααΎααααααΆααααααΏαα

ααΌααααα‘ααααΎαααααααΎαααα αααααΆαα ααΆααααααααα

αα»ααααααααα·αα½ααααα»αα αααααα»ααααααααα·αααα Thanos ααΊααΆααΆαααααΆαα»ααα·αααααααααα»αααΆααααα»αααααα»αααααΆαααααααααααααααα
αα ααααααααΆαα»ααα·αααααααα αααα»ααααααααααα»αααααα» α’αααααααΌαααα αααΆααααααΆααααααα·ααααα·ααΆαααααα αα·αα’αΆααα·αααααα (10 αα»ααααΆααααα»ααα½αααααα·ααααα·ααΆαααΆααααΆα)α αα αααα’αααααααααα·αααααααα αααααααααα»αααααα» α’αααααααααααααα ααααααα’ααααααααΆααααΆααααα αααα·αααααααα α’ααΈαααΊαα·α ααααα·αααΎα αααααααααα’ααααα·αααΆααα αααα»α AWS ααΆα₯ααα·ααααααα ααΈαααα αα αααα’αααα’αΆααα·αααααα α’αααα αααΆαα αααααααΈ 10 αα»ααααΆα αα 230 αα»ααααΆααααα»α 1TBα αααα’αΆα ααΆαααΆααααααΆααααααα·αααΎα’αααααΆααΉαααΆαααα½ααα·αααααααααααααα·ααΆαααααααΈαααα»α Thanos α

αααααΆααα ααααα Thanos α’αααααααΌααααααααΆαααααααΆαα Servers αααααΆαα Compact, Store Gateway, Query components αααααΆαααΆαα’αααα αα αΆαα αααΎα αα·α CPU αααααΆαααα·ααααααααα

VictoriaMetrics ααΆαααΆαα αααΆαααΌα ααΆααααααα ααααα·αααΎα’ααααααααΆαα»ααα·αααααααα ααΎ GCE HDD drives αααααΆα ααααααααΉα $40 αααααΆαα 1TBα αααααΆαα VictoriaMetrics ααααΆα HDD ααααααΆααΊαααααααααΆαα ααααΆα SSDs αααααΆααααααααααααΆα XNUMX ααααΊααααΌαααΆαα VictoriaMetrics ααααΌαααΆαααααΎα±αααααααΎαα‘αΎααααααΆαα HDD α

VictoriaMetrics ααΆαααΆααααΆαααΈααααααααΆαααααΆαααΆαα»α ααΆαααααααααα α¬ α ααααα ααααα»αααΈαααΆαααΆαα» Thanos ααααΌαααΆααααΈααΈααΌ αα·α RAM αα·α ααΆαα αααΎα α αΎαααΉαααΆαααααααααααΆαα

α§ααΆα αααααααΆαα’αα»ααααα

Thanos ααΆαα§ααΆα αααααααΆαα’αα»αααααα αααα»α Gitlab α Gitlab ααααΎαααΆαααΆαααααα»αααΎ Thanos α ααα»αααααα·ααααα’αααΈαααΆααα’ααααΊαααΌααα ααΈαααααα ααααα·αααΎα’ααααααα‘ααααΎααα½αααα αααααΆααααα’αααα’αΆα ααΎαααΎαααΆαα½αααααΆααα½αα ααα½αα₯αααααα α αα·αααΆαα’αααα αα αΆααααααααααΆαααααααΆαα Store Gateway α¬αααΆαααΆαα»αααα½αααα αα½αααααααΌααααααααΎαααΆαα αα αΆαααΆαα·α αα α
αααααΆααααααααΆαα αααΆαααΎααΆααααααααΆααααα αΆααΆαααααααΎαα‘αΎαα
ααΆαα’αα»ααααααΈααΈααααα’αΆα ααα½αααΆαααααααααΆαααΊαααα»αα αα»α Improbable αααααΆαα αΆααααααΎαα’αα·αααα Thanos α αα½αααααΆαααααα»αααααΌαααααα Thanos α Improbable ααΊααΆαααα»αα αα»αααααααααΎααααΆαααΈαα ααααα

VictoriaMetrics ααΆαα§ααΆα αααααΆαα’αα»ααααααΆααΆααΆαααα
- α’ααααααααΎαααα ααααα wix.com
- Adidas αααα»αα’αα»αααα VictoriaMetrics α αΎααααααΆααααΆαααααΎαααααα αΆααα α― PromCon 2019 α α»αααααα
- TrafficStars - αααααΆαααααΆαααΆαα·ααααααα
- Seznam.cz ααΊααΆαααΆαααΈαααααααααααααααααα·ααα
α αΎααααααΆααααααΆααααα»αα αα»αααααΆααααααααααααα»ααα·αα’αΆα ααΆαααααααα₯α‘αΌααααα αα½ααααα·αααΆααααααααααα
- α’αααα’αα·ααααααα αααααααα½αα ααααΆααα·αα’αΆα αα αα½α α
- α’αααα’αα·αααααααααααα·ααΈααααΆα ααα·αααααΆαααα
- αααΆααΆααα»αααααΈααα
- αααα»αα αα»αααα·ααα½ααααΈαααααααα α’αΊααα»ααααααΆαααΆαααααααααααααα VictoriaMetrics α αααα»αα αα»αααα·αααααααα»αα’αα»αααα VictoriaMetrics ααΎααααΈαααα½ααα·αα·ααααα·ααααααααααααααΌαααΆαααΈαα½ααααΈαααααααααα»αα’ααααΆ 50 ααααΌαααα»ααα½ααα·ααΆααΈαααα»ααα½αα§αααααα αΆαααααααΆα αα½ααααΈααααααααΈαα½ααααΆαα§αααααα αΆαααααααΆααΆααααα αα½αααααΆααα½ααααΈααααααααΆααααα
- αααα»αα αα»αα’αΆααΆαα ααααα»αααααΈαααα ααα’αα»αααα VictoriaMetrics ααα»αααααα αααα·αα’αΆα α ααΎαβαααα·αβαααα»αβααααΆααβααΆαβααβαα·α αα βαααααΆβααΆαα½αβαα½αβααα
ααα
ααααΈααααα·ααααΆαα
VictoriaMetrics αα·α Thanos αααααααΆααααα αΆααααααααααΆ ααα»ααααααΆααα·ααΈαααααααααΆα
- αα·αααααΆααααα½αααα
- ααΆαααααΎααΆαααααααΆαααααα
- ααΆααααααΆαα»ααααααααΆα

ααααααΈαα
ααΎααααα»ααααα αΆαα’ααααα ααααααΎαα .

ααΆαααα’αααααααΎααααΆαααααααΆαα α»ααααααααα»ααααααααα’αΆα α αΌααα½ααααα»αααΆααααααααα·αααα ααΌαα
ααΎα’αααααααΎα’αααΈααΆααΆααααα»αααααααααααααααΆαα Prometheus?
35,3%Thanos α¦
0,0%Cortex 0
0,0%M3DB0
41,2%VictoriaMetrics α§
23,5%αααααα α’α
α’αααααααΎααααΆαα 17 ααΆααααΆαααααααααα α’αααααααΎααααΆαα α‘α€ ααΆααααααΌαααΆαα αΆαααΆααα
ααααα: www.habr.com
