Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Bawo ni gbogbo eniyan. Ni isalẹ ni tiransikiripiti Ijabọ lati Ipade Abojuto nla 4.

Ipolowo - eto ibojuwo fun ọpọlọpọ awọn ọna ṣiṣe ati awọn iṣẹ, pẹlu iranlọwọ ti eyiti awọn oludari eto le gba alaye nipa awọn aye ti lọwọlọwọ ti awọn eto ati ṣeto awọn itaniji lati gba awọn iwifunni nipa awọn iyapa ninu iṣẹ ti awọn eto.

Ijabọ naa yoo pẹlu lafiwe Thanos и VictoriaMetrics - awọn iṣẹ akanṣe fun ibi ipamọ igba pipẹ ti awọn metiriki Prometheus.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Mu fidio šišẹ

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ni akọkọ, Emi yoo sọ fun ọ nipa Prometheus. Eyi jẹ eto ibojuwo ti o gba awọn metiriki lati awọn ibi-afẹde kan pato ati fi wọn pamọ si ibi ipamọ agbegbe. Prometheus le ṣe igbasilẹ awọn metiriki si ibi ipamọ latọna jijin ati pe o le ṣe awọn titaniji ati awọn ofin gbigbasilẹ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Awọn idiwọn Prometheus:

  • Ko ni wiwo ibeere agbaye. Eyi jẹ nigbati o ni ọpọlọpọ awọn igba ominira ti prometheus. Wọn gba awọn metiriki. Ati pe o fẹ lati beere lori gbogbo awọn metiriki wọnyi ti a gba lati oriṣiriṣi awọn iṣẹlẹ prometheus. Prometheus ko gba eyi laaye.
  • Pẹlu prometheus, iṣẹ ṣiṣe ni opin si olupin kan ṣoṣo. Prometheus kii ṣe iwọn laifọwọyi kọja awọn olupin pupọ. O le nikan pin awọn ibi-afẹde rẹ pẹlu ọwọ laarin ọpọlọpọ Prometheus.
  • Iwọn ti awọn metiriki ni Prometheus ni opin si olupin kan fun idi kanna ti ko le ṣe iwọn laifọwọyi kọja awọn olupin lọpọlọpọ.
  • Ko rọrun pupọ lati ṣeto aabo data ni Prometheus.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Awọn ojutu si awọn iṣoro / awọn italaya wọnyi?

Awọn idahun ni:

Gbogbo awọn solusan wọnyi wa fun ibi ipamọ latọna jijin ti data ti a gba nipasẹ Prometheus. Wọn yanju iṣoro ibi ipamọ latọna jijin lati ifaworanhan ti tẹlẹ ni awọn ọna oriṣiriṣi. Ninu igbejade yii Emi yoo sọrọ nikan nipa awọn ojutu meji akọkọ: Thanos и VictoriaMetrics.

Fun igba akọkọ alaye nipa Thanos han nipa ọna asopọ yii. Awọn faaji ti wa ni apejuwe nibẹ Thanos ati bi o ti ṣiṣẹ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos gba data ti Prometheus ti o fipamọ si disiki agbegbe ati daakọ si S3, si GCS tabi si ipamọ ohun miiran.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Nitorinaa Thanos n pese wiwo ibeere agbaye kan. O le beere data ti o fipamọ sinu ibi ipamọ ohun lati awọn iṣẹlẹ Prometheus pupọ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos ṣe atilẹyin PromQL ati API Ìbéèrè Prometheus.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos nlo koodu Prometheus lati tọju data.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos jẹ idagbasoke nipasẹ awọn olupilẹṣẹ kanna bi Prometheus.

on VictoriaMetrics... Nibi ọna asopọ, ibi ti a ti akọkọ ti sọrọ nipa VictoriaMetrics.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics gba data lati ọpọlọpọ awọn prometheus latọna kikọ API Ilana atilẹyin nipasẹ Prometheus.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics n pese wiwo ibeere agbaye, nitori ọpọlọpọ awọn iṣẹlẹ Prometheus le kọ data si VictoriaMetrics kan. Nitorinaa, o le ṣe awọn ibeere lori gbogbo data yii.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics tun ṣe atilẹyin, bii Thanos, PromQL ati Prometheus querying API.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ko dabi Thanos, koodu orisun VictoriaMetrics ti kọ lati ibere ati pe o jẹ iṣapeye fun iyara ati agbara awọn orisun.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics, ko dabi Thanos, awọn iwọn mejeeji ni inaro ati petele. Jeun Nikan-ipade version, eyiti o ṣe iwọn ni inaro. O le bẹrẹ pẹlu ero isise kan ati 1 GB ti iranti ati diėdiė dagba si awọn ọgọọgọrun ti awọn ilana ati 1 TB ti iranti. VictoriaMetrics le lo gbogbo awọn orisun wọnyi. Iṣe rẹ yoo pọ si nipa awọn akoko 100 ni akawe si eto 1-mojuto.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Itan-akọọlẹ ti Thanos bẹrẹ ni Oṣu kọkanla ọdun 2017, nigbati adehun gbangba akọkọ han. Ṣaaju eyi, Thanos ti ni idagbasoke ni inu ko ṣeeṣe.io.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ni Oṣu Karun ọdun 2019 itusilẹ ala-ilẹ kan wa 0.5.0, ninu eyiti kuro olofofo Ilana. O ti yọ kuro lati Thanos nitori ko ṣe daradara. Nigbagbogbo iṣupọ Thanos ko ṣiṣẹ bi o ti tọ, awọn apa ti o sopọ mọ rẹ ni aṣiṣe nitori ilana olofofo naa. Nítorí náà, a pinnu láti mú un kúrò níbẹ̀. Mo ro pe eyi ni ipinnu ti o tọ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ni Oṣu Karun ọdun 2019 kanna, wọn firanṣẹ nọmba ohun elo 256 в Awọsanma Native Computing Foundation.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ati lẹhin osu meji kan Thanos gba sinu Awọsanma Native Computing Foundation, eyiti o pẹlu Prometheus, Kubernetes ati awọn iṣẹ akanṣe olokiki miiran.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ni Oṣu Kini ọdun 2018, idagbasoke ti VictoriaMetrics bẹrẹ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ni Oṣu Kẹsan ọdun 2018, Mo mẹnuba VictoriaMetrics ni gbangba fun igba akọkọ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ni Oṣu Kejila ọdun 2018, a ṣe atẹjade ẹya kan-node kan.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ni Oṣu Kẹwa 2019 won atejade awọn orisun ti awọn mejeeji Nikan-ipade ati awọn ẹya iṣupọ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ni Oṣu Karun ọdun 2019, gẹgẹ bi Thanos, a fi ohun elo kan silẹ si ipilẹ CNCF labẹ nọmba 255. A lo ọjọ kan ṣaaju lilo Thanos.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ṣugbọn, laanu, a ko ti gba wa nibẹ. Iranlọwọ agbegbe nilo.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Jẹ ki a wo awọn ifaworanhan pataki julọ ti o nfihan faaji ti Thanos ati VictoriaMetrics.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Jẹ ká bẹrẹ pẹlu Thanos. Awọn paati ofeefee jẹ awọn paati Prometheus. Ohun gbogbo miiran jẹ awọn paati Thanos. Jẹ ká bẹrẹ pẹlu awọn julọ pataki paati. Thanos Sidecar jẹ paati ti o fi sii lẹgbẹẹ gbogbo Prometheus. O gbe data Prometheus lati ibi ipamọ agbegbe sinu S3 tabi Ibi ipamọ Nkan miiran.

Apakan kan tun wa ti a pe ni Thanos Store Gateway, eyiti o le ka data yii lati Ibi ipamọ Nkan lori awọn ibeere ti nwọle lati ibeere Thanos. Ibeere Thanos ṣe imuse PromQL ati Prometheus API. Iyẹn ni, lati ita o dabi Prometheus. Ngba awọn ibeere PromQL, firanṣẹ si Thanos Store Gateway, Thanos Store Gateway gba data pataki lati Ibi ipamọ Nkan, firanṣẹ pada.

Ṣugbọn a tọju data ni Ibi ipamọ Nkan laisi awọn wakati meji to kẹhin nitori ẹya kan ti imuse Thanos Sidecar, eyiti ko le gbe awọn wakati meji to kọja si Ibi ipamọ Nkan S3, nitori Prometheus ko ti ṣẹda awọn faili fun awọn wakati meji wọnyi ni ibi ipamọ agbegbe.

Bawo ni o ṣe pinnu lati wa ni ayika yii? Query Thanos, ni afikun si awọn ibeere si ẹnu-ọna Itaja Thanos, firanṣẹ awọn ibeere ti o jọra si Thanos Sidecar kọọkan, eyiti o wa lẹgbẹẹ Prometheus.

Ati Thanos Sidecar, ni ọna, awọn ibeere proxies siwaju si Prometheus, ati gba data fun awọn wakati meji to kọja.

Ni afikun si awọn paati wọnyi, paati aṣayan tun wa laisi eyiti Thanos kii yoo ṣe daradara. Eyi ni Thanos Compact, eyiti o jẹ iduro fun idapọ awọn faili kekere lori Ibi ipamọ Nkan sinu awọn faili nla ti o gbejade nibi nipasẹ Thanos Sidecars. Thanos Sidecar gbejade awọn faili data nibẹ ni wakati meji. Awọn faili wọnyi, ti wọn ko ba dapọ si awọn faili nla, lẹhinna nọmba wọn le dagba pupọ ni pataki. Awọn iru awọn faili diẹ sii, diẹ sii iranti nilo fun Thanos Store Gateway, awọn ohun elo diẹ sii ni a nilo lati gbe data lori nẹtiwọki, metadata. Thanos Store Gateway di doko. Nitorinaa, o jẹ dandan lati ṣiṣẹ Thanos Compact, eyiti o dapọ mọ awọn faili kekere sinu awọn ti o tobi, nitorinaa iru awọn faili bẹẹ kere si ati lati dinku oke lori ẹnu-ọna Itaja Thanos.

Iru paati tun wa bi Thanos Ruler. O ṣe awọn ofin titaniji Prometheus ati pe o le ṣe iṣiro awọn ofin gbigbasilẹ Prometheus lati le kọ data pada si Ibi ipamọ Nkan. Ṣugbọn paati yii ko ṣe iṣeduro lati lo, nitori… Oun duro lati da data ti ko pe pada.

Eyi ni ero ti o rọrun ti Thanos.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Bayi jẹ ki a ṣe afiwe rẹ pẹlu ero VictoriaMetrics.

VictoriaMetrics ni awọn ẹya 2: Ẹyọ-ode ati ẹya iṣupọ. Nikan-ipade nṣiṣẹ lori ọkan kọmputa. Ipin-ikankan ko ni awọn paati wọnyi, alakomeji kan. Alakomeji yii lori ifaworanhan dabi onigun mẹrin yii. Ohun gbogbo ti o wa ninu awọn square ni awọn akoonu ti awọn alakomeji faili fun awọn Nikan-node version. O ko nilo lati mọ nipa rẹ. O kan ṣiṣe alakomeji ati pe ohun gbogbo ṣiṣẹ fun wa.

Ẹya iṣupọ jẹ idiju diẹ sii. Ninu rẹ nibẹ ni o wa meta o yatọ si irinše: vmselect, vminsert ati vmstorage. Lati orukọ wọn o yẹ ki o ṣe kedere ohun ti ọkọọkan wọn ṣe. Awọn paati Fi sii gba data ni awọn ọna kika oriṣiriṣi: lati Prometheus latọna jijin API, Ilana laini Influx, Ilana Graphite ati Ilana OpenTSDB. Awọn paati Fi sii gba wọn, ṣe itupalẹ wọn ati pin wọn laarin awọn paati ibi ipamọ to wa, nibiti data ti wa ni ipamọ tẹlẹ. Awọn paati Yan, ni ọna, gba awọn ibeere PromQL. O ṣe ohun elo PromQL, bakanna bi Prometheus querying API, ati pe o le ṣee lo bi rirọpo fun Prometheus ni Grafana tabi awọn onibara Prometheus API miiran. Yan gba ibeere promql kan, ṣe itupalẹ rẹ, ka data pataki fun ṣiṣe ibeere yii lati awọn apa ibi ipamọ, ṣiṣe data yii ati da esi pada.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Jẹ ki a ṣe afiwe idiju ti fifi Thanos ati VictoriaMetrics sori ẹrọ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Jẹ ká bẹrẹ pẹlu Thanos. Ṣaaju ki o to bẹrẹ ṣiṣẹ pẹlu Thanos, o nilo lati ṣẹda garawa kan ni Ibi ipamọ Nkan, gẹgẹbi S3 tabi GCS, ki Thanos Sidecar le kọ data si.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Lẹhinna fun Prometheus kọọkan o nilo lati fi sori ẹrọ Thanos Sidecar. Ṣaaju eyi, o nilo lati ranti lati mu iṣiṣẹpọ data kuro ni Prometheus. Iwapọ data lorekore n rọ data ni ibi ipamọ Prometheus agbegbe lati le dinku agbara awọn orisun.

Nigbati o ba fi sori ẹrọ Thanos Sidecar lori Prometheus rẹ, o gbọdọ mu iṣiṣẹpọ data yii kuro nitori Thanos Sidecar ko ṣiṣẹ daradara pẹlu imuṣiṣẹpọ data. Eyi tumọ si pe Prometheus rẹ bẹrẹ fifipamọ data ni awọn bulọọki wakati meji ati da duro lati dapọ awọn bulọọki wọnyẹn si awọn ti o tobi julọ. Nitorinaa, ti o ba ṣe awọn ibeere ti o kọja iye akoko ti awọn wakati meji to kọja, lẹhinna wọn kii yoo ṣiṣẹ daradara bi wọn ṣe le ṣiṣẹ ti o ba mu iṣiṣẹpọ data ṣiṣẹ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Nitorinaa, Thanos ṣe iṣeduro idinku akoko idaduro data ni ibi ipamọ agbegbe si awọn wakati 6-8 lati dinku oke ti nọmba nla ti awọn bulọọki kekere.

Ni kete ti o ba ti fi sori ẹrọ Thanos Sidecar, o gbọdọ fi awọn paati meji sori ẹrọ fun garawa Ibi ipamọ Nkan kọọkan. Iwọnyi jẹ Thanos Compactor ati Thanos Store Gateway.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Lẹhin iyẹn, o nilo lati fi sori ẹrọ ibeere Thanos ki o tunto rẹ ki o le sopọ si gbogbo awọn ẹnu-ọna Itaja Thanos ti o ni, ati pe o tun le sopọ si gbogbo Thanos Sidecars.

Iṣoro diẹ le wa nibi.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

O nilo lati tunto asopọ igbẹkẹle ati aabo lati ibeere Thanos si awọn paati wọnyi. Ati pe ti Prometheus rẹ ba wa ni awọn ile-iṣẹ data ọtọtọ, tabi ni awọn VPC oriṣiriṣi, lẹhinna awọn asopọ si wọn lati ita ti ni idinamọ. Ṣugbọn fun ibeere Thanos lati ṣiṣẹ, o nilo lati tunto asopọ sibẹ, ati pe o ni lati wa ọna kan.

Ti o ba ni ọpọlọpọ iru awọn ile-iṣẹ data, lẹhinna, ni ibamu, igbẹkẹle gbogbo eto naa dinku. Niwọn igba ti ibeere Thanos gbọdọ ṣetọju awọn asopọ nigbagbogbo si gbogbo Thanos Sidecars ti o wa ni awọn ile-iṣẹ data oriṣiriṣi. Fun gbogbo ibeere ti nwọle, yoo ṣe itọsọna awọn ibeere si gbogbo Thanos Sidecars. Ti asopọ ba wa ni idilọwọ, iwọ yoo gba eto data ti ko pe, tabi iwọ yoo gba idahun “iṣupọ ti wa ni isalẹ”.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ni VictoriaMetrics ohun gbogbo rọrun diẹ. Fun ẹya Nikan-node, o kan nilo lati ṣiṣẹ alakomeji kan ati pe ohun gbogbo n ṣiṣẹ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ninu ẹya iṣupọ, o to lati ṣiṣẹ gbogbo awọn iru awọn paati mẹta ti o wa loke ni iwọn eyikeyi ti o nilo, tabi lo helm chart lati ṣe adaṣe ifilọlẹ awọn paati ni Kubernetes. A tun ngbero lati ṣe oniṣẹ Kubernetes kan. Aworan Helm ko bo diẹ ninu awọn ọran ati pe o jẹ ki o ta ara rẹ ni ẹsẹ. Fun apẹẹrẹ, o faye gba o lati din awọn nọmba ti ipamọ apa, eyi ti yoo ja si data pipadanu.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Lẹhin ti o ti ṣe ifilọlẹ alakomeji kan tabi ẹya akojọpọ, o kan nilo lati ṣafikun Prometheus si atunto eto fun url kikọ latọna jijinki o bẹrẹ kikọ data ni afiwe si ibi ipamọ agbegbe ati ibi ipamọ latọna jijin. Bii o ti le rii, iṣeto yii yẹ ki o ṣe pupọ diẹ sii ni igbẹkẹle akawe si iṣeto Thanos. A ko nilo lati ṣetọju asopọ lati VictoriaMetrics si gbogbo Prometheus, nitori Prometheus funrara wọn sopọ si VictoriaMetrics ati gbejade data.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Jẹ ki a gbero atilẹyin ti Thanos ati VictoriaMetrics.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos nilo lati ṣe atẹle Sidecar lati rii daju pe wọn ko dẹkun ikojọpọ data sinu Ibi ipamọ Nkan. Wọn le da igbasilẹ data yii duro nitori awọn aṣiṣe igbasilẹ, fun apẹẹrẹ asopọ nẹtiwọki rẹ si Ibi ipamọ Nkan ti wa ni idilọwọ fun igba diẹ, tabi Ibi ipamọ Nkan ko si fun igba diẹ. Thanos Sidecar yoo ṣe akiyesi eyi ni akoko yii, jabo aṣiṣe kan, le jamba lẹhinna da iṣẹ duro. Ti o ko ba ṣe atẹle rẹ, lẹhinna o yoo da gbigbe data duro si Ibi ipamọ Nkan. Ti akoko idaduro ba kọja (awọn wakati 6-8 niyanju), lẹhinna o padanu data ti ko pari ni Ibi ipamọ Nkan.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos compactors le da ṣiṣẹ nitori meya pẹlu Sidecar. Compactors gba data lati Ibi ipamọ Nkan ki o si dapọ si awọn ege data nla. Niwọn igba ti awọn compactors ko ṣiṣẹpọ pẹlu Sidecars, eyi le ṣẹlẹ: Sidecar ko tii ni akoko lati pari bulọọki naa, Compactor pinnu pe a ti kọ bulọki yii patapata. Compactor bẹrẹ kika rẹ. Ko ka bulọọki naa ni kikun o duro ṣiṣẹ. Wo alaye nibi.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Itaja Gateway le da data aisedede pada nitori awọn ere-ije laarin Compactor ati Sidecars. O jẹ ohun kanna ni ibi, nitori Ile-iṣọ Itaja ko ni muuṣiṣẹpọ pẹlu Compactors ati Sidecars ni eyikeyi ọna. Nípa bẹ́ẹ̀, àwọn ipò eré lè wáyé nígbà tí Ẹnubodè Ìtajà kò bá rí apá kan dátà náà tàbí rí dátà tí kò pọn dandan.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ẹya ibeere ni Thanos nipasẹ aiyipada da abajade apa kan pada ti diẹ ninu Awọn ọkọ ayọkẹlẹ tabi Awọn ẹnu-ọna Itaja ko si ni akoko yii. Iwọ yoo gba apakan ti data naa, ati pe iwọ kii yoo paapaa mọ pe iwọ ko gba gbogbo data naa. Eyi ni bii o ṣe n ṣiṣẹ nipasẹ aiyipada. Ni iru ipo kan, VictoriaMetrics da data ti o samisi pada gẹgẹbi apakan.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ko dabi Thanos, VictoriaMetrics ṣọwọn padanu data. Paapaa ti asopọ lati Prometheus si VictoriaMetrics ti wa ni idilọwọ, eyi kii ṣe iṣoro, niwon Prometheus tẹsiwaju lati ṣe igbasilẹ data titun ti nwọle ni Kọ Iwaju Wọle, iwọn eyiti o jẹ wakati 2. Ti o ba mu asopọ rẹ pada si VictoriaMetrics laarin wakati meji, data rẹ kii yoo padanu. Prometheus le ṣafikun data lẹhin mimu-pada sipo asopọ si VictoriaMetrics.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ko dabi Thanos, eyiti o kọ data si ibi ipamọ ohun nikan lẹhin awọn wakati meji, Prometheus ṣe atunṣe data laifọwọyi nipa lilo ilana kikọ latọna jijin si ibi ipamọ latọna jijin, gẹgẹbi VictoriaMetrics. O ko bẹru ti sisọnu ibi ipamọ agbegbe ni Prometheus. Ti o ba padanu ibi ipamọ agbegbe lojiji, lẹhinna ninu ọran ti o buru julọ iwọ yoo padanu awọn iṣẹju-aaya ti o kẹhin ti data ti ko ni akoko lati gba silẹ ni ipamọ latọna jijin.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Kubernetes n ṣakoso iṣupọ laifọwọyi, ko dabi Thanos. O nira lati gbe gbogbo awọn paati Thanos sinu iṣupọ Kubernetes kan, ko dabi awọn paati iṣupọ VictoriaMetrics.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics ni imudojuiwọn ti o rọrun pupọ si ẹya tuntun. Kan da VictoriaMetrics duro, ṣe imudojuiwọn awọn alakomeji ki o ṣe ifilọlẹ. Nigbati o ba da duro nipasẹ ifihan SIGINT kan, gbogbo awọn alakomeji VictoriaMetrics ṣe titiipa oore-ọfẹ. Wọn fipamọ data to ṣe pataki, sunmọ awọn asopọ ti nwọle ni deede ki o má ba padanu ohunkohun. Nitorinaa iwọ kii yoo padanu ohunkohun nigba igbegasoke.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics jẹ ki o rọrun pupọ lati faagun iṣupọ kan. Kan ṣafikun awọn paati pataki ki o tẹsiwaju ṣiṣẹ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Nipa awọn pitfalls ni Thanos ati VictoriaMetrics.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos ni o ni awọn wọnyi pitfalls. Prometheus gbọdọ tọju data fun awọn wakati meji to kọja. Ti wọn ba sọnu, iwọ yoo padanu wọn patapata nitori wọn ko tii kọ si Ibi ipamọ Nkan bi S3.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Awọn paati Ẹnubodè itaja ati paati compactor le nilo iranti pupọ lati ṣiṣẹ pẹlu Ibi ipamọ Nkan nla ti ọpọlọpọ awọn faili kekere ti o fipamọ sibẹ. Ti o tobi nọmba ati iwọn ti awọn faili, awọn diẹ Store Gateway ati compactor Ramu ti wa ni ti a beere lati fi metainformation. Thanos ni ọpọlọpọ awọn ọran nipa otitọ pe Itaja Ẹnubodè ati jamba compactor pẹlu apapọ iwọn didun ti o ti gbasilẹ data.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos ti wa ni ipolowo si iwọn ailopin pẹlu iye Prometheus ti o ni. Eleyi jẹ kosi ko otitọ. Niwọn igba ti gbogbo awọn ibeere lọ nipasẹ paati Ibeere, eyiti o gbọdọ ṣe ibo gbogbo awọn paati Ẹnubodè itaja nigbakanna ati gbogbo awọn paati Sidecar, fa data lati ibẹ lẹhinna ṣaju rẹ. O han ni, iyara ibeere naa ni opin nipasẹ ọna asopọ alailagbara ti o lọra, Ẹnu-ọna itaja ti o lọra tabi Sidecar ti o lọra.

Awọn paati wọnyi le jẹ ti kojọpọ. Fun apẹẹrẹ, o ni Prometheus, eyiti o gba awọn miliọnu awọn metiriki fun iṣẹju kan. Ati pe Prometheus wa, eyiti o gba ẹgbẹẹgbẹrun awọn metiriki fun iṣẹju kan. Prometheus, eyiti o gba awọn miliọnu awọn metiriki fun iṣẹju keji, fi ẹru ti o ga julọ sori olupin ti o nṣiṣẹ lori. Gegebi bi, Sidecar ṣiṣẹ losokepupo nibẹ. Ati ni gbogbogbo ohun gbogbo ṣiṣẹ laiyara nibẹ. Ati pe paati ibeere yoo fa data lati ibẹ lọra pupọ. Nitorinaa, iṣẹ ti gbogbo iṣupọ rẹ yoo ni opin nipasẹ Sidecar lọra yii.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Nipa aiyipada, Thanos fun data apakan ti diẹ ninu awọn Sidecars ati boya Ẹnu-ọna Ile itaja ko si. Fun apẹẹrẹ, ti Awọn ọkọ ayọkẹlẹ rẹ ba tuka kakiri agbaye ni awọn ile-iṣẹ data oriṣiriṣi, lẹhinna o ṣeeṣe ti ikuna asopọ ati wiwa paati pọ si pupọ. Nitorinaa, ni ọpọlọpọ awọn ọran iwọ yoo gba data apakan laisi paapaa mọ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics tun ni awọn ipalara. Ipilẹ akọkọ jẹ aṣayan ti o ṣe opin iye Ramu ti a lo fun kaṣe VictoriaMetrics. Nipa aiyipada, o dọgba si 60% ti Ramu lori ẹrọ nibiti VictoriaMetrics nṣiṣẹ tabi 60% ti Ramu ti VictoriaMetrics pod ni Kubernetes.

Ti o ba yi iye yii pada lọna ti ko tọ, o le ba iṣẹ ṣiṣe ti VictoriaMetrics jẹ. Fun apẹẹrẹ, ti o ba ṣeto iye ti o kere ju, data le ma wọ inu kaṣe VictoriaMetrics mọ. Nitori eyi, yoo ni lati ṣe afikun iṣẹ ati fifuye ero isise ati disk. Ti o ba jẹ ki aṣayan yii tobi ju, o pọ si, ni akọkọ, o ṣeeṣe pe VictoriaMetrics yoo kọlu pẹlu aṣiṣe iranti, ati pe, keji, yoo yorisi otitọ pe Ramu kekere yoo wa ninu iranti ẹrọ iṣẹ fun. kaṣe faili. Ati VictoriaMetrics gbarale kaṣe faili kan fun iṣẹ ṣiṣe. Ti ko ba to, fifuye lori disiki le pọ si pupọ. Nitorinaa, imọran: maṣe yi paramita pada ayafi ti o jẹ dandan.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Aṣayan keji. Eyi jẹ akoko idaduro - akoko ti o ṣeto si oṣu 1 nipasẹ aiyipada. Eyi ni gigun akoko ti VictoriaMetrics tọju data. Lẹhin asiko yii, VictoriaMetrics npa data naa.

Ọpọlọpọ eniyan nṣiṣẹ VictoriaMetrics laisi paramita yii ati ṣe igbasilẹ data fun oṣu kan. Ati lẹhinna wọn beere: kilode ti data fun oṣu ti o kọja ti sọnu? Nitoripe akoko idaduro aiyipada jẹ oṣu 1. Nitorinaa, o nilo lati mọ ati ṣeto Akoko idaduro to tọ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Jẹ ki a wo awọn ẹya alailẹgbẹ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos ni ẹya kan ti a npe ni downsampling: 5-iseju ati wakati aarin, eyi ti igba ko ṣiṣẹ daradara. Ti o ba google ati ki o wo ọrọ wọn lori github, ọpọlọpọ awọn ọran wa ti o ni ibatan si idinku yii, pe nigbakan ko ṣiṣẹ ni deede, tabi ko ṣiṣẹ bi awọn olumulo ṣe nireti.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos ni iyọkuro data fun awọn orisii Prometheus HA. Nigbati Prometheus meji gba awọn metiriki kanna lati awọn ibi-afẹde kanna ati Thanos tọju wọn ni Ibi ipamọ Nkan. Thanos le daakọ data yii daradara, ko dabi VictoriaMetrics.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos ni paati itaniji ti o wa ninu sikematiki Thanos. Sugbon oun ko ṣe iṣeduro fun lilo ninu iṣelọpọ.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos ni anfani ti Thanos ati Prometheus pin koodu kanna. Thanos ati Prometheus jẹ idagbasoke nipasẹ awọn olupilẹṣẹ kanna. Pẹlu awọn ilọsiwaju si Thanos tabi Prometheus, ẹgbẹ keji bori.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ẹya akọkọ ti VictoriaMetrics jẹ MetricsQL. Iwọnyi jẹ awọn amugbooro VictoriaMetrics fun PromQL, eyiti Mo ti sọrọ nipa ni ipade ibojuwo nla ti iṣaaju.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics ṣe atilẹyin ikojọpọ data nipa lilo ọpọlọpọ awọn ilana. VictoriaMetrics ko le gba data nikan lati Prometheus, ṣugbọn tun nipasẹ Influx, OpenTSDB ati awọn ilana Graphite.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Awọn data VictoriaMetrics gba aaye ti o kere pupọ ni akawe si Thanos ati Prometheus.

Ti o ba gbasilẹ data gidi, awọn olumulo sọrọ nipa idinku awọn akoko 2-5 ni iwọn data lori disiki ni akawe si Prometheus ati Thanos.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Anfani miiran ti VictoriaMetrics ni pe o jẹ iṣapeye fun iyara.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Jẹ ká wo ni iye owo ti amayederun.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Ọkan ninu awọn anfani ti Thanos ni pe o tọju data ni ibi ipamọ ohun, eyiti o jẹ olowo poku.

Nigbati o ba tọju data ni ibi ipamọ ohun, o gbọdọ sanwo fun kikọ data ati awọn iṣẹ kika ($ 10 fun awọn iṣẹ miliọnu kan). Nigbati o ba kọ data si ibi ipamọ ohun, o san awọn idiyele gbigbalejo rẹ fun ikojọpọ data si Intanẹẹti; ti iṣupọ rẹ ko ba si ni AWS, o jẹ ọfẹ nibẹ. Nigbati o ba ka data, o sanwo laarin $10 ati $230 fun 1TB. Eyi le ṣe pataki ti o ba beere nigbagbogbo data itan lati inu iṣupọ Thanos.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Fun iṣupọ Thanos kan, o nilo lati sanwo fun awọn olupin fun Iwapọ, Ẹnu-ọna Itaja, Awọn paati ibeere ti o nilo iranti pupọ, ati Sipiyu fun awọn oye nla ti data.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics ni awọn inawo wọnyi. Ti o ba tọju data sori awọn awakọ GCE HDD, lẹhinna o wa si $40 fun 1TB. Fun VictoriaMetrics, awọn awakọ HDD lasan to; ko si awọn SSDs, eyiti o jẹ idiyele ni igba marun diẹ sii, nilo. VictoriaMetrics jẹ iṣapeye fun HDD.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics nilo awọn olupin fun awọn paati: boya Nikan-nod tabi awọn paati iṣupọ, eyiti, ko dabi awọn paati Thanos, nilo Sipiyu kere pupọ ati Ramu - ati pe yoo din owo ni ibamu.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Awọn apẹẹrẹ ti imuse.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Thanos ni apẹẹrẹ imuse ni Gitlab. Gitlab nṣiṣẹ patapata lori Thanos. Sugbon ko ohun gbogbo ni ki dan nibẹ. Ti o ba wo wọn oran, lẹhinna o le rii pe wọn nigbagbogbo ni diẹ ninu awọn iṣoro iṣẹ pẹlu Thanos: Ko si iranti ti o to fun Ẹnu-ọna itaja tabi awọn paati ibeere. Wọn nigbagbogbo ni lati mu iye iranti pọ si.

Nitori eyi, awọn idiyele ti yanju awọn iṣoro wọnyi pọ si.

Awọn imuse keji, eyiti o le jẹ aṣeyọri diẹ sii, jẹ ile-iṣẹ Improbable, eyiti o bẹrẹ idagbasoke Thanos. Wọn ṣe atẹjade koodu orisun Thanos. Improbable ni a ile ti o ndagba game enjini.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

VictoriaMetrics ni awọn apẹẹrẹ imuse ti gbogbo eniyan:

  • wix.com aaye ayelujara Akole
  • Adidas n ṣe imuse VictoriaMetrics ati paapaa ṣe igbejade ni PromCon 2019 to kẹhin
  • TrafficStars - ad nẹtiwọki
  • Seznam.cz jẹ ẹrọ wiwa Czech ti o gbajumọ.

Ati lẹhinna ko si awọn ile-iṣẹ orukọ ti Emi ko le lorukọ ni bayi. Wọn ko gba.

  • Ọkan pataki game developer. Ti o tobi ju im Improbable.
  • Major eya software developer.
  • Ile-ifowopamọ Russia nla.
  • Olupese turbine afẹfẹ ti Yuroopu ti o ti ṣe idanwo VictoriaMetrics ni aṣeyọri. Olupese yii n ṣe imuse VictoriaMetrics lati ṣe atẹle data ti a gba lati awọn turbines afẹfẹ ni iwọn awọn ayẹwo 50 fun iṣẹju kan fun sensọ. Tobaini afẹfẹ kọọkan ni ọpọlọpọ awọn sensọ ọgọrun. Wọn ni ọpọlọpọ awọn turbines afẹfẹ.
  • Awọn ọkọ ofurufu Russia ti o fẹ lati ṣe VictoriaMetrics, ṣugbọn ko tun le. A wa ni ipele adehun pẹlu wọn.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetricsAwọn ipinnu.

VictoriaMetrics ati Thanos yanju awọn iṣoro kanna, ṣugbọn ni awọn ọna oriṣiriṣi:

  • Wiwo ibeere agbaye
  • petele igbelosoke
  • lainidii idaduro

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

O ṣeun.

A n duro de ọ ni wa ikanni telegram.

Yiyan ibi ipamọ data fun Prometheus: Thanos vs VictoriaMetrics

Awọn olumulo ti o forukọsilẹ nikan le kopa ninu iwadi naa. wọle, Jowo.

Kini o lo bi ipamọ igba pipẹ fun Prometheus?

  • 35,3%Thanos6

  • 0,0%0

  • 0,0%M3DB0

  • 41,2%VictoriaMetrics7

  • 23,5%omiran4

17 olumulo dibo. 16 olumulo abstained.

orisun: www.habr.com

Ra alejo gbigba igbẹkẹle fun awọn aaye pẹlu aabo DDoS, awọn olupin VPS VDS 🔥 Ra gbigbalejo oju opo wẹẹbu ti o gbẹkẹle pẹlu aabo DDoS, awọn olupin VPS VDS | ProHoster