A’ taghadh stòr dàta airson Prometheus: Thanos vs VictoriaMetrics

Hi uile. Gu h-ìosal tha an tar-sgrìobhadh aithisg bho Big Monitoring Meetup 4.

Prometheus - siostam sgrùdaidh airson diofar shiostaman agus sheirbheisean, le cuideachadh bhon urrainn do luchd-rianachd shiostaman fiosrachadh a chruinneachadh mu chrìochan gnàthach nan siostaman agus rabhaidhean a chuir air dòigh gus fios fhaighinn mu chlaonadh ann an obrachadh shiostaman.

Bidh coimeas anns an aithisg Thanos и VictoriaMetrics - pròiseactan airson stòradh fad-ùine de mheatairean Prometheus.

An toiseach, innsidh mi dhut mu Prometheus. Is e siostam sgrùdaidh a tha seo a bhios a’ tional meatrach bho thargaidean sònraichte agus gan sàbhaladh gu stòradh ionadail. Faodaidh Prometheus metrics a chlàradh gu stòradh aig astar agus faodaidh e rabhaidhean agus riaghailtean clàraidh a ghineadh.

Crìochan Prometheus:

• Chan eil sealladh ceist cruinne aige. Seo nuair a tha grunn eisimpleirean neo-eisimeileach de prometheus agad. Bidh iad a 'cruinneachadh metrics. Agus tha thu airson ceasnachadh a bharrachd air na meatrach sin uile a chaidh a chruinneachadh bho dhiofar shuidheachaidhean prometheus. Chan eil Prometheus a 'ceadachadh seo.
• Le prometheus, tha coileanadh air a chuingealachadh ri dìreach aon fhrithealaiche. Cha bhith Prometheus a’ sgèile gu fèin-ghluasadach thairis air grunn luchd-frithealaidh. Chan urrainn dhut ach na targaidean agad a roinn le làimh eadar ioma Prometheus.
• Tha farsaingeachd metrics ann am Prometheus air a chuingealachadh ri dìreach aon fhrithealaiche airson an aon adhbhar nach urrainn dha sgèileadh gu fèin-ghluasadach thairis air grunn luchd-frithealaidh.
• Chan eil e cho furasta sàbhailteachd dàta a chuir air dòigh ann am Prometheus.

Fuasglaidhean dha na duilgheadasan/dùbhlain sin?

Is iad na fuasglaidhean:

• Thanos
• VictoriaMetrics
• Uber M3
• Cortex

Tha na fuasglaidhean sin uile airson stòradh dàta a chruinnich Prometheus aig astar. Bidh iad a 'fuasgladh na duilgheadas stòraidh iomallach bhon t-sleamhnag roimhe ann an diofar dhòighean. Anns an taisbeanadh seo cha bhith mi a’ bruidhinn ach air a’ chiad dà fhuasgladh: Thanos и VictoriaMetrics.

Airson a 'chiad uair fiosrachadh mu dheidhinn Thanos nochd le an ceangal seo. Tha an ailtireachd air a mhìneachadh an sin Thanos agus mar a tha e ag obair.

Bidh Thanos a’ toirt an dàta a shàbhail Prometheus chun diosc ionadail agus ga chopaigeadh gu S3, gu GCS no gu stòradh stuth eile.

Mar sin tha Thanos a’ toirt seachad sealladh ceist cruinneil. Faodaidh tu ceasnachadh a dhèanamh air dàta a tha air a stòradh ann an stòradh stuthan bho iomadh suidheachadh Prometheus.

Tha Thanos a’ toirt taic do PromQL agus Prometheus a’ ceasnachadh API.

Bidh Thanos a’ cleachdadh còd Prometheus gus dàta a stòradh.

Tha Thanos air a leasachadh leis na h-aon luchd-leasachaidh ri Prometheus.

air a ' VictoriaMetrics. An seo ceangal, far an do labhair sinn an toiseach VictoriaMetrics.

Bidh VictoriaMetrics a 'faighinn dàta bho ghrunn prometheus API sgrìobhadh iomallach protocol le taic bho Prometheus.

Tha VictoriaMetrics a’ toirt seachad sealladh ceist cruinneil, leis gum faod grunn eisimpleirean Prometheus dàta a sgrìobhadh gu aon VictoriaMetrics. Mar sin, faodaidh tu ceistean a chuir air an dàta seo gu lèir.

Bidh VictoriaMetrics cuideachd a’ toirt taic do, leithid Thanos, PromQL agus Prometheus a’ ceasnachadh API.

Eu-coltach ri Thanos, tha còd stòr VictoriaMetrics air a sgrìobhadh bhon fhìor thoiseach agus air a bharrrachadh airson astar agus caitheamh ghoireasan.

Bidh VictoriaMetrics, eu-coltach ri Thanos, a ’sgèileadh gu dìreach agus gu còmhnard. Ith Tionndadh aon-node, a tha a 'sgèile gu dìreach. Faodaidh tu tòiseachadh le aon phròiseasar agus 1 GB de chuimhne agus mean air mhean fàs gu ceudan de phròiseasan agus 1 TB de chuimhne. Faodaidh VictoriaMetrics na goireasan sin uile a chleachdadh. Meudaichidh an coileanadh aige timcheall air 100 uair an taca ri siostam 1-cridhe.

Thòisich eachdraidh Thanos san t-Samhain 2017, nuair a nochd a’ chiad ghealladh poblach. Roimhe seo, chaidh Thanos a leasachadh taobh a-staigh do-chreidsinneach.io.

Anns an Ògmhios 2019 bha foillseachadh sònraichte 0.5.0, anns an robh air a thoirt air falbh gossip pròtacal. Chaidh a thoirt a-mach à Thanos leis nach do rinn e gu math. Gu tric cha robh cruinneachadh Thanos ag obair gu ceart, nodan ceangailte ris gu ceàrr mar thoradh air a’ phròtacal gossip. Mar sin, chuir sinn romhainn a thoirt air falbh às an sin. Tha mi a’ smaoineachadh gur e seo an co-dhùnadh ceart.

Anns an aon Ògmhios 2019, chuir iad àireamh tagraidh 256 в Bunait Coimpiutaireachd Dùthchasach Cloud.

Agus às deidh beagan mhìosan chaidh gabhail ri Thanos Bunait Coimpiutaireachd Dùthchasach Cloud, a tha a’ toirt a-steach Prometheus, Kubernetes agus pròiseactan mòr-chòrdte eile.

Anns an Fhaoilleach 2018, thòisich leasachadh VictoriaMetrics.

San t-Sultain 2018, thug mi iomradh poblach air VictoriaMetrics airson a’ chiad uair.

Anns an Dùbhlachd 2018, chaidh dreach aon-nòd fhoillseachadh.

Anns a 'Chèitean 2019 fhoillseachadh stòran an dà chuid dreachan aon-nòd agus brabhsair.

San Ògmhios 2019, dìreach mar Thanos, chuir sinn a-steach iarrtas gu bunait CNCF fo àireamh 255. Chuir sinn a-steach aon latha mus do chuir Thanos a-steach.

Ach, gu mì-fhortanach, chan eil sinn fhathast air gabhail ris an sin. Tha feum air cuideachadh coimhearsnachd.

Bheir sinn sùil air na sleamhnagan as cudromaiche a’ sealltainn ailtireachd Thanos agus VictoriaMetrics.

Feuch an tòisich sinn le Thanos. Is e na pàirtean buidhe co-phàirtean Prometheus. Tha a h-uile càil eile na cho-phàirtean Thanos. Feuch an tòisich sinn leis a 'phàirt as cudromaiche. Tha Thanos Sidecar na phàirt a tha air a chuir a-steach ri taobh gach Prometheus. Bidh e a’ luchdachadh dàta Prometheus bho stòradh ionadail gu S3 no Stòradh Rud eile.

Tha pàirt ann cuideachd ris an canar Thanos Store Gateway, a leughas an dàta seo bho Object Storage air iarrtasan a thig a-steach bho Thanos Query. Bidh Thanos Query a’ cur an gnìomh PromQL agus Prometheus API. Is e sin, bhon taobh a-muigh tha e coltach ri Prometheus. A ’faighinn ceistean PromQL, gan cur gu Thanos Store Gateway, bidh Thanos Store Gateway a’ faighinn an dàta riatanach air ais bho Object Storage, ga chuir air ais.

Ach bidh sinn a’ stòradh dàta ann an Object Storage às aonais an dà uair mu dheireadh air sgàth feart de bhuileachadh Thanos Sidecar, nach urrainn an dà uair mu dheireadh a luchdachadh suas gu Object Storage S3, leis nach eil Prometheus fhathast air faidhlichean a chruthachadh airson an dà uair sin ann an stòradh ionadail.

Ciamar a cho-dhùin thu faighinn timcheall air seo? Bidh Thanos Query, a bharrachd air iarrtasan gu Geata Stòr Thanos, a’ cur iarrtasan co-shìnte gu gach Thanos Sidecar, a tha ri taobh Prometheus.

Agus tha Thanos Sidecar, an uair sin, a’ toirt seachad iarrtasan nas fhaide air adhart gu Prometheus, agus a’ faighinn dàta air ais airson an dà uair mu dheireadh.

A bharrachd air na co-phàirtean sin, tha pàirt roghainneil ann cuideachd nach dèan Thanos gu math às aonais. Is e seo Thanos Compact, air a bheil uallach airson faidhlichean beaga air Object Storage a chur còmhla ri faidhlichean nas motha a chaidh a luchdachadh suas an seo le Thanos Sidecars. Bidh Thanos Sidecar a’ luchdachadh suas faidhlichean dàta an sin ann an dà uair a thìde. Na faidhlichean sin, mura h-eil iad air an cur còmhla ann am faidhlichean nas motha, faodaidh an àireamh aca fàs gu mòr. Mar as motha de na faidhlichean sin, is ann as motha de chuimhne a tha a dhìth airson Thanos Store Gateway, is ann as motha de ghoireasan a bhios a dhìth gus dàta a ghluasad thairis air an lìonra agus meata-dàta. Tha Thanos Store Gateway a’ fàs neo-èifeachdach. Mar sin, feumar Thanos Compact a ruith, a bhios a’ ceangal fhaidhlichean beaga ri feadhainn nas motha, gus am bi nas lugha de na faidhlichean sin ann agus gus cosgaisean os cionn Geata Stòr Thanos a lughdachadh.

Tha leithid de phàirt ann cuideachd ri Thanos Ruler. Bidh e a’ cur an gnìomh riaghailtean rabhaidh Prometheus agus is urrainn dha riaghailtean clàraidh Prometheus a mheasadh gus dàta a sgrìobhadh air ais gu Object Storage. Ach chan eilear a’ moladh a ’phàirt seo a chleachdadh, oir ... Tha e buailteach dàta neo-iomlan a thilleadh.

Is e seo an sgeama sìmplidh de Thanos.

A-nis dèanamaid coimeas eadar e agus sgeama VictoriaMetrics.

Tha 2 dhreach aig VictoriaMetrics: dreach aon-nòd agus brabhsair. Bidh aon nód a’ ruith air aon choimpiutair. Chan eil na co-phàirtean sin aig aon nód, dìreach aon binary. Tha am binary seo air an t-sleamhnag coltach ris a’ cheàrnag seo. Is e a h-uile dad a tha taobh a-staigh na ceàrnaig susbaint an fhaidhle binary airson an dreach Singilte node. Chan fheum fios a bhith agad mu dheidhinn. Tha thu dìreach a’ ruith an binary agus bidh a h-uile càil ag obair dhuinn.

Tha an dreach brabhsair nas iom-fhillte. Taobh a-staigh e tha trì diofar phàirtean: vmselect, vminsert agus vmstorage. Bhon ainm aca bu chòir gum biodh e soilleir dè a bhios gach fear dhiubh a’ dèanamh. Bidh an co-phàirt Insert a’ gabhail ri dàta ann an diofar chruthan: bho API sgrìobhaidh iomallach Prometheus, protocol loidhne Influx, protocol Graphite agus protocol OpenTSDB. Bidh am pàirt Insert a’ gabhail riutha, gan parsadh agus gan sgaoileadh eadar na pàirtean stòraidh a th’ ann mar-thà, far a bheil an dàta air a stòradh mu thràth. Gabhaidh am pàirt Tagh, an uair sin, ri ceistean PromQL. Bidh e a’ cur an gnìomh PromQL, a bharrachd air an API ceasnachadh Prometheus, agus faodar a chleachdadh an àite Prometheus ann an Grafana no teachdaichean API Prometheus eile. Bidh Select a’ gabhail ri iarrtas promql, ga pharsadh, a’ leughadh an dàta riatanach airson an t-iarrtas seo a choileanadh bho nodan stòraidh, a’ giullachd an dàta seo agus a’ tilleadh freagairt.

Dèanamaid coimeas eadar iom-fhillteachd stàladh Thanos agus VictoriaMetrics.

Feuch an tòisich sinn le Thanos. Mus tòisich thu ag obair le Thanos, feumaidh tu bucaid a chruthachadh ann an Object Storage, leithid S3 no GCS, gus an urrainn do Thanos Sidecar dàta a sgrìobhadh thuige.

An uairsin airson gach Prometheus feumaidh tu Thanos Sidecar a stàladh. Roimhe seo, feumaidh tu cuimhneachadh gun cuir thu casg air teannachadh dàta ann am Prometheus. Bidh teannachadh dàta bho àm gu àm a’ teannachadh dàta ann an stòradh Prometheus ionadail gus caitheamh ghoireasan a lughdachadh.

Nuair a stàlaicheas tu Thanos Sidecar air do Prometheus, feumaidh tu an teannachadh dàta seo a chuir dheth oir chan eil Thanos Sidecar ag obair gu ceart le teannachadh dàta comasach. Tha seo a’ ciallachadh gu bheil do Prometheus a’ tòiseachadh a’ sàbhaladh dàta ann am blocaichean dà uair a thìde agus a’ stad air na blocaichean sin a chur còmhla ri feadhainn nas motha. Mar sin, ma nì thu ceistean a tha nas fhaide na an dà uair a thìde mu dheireadh, chan obraich iad cho èifeachdach sa dh’ obraicheadh ​​iad nam biodh teannachadh dàta air a chomasachadh.

Mar sin, tha Thanos a’ moladh an ùine glèidhidh dàta ann an stòradh ionadail a lughdachadh gu 6-8 uairean gus cosgais àireamh mhòr de bhlocaichean beaga a lughdachadh.

Aon uair ‘s gu bheil thu air Thanos Sidecar a chuir a-steach, feumaidh tu dà phàirt a chuir a-steach airson gach Bucaid Stòraidh Rud. Is iad sin Thanos Compactor agus Thanos Store Gateway.

Às deidh sin, feumaidh tu Thanos Query a chuir a-steach agus a rèiteachadh gus an urrainn dha ceangal ris a h-uile Geata Stòr Thanos a tha agad, agus gun urrainn dha ceangal a dhèanamh ris a h-uile Thanos Sidecars.

Is dòcha gu bheil duilgheadas beag an seo.

Feumaidh tu ceangal earbsach is tèarainte a rèiteachadh bho Thanos Query gu na co-phàirtean sin. Agus ma tha do Prometheus suidhichte ann an ionadan dàta eadar-dhealaichte, no ann an diofar VPCan, tha casg air ceanglaichean riutha bhon taobh a-muigh. Ach airson Thanos Query a bhith ag obair, feumaidh tu dòigh air choireigin an ceangal a rèiteachadh an sin, agus feumaidh tu dòigh a lorg.

Ma tha mòran ionadan dàta mar sin agad, an uairsin, a rèir sin, bidh earbsachd an t-siostam gu lèir a ’dol sìos. Leis gum feum Thanos Query ceanglaichean a chumail gu cunbhalach ris a h-uile Thanos Sidecars a tha suidhichte ann an diofar ionadan dàta. Airson gach iarrtas a thig a-steach, cuiridh e iarrtasan gu Thanos Sidecars gu lèir. Ma thèid stad a chuir air a’ cheangal, gheibh thu an dàrna cuid seata dàta neo-choileanta, no gheibh thu freagairt “cluster is down”.

Ann an VictoriaMetrics tha a h-uile dad beagan nas sìmplidh. Airson an dreach Singilte node, cha leig thu leas ach aon binary a ruith agus bidh a h-uile dad ag obair.

Anns an dreach brabhsair, tha e gu leòr na trì seòrsaichean de cho-phàirtean gu h-àrd a ruith ann an meud sam bith a dh’ fheumas tu, no a chleachdas tu clàr-stiùiridh gus cur air bhog co-phàirtean ann an Kubernetes gu fèin-ghluasadach. Tha sinn cuideachd an dùil gnìomhaiche Kubernetes a dhèanamh. Chan eil clàr Helm a’ còmhdach cuid de chùisean agus a’ leigeil leat losgadh ort fhèin nad chas. Mar eisimpleir, leigidh e leat an àireamh de nodan stòraidh a lughdachadh, a bheir gu call dàta.

Às deidh dhut aon dreach binary no cruinn a chuir air bhog, cha leig thu leas ach Prometheus a chuir ris an config suidheachadh airson url sgrìobhadh iomallachgus an tòisich e a’ sgrìobhadh dàta ann an co-shìnte ri stòradh ionadail agus stòradh iomallach. Mar a chì thu, bu chòir don rèiteachadh seo coileanadh mòran nas earbsaiche an taca ri rèiteachadh Thanos. Chan fheum sinn ceangal a chumail bho VictoriaMetrics ris a h-uile Prometheus, oir tha Prometheus iad fhèin a’ ceangal ri VictoriaMetrics agus a’ tar-chuir dàta.

Beachdaichidh sinn air taic Thanos agus VictoriaMetrics.

Feumaidh Thanos sùil a chumail air Sidecar gus dèanamh cinnteach nach stad iad bho bhith a’ luchdachadh dàta gu Object Storage. Faodaidh iad stad a chuir air luchdachadh sìos an dàta seo air sgàth mhearachdan luchdachadh sìos, mar eisimpleir tha do cheangal lìonra ri Object Storage air a bhriseadh airson ùine ghoirid, no chan eil Object Storage ri fhaighinn rè ùine. Mothaichidh Thanos Sidecar seo aig an àm seo, bheir e cunntas air mearachd, is dòcha gun tuit e agus an uairsin stadaidh e ag obair. Mura dèan thu sùil air, stadaidh tu air gluasad dàta gu Object Storage. Ma thèid an ùine gleidhidh seachad (6-8 uairean air a mholadh), caillidh tu dàta nach tàinig gu crìch ann an Object Storage.

Is dòcha gun sguir compactors Thanos a bhith ag obair air sgàth rèisean le Sidecar. Bidh compactaran a’ toirt dàta bho Object Storage agus ga chur còmhla ann am pìosan dàta nas motha. Leis nach eil compactors air an sioncronadh le Sidecars, faodaidh seo tachairt: chan eil ùine air a bhith aig Sidecar fhathast am bloca a chrìochnachadh, tha Compactor a’ co-dhùnadh gun deach am bloc seo a sgrìobhadh gu tur. Tòisichidh Compactair ga leughadh. Chan eil e a 'leughadh a' bhloc gu h-iomlan agus stadaidh e ag obair. Faic mion-fhiosrachadh an seo.

Faodaidh Store Gateway dàta neo-chunbhalach a thilleadh air sgàth rèisean eadar Compactor agus Sidecars. Is e an aon rud a th’ ann an seo, leis nach eil Geata an Stòr air a shioncronachadh le Compactors and Sidecars ann an dòigh sam bith. Mar sin, faodaidh suidheachadh rèis tachairt nuair nach fhaic Geata an Stòr pàirt den dàta no nuair a chì e dàta neo-riatanach.

Bidh am pàirt Ceist ann an Thanos gu bunaiteach a’ tilleadh pàirt de thoradh mura h-eil cuid de Chàraichean Taobh no Geataichean Stòr rim faighinn an-dràsta. Gheibh thu pàirt den dàta, agus cha bhi fios agad eadhon nach d’ fhuair thu an dàta gu lèir. Seo mar a tha e ag obair gu bunaiteach. Ann an suidheachadh coltach ris, bidh VictoriaMetrics a’ tilleadh dàta comharraichte mar phàirt.

Eu-coltach ri Thanos, is ann ainneamh a bhios VictoriaMetrics a’ call dàta. Fiù ma thèid stad a chuir air a ’cheangal bho Prometheus gu VictoriaMetrics, chan eil seo na dhuilgheadas, leis gu bheil Prometheus a’ leantainn air adhart a ’clàradh dàta ùr a tha a’ tighinn a-steach anns an Write Ahead Log, agus tha am meud 2 uair. Ma bheir thu air ais do cheangal ri VictoriaMetrics taobh a-staigh dà uair a thìde, cha tèid an dàta agad a chall. Prometheus is urrainn dhaibh dàta a chuir ris às deidh dhaibh an ceangal ri VictoriaMetrics ath-nuadhachadh.

Eu-coltach ri Thanos, a bhios a’ sgrìobhadh dàta gu stòradh stuthan dìreach às deidh dà uair a thìde, bidh Prometheus gu fèin-obrachail ag ath-aithris dàta a’ cleachdadh a’ phròtacal sgrìobhaidh iomallach gu stòradh aig astar, leithid VictoriaMetrics. Chan eil eagal ort gun caill thu stòradh ionadail ann am Prometheus. Ma chaill e gu h-obann stòradh ionadail, an uairsin anns a 'chùis as miosa caillidh tu na diogan mu dheireadh de dhàta nach robh ùine agad a chlàradh ann an stòradh iomallach.

Bidh Kubernetes gu fèin-ghluasadach a’ riaghladh a’ bhuidheann, eu-coltach ri Thanos. Tha e duilich a h-uile pàirt Thanos a chuir ann an aon bhuidheann Kubernetes, eu-coltach ri co-phàirtean cruinneachadh VictoriaMetrics.

Tha ùrachadh gu math sìmplidh aig VictoriaMetrics air an dreach ùr. Dìreach stad air VictoriaMetrics, ùraich na binaries agus cuir air bhog e. Nuair a stadas iad tro chomharradh SIGINT, bidh a h-uile binaries VictoriaMetrics a’ coileanadh dùnadh gràsmhor. Sàbhalaidh iad an dàta riatanach gu ceart, dùin ceanglaichean a tha a’ tighinn a-steach gu ceart gus nach caill iad dad. Mar sin cha chaill thu dad nuair a bhios tu ag ùrachadh.

Tha VictoriaMetrics ga dhèanamh gu math furasta cruinneachadh a leudachadh. Dìreach cuir ris na pàirtean riatanach agus lean ort ag obair.

Mu na duilgheadasan ann an Thanos agus VictoriaMetrics.

Tha na duilgheadasan a leanas aig Thanos. Feumaidh Prometheus dàta a stòradh airson an dà uair mu dheireadh. Ma thèid iad air chall, caillidh tu iad gu tur leis nach eil iad fhathast air an sgrìobhadh gu Object Storage mar S3.

Faodaidh am pàirt Geata an Stòr agus an co-phàirt compactor tòrr cuimhne a bhith ag obair le Stòradh Rud mòr ma tha mòran fhaidhlichean beaga air an stòradh an sin. Mar as motha an àireamh agus meud fhaidhlichean, is ann as motha a bhios Store Gateway agus compactor RAM a dhìth gus fiosrachadh meatain a stòradh. Tha tòrr chùisean aig Thanos a thaobh sin Geata stòraidh agus tubaist compactor le meud cuibheasach de dhàta clàraichte.

Tha Thanos air a shanasachadh gu sgèile gun chrìoch leis na tha de Prometheus agad. Gu dearbh chan eil seo fìor. Leis gu bheil a h-uile iarrtas a ’dol tron ​​​​phàirt Ceist, a dh’ fheumas a h-uile pàirt de Store Gateway agus a h-uile pàirt Sidecar a sgrùdadh aig an aon àm, tarraing dàta às an sin agus an uairsin ro-phròiseas. Gu follaiseach, tha astar an iarrtais air a chuingealachadh leis a’ cheangal lag as slaodaiche, an Geata Stòr as slaodaiche no an Sidecar as slaodaiche.

Faodaidh na co-phàirtean sin a bhith air an luchdachadh gu neo-chothromach. Mar eisimpleir, tha Prometheus agad, a bhios a’ cruinneachadh milleanan de mheatairean gach diog. Agus tha Prometheus ann, a bhios a 'tional mìltean de mheatairean gach diog. Bidh Prometheus, a bhios a’ tional milleanan de mheatairean gach diog, a’ cur luchd tòrr nas àirde air an fhrithealaiche air a bheil e a’ ruith. Mar sin, tha Sidecar ag obair nas slaodaiche an sin. Agus san fharsaingeachd bidh a h-uile dad ag obair gu slaodach an sin. Agus tarraingidh am pàirt Ceist dàta às an sin gu math slaodach. Mar sin, bidh coileanadh do bhuidheann gu lèir air a chuingealachadh leis a’ chàr slaodach seo.

Gu gnàthach, bidh Thanos a’ toirt seachad cuid de dhàta mura h-eil cuid de Sidecars no an Store Gateway rim faighinn. Mar eisimpleir, ma tha na Sidecars agad sgapte air feadh an t-saoghail ann an diofar ionadan dàta, tha an coltas gum bi ceangal ann agus nach eil na pàirtean rim faighinn a’ dol suas gu mòr. A rèir sin, sa mhòr-chuid de chùisean gheibh thu pàirt de dhàta gun eadhon fios agad air.

Tha duilgheadasan aig VictoriaMetrics cuideachd. Is e a’ chiad dhuilgheadas an roghainn a tha a’ cuingealachadh na tha de RAM air a chleachdadh airson tasgadan VictoriaMetrics. Gu gnàthach, tha e co-ionann ri 60% den RAM air an inneal far a bheil VictoriaMetrics a ’ruith no 60% de RAM pod VictoriaMetrics ann an Kubernetes.

Ma dh’ atharraicheas tu an luach seo gu ceàrr, faodaidh tu coileanadh VictoriaMetrics a mhilleadh. Mar eisimpleir, ma shuidhicheas tu an luach ro ìosal, is dòcha nach bi an dàta a’ freagairt air tasgadan VictoriaMetrics tuilleadh. Air sgàth seo, feumaidh i obair a bharrachd a dhèanamh agus am pròiseasar agus an diosc a luchdachadh. Ma nì thu an roghainn seo ro mhòr, bidh e a’ dol am meud, an toiseach, an coltas gun tuit VictoriaMetrics le mearachd a-mach à cuimhne, agus, san dàrna h-àite, bidh e a’ ciallachadh nach bi ach glè bheag de RAM air fhàgail ann an cuimhne an t-siostaim obrachaidh airson tasgadan faidhle. Agus tha VictoriaMetrics an urra ri tasgadan faidhle airson coileanadh. Mura h-eil e gu leòr, faodaidh an luchd air an diosc àrdachadh gu mòr. Mar sin, comhairle: na atharraich am paramadair mura h-eil e gu tur riatanach.

An dàrna roghainn. Is e seo a bhith a’ gleidheadhPeriod - ùine a tha air a shuidheachadh gu 1 mìos gu bunaiteach. Is e seo an ùine a bhios VictoriaMetrics a’ stòradh dàta. Às deidh na h-ùine seo, bidh VictoriaMetrics a’ cuir às don dàta.

Bidh mòran dhaoine a’ ruith VictoriaMetrics às aonais am paramadair seo agus a’ clàradh dàta airson mìos. Agus an uairsin bidh iad a’ faighneachd: carson a chaidh an dàta airson a’ mhìos roimhe sin à bith? Leis gur e 1 mìos an ùine glèidhidh bunaiteach. Mar sin, feumaidh fios a bhith agad agus an ùine gleidhidh cheart a shuidheachadh.

Bheir sinn sùil air na feartan sònraichte.

Tha feart aig Thanos ris an canar downsampling: amannan 5-mionaidean agus uair a thìde, a bhios gu tric nach eil ag obair ceart. Ma nì thu google agus coimhead air a’ chùis aca air github, tha tòrr chùisean co-cheangailte ris an downsampling seo, nach obraich e gu ceart uaireannan, no nach obraich e mar a bhiodh dùil aig luchd-cleachdaidh.

Tha lùghdachadh dàta aig Thanos airson paidhrichean Prometheus HA. Nuair a chruinnicheas dà Prometheus na h-aon mheatairean bho na h-aon thargaidean agus bidh Thanos gan stòradh ann an Object Storage. Faodaidh Thanos an dàta seo a dhì-dhùblachadh gu ceart, eu-coltach ri VictoriaMetrics.

Tha pàirt rabhaidh aig Thanos a bha ann an sgeama Thanos. Ach esan chan eil e air a mholadh airson a chleachdadh ann an riochdachadh.

Tha buannachd aig Thanos gu bheil Thanos agus Prometheus a’ roinn an aon chòd. Tha Thanos agus Prometheus air an leasachadh leis na h-aon luchd-leasachaidh. Le leasachaidhean air Thanos no Prometheus, bidh an taobh eile a’ buannachadh.

Is e prìomh fheart VictoriaMetrics MetricsQL. Is iad sin leudachaidhean VictoriaMetrics airson PromQL, air an do bhruidhinn mi aig a ’choinneamh sgrùdaidh mòr roimhe.

Bidh VictoriaMetrics a’ toirt taic do luchdachadh dàta a’ cleachdadh mòran de phròtacalan eadar-dhealaichte. Chan urrainn do VictoriaMetrics gabhail ri dàta bho Prometheus a-mhàin, ach cuideachd tro phròtacalan Influx, OpenTSDB agus Graphite.

Bidh dàta VictoriaMetrics a’ gabhail suas mòran nas lugha de rùm an taca ri Thanos agus Prometheus.

Ma chlàras tu dàta fìor, bruidhnidh luchd-cleachdaidh mu lughdachadh 2-5 tursan ann am meud dàta air diosc an coimeas ri Prometheus agus Thanos.

Is e buannachd eile de VictoriaMetrics gu bheil e air a mheudachadh airson astar.

Bheir sinn sùil air cosgais bun-structair.

Is e aon de na buannachdan a tha aig Thanos gu bheil e a’ stòradh dàta ann an stòradh stuthan, a tha gu math saor.

Nuair a bhios tu a’ stòradh dàta ann an stòradh stuthan, feumaidh tu pàigheadh ​​​​airson gnìomhachd sgrìobhadh is leughadh dàta ($ 10 gach millean gnìomhachd). Nuair a sgrìobhas tu dàta gu stòradh stuthan, pàighidh tu na cosgaisean aoigheachd agad airson dàta a luchdachadh suas chun eadar-lìn; mura h-eil do bhuidheann ann an AWS, tha e an-asgaidh an sin. Nuair a leughas tu dàta, pàighidh tu eadar $10 agus $230 gach 1TB. Faodaidh seo a bhith cudromach ma bhios tu gu tric a’ ceasnachadh dàta eachdraidheil bho bhuidheann Thanos.

Airson cruinneachadh Thanos, feumaidh tu pàigheadh ​​​​airson frithealaichean airson Compact, Store Gateway, co-phàirtean Ceist a dh ’fheumas tòrr cuimhne, agus CPU airson tòrr dàta.

Tha na cosgaisean a leanas aig VictoriaMetrics. Ma stòras tu dàta air draibhearan GCE HDD, thig e a-mach gu $40 airson 1TB. Airson VictoriaMetrics, tha draibhearan àbhaisteach HDD gu leòr; chan eil feum air SSDs, a chosgas còig tursan nas motha. Tha VictoriaMetrics air a mheudachadh airson HDD.

Feumaidh VictoriaMetrics frithealaichean airson co-phàirtean: an dàrna cuid co-phàirtean aon-nod no cruinn, a tha, eu-coltach ri co-phàirtean Thanos, feumach air tòrr nas lugha de CPU agus RAM - agus mar sin bidh iad nas saoire.

Eisimpleirean de bhuileachadh.

Tha eisimpleir buileachaidh aig Thanos ann an Gitlab. Bidh Gitlab a’ ruith gu tur air Thanos. Ach chan eil a h-uile dad cho rèidh an sin. Ma sheallas tu orra cùisean, an uairsin chì thu gu bheil cuid aca an-còmhnaidh duilgheadasan obrachaidh le Thanos: Chan eil cuimhne gu leòr ann airson co-phàirtean Geata an Stòr no Ceist. Feumaidh iad an-còmhnaidh an àireamh de chuimhne a mheudachadh.

Air sgàth seo, tha na cosgaisean airson fuasgladh fhaighinn air na duilgheadasan sin ag àrdachadh.

Is e an dàrna buileachadh, a dh ’fhaodadh a bhith nas soirbheachaile, a’ chompanaidh Improbable, a thòisich air Thanos a leasachadh. Dh'fhoillsich iad còd stòr Thanos. Is e companaidh a th’ ann an Improbable a bhios a’ leasachadh einnseanan geama.

Tha eisimpleirean de bhuileachadh poblach aig VictoriaMetrics:

• neach-togail làrach-lìn wix.com
• Tha Adidas a’ cur VictoriaMetrics an gnìomh agus rinn iad eadhon taisbeanadh aig an PromCon 2019 mu dheireadh
• TrafficStars - lìonra sanasachd
• Tha Seznam.cz na einnsean sgrùdaidh mòr-chòrdte Seiceach.

Agus an uairsin bha companaidhean gun ainm ann nach urrainn dhomh ainmeachadh a-nis. Cha do dh'aontaich iad.

• Aon phrìomh leasaiche geama. Nas motha na tha mi do-chreidsinneach.
• Prìomh leasaiche bathar-bog grafaigeach.
• Banca mòr Ruiseanach.
• Dèanadair roth-gaoithe Eòrpach a tha air deuchainn soirbheachail a dhèanamh air VictoriaMetrics. Tha an neach-dèanamh seo a’ cur an gnìomh VictoriaMetrics gus sùil a chumail air dàta a chaidh a chruinneachadh bho roth-uidheaman gaoithe aig ìre 50 sampall gach diog gach sensor. Tha ceudan de luchd-mothachaidh aig gach roth-gaoithe. Tha grunn cheudan crann-gaoithe aca.
• Companaidhean-adhair Ruiseanach a tha airson VictoriaMetrics a chuir an gnìomh, ach nach urrainn fhathast. Tha sinn aig ìre cùmhnant còmhla riutha.

Co-dhùnaidhean.

Bidh VictoriaMetrics agus Thanos a’ fuasgladh dhuilgheadasan coltach ris, ach ann an diofar dhòighean:

• Sealladh ceist cruinne
• sgèileadh còmhnard
• gleidheadh ​​neo-riaghailteach

Tapadh leibh.

Tha sinn a’ feitheamh riut aig ar sianal teileagram.

Chan fhaod ach luchd-cleachdaidh clàraichte pàirt a ghabhail san sgrùdadh. Soidhnig a-steach, mas e do thoil e.

Dè a chleachdas tu mar stòradh fad-ùine airson Prometheus?

• 35,3%Thanos 6

• 0,0%Cortex 0

• 0,0%M3DB0

• 41,2%Meudan Bhictòria 7

• 23,5%eile4

Bhòt 17 neach-cleachdaidh. Sheall 16 neach-cleachdaidh.

Source: www.habr.com