Tha VictoriaMetrics na DBMS luath agus so-ruigsinneach airson a bhith a’ stòradh agus a’ giullachd dàta ann an cruth sreath ùine (tha clàr a’ cruthachadh ùine agus seata de luachan a rèir na h-ùine seo, mar eisimpleir, a gheibhear tro sgrùdadh bho àm gu àm air inbhe luchd-mothachaidh no a’ cruinneachadh mheatairean).
Is e m ’ainm Pavel Kolobaev. DevOps, SRE, LeroyMerlin, tha a h-uile dad coltach ri còd - tha e mu ar deidhinn: mum dheidhinn fhìn agus mu luchd-obrach LeroyMerlin eile.
Tha sgòth stèidhichte air OpenStack. Tha ceangal beag ris an radar teicnigeach.
Tha e air a thogail air bunait iarann Kubernetes, a bharrachd air a h-uile seirbheis co-cheangailte ri OpenStack agus logadh.
'S e seo an sgeama a bha againn ri leasachadh. Nuair a leasaich sinn seo uile, bha an gnìomhaiche Prometheus againn, a bha a’ stòradh dàta taobh a-staigh cruinneachadh K8s fhèin. Bidh e gu fèin-ghluasadach a’ faighinn a-mach dè a dh’ fheumar a sgrìobadh agus ga chuir fo a chasan, gu ìre mhòr a’ bruidhinn.
Feumaidh sinn an dàta gu lèir a ghluasad taobh a-muigh buidheann Kubernetes, oir ma thachras rudeigin, feumaidh sinn tuigsinn dè agus càite.
Is e a’ chiad fhuasgladh gu bheil sinn a’ cleachdadh caidreachas nuair a tha treas-phàrtaidh Prometheus againn nuair a thèid sinn gu buidheann Kubernetes tro uidheamachd a’ cho-chaidreachais.
Ach tha cuid de dhuilgheadasan beaga an seo. Anns a’ chùis againn, thòisich na duilgheadasan nuair a bha 250 meatrach againn, agus nuair a bha 000 meatrach ann, thuig sinn nach b’ urrainn dhuinn obrachadh mar sin. Tha sinn air scrape_timeout àrdachadh gu 400 diogan.
Carson a bha againn ri seo a dhèanamh? Bidh Prometheus a 'tòiseachadh a' cunntadh an ùine bho thoiseach a 'mhionaid togail. Chan eil e gu diofar a bheil an dàta fhathast a’ dòrtadh a-steach. Mura h-eil an dàta air tighinn còmhla rè na h-ùine ainmichte seo agus nach eil an seisean dùinte tro http, thathas den bheachd gu bheil an seisean air fàiligeadh agus nach eil an dàta a’ faighinn a-steach gu Prometheus fhèin.
Tha fios aig a h-uile duine air na grafaichean a gheibh sinn nuair a tha pàirt den dàta a dhìth. Tha na grafaigean air an reubadh agus chan eil sinn toilichte leis.
Is e an ath roghainn roinneadh stèidhichte air dà Prometheus eadar-dhealaichte tron aon uidheamachd caidreachais.
Mar eisimpleir, dìreach gabh agus gearraich iad le ainm. Faodar seo a chleachdadh cuideachd, ach chuir sinn romhainn gluasad air adhart.
Feumaidh sinn a-nis na mìrean sin a phròiseasadh dòigh air choireigin. Faodaidh tu promxy a ghabhail, a thig a-steach don raon shard, ag iomadachadh an dàta. Bidh e ag obair le dà shard mar aon àite inntrigidh. Faodar seo a bhuileachadh tro promxy, ach tha e ro iom-fhillte airson a-nis.
Tha a 'chiad roghainn - tha sinn ag iarraidh a thrèigsinn an uidheamachd caidreachas, oir tha e gu math slaodach.
Tha an luchd-leasachaidh Prometheus ag ràdh gu soilleir: “Guys, cleachd TimescaleDB eile, oir cha toir sinn taic do stòradh fad-ùine de mheatairean.” Chan e seo an obair aca.
Bidh sinn a 'sgrìobhadh sìos air pìos pàipear a dh'fheumas sinn fhathast a luchdachadh a-muigh, gus nach stòradh sinn a h-uile càil ann an aon àite.
Is e an dàrna eas-bhuannachd caitheamh cuimhne. Tha, tha mi a’ tuigsinn gum bi mòran ag ràdh gur fhiach sgillinn no dhà de chuimhne ann an 2020, ach a dh’ aindeoin sin.
A-nis tha àrainneachd dev agus pronn againn. Ann an dev, tha seo timcheall air 9 gigabytes gach 350 meatrach. Ann am prod, is e seo 000 gigabytes le tomhas beag de 14. Aig an aon àm, chan eil againn ach 780 mionaid de ùine gleidhidh. Tha seo dona. Agus a-nis mìnichidh mi carson.
Bidh sinn a 'dèanamh àireamhachadh, is e sin, le millean gu leth meatrach, agus tha sinn mu thràth faisg orra, aig an ìre dealbhaidh gheibh sinn 35-37 gigabytes de chuimhne. Ach le 4 millean meatrach, tha feum air mu 90 gigabytes de chuimhne mu thràth. Is e sin, chaidh a thomhas a rèir na foirmle a thug an luchd-leasachaidh Prometheus seachad. Choimhead sinn air a’ cho-dhàimh agus thuig sinn nach eil sinn airson millean no dhà a phàigheadh airson frithealaiche dìreach airson sgrùdadh.
Chan e a-mhàin gum bi sinn ag àrdachadh àireamh nan innealan, bidh sinn cuideachd a’ cumail sùil air na h-innealan mas-fhìor iad fhèin. Mar sin, mar as motha de dh’ innealan mas-fhìor, is ann as motha de mheatairean de dhiofar seòrsa, msaa. Bidh fàs sònraichte againn anns a’ bhuidheann againn a thaobh meatrach.
Le àite diosc, chan eil a h-uile dad cho brònach an seo, ach bu mhath leam a leasachadh. Fhuair sinn 15 gigabytes gu h-iomlan ann an 120 latha, agus tha 100 dhiubh sin nan dàta teann, 20 nan dàta neo-bhrùichte, ach bidh thu an-còmhnaidh ag iarraidh nas lugha.
Mar sin, bidh sinn a’ sgrìobhadh sìos aon phuing eile - is e caitheamh mòr de ghoireasan a tha seo a tha sinn fhathast airson a shàbhaladh, leis nach eil sinn airson gum bi ar buidheann sgrùdaidh ag ithe barrachd ghoireasan na an cruinneachadh againn a bhios a’ riaghladh OpenStack.
Tha aon eas-bhuannachd eile ann de Prometheus, a tha sinn air a chomharrachadh dhuinn fhìn, is e seo co-dhiù seòrsa de chuingealachadh cuimhne. Le Prometheus, tha a h-uile dad tòrr nas miosa an seo, leis nach eil an leithid de thionndaidhean aige idir. Chan eil cleachdadh crìoch docker cuideachd na roghainn. Ma tha an RAF agad gu h-obann air tuiteam agus gu bheil 20-30 gigabytes ann, bheir e ùine mhòr airson èirigh.
Is e seo adhbhar eile nach eil Prometheus freagarrach dhuinn, i.e. chan urrainn dhuinn caitheamh cuimhne a chuingealachadh.
Bhiodh e comasach a leithid de sgeama a chruthachadh. Feumaidh sinn an sgeama seo gus buidheann HA a chur air dòigh. Tha sinn airson gum bi na meatrach againn rim faighinn uair sam bith, àite sam bith, eadhon ged a thuiteas an frithealaiche a bhios a’ stòradh nan meatrach sin. Agus mar sin feumaidh sinn a leithid de sgeama a thogail.
Tha an sgeama seo ag ràdh gum feum sinn dùblachadh shards, agus, a rèir sin, dùblachadh air cosgaisean ghoireasan a thèid a chaitheamh. Faodaidh e a bhith cha mhòr gu còmhnard, ach a dh'aindeoin sin bidh an caitheamh stòrais ìoranach.
Eas-bhuannachdan ann an òrdugh, anns an riochd anns an do sgrìobh sinn a-mach iad dhuinn fhìn:
- Feumaidh metrics a luchdachadh suas chun taobh a-muigh.
- Caitheamh àrd de ghoireasan.
- Chan urrainn dhut caitheamh cuimhne a chuingealachadh.
- Buileachadh toinnte agus dian air goireasan HA.
Air ar son fhìn, cho-dhùin sinn gu bheil sinn a 'gluasad air falbh bho Prometheus mar stòras.
Tha sinn air riatanasan a bharrachd a chomharrachadh dhuinn fhìn a tha a dhìth oirnn. Seo:
- Is e taic promql a tha seo, oir chaidh tòrr a sgrìobhadh mu thràth airson Prometheus: ceistean, rabhaidhean.
- Agus an uairsin tha Grafana againn, a tha mar-thà air a sgrìobhadh san aon dòigh fo Prometheus mar chùl-taic. Chan eil mi airson clàran-dath ath-sgrìobhadh.
- Tha sinn airson ailtireachd HA àbhaisteach a thogail.
- Tha sinn airson caitheamh stòras sam bith a lùghdachadh.
- Tha nuance beag eile ann. Chan urrainn dhuinn diofar sheòrsaichean de shiostaman sgòthan a chleachdadh airson metrics a chruinneachadh. Chan eil fios againn dè a thèid a-steach do na meatrach sin airson a-nis. Agus leis gum faod rud sam bith itealaich ann, feumaidh sinn sinn fhèin a chuingealachadh gu suidheachadh ionadail.
Bha an roghainn beag. Tha sinn air a h-uile càil air an robh eòlas againn a chruinneachadh. Choimhead sinn air duilleag Prometheus anns an roinn amalachaidh, leugh sinn dòrlach de artaigilean, choimhead sinn air na tha ri fhaighinn san fharsaingeachd. Agus dhuinn fhìn, thagh sinn VictoriaMetrics an àite Prometheus.
Carson? Air sgàth:
- Comasach air promql.
- Tha ailtireachd modular ann.
- Chan eil feum air atharrachadh sam bith air Grafana.
- Agus nas cudromaiche, is dòcha gun toir sinn seachad stòradh metrics taobh a-staigh a’ chompanaidh againn mar sheirbheis, agus mar sin tha sinn a ’coimhead ro-làimh a dh’ ionnsaigh diofar sheòrsaichean de chuingealachaidhean gus an urrainn do luchd-cleachdaidh goireasan uile na brabhsair a chleachdadh ann an dòigh cuibhrichte, oir tha cothrom ann. gum bi e ioma-sheòrsachd.
Bidh sinn a 'dèanamh a' chiad choimeas. Gabhaidh sinn an aon Prometheus taobh a-staigh a 'bhraisle, tha Prometheus taobh a-muigh a' dol thuige. Bidh sinn a’ cur ris tro remoteWrite VictoriaMetrics.
Nì mi glèidheadh sa bhad gun do lorg sinn àrdachadh beag ann an caitheamh CPU bho VictoriaMetrics. Tha an uici VictoriaMetrics ag ràdh dè na paramadairean as freagarraiche. Rinn sinn sgrùdadh orra. Lùghdaich iad caitheamh an CPU gu math.
Anns a 'chùis againn, cha do mheudaich caitheamh cuimhne Prometheus, a tha suidhichte ann am buidheann Kubernetes, gu mòr.
Bidh sinn a 'dèanamh coimeas eadar dà thùs dàta den aon dàta. Ann am Prometheus, chì sinn an aon dàta a tha a dhìth. Tha a h-uile dad math air VictoriaMetrics.
Toraidhean deuchainnean le àite diosc. Fhuair sinne aig Prometheus 120 gigabytes uile gu lèir. Aig VictoriaMetrics, tha sinn mu thràth a’ faighinn 4 gigabytes gach latha. Tha inneal beagan eadar-dhealaichte na tha thu cleachdte ri fhaicinn ann am Prometheus. Is e sin, tha an dàta mar-thà air a dhlùthadh gu math airson latha, airson leth uair a thìde. Tha iad mar-thà air am buain gu math ann an latha, ann an leth uair a thìde, a dh'aindeoin 's gum bi an dàta air a chur còmhla nas fhaide air adhart. Mar thoradh air an sin, shàbhail sinn àite diosc.
Bidh sinn cuideachd a’ sàbhaladh air caitheamh stòrasan cuimhne. Aig àm nan deuchainnean, bha Prometheus againn air a chuir a-steach air inneal brìgheil - 8 cores, 24 gigabytes. Bidh Prometheus ag ithe cha mhòr a h-uile càil. Thuit e air OOM Killer. Aig an aon àm, cha deach ach 900 meatrach gnìomhach a dhòrtadh a-steach dha. Tha seo timcheall air 000-25 meatrach gach diog.
Bha VictoriaMetrics a’ ruith air inneal brìgheil dà-chridhe le 8 gigabytes de RAM. Fhuair sinn air VictoriaMetrics obrachadh gu math le bhith a’ tweaking cuid de rudan air inneal 8GB. Mar thoradh air an sin, chùm sinn taobh a-staigh 7 gigabytes. Aig an aon àm, fhuair sinn astar lìbhrigeadh susbaint, i.e., meatrach, eadhon nas àirde na astar Prometheus.
Tha an CPU tòrr nas fheàrr na Prometheus. An seo bidh Prometheus ag ithe 2,5 cores, agus bidh VictoriaMetrics ag ithe dìreach 0,25 cores. Aig an toiseach - 0,5 cores. Mar a thig e còmhla, ruigidh e aon chridhe, ach tha seo gu math, gu math tearc.
Anns a 'chùis againn, thuit an roghainn air VictoriaMetrics airson adhbharan follaiseach, bha sinn airson airgead a shàbhaladh agus a shàbhaladh.
Bidh sinn a 'dol thairis air dà phuing dìreach far a' bhata - is e seo a bhith a 'toirt air falbh meatrach agus caitheamh mòr de ghoireasan. Agus tha e fhathast dhuinne dà phuing a cho-dhùnadh a dh’ fhàg sinn dhuinn fhìn fhathast.
An seo nì mi àite glèidhte sa bhad, bidh sinn a’ beachdachadh air VictoriaMetrics mar stòr de mheatraigean. Ach leis gu bheil sinn dualtach VictoriaMetrics a thoirt seachad mar stòradh dha Leroy gu lèir, feumaidh sinn an fheadhainn a chleachdas a’ bhuidheann seo a chuingealachadh gus nach cuir iad thugainn e.
Tha paramadair mìorbhaileach ann a leigeas leat cuingealachadh a dhèanamh le ùine, leis an ìre de dhàta agus le ùine cur gu bàs.
Agus tha roghainn sàr-mhath ann cuideachd a leigeas leat caitheamh cuimhne a chuingealachadh, mar sin is urrainn dhuinn an dearbh chothromachadh a lorg a leigeas leinn astar àbhaisteach fhaighinn agus caitheamh ghoireasan iomchaidh.
Às aonais aon phuing eile, is e sin, bidh sinn a ’dol thairis air a’ phuing - chan urrainn dhut caitheamh cuimhne a chuingealachadh.
Anns na ciad tionndaidhean, rinn sinn deuchainn air an VictoriaMetrics Single Node. An uairsin gluaisidh sinn air adhart gu Tionndadh Cluster VictoriaMetrics.
An seo tha làmh an-asgaidh againn air cuspair dealachadh diofar sheirbheisean ann an VictoriaMetrics, a rèir dè a bhios iad a’ snìomh air agus dè na goireasan a bhios iad ag ithe. Is e fuasgladh gu math sùbailte agus goireasach a tha seo. Tha sinn air a chleachdadh sinn fhìn.
Is e na prìomh phàirtean den VictoriaMetrics Cluster Version vmstsorage. Is dòcha gu bheil àireamh N ann. Anns a 'chùis againn, tha 2 dhiubh ann.
Agus tha vminsert ann. Is e frithealaiche progsaidh a tha seo a leigeas leinn: roinneadh a chuir air dòigh eadar a h-uile stòradh a dh’ innis sinn dha mu dheidhinn, agus leigidh e mac-samhail eile, i.e. bidh an dà chuid sharding agus mac-samhail agad.
Tha Vminsert a’ toirt taic do phròtacalan OpenTSDB, Graphite, InfluxDB agus remoteWrite bho Prometheus.
Tha vmselect ann cuideachd. Is e a phrìomh obair a dhol gu vmstorage, dàta fhaighinn bhuapa, an dàta seo a dhubhadh às agus a thoirt don neach-dèiligidh.
Tha rud iongantach mar vmagent. Is fìor thoil leinn i. Leigidh e leat rèiteachadh dìreach mar Prometheus agus fhathast a h-uile càil a dhèanamh dìreach mar Prometheus. Is e sin, bidh e a’ tional meatrach bho dhiofar bhuidhnean agus sheirbheisean agus gan cur gu vminsert. An uairsin bidh a h-uile dad an urra riut fhèin.
Is e seirbheis sgoinneil eile vmalert, a leigeas leat VictoriaMetrics a chleachdadh mar backend, dàta giullaichte fhaighinn bho vminsert agus dàta giullaichte a chuir gu vmselect. Bidh e a’ pròiseasadh na rabhaidhean iad fhèin, a bharrachd air na riaghailtean. A thaobh rabhaidhean, gheibh sinn rabhadh tro mhanaidsear rabhaidh.
Tha co-phàirt wmauth ann. Is dòcha gun cleachd sinn e, agus is dòcha nach eil (chan eil sinn air co-dhùnadh mu dheidhinn seo fhathast) mar shiostam ùghdarrachaidh airson dreachan ioma-ghabhaltachd de chlàran. Bidh e a’ toirt taic do remoteWrite for Prometheus agus faodaidh e ùghdarras a thoirt seachad stèidhichte air an url, no an àite an dàrna pàirt dheth, far an urrainn dhut no nach urrainn dhut sgrìobhadh.
Tha vmbackup, vmrestore ann cuideachd. Is e seo, gu dearbh, ath-nuadhachadh agus cùl-taic den dàta gu lèir. Comasach air S3, GCS, faidhle.
Chaidh a’ chiad tionndadh den bhuidheann againn a dhèanamh aig àm cuarantine. Aig an àm sin, cha robh mac-samhail ann, agus mar sin bha an tionndadh againn air a dhèanamh suas de dhà bhuidheann eadar-dhealaichte agus neo-eisimeileach, anns an d’ fhuair sinn dàta tro remoteWrite.
An seo nì mi glèidheadh nuair a thionndaidh sinn bho VictoriaMetrics Single Node gu VictoriaMetrics Cluster Version, dh’ fhan sinn fhathast anns na h-aon ghoireasan caitheamh, ie is e cuimhne am prìomh fhear. Mu thimcheall air an dòigh seo chaidh ar dàta a sgaoileadh, i.e. caitheamh ghoireasan.
Chaidh mac-samhail a chur ris an seo mu thràth. Tha sinn air seo uile a chur còmhla ann an aon bhuidheann an ìre mhath mòr. Tha a h-uile dàta air a shanasachadh agus air ath-aithris.
Tha N puingean inntrigidh aig a’ bhuidheann gu lèir, ie faodaidh Prometheus dàta a chuir ris tro HAPROXY. Seo an t-àite inntrigidh againn. Agus tron ionad inntrigidh seo, faodaidh tu logadh a-steach le Grafana.
Anns a’ chùis againn, is e HAPROXY an aon phort a bhios proxies a’ taghadh, a’ cuir a-steach, agus seirbheisean eile a-steach don bhuidheann seo. Anns a ’chùis againn, bha e do-dhèanta aon seòladh a dhèanamh, bha againn ri grunn phuingean inntrigidh a dhèanamh, leis gu bheil na h-innealan brìgheil iad fhèin, air a bheil an cruinneachadh VictoriaMetrics a’ ruith, suidhichte ann an diofar sònaichean den aon sholaraiche sgòthan, ie chan ann taobh a-staigh ar sgòthan. , ach a muigh.
Tha rabhadh againn. Bidh sinn ga chleachdadh. Bidh sinn a’ cleachdadh manaidsear rabhaidh bho Prometheus. Bidh sinn a’ cleachdadh Opsgenie agus Telegram mar shianal lìbhrigidh rabhaidh. Ann an Telegram, tha iad a 'dòrtadh bho dev, is dòcha rudeigin bho phrod, ach nas coltaiche ri rudeigin staitistigeil a dh' fheumas innleadairean. Agus tha Opsgenie deatamach. Is iad sin gairmean, riaghladh thachartasan.
A’ cheist aois: “Cò a bhios a’ cumail sùil air an sgrùdadh?”. Anns a 'chùis againn, bidh sgrùdadh a' cumail sùil air an sgrùdadh fhèin, oir bidh sinn a 'cleachdadh vmagent air gach nód. Agus leis gu bheil na nodan againn suidhichte ann an diofar ionadan dàta den aon sholaraiche, tha a sheanal fhèin aig gach ionad dàta, tha iad neo-eisimeileach, agus eadhon ged a thig eanchainn roinnte, gheibh sinn rabhaidhean fhathast. Bidh, bidh barrachd dhiubh ann, ach tha e nas fheàrr barrachd rabhaidhean fhaighinn na gin.
Bidh sinn a’ crìochnachadh ar liosta le buileachadh HA.
Agus nas fhaide air adhart bu mhath leam mothachadh a thoirt don eòlas air conaltradh le coimhearsnachd VictoriaMetrics. Thionndaidh e a-mach gu bhith gu math dòchasach. Tha guys freagairteach. Bidh iad a’ feuchainn ri sgrùdadh a dhèanamh air gach cùis a tha air a thabhann.
Rinn mi cùisean air GitHub. Chaidh am fuasgladh gu math luath. Tha cùis no dhà eile ann nach eil gu tur dùinte, ach chì mi mar-thà bhon chòd gu bheil obair a’ dol air adhart a thaobh seo.
B’ e am prìomh phian dhomh rè na h-aithrisean nam biodh mi a’ gearradh sìos an nód, an uairsin airson a’ chiad 30 diog cha b’ urrainn vminsert a thuigsinn nach robh cùl-taic ann. A-nis tha e air a cho-dhùnadh mar-thà. Agus gu litearra ann an diog no dhà, thèid an dàta a thoirt bho na nodan a tha air fhàgail, agus stadaidh an t-iarrtas a’ feitheamh ris an nód sin a tha a dhìth.
Bha sinn airson aig àm air choreigin bho VictoriaMetrics a bhith mar an gnìomhaiche VictoriaMetrics. Bha sinn a’ feitheamh ris. Tha sinn a-nis gu gnìomhach a 'togail ceangaltach thairis air a' ghnìomhaiche VictoriaMetrics gus na riaghailtean ro-àireamhachadh, msaa Prometheus a ghabhail, oir tha sinn gu gnìomhach a 'cleachdadh nan riaghailtean a thig leis a' ghnìomhaiche Prometheus.
Tha molaidhean ann airson buileachadh a’ bhuidheann a leasachadh. Tha mi air am mìneachadh gu h-àrd.
Agus tha mi dha-rìribh ag iarraidh downsampling. Anns a’ chùis againn, tha feum air downsampling a-mhàin airson gluasadan fhaicinn. Gu ìre mhòr, tha aon mheatrach gu leòr dhomh tron latha. Tha feum air na gluasadan sin airson bliadhna, trì, còig, deich bliadhna. Agus tha aon luach meatrach gu leòr.
- Tha sinn air eòlas fhaighinn air pian, mar a tha cuid de ar co-obraichean, fhad ‘s a bha sinn a’ cleachdadh Prometheus.
- Thagh sinn VictoriaMetrics dhuinn fhìn.
- Bidh e a 'sgèile gu math an dà chuid gu dìreach agus gu còmhnard.
- Is urrainn dhuinn diofar phàirtean a sgaoileadh gu àireamh eadar-dhealaichte de nodan sa bhuidheann, an cuingealachadh a thaobh cuimhne, cuimhne a chuir ris, msaa.
Cleachdaidh sinn VictoriaMetrics aig an taigh, oir chòrd e rinn gu mòr. Seo na thachair agus na thachair.
Còdan qr no dhà airson cabadaich VictoriaMetrics, an luchd-aithne agam, radar teignigeach LeroyMerlin.
Source: www.habr.com