VictoriaMetrics DBMSek bilez û berbelav e ji bo hilanîn û hilberandina daneyan di forma rêzek dem de (qeydek ji dem û komek nirxên ku bi vê demê re têkildar in pêk tê, mînakî, ku bi anketa demkî ya rewşa senzoran an berhevkirina metrîkan).
Navê min Kolobaev Pavel e. DevOps, SRE, LeroyMerlin, her tişt mîna kodê ye - ew hemî li ser me ye: li ser min û li ser xebatkarên din ên LeroyMerlin.
Li ser bingeha OpenStack ewr heye. Têkiliyek piçûk bi radara teknîkî re heye.
Ew li ser hardware Kubernetes, û hem jî li ser hemî karûbarên têkildar ên ji bo OpenStack û têketinê hatî çêkirin.
Ev plana ku me di pêşveçûnê de hebû. Dema ku me van hemî pêşve dixist, me operatorek Prometheus hebû ku daneyan di hundurê koma K8s bixwe de hilanî. Ew bixweber tiştê ku divê were şuştinê dibîne û bi hûrgulî di binê lingên xwe de dihêle.
Em ê hewce ne ku hemî daneyan li derveyî koma Kubernetes biguhezînin, ji ber ku heke tiştek çêbibe, divê em fêm bikin ka çi û li ku derê.
Çareseriya yekem ev e ku em federasyonê bikar bînin dema ku Prometheusek me ya sêyemîn heye, dema ku em bi mekanîzmaya federasyonê diçin koma Kubernetes.
Lê li vir hinek pirsgirêkên piçûk hene. Di rewşa me de, dema ku me 250 metris hebûn, pirsgirêkan dest pê kir, û dema ku 000 metris hebûn, me fêm kir ku em nikarin bi vî rengî bixebitin. Me scrape_timeout 400 çirke zêde kir.
Çima divê em vê yekê bikin? Prometheus dest bi jimartina deman ji destpêka têlpê dike. Ne girîng e ku dane hîn jî diherikin. Ger di vê dema diyarkirî de dane neyên yekgirtin û danişîn bi rêya http neyê girtin, wê demê danişîn wekî têkçûyî tê hesibandin û dane nekevin Prometheus bixwe.
Her kes bi grafikên ku em distînin dema ku hin dane winda dibin nas e. Bername xera bûne û em ji vê ne razî ne.
Vebijarka din parvekirina li ser bingeha du Prometheusên cûda bi heman mekanîzmaya federasyonê ye.
Mînakî, tenê wan bigirin û bi navên wan parçe bikin. Ev jî dikare were bikar anîn, lê me biryar da ku em pêşve biçin.
Niha em ê neçar in ku van şikestinan bi rengekî bişopînin. Hûn dikarin promxy-ê bigirin, ku diçe qada şirînê û daneyan zêde dike. Ew bi du şûşeyan re wekî xalek têketinê yekane dixebite. Ev dikare bi promxy ve were bicîh kirin, lê ew hîn jî pir dijwar e.
Vebijêrka yekem ew e ku em dixwazin dev ji mekanîzmaya federasyonê berdin ji ber ku pir hêdî ye.
Pêşdebirên Prometheus bi zelalî dibêjin, "Gelîno, TimescaleDB-ya cûda bikar bînin ji ber ku em ê piştgirî nedin hilanîna metrîkên dirêj." Ev ne karê wan e.
Em li ser kaxezek dinivîsin ku em hîn jî hewce ne ku li derve dakêşin, da ku her tiştî li yek cîhek hilnegirin.
Kêmasiya duyemîn vexwarina bîranînê ye. Erê, ez fêm dikim ku gelek kes dê bibêjin ku di sala 2020-an de çend gigabytes bîra quncikek lêçûn e, lê dîsa jî.
Naha me hawîrdorek dev û prod heye. Di dev de ew ji bo 9 metrikan bi qasî 350 gîgabayt e. Di berhemê de ew 000 gigabayt û piçekî zêdetirî 14 metrîk e. Di heman demê de, dema ragirtina me tenê 780 hûrdem e. Ev xirab e. Û niha ez ê çima şirove bikim.
Em hesabek dikin, ango bi mîlyon û nîv metrikan, û em jixwe nêzikî wan in, di qonaxa sêwiranê de em 35-37 gigabayt bîranînê digirin. Lê jixwe 4 mîlyon metrîk bi qasî 90 gigabayt bîranîn hewce dike. Ango, ew bi formula ku ji hêla pêşdebirên Prometheus ve hatî peyda kirin hate hesibandin. Me li pêwendiyê nêrî û fêm kir ku me nexwest çend mîlyon ji bo serverek tenê ji bo çavdêriyê bidin.
Em ê ne tenê hejmara makîneyan zêde bikin, di heman demê de em makîneyên virtual bi xwe jî dişopînin. Ji ber vê yekê, makîneyên virtual, bêtir metrîkên cûrbecûr, hwd. Em ê di warê metrikan de mezinbûnek taybetî ya koma xwe hebe.
Digel cîhê dîskê, ne her tişt li vir ewqas xirab e, lê ez dixwazim wê çêtir bikim. Me di 15 rojan de bi giştî 120 gîgabayt wergirtin, ji wan 100 daneya pêçandî ne, 20 jî daneya nekompresyonkirî ne, lê em her gav kêmtir dixwazin.
Li gorî vê yekê, em xalek din dinivîsin - ev xerckirinek mezin a çavkaniyan e, ku em hîn jî dixwazin xilas bikin, ji ber ku em naxwazin koma çavdêriya me ji koma me, ya ku OpenStack-ê birêve dibe, bêtir çavkaniyan bixwe.
Kêmasiyek din a Prometheus heye, ku me ji xwe re destnîşan kiriye, ev bi kêmanî cûreyek sînorkirina bîranînê ye. Bi Prometheus re, her tişt li vir pir xirabtir e, ji ber ku ew bi tixûbên wusa tune. Bikaranîna sînorek di docker de jî ne vebijarkek e. Ger ji nişka ve RAF-ya we ket û 20-30 gigabayt hebin, wê hingê ew ê demek pir dirêj bigire ku rabe.
Ev jî sedemek din e ku Prometheus ji bo me ne guncaw e, ango em nikarin bikaranîna bîrê sînordar bikin.
Dê mimkûn be ku planek weha were çêkirin. Ji bo ku em komek HA organîze bikin pêdivî bi vê planê heye. Em dixwazin ku metrîkên me her dem û li her deverê berdest bin, hetta ger servera ku van metrikan hilîne têk bibe. Û bi vî awayî em ê neçar in ku planek weha ava bikin.
Ev nexşe dibêje ku em ê dûbarekirina perçeyan, û li gorî vê yekê, dubarekirina lêçûnên çavkaniyên serfkirî hebin. Ew dikare hema hema horîzontal were pîvan kirin, lê dîsa jî dê vexwarina çavkaniyê dojeh be.
Dezavantajên bi rêzê di forma ku me wan ji xwe re nivîsand:
- Barkirina metrîkên li derve hewce dike.
- Xerca çavkaniyê ya bilind.
- Rêyek tune ku karanîna bîranînê sînordar bike.
- Pêkhatina tevlihev û çavkanî-dijwar a HA.
Ji bo xwe, me biryar da ku em ji Prometheus wekî depoyek dûr bikevin.
Me ji xwe re pêdiviyên din ên ku hewcedariya me pê heye destnîşan kirine. Ev:
- Ev piştgirî promql e, ji ber ku gelek tişt berê ji bo Prometheus hatine nivîsandin: pirs, hişyarî.
- Û paşê me Grafana heye, ku jixwe ji bo Prometheus wekî paşverû bi heman rengî hatî nivîsandin. Ez naxwazim tabloyan ji nû ve binivîsim.
- Em dixwazin mîmariya HA ya normal ava bikin.
- Em dixwazin bikaranîna her çavkaniyan kêm bikin.
- Nîşanek piçûkek din jî heye. Em nikarin cûrbecûr pergalên berhevkirina metrîkên ewr bikar bînin. Em hîn nizanin dê çi bikeve nav van pîvanan. Û ji ber ku her tişt dikare li wir bifire, divê em xwe bi cîhkirina herêmî sînordar bikin.
Hilbijartina hindik bû. Me her tiştê ku ezmûna me pê re hebû berhev kir. Me di beşa entegrasyonê de li rûpela Prometheus nihêrî, komek gotar xwend, û dît ku li wir çi heye. Û ji bo xwe, me VictoriaMetrics wekî şûna Prometheus hilbijart.
Çima? Bo:
- Promql dizane.
- Mîmariya modular heye.
- Guhertinên Grafana hewce nake.
- Û ya herî girîng, belkî em ê hilanîna metrîkan di hundurê pargîdaniya xwe de wekî karûbar peyda bikin, ji ber vê yekê em berê xwe didin sînorkirinên cûrbecûr da ku bikarhêner bikarin hemî çavkaniyên komê bi rengek tixûbdar bikar bînin, ji ber ku şansek heye. ku ew ê pirzimanî be.
Ka em berhevoka yekem bikin. Em heman Prometheusê dixin hundirê komê, Prometheusê derve jî diçe wê. Bi rêya remoteWrite VictoriaMetrics zêde bikin.
Ez ê tavilê rezervasyonek bikim ku li vir me ji VictoriaMetrics zêdebûnek piçûk di xerckirina CPU de girt. Wiki VictoriaMetrics ji we re vedibêje ka kîjan parametre çêtirîn in. Me ew kontrol kirin. Wan xerckirina CPU pir baş kêm kiriye.
Di rewşa me de, vexwarina bîranîna Prometheus, ku di koma Kubernetes de cih digire, pir zêde nebû.
Em du çavkaniyên daneyên heman daneyê didin ber hev. Di Prometheus de em heman daneyên winda dibînin. Her tişt li VictoriaMetrics baş e.
Encamên testa cîhê dîskê. Me li Prometheus bi giştî 120 gigabayt stand. Li VictoriaMetrics em berê rojê 4 gigabayt distînin. Mekanîzmayek hinekî cûda ji ya ku em di Prometheus de dibînin heye. Ango, dane jixwe di rojekê de, di nîv saetê de pir baş têne berhev kirin. Ew jixwe di rojekê de, di nîv saetê de, baş hatine berhev kirin, tevî vê yekê ku dane hîn jî paşê winda bibin. Wekî encamek, me li cîhê dîskê xilas kir.
Em li ser xerckirina çavkaniya bîranînê jî xilas dikin. Di dema ceribandinê de, me Prometheus li ser makîneyek virtual - 8 core, 24 gîgabayt hate bicîh kirin. Prometheus hema hema her tiştî dixwe. Ew li OOM Killer ket. Di heman demê de, tenê 900 metrîkên çalak di nav wê de hatin avêtin. Ev li ser 000-25 metrîk di çirkekê de ye.
Me VictoriaMetrics li ser makîneyek virtual ya du-core bi 8 gîgabayt RAM-ê vekir. Me karî bihêlin ku VictoriaMetrics baş bixebite û bi çend tiştan li ser makîneyek 8 GB ve mijûl bibe. Di dawiyê de, me ew li 7 gigabytes girt. Di heman demê de, leza gihandina naverokê, ango metrîkan, ji ya Prometheus jî zêdetir bû.
CPU li gorî Prometheus pir çêtir bûye. Li vir Prometheus 2,5 core dixwe, û VictoriaMetrics tenê 0,25 core vedixwe. Di destpêkê de - 0,5 cores. Gava ku ew yek dibe, ew digihîje yek bingehek, lê ev zehf, zehf kêm e.
Di doza me de, bijare ji ber sedemên diyar ket ser VictoriaMetrics; me xwest ku drav bidin hev û me kir.
Werin em di cih de du xalan derbas bikin - barkirina metrîkan û xerckirina zêde ya çavkaniyan. Û tenê divê em du xalên ku me hîn jî ji xwe re hiştine biryar bidin.
Li vir ez ê tavilê rezervasyonek bikim, em VictoriaMetrics wekî hilanîna metrîkan dihesibînin. Lê ji ber ku bi îhtîmalek mezin em ê VictoriaMetrics wekî hilanînê ji bo hemî Leroy peyda bikin, pêdivî ye ku em kesên ku dê vê komê bikar bînin sînordar bikin da ku ew wê nedin me.
Parametreyek ecêb heye ku destûrê dide te ku hûn ji hêla dem, bi hêjmara daneyê û ji hêla dema darvekirinê ve sînordar bikin.
Di heman demê de vebijarkek hêja heye ku destûrê dide me ku em xerckirina bîranînê sînordar bikin, bi vî rengî em dikarin balansek pir bibînin ku dê rê bide me ku em leza xebitandinê ya normal û vexwarina çavkaniyê ya têr bistînin.
Xalek din kêm bikin, ango xalê derbas bikin - hûn nekarin vexwarina bîranînê sînordar bikin.
Di dubareyên yekem de, me VictoriaMetrics Single Node ceriband. Dûv re em diçin Guhertoya Clusterê ya VictoriaMetrics.
Li vir destê me yê azad heye ku em karûbarên cihêreng ên di VictoriaMetrics de veqetînin li gorî ka ew ê li ser çi bimeşînin û ew ê kîjan çavkaniyan bixwin. Ev çareseriyek pir maqûl û hêsan e. Me ev yek li ser xwe bikar anî.
Pêkhateyên sereke yên Guhertoya Cluster VictoriaMetrics vmstsorage ne. Dibe ku hejmara wan N hebe. Di rewşa me de heta niha 2 ji wan hene.
Û vminsert heye. Ev serverek proxy e ku destûrê dide me ku: di navbera hemî depoyên ku me jê re gotiye de parvekirinê saz bikin, û di heman demê de rê dide kopiyek, ango hûn ê hem parvekirin û hem jî kopiyek hebe.
Vminsert ji Prometheus protokolên OpenTSDB, Graphite, InfluxDB û remoteWrite piştgirî dike.
Vmselect jî heye. Karê wê yê sereke ev e ku biçe vmstorage, daneyan ji wan bistîne, van daneyan jêbike û bide xerîdar.
Tiştek ecêb heye bi navê vmagent. Em bi rastî jê hez dikin. Ew dihêle hûn tam mîna Prometheus mîheng bikin û dîsa jî her tiştî tam mîna Prometheus bikin. Ango, metrîkan ji sazî û karûbarên cihêreng berhev dike û dişîne vminsertê. Hingê her tişt li ser we girêdayî ye.
Karûbarek din a mezin vmalert e, ku dihêle hûn VictoriaMetrics wekî paşverû bikar bînin, daneyên pêvajoyî ji vminsert bistînin û wê bişînin vmselect. Ew bi xwe hişyariyan, û hem jî qaîdeyan pêvajoyê dike. Di mijara hişyariyê de, em hişyariyê bi riya alertmanager distînin.
Parçeyek wmauth heye. Dibe ku em nekarin (me hîn li ser vê yekê biryar nedaye) wê wekî pergalek destûrnameyê ji bo guhertoya pirzimanî ya koman bikar bînin. Ew ji bo Prometheus remoteWrite piştgirî dike û dikare li ser bingeha url-ê, an bêtir beşa duyemîn a wê, ku hûn dikarin an nekarin binivîsin destûr bide.
Di heman demê de vmbackup, vmrestore jî heye. Ev e, di eslê xwe de, nûvekirin û hilanînê ji hemû daneyan. Dikare S3, GCS, pelê bike.
Yekem dubarekirina koma me di dema karantînê de hate çêkirin. Di wê demê de, kopiyek tune bû, ji ber vê yekê dubarekirina me ji du komên cûda û serbixwe pêk dihat ku me daneyan bi riya remoteWrite distînin.
Li vir ez ê rezervasyonek bikim ku dema ku me ji VictoriaMetrics Single Node veguherand Guhertoya Cluster-a VictoriaMetrics, em hîn jî bi heman çavkaniyên vexwarinê re man, ango ya sereke bîranîn e. Bi vî rengî daneyên me, ango xerckirina çavkaniyê, bi vî rengî hate belav kirin.
Berê li vir kopiyek hatiye zêdekirin. Me ev hemû di nav komeke nisbeten mezin de berhev kir. Hemî daneyên me hem têne şilandin û hem jî têne dubare kirin.
Tevahiya komê N xalên têketinê hene, tê vê wateyê ku Prometheus dikare bi HAPROXY daneyan zêde bike. Li vir me ev xala têketinê heye. Û bi rêya vê xala têketinê hûn dikarin ji Grafana têkevin.
Di doza me de, HAPROXY yekane porta ye ku proxy di hundurê vê komê de hildibijêre, têxe û karûbarên din. Di doza me de, ne gengaz bû ku em yek navnîşan çêbikin; me neçar bû ku çend xalên têketinê çêbikin, ji ber ku makîneyên virtual bixwe yên ku koma VictoriaMetrics li ser wan dimeşîne, li deverên cihêreng ên heman pêşkêşkarê ewrê ne, ango ne di hundurê ewrê me de, lê li derve ne. .
Hişyariya me heye. Em wê bikar tînin. Em ji Prometheus alertmanager bikar tînin. Em Opsgenie û Telegram wekî kanalek radestkirina hişyar bikar tînin. Di Telegram de ew ji dev dirijînin, dibe ku tiştek ji prod, lê bi piranî tiştek statîstîkî, ku ji hêla endezyaran ve hewce ye. Û Opsgenie krîtîk e. Ev bang in, birêvebirina bûyeran.
Pirsa herheyî: "Kî çavdêriya çavdêriyê dike?" Di doza me de, çavdêrî çavdêriya xwe dike, ji ber ku em li ser her girêk vmagent bikar tînin. Û ji ber ku girêkên me li navendên danûstendinê yên cihêreng ên heman pêşkêşkerê têne belav kirin, her navendek daneyê kanalek xwe heye, ew serbixwe ne, û hetta heke mejiyek perçebûyî jî were, em ê dîsa jî hişyariyan bistînin. Erê, dê ji wan bêtir hebin, lê çêtir e ku meriv ji tunebûnê bêtir hişyariyan werbigire.
Em lîsteya xwe bi pêkanîna HA bi dawî dikin.
Û bêtir ez dixwazim ezmûna danûstendina bi civata VictoriaMetrics re destnîşan bikim. Pir erênî derket. Zarok bersivdar in. Ew hewl didin ku di her doza ku tê pêşkêş kirin de bikolin.
Min pirsgirêkên li ser GitHub dest pê kir. Ew pir zû çareser kirin. Çend pirsgirêkên din jî hene ku bi tevahî girtî ne, lê ez jixwe ji kodê dibînim ku di vî warî de xebat didomin.
Di dema dubareyan de êşa sereke ji bo min ev bû ku ger ez girêkek bigirim, wê hingê 30 saniyeyên pêşîn vminsert nikarîbû fam bike ku paşverû tune. Niha ev biryar hatiye dayîn. Û bi rastî di yek an du duyemîn de, dane ji hemî girêkên mayî têne girtin, û daxwaz li benda wê girêka wenda disekine.
Di demekê de me dixwest ku VictoriaMetrics bibe operatorek VictoriaMetrics. Em li benda wî man. Em niha bi awayekî çalak çarçoveyek ji bo operatora VictoriaMetrics ava dikin ku hemî qaîdeyên pêş-hesabkirinê, hwd. Prometheus bigire, ji ber ku em bi rengek çalak qaîdeyên ku bi operatorê Prometheus re têne bikar tînin.
Pêşniyarên ji bo baştirkirina pêkanîna komê hene. Min li jor behsa wan kir.
Û ez bi rastî dixwazim nimûneyê dakêşim. Di rewşa me de, dakêşandin tenê ji bo dîtina trendan hewce ye. Bi gelemperî, yek metrîk di nav rojê de ji min re bes e. Ev meyl ji bo salek, sê, pênc, deh salan hewce ne. Û yek nirxa metrîkê bes e.
- Dema ku Prometheus bikar tînin, me êş nas kir, wekî hin hevkarên me.
- Me VictoriaMetrics ji bo xwe hilbijart.
- Ew hem ji hêla vertîkal û hem jî horizontî ve pir baş hûr dibe.
- Em dikarin hêmanên cihêreng li hejmarên cihêreng ên di komê de belav bikin, wan ji hêla bîranînê ve sînordar bikin, bîranînê lê zêde bikin, hwd.
Em ê VictoriaMetrics li malê bikar bînin ji ber ku me bi rastî jê hez kir. Tiştê ku bûye û bûye ev e.
Ji bo sohbeta VictoriaMetrics, têkiliyên min, radara teknîkî LeroyMerlin çend kodên QR.
Source: www.habr.com