Ang VictoriaMetrics usa ka paspas ug scalable nga DBMS alang sa pagtipig ug pagproseso sa datos sa porma sa usa ka serye sa oras (usa ka rekord nagporma usa ka oras ug usa ka hugpong sa mga kantidad nga katumbas sa kini nga oras, pananglitan, nakuha pinaagi sa usa ka periodic nga pagboto sa kahimtang sa mga sensor. o pagkolekta metrics).
Ako si Pavel Kolobaev. DevOps, SRE, LeroyMerlin, ang tanan sama sa code - kini tanan mahitungod kanato: mahitungod kanako ug mahitungod sa ubang mga empleyado sa LeroyMerlin.
Adunay usa ka panganod nga gibase sa OpenStack. Adunay gamay nga link sa teknikal nga radar.
Gitukod kini pinasukad sa Kubernetes nga puthaw, ingon man sa tanan nga may kalabutan nga serbisyo sa OpenStack ug pag-log.
Kini ang laraw nga among naa sa pag-uswag. Sa diha nga among gipalambo kining tanan, kami adunay Prometheus operator, nga nagtipig sa datos sulod sa K8s cluster mismo. Awtomatiko niya nga pangitaon ang kinahanglan nga limpyohan ug ibutang kini sa ilawom sa iyang mga tiil, sa halos pagsulti.
Kinahanglan natong ibalhin ang tanang datos sa gawas sa Kubernetes cluster, tungod kay kung adunay mahitabo, kinahanglan natong masabtan kung unsa ug asa.
Ang una nga solusyon mao ang among paggamit sa federation kung kami adunay ikatulo nga partido nga Prometheus kung kami moadto sa Kubernetes cluster pinaagi sa federation mechanism.
Apan adunay pipila ka gagmay nga mga problema dinhi. Sa among kaso, ang mga problema nagsugod sa dihang kami adunay 250 nga mga sukatan, ug kung adunay 000 nga mga sukatan, among nahibal-an nga dili kami mahimo nga ingon niana. Gidugangan namo ang scrape_timeout ngadto sa 400 segundos.
Nganong kinahanglan man nato kining buhaton? Ang Prometheus nagsugod sa pag-ihap sa timeout gikan sa pagsugod sa pickup moment. Dili igsapayan nga ang datos nagpadayon sa pagbubo. Kung sa niining gitakda nga yugto sa panahon ang datos wala maghiusa ug ang sesyon wala gisirhan pinaagi sa http, nan kini giisip nga ang sesyon napakyas ug ang datos wala makasulod sa Prometheus mismo.
Nahibal-an sa tanan ang mga graph nga makuha namon kung nawala ang bahin sa datos. Ang mga graphic gisi ug wala kami nalipay niini.
Ang sunod nga kapilian mao ang sharding base sa duha ka lainlaing Prometheus pinaagi sa parehas nga mekanismo sa federation.
Pananglitan, kuhaa lang ug i-shard sila sa ngalan. Mahimo usab kini gamiton, apan nakahukom kami nga magpadayon.
Kinahanglan na natong iproseso kini nga mga shards sa usa ka paagi. Mahimo nimong kuhaon ang promxy, nga mikunsad sa shard area, nagpadaghan sa datos. Naglihok kini sa duha ka shards isip usa ka entry point. Mahimo kini nga ipatuman pinaagi sa promxy, apan kini labi ka komplikado sa pagkakaron.
Ang una nga kapilian - gusto namon nga biyaan ang mekanismo sa pederasyon, tungod kay kini hinay kaayo.
Ang mga developer sa Prometheus tin-aw nga nag-ingon: "Guys, gamita ang uban nga TimescaleDB, tungod kay dili kami mosuporta sa dugay nga pagtipig sa mga sukatan." Dili kini ilang tahas.
Gisulat namon sa usa ka piraso nga papel nga kinahanglan pa namon nga idiskarga sa gawas, aron dili ibutang ang tanan sa usa ka lugar.
Ang ikaduha nga disbentaha mao ang pagkonsumo sa memorya. Oo, nasabtan nako nga daghan ang moingon nga sa 2020 usa ka pares nga gigabytes nga memorya ang nagkantidad usa ka sentimos, apan bisan pa niana.
Karon naa na miy dev ug prod environment. Sa dev, kini mga 9 gigabytes matag 350 metrics. Sa prod, kini 000 gigabytes nga adunay gamay nga 14 metrics. Sa parehas nga oras, kami adunay 780 minuto ra nga oras sa pagpadayon. Kini daotan. Ug karon akong isaysay kung ngano.
Naghimo kami usa ka kalkulasyon, nga mao, nga adunay usa ug tunga nga milyon nga sukatan, ug hapit na kami kanila, sa yugto sa disenyo nakakuha kami 35-37 gigabytes nga memorya. Apan sa 4 ka milyon nga metrics, mga 90 gigabytes nga memorya ang gikinahanglan na. Sa ato pa, kini gikalkulo sumala sa pormula nga gihatag sa mga developer sa Prometheus. Among gitan-aw ang correlation ug nakaamgo nga dili namo gusto nga mobayad og duha ka milyon alang sa usa ka server para lang sa pagmonitor.
Dili lang namo dugangan ang gidaghanon sa mga makina, among gimonitor usab ang mga virtual machine mismo. Busa, ang mas daghang virtual machines, mas daghan ang metrics sa lain-laing klase, ug uban pa. Kita adunay espesyal nga pagtubo sa atong cluster sa termino sa metrics.
Uban sa disk space, ang tanan dili kaayo makapasubo dinhi, apan gusto ko nga pauswagon kini. Nakadawat kami og total nga 15 gigabytes sa 120 ka adlaw, diin 100 ang compressed data, 20 ang wala ma-compress nga data, apan gusto nimo nga gamay ra.
Subay niini, among isulat ang usa pa ka punto - kini usa ka dako nga konsumo sa mga kahinguhaan nga gusto pa namon nga tipigan, tungod kay dili kami gusto nga ang among monitoring cluster makakaon og daghang mga kapanguhaan kaysa among cluster nga nagdumala sa OpenStack.
Adunay usa pa nga disbentaha sa Prometheus, nga nahibal-an namon alang sa among kaugalingon, kini labing menos usa ka matang sa limitasyon sa panumduman. Uban sa Prometheus, ang tanan mas grabe dinhi, tungod kay wala siya'y ingon nga mga twist. Ang paggamit sa limitasyon sa docker dili usab kapilian. Kung kalit nga nahulog ang imong RAF ug adunay 20-30 gigabytes, unya dugay kaayo nga mobangon.
Kini usa pa ka hinungdan ngano nga ang Prometheus dili angay alang kanato, i.e. dili naton limitahan ang pagkonsumo sa memorya.
Posible nga makahimo sa ingon nga laraw. Kinahanglan namon kini nga laraw aron maorganisar ang usa ka cluster sa HA. Gusto namon nga magamit ang among mga sukatan bisan unsang orasa, bisan diin, bisan kung ang server nga nagtipig niini nga mga sukatan nahagsa. Ug sa ingon kita kinahanglan nga magtukod sa ingon nga laraw.
Kini nga laraw nag-ingon nga kita adunay pagdoble sa mga shards, ug, sa ingon, pagdoble sa mga gasto sa nahurot nga mga kapanguhaan. Mahimo kini nga halos pinahigda nga gisukod, apan bisan pa ang pagkonsumo sa kahinguhaan mahimong infernal.
Ang mga disbentaha sa pagkasunodsunod, sa porma diin among gisulat kini alang sa among kaugalingon:
- Nagkinahanglan sa pag-upload sa mga sukatan sa gawas.
- Taas nga konsumo sa mga kahinguhaan.
- Dili nimo limitahan ang konsumo sa memorya.
- Komplikado ug kusog sa kahinguhaan nga pagpatuman sa HA.
Alang sa among kaugalingon, nakahukom kami nga mobalhin kami gikan sa Prometheus ingon usa ka tipiganan.
Nakaila kami og dugang nga mga kinahanglanon alang sa among kaugalingon nga among gikinahanglan. Kini:
- Kini ang suporta sa promql, tungod kay daghan na ang nasulat para sa Prometheus: mga pangutana, mga alerto.
- Ug unya kami adunay Grafana, nga gisulat na sa parehas nga paagi sa ilawom sa Prometheus ingon usa ka backend. Dili ko gusto nga isulat pag-usab ang mga dashboard.
- Gusto namon nga magtukod usa ka normal nga arkitektura sa HA.
- Gusto namon nga makunhuran ang pagkonsumo sa bisan unsang mga kahinguhaan.
- Adunay laing gamay nga nuance. Dili kami makagamit sa lain-laing mga matang sa cloud system para sa pagkolekta sa metrics. Wala kami mahibal-an kung unsa ang molupad sa kini nga mga sukatan sa pagkakaron. Ug tungod kay bisan unsa nga makalupad didto, kinahanglan nga limitahan ang among kaugalingon sa lokal nga pagbutang.
Ang pagpili gamay ra. Gikolekta namo ang tanan nga among nasinati. Gitan-aw namon ang panid sa Prometheus sa seksyon sa panagsama, gibasa ang daghang mga artikulo, gitan-aw kung unsa ang kasagarang magamit. Ug para sa among kaugalingon, gipili namo ang VictoriaMetrics isip puli sa Prometheus.
Ngano man? Tungod kay:
- Makahimo sa promql.
- Adunay usa ka modular nga arkitektura.
- Wala magkinahanglan og mga pagbag-o sa Grafana.
- Ug ang labing hinungdanon, tingali maghatag kami usa ka pagtipig sa sukatan sa sulod sa among kompanya ingon usa ka serbisyo, mao nga nangita kami daan sa lainlaing mga lahi sa mga pagdili aron magamit sa mga tiggamit ang tanan nga mga kahinguhaan sa cluster sa pila ka limitado nga paagi, tungod kay adunay higayon nga kini mahimong multitenancy.
Gihimo namon ang una nga pagtandi. Gikuha namon ang parehas nga Prometheus sa sulod sa cluster, ang gawas nga Prometheus moadto niini. Nagdugang kami pinaagi sa remoteWrite VictoriaMetrics.
Maghimo ako usa ka reserbasyon dayon nga dinhi nakuha namon ang gamay nga pagtaas sa konsumo sa CPU gikan sa VictoriaMetrics. Ang VictoriaMetrics wiki nag-ingon kung unsang mga parameter ang labing haum. Among gisusi sila. Maayo kaayo ang ilang pagkunhod sa konsumo sa CPU.
Sa among kaso, ang pagkonsumo sa panumduman sa Prometheus, nga nahimutang sa usa ka cluster sa Kubernetes, wala kaayo motaas.
Gikumpara namo ang duha ka tinubdan sa datos sa samang datos. Sa Prometheus, nakita namon ang tanan nga parehas nga nawala nga datos. Maayo ang tanan sa VictoriaMetrics.
Mga resulta sa mga pagsulay nga adunay disk space. Kami sa Prometheus nakakuha ug 120 gigabytes sa kinatibuk-an. Sa VictoriaMetrics, nakakuha na kami og 4 gigabytes matag adlaw. Adunay gamay nga lahi nga mekanismo kaysa sa naandan nimo nga makita sa Prometheus. Sa ato pa, ang datos maayo na nga na-compress sa usa ka adlaw, sulod sa tunga sa oras. Maayo na sila nga ani sa usa ka adlaw, sa tunga sa oras, bisan pa sa kamatuoran nga sa ulahi ang mga datos mahiusa. Ingon usa ka sangputanan, nakatipig kami sa espasyo sa disk.
Nagtipig usab kami sa pagkonsumo sa mga kapanguhaan sa memorya. Sa panahon sa mga pagsulay, kami adunay Prometheus nga gipakatap sa usa ka virtual machine - 8 ka mga cores, 24 gigabytes. Ang Prometheus mokaon halos tanan. Nahulog siya sa OOM Killer. Sa samang higayon, 900 lamang ka aktibong sukatan ang gibubo niini. Kini mga 000-25 metrics kada segundo.
Ang VictoriaMetrics nagdagan sa usa ka dual-core virtual machine nga adunay 8 gigabytes nga RAM. Nahimo namon nga maayo ang VictoriaMetrics pinaagi sa pag-tweak sa pipila ka mga butang sa usa ka 8GB nga makina. Ingon usa ka sangputanan, kami nagpabilin sulod sa 7 gigabytes. Sa parehas nga oras, nakuha namon ang katulin sa paghatud sa sulud, i.e., mga sukatan, mas taas pa kaysa sa Prometheus.
Ang CPU mas maayo kay sa Prometheus. Dinhi ang Prometheus naggamit sa 2,5 nga mga cores, ug ang VictoriaMetrics naggamit lamang sa 0,25 nga mga cores. Sa pagsugod - 0,5 ka mga cores. Sa paghiusa niini, moabot kini sa usa ka kinauyokan, apan kini hilabihan ka talagsaon.
Sa among kaso, ang pagpili nahulog sa VictoriaMetrics tungod sa klaro nga mga hinungdan, gusto namon nga makatipig salapi ug makatipig.
Gitabok namon ang duha ka punto gikan sa bat - kini ang pagdiskarga sa mga sukatan ug daghang pagkonsumo sa mga kahinguhaan. Ug nagpabilin alang kanato ang pagdesisyon sa duha ka punto nga nahabilin pa naton alang sa atong kaugalingon.
Dinhi maghimo dayon ako usa ka reserbasyon, giisip namon ang VictoriaMetrics ingon usa ka tipiganan sa mga sukatan. Apan tungod kay lagmit maghatag kami og VictoriaMetrics isip tipiganan sa tanang Leroy, kinahanglan namo nga limitahan kadtong mogamit niini nga cluster aron dili nila kini ibutang kanamo.
Adunay usa ka talagsaon nga parameter nga nagtugot kanimo nga limitahan sa oras, sa gidaghanon sa datos ug sa oras sa pagpatuman.
Ug adunay usab usa ka maayo kaayo nga kapilian nga nagtugot kanimo nga limitahan ang pagkonsumo sa panumduman, sa ingon makit-an namon ang kaayo nga balanse nga magtugot kanamo nga makakuha og normal nga tulin ug igo nga pagkonsumo sa kapanguhaan.
Minus ang usa pa ka punto, nga mao, gitabok namon ang punto - dili nimo limitahan ang pagkonsumo sa memorya.
Sa unang mga pag-uli, among gisulayan ang VictoriaMetrics Single Node. Sunod mipadayon kami sa VictoriaMetrics Cluster Version.
Dinhi kami adunay libre nga kamot sa hilisgutan sa pagbulag sa lainlaing mga serbisyo sa VictoriaMetrics, depende sa kung unsa ang ilang isul-ob ug kung unsang mga kapanguhaan ang ilang gamiton. Kini usa ka flexible ug sayon nga solusyon. Gigamit namo kini sa among kaugalingon.
Ang mga nag-unang sangkap sa VictoriaMetrics Cluster Version mao ang vmstsorage. Mahimong adunay N nga numero. Sa among kaso, adunay 2 niini.
Ug adunay vminsert. Kini usa ka proxy server nga nagtugot kanamo sa: paghan-ay sa sharding tali sa tanan nga mga storage nga among gisulti kaniya, ug kini nagtugot sa laing replica, i.e. ikaw adunay sharding ug usa ka replica.
Gisuportahan sa Vminsert ang OpenTSDB, Graphite, InfluxDB ug remoteWrite nga mga protocol gikan sa Prometheus.
Adunay usab vmselect. Ang panguna nga tahas niini mao ang pag-adto sa vmstorage, pagkuha og datos gikan kanila, pag-dedupe niini nga datos ug ihatag kini sa kliyente.
Adunay usa ka talagsaon nga butang sama sa vmagent. Ganahan kaayo mi niya. Gitugotan ka niini nga i-configure sama sa Prometheus ug buhaton gihapon ang tanan sama sa Prometheus. Sa ato pa, nagkolekta kini og mga sukatan gikan sa lainlaing mga entidad ug serbisyo ug gipadala kini sa vminsert. Unya ang tanan nagdepende kanimo.
Laing maayo nga serbisyo mao ang vmalert, nga nagtugot kanimo sa paggamit sa VictoriaMetrics ingon usa ka backend, makadawat sa naproseso nga datos gikan sa vminsert ug ipadala ang naproseso nga datos sa vmselect. Giproseso niini ang mga alerto sa ilang kaugalingon, ingon man ang mga lagda. Sa kaso sa mga alerto, nakakuha kami usa ka alerto pinaagi sa alertmanager.
Adunay usa ka bahin sa wmauth. Mahimong gamiton namo kini, ug tingali dili (wala pa kami nakahukom niini) isip usa ka sistema sa pagtugot alang sa multitenancy nga mga bersyon sa mga cluster. Gisuportahan niini ang remoteWrite para sa Prometheus ug mahimong magtugot base sa url, o sa ikaduha nga bahin niini, diin mahimo nimo o dili makasulat.
Adunay usab vmbackup, vmrestore. Kini, sa tinuud, ang pagpahiuli ug pag-backup sa tanan nga datos. Makahimo sa S3, GCS, file.
Ang una nga pag-uli sa among cluster gihimo sa panahon sa quarantine. Niadtong panahona, wala'y replika, mao nga ang among pag-uli naglangkob sa duha ka lainlain ug independente nga mga pungpong, diin nakadawat kami og datos pinaagi sa remoteWrite.
Dinhi maghimo ko og reserbasyon nga sa dihang mibalhin kami gikan sa VictoriaMetrics Single Node ngadto sa VictoriaMetrics Cluster Version, nagpabilin gihapon kami sa parehas nga nahurot nga mga kapanguhaan, i.e. ang panguna mao ang memorya. Gibana-bana sa niini nga paagi ang among datos giapod-apod, i.e. konsumo sa kapanguhaan.
Usa ka replika ang gidugang dinhi. Among gihiusa kining tanan ngadto sa usa ka medyo dako nga pungpong. Ang tanan nga datos pareho nga gi-shard ug gisundog.
Ang tibuok cluster adunay N entry point, ie Prometheus makadugang ug data pinaagi sa HAPROXY. Ania ang atong entry point. Ug pinaagi sa kini nga punto sa pagsulod, mahimo ka maka-log in gamit ang Grafana.
Sa among kaso, ang HAPROXY mao ra ang pantalan nga gipili sa mga proxy, gisulud, ug uban pang mga serbisyo sa kini nga cluster. Sa among kaso, imposible nga maghimo usa ka adres, kinahanglan namon nga maghimo daghang mga punto sa pagsulod, tungod kay ang mga virtual nga makina mismo, diin nagdagan ang cluster sa VictoriaMetrics, nahimutang sa lainlaing mga zone sa parehas nga cloud provider, i.e. wala sa sulod sa among panganod. , pero sa gawas.
Kami adunay alerto. Gigamit namo kini. Gigamit namon ang alertmanager gikan sa Prometheus. Gigamit namo ang Opsgenie ug Telegram isip alert delivery channel. Sa Telegram, nagbubo sila gikan sa dev, tingali usa ka butang gikan sa prod, apan mas sama sa usa ka butang nga istatistika nga gikinahanglan sa mga inhenyero. Ug kritikal ang Opsgenie. Kini ang mga tawag, pagdumala sa insidente.
Ang karaan nga pangutana: "Kinsa ang nag-monitor sa pag-monitor?". Sa among kaso, ang pag-monitor nag-monitor sa pag-monitor mismo, tungod kay gigamit namon ang vmagent sa matag node. Ug tungod kay ang among mga node nahimutang sa lainlaing mga sentro sa datos sa parehas nga provider, ang matag sentro sa datos adunay kaugalingon nga channel, independente sila, ug bisan kung moabut ang usa ka split brain, makadawat gihapon kami mga alerto. Oo, adunay daghan kanila, apan mas maayo nga makakuha og daghang mga alerto kaysa wala.
Atong tapuson ang atong listahan sa pagpatuman sa HA.
Ug dugang pa gusto nakong timan-an ang kasinatian sa pagpakigsulti sa komunidad sa VictoriaMetrics. Kini nahimong positibo kaayo. Ang mga lalaki motubag. Naningkamot sila sa pagsusi sa matag kaso nga gitanyag.
Naghimo ko og mga isyu sa GitHub. Dali ra kaayo silang nasulbad. Adunay usa ka magtiayon nga dugang nga mga isyu nga dili hingpit nga sirado, apan nakita na nako gikan sa code nga ang pagtrabaho nagpadayon sa kini nga direksyon.
Ang nag-unang kasakit sa panahon sa mga pag-uli alang kanako mao nga kon akong putlon ang node, unya sa unang 30 segundos ang vminsert dili makasabut nga walay backend. Karon nadesisyonan na. Ug sa literal sa usa o duha ka segundo, ang datos gikuha gikan sa tanan nga nahabilin nga mga node, ug ang hangyo mihunong sa paghulat alang sa nawala nga node.
Gusto namo sa usa ka punto gikan sa VictoriaMetrics nga mahimong operator sa VictoriaMetrics. Gihulat namo siya. Aktibo na kami karon nga nagtukod ug usa ka pagbugkos sa operator sa VictoriaMetrics aron makuha ang tanan nga mga lagda sa pag-ihap sa una, ug uban pa. Prometheus, tungod kay aktibo kami nga gigamit ang mga lagda nga kauban ang operator nga Prometheus.
Adunay mga sugyot aron mapauswag ang pagpatuman sa cluster. Gi-outline ko sila sa ibabaw.
Ug gusto ko usab nga mag-downsampling. Sa among kaso, ang pag-downsampling gikinahanglan lamang alang sa pagtan-aw sa mga uso. Sa kinatibuk-an, ang usa ka metric igo na alang kanako sa adlaw. Kini nga mga uso gikinahanglan sulod sa usa ka tuig, tulo, lima, napulo ka tuig. Ug igo na ang usa ka metric value.
- Nahibal-an namon ang kasakit, sama sa pipila sa among mga kauban, samtang naggamit sa Prometheus.
- Gipili namo ang VictoriaMetrics para sa among kaugalingon.
- Maayo kaayo ang pagtimbang niini sa vertical ug horizontally.
- Mahimo namon nga ipang-apod-apod ang lainlaing mga sangkap sa lainlaing gidaghanon sa mga node sa cluster, limitahan kini sa mga termino sa memorya, pagdugang memorya, ug uban pa.
Gamiton namo ang VictoriaMetrics sa balay, kay ganahan kaayo mi. Ania kung unsa ang nahitabo ug kung unsa ang nahitabo.
Pipila ka mga qr code alang sa VictoriaMetrics chat, akong mga kontak, LeroyMerlin technical radar.
Source: www.habr.com