VictoriaMetrics dia DBMS haingana sy azo esorina amin'ny fitehirizana sy fanodinana angon-drakitra amin'ny endrika andian-potoana (rakitra dia misy fotoana sy soatoavina mifanandrify amin'io fotoana io, ohatra, azo amin'ny alàlan'ny fitsapan-kevitra ara-potoana momba ny satan'ny sensor na fanangonana metrika).
Kolobaev Pavel no anarako. DevOps, SRE, LeroyMerlin, ny zava-drehetra dia toy ny kaody - momba antsika izany rehetra izany: momba ahy sy momba ny mpiasa LeroyMerlin hafa.
Misy rahona miorina amin'ny OpenStack. Misy rohy kely mankany amin'ny radara teknika.
Izy io dia miorina amin'ny fitaovana Kubernetes, ary koa amin'ny serivisy rehetra mifandraika amin'ny OpenStack sy ny logging.
Izany no tetika nananantsika tamin'ny fampandrosoana. Rehefa namolavola izany rehetra izany izahay dia nanana mpandraharaha Prometheus izay mitahiry angona ao anatin'ny cluster K8s mihitsy. Hitany ho azy izay tokony hohosana ary ataony eo ambanin'ny tongony, raha lazaina amin'ny teny manodidina.
Mila mamindra ny angon-drakitra rehetra ivelan'ny cluster Kubernetes isika, satria raha misy zavatra mitranga dia mila mahatakatra hoe inona sy aiza.
Ny vahaolana voalohany dia ny fampiasana ny federasiona rehefa manana Prometheus antoko fahatelo, rehefa mankany amin'ny cluster Kubernetes amin'ny alàlan'ny mekanika federasiona.
Misy olana kely anefa eto. Amin'ny tranga misy anay, nanomboka ny olana rehefa nanana metrika 250 izahay, ary rehefa nisy metrika 000, dia tsapanay fa tsy afaka miasa toy izany izahay. Nampitomboinay ho 400 segondra ny scrape_time out.
Nahoana isika no tsy maintsy nanao izany? Prometheus dia manomboka manisa ny fe-potoana manomboka amin'ny fiandohan'ny fefy. Tsy maninona fa mbola mikoriana ny angon-drakitra. Raha ao anatin'io fe-potoana voatondro io dia tsy mitambatra ny angon-drakitra ary tsy mikatona amin'ny alalan'ny http ny session, dia heverina ho tsy nahomby ilay session ary tsy miditra ao amin'ny Prometheus mihitsy ny angona.
Fantatry ny rehetra ny kisary azonay rehefa tsy ampy ny angona sasany. Rovitra ny fandaharam-potoana ary tsy faly amin'izany izahay.
Ny safidy manaraka dia ny sharding mifototra amin'ny Prometheus roa samy hafa amin'ny alàlan'ny mekanika federasiona mitovy.
Raiso fotsiny, ohatra, ary zarao amin'ny anarany. Azo ampiasaina koa izany, saingy nanapa-kevitra ny handroso izahay.
Isika izao dia tsy maintsy manodina ireo potipoti-javatra ireo. Afaka maka promxy ianao, izay mankany amin'ny faritra shard ary mampitombo ny angona. Izy io dia miasa miaraka amin'ny shard roa ho teboka fidirana tokana. Azo ampiharina amin'ny alàlan'ny promxy izany, saingy mbola sarotra loatra.
Ny safidy voalohany dia ny hiala amin’ny rafitra federasiona satria miadana be.
Ny mpamorona Prometheus dia milaza mazava tsara hoe: "Ry lehilahy, ampiasao TimescaleDB hafa satria tsy hanohana ny fitahirizana metrika maharitra izahay." Tsy anjarany izany.
Manorata amin'ny taratasy iray izay mbola mila avoaka any ivelany izahay, mba tsy hitehirizana ny zava-drehetra amin'ny toerana iray.
Ny tsy fahampiana faharoa dia ny fanjifana fahatsiarovana. Eny, azoko fa maro no hilaza fa amin'ny 2020 dia mitentina denaria iray ny fitadidiana gigabytes roa, saingy mbola.
Ankehitriny dia manana tontolo dev sy prod izahay. Ao amin'ny dev dia manodidina ny 9 gigabytes ho an'ny metrika 350. Amin'ny prod dia 000 gigabytes ary mihoatra ny 14 metrika. Mandritra izany fotoana izany, 780 minitra ihany ny fotoana fitazonana anay. Ratsy izany. Ary ankehitriny dia hazavaiko ny antony.
Manao kajikajy izahay, izany hoe, miaraka amin'ny metrika iray tapitrisa sy sasany, ary efa akaiky azy ireo izahay, amin'ny dingana famolavolana dia mahazo fahatsiarovana 35-37 gigabytes. Fa efa 4 tapitrisa metrika mila fitadidiana 90 gigabytes. Izany hoe, nokajiana tamin'ny alàlan'ny rôle nomen'ny mpamorona Prometheus izany. Nijery ny fifamatorana izahay ary nahatsapa fa tsy te handoa vola roa tapitrisa ho an'ny mpizara iray ho fanaraha-maso fotsiny.
Tsy hampitombo ny isan'ny milina fotsiny izahay fa manara-maso ny milina virtoaly ihany koa. Noho izany, ny milina virtoaly bebe kokoa, ny metrika maro isan-karazany, sns. Hanana fitomboana manokana amin'ny cluster misy antsika isika amin'ny resaka metrika.
Miaraka amin'ny habaka kapila, tsy dia ratsy loatra ny zava-drehetra eto, fa tiako ny hanatsara izany. Nahazo totalin'ny 15 gigabytes izahay tao anatin'ny 120 andro, ka ny 100 amin'ireo dia angon-drakitra voaporitra, ny 20 dia angona tsy voaporitra, saingy mila kely kokoa hatrany izahay.
Noho izany, manoratra teboka iray hafa izahay - ity dia fanjifana loharanon-karena be, izay mbola tiantsika hotehirizina, satria tsy tiantsika ny handany loharanon-karena bebe kokoa noho ny cluster, izay mitantana ny OpenStack.
Misy lesoka iray hafa amin'ny Prometheus, izay fantatsika ho an'ny tenantsika, farafaharatsiny karazana famerana fahatsiarovana. Miaraka amin'i Prometheus, ratsy kokoa ny zava-drehetra eto, satria tsy misy fikorontanana toy izany mihitsy. Ny fampiasana fetra amin'ny docker dia tsy safidy ihany koa. Raha nianjera tampoka ny RAF-nao ary misy 20-30 gigabytes, dia ho ela be ny fiakarana.
Antony iray hafa tsy mety amintsika ny Prometheus, izany hoe tsy afaka mametra ny fanjifana fahatsiarovana.
Mety ho azo atao ny manao drafitra toy izany. Mila ity tetika ity izahay mba handaminana ny vondrona HA. Tianay ho hita lalandava sy eny rehetra eny ny metrikay, na dia midonaka aza ny mpizara izay mitahiry ireo metrika ireo. Ary noho izany dia tsy maintsy hanangana rafitra toy izany isika.
Ity tetika ity dia milaza fa hanana dika mitovy amin'ny shards isika, ary, araka izany, ny dika mitovy amin'ny vola lany. Azo ampitomboina saika mitsivalana izy io, saingy ny fanjifana loharanon-karena dia ho helo.
Ny fatiantoka amin'ny filaharan'ny fomba nanoratanay azy ireo ho anay:
- Mitaky fampiakarana metrika any ivelany.
- Fanjifana harena be.
- Tsy misy fomba hamerana ny fanjifana fahatsiarovana.
- Fampiharana saro-pady sy loharanon-karena ny HA.
Ho an'ny tenanay, dia nanapa-kevitra izahay fa hiala ao amin'ny Prometheus ho trano fitahirizana.
Nahita fepetra fanampiny ho an'ny tenantsika izay ilainay izahay. ity:
- Fanohanana promql ity, satria betsaka ny zavatra efa nosoratana ho an'ny Prometheus: fanontaniana, fanairana.
- Ary avy eo dia manana Grafana isika, izay efa voasoratra amin'ny fomba mitovy amin'ny Prometheus ho backend. Tsy te hamerina hanoratra dashboards aho.
- Te hanangana rafitra HA mahazatra izahay.
- Tianay ny hampihena ny fandaniana amin'ny loharano rehetra.
- Misy nuance kely hafa. Tsy afaka mampiasa karazana rafitra fanangonana metrika rahona izahay. Tsy fantatray izay ho tafiditra ao anatin'ireo metrika ireo. Ary satria na inona na inona afaka manidina any, dia tsy maintsy mametra ny tenantsika amin'ny toerana eo an-toerana isika.
Kely ny safidy. Nangoninay izay rehetra niainanay. Nijery ny pejy Prometheus tao amin'ny fizarana fampidirana izahay, namaky lahatsoratra maromaro, ary nahita izay tao. Ary ho an'ny tenanay dia nisafidy ny VictoriaMetrics izahay ho solon'ny Prometheus.
Nahoana? Satria:
- Mahalala promql.
- Misy rafitra modular.
- Tsy mitaky fanovana amin'ny Grafana.
- Ary ny tena zava-dehibe dia mety hanome ny fitehirizana metrika ao amin'ny orinasanay ho serivisy izahay, noho izany dia mikaroka mialoha ny fameperana isan-karazany izahay mba ahafahan'ny mpampiasa mampiasa ny loharanon'ny cluster amin'ny fomba voafetra, satria misy ny vintana. fa ho multitenancy.
Andeha hatao ny fampitahana voalohany. Ny Prometheus ihany no raisintsika ao anatin'ilay cluster, ny Prometheus ivelany dia mankany aminy. Ampio amin'ny alàlan'ny remoteWrite VictoriaMetrics.
Hanao famandrihana avy hatrany aho fa eto izahay dia nahitana fiakarana kely amin'ny fanjifana CPU avy amin'ny VictoriaMetrics. Ny wiki VictoriaMetrics dia milaza aminao izay masontsivana tsara indrindra. Nojerenay izy ireo. Nahenany tsara ny fanjifana CPU.
Amin'ity tranga ity dia tsy nitombo be ny fanjifana fahatsiarovana an'i Prometheus, izay hita ao amin'ny cluster Kubernetes.
Mampitaha loharano roa amin'ny angona mitovy izahay. Ao amin'ny Prometheus dia mahita angon-drakitra tsy hita mitovy. Tsara ny zava-drehetra ao amin'ny VictoriaMetrics.
Valin'ny fitsapana toerana kapila. Nahazo 120 gigabytes izahay tao amin'ny Prometheus. Ao amin'ny VictoriaMetrics dia efa mahazo 4 gigabytes isan'andro izahay. Misy mekanika hafa kely noho ny mahazatra hitantsika ao amin'ny Prometheus. Izany hoe efa voatsindry tsara ao anatin’ny iray andro, ao anatin’ny antsasak’adiny ny angon-drakitra. Efa voajinja tsara izy ireo tao anatin’ny iray andro, tao anatin’ny antsasak’adiny, na dia mbola ho very aza ny angon-drakitra any aoriana. Vokatr'izany dia nitsitsy toerana malalaka izahay.
Mitsitsy amin'ny fanjifana loharano fitadidiana ihany koa izahay. Tamin'ny fotoan'ny fitsapana, Prometheus napetraka tamin'ny milina virtoaly - 8 cores, 24 gigabytes. Ny Prometheus dia mihinana saika ny zava-drehetra. Nianjera tamin'ny OOM Killer izy. Nandritra izany fotoana izany, 900 metrics mavitrika ihany no narotsaka tao. Manodidina ny 000-25 isa-tsegondra izany.
Nihazakazaka VictoriaMetrics tamin'ny milina virtoaly roa-fototra misy RAM 8 gigabytes izahay. Vitanay ny nampiditra an'i VictoriaMetrics hiasa tsara amin'ny alàlan'ny fiviliana zavatra vitsivitsy amin'ny milina 8GB. Tamin'ny farany dia nitazona azy ho 7 gigabytes izahay. Nandritra izany fotoana izany, ny hafainganan'ny fandefasana votoaty, izany hoe ny metrika, dia mbola ambony noho ny an'ny Prometheus.
Ny CPU dia lasa tsara kokoa raha oharina amin'ny Prometheus. Eto ny Prometheus dia mandany 2,5 cores, ary ny VictoriaMetrics dia mandany 0,25 cores ihany. Amin'ny voalohany - 0,5 cores. Rehefa mitambatra izy dia mahatratra fototra iray, saingy tena tsy fahita firy izany.
Amin'ny tranga misy anay, ny safidy dia nianjera tamin'ny VictoriaMetrics noho ny antony mazava; te-hitsitsy vola izahay ary nanao izany izahay.
Andao hiampita teboka roa avy hatrany - ny fampiakarana metrika sy ny fanjifana be dia be. Ary tsy maintsy manapa-kevitra fotsiny isika fa teboka roa mbola tavela ho an'ny tenantsika.
Eto aho dia hanao famandrihana avy hatrany, heverintsika ho fitahirizana metrika ny VictoriaMetrics. Saingy satria mety hanome VictoriaMetrics ho fitahirizana ho an'ny Leroy rehetra izahay, dia mila mametra ireo izay hampiasa an'io cluster io izahay mba tsy hanome azy anay.
Misy paramètre mahafinaritra ahafahanao mametra amin'ny fotoana, amin'ny habetsahan'ny data ary amin'ny fotoana famonoana.
Misy ihany koa ny safidy tena tsara izay ahafahantsika mametra ny fanjifana fahatsiarovana, amin'izany dia afaka mahita ny fifandanjana izay ahafahantsika mahazo ny hafainganam-pandeha ara-dalàna sy ny fanjifana loharanon-karena ampy.
Tombanana teboka iray hafa, izany hoe tapaho ny teboka - tsy azonao atao ny mametra ny fanjifana fahatsiarovana.
Tamin'ny famerimberenana voalohany dia nanandrana ny VictoriaMetrics Single Node izahay. Avy eo dia miroso amin'ny VictoriaMetrics Cluster Version isika.
Eto izahay dia manana tanana maimaim-poana hanasaraka ny serivisy samihafa ao amin'ny VictoriaMetrics miankina amin'ny zavatra hataony sy ny loharano hohaniny. Vahaolana tena mora sy mora. Nampiasa ny tenanay izahay.
Ny singa fototra amin'ny VictoriaMetrics Cluster Version dia vmstsorage. Mety misy N isan'izy ireo. Aminay dia misy 2 izy ireo hatreto.
Ary misy vminsert. Izy io dia mpizara proxy ahafahantsika: mandamina ny fifampizarana eo amin'ireo fitahirizana rehetra izay notantarainay momba azy, ary mamela kopia ihany koa, izany hoe hanana sharding sy kopia ianao.
Vminsert dia manohana ny OpenTSDB, Graphite, InfluxDB ary remoteWrite protocols avy amin'ny Prometheus.
Misy ihany koa ny vmselect. Ny tena asany dia ny mandeha any amin'ny vmstorage, mandray angon-drakitra avy amin'izy ireo, manafoana izany data izany ary manome izany ho an'ny mpanjifa.
Misy zavatra mahafinaritra antsoina hoe vmagent. Tena tianay izy. Izy io dia ahafahanao manitsy ny Prometheus ary mbola manao ny zava-drehetra mitovy amin'ny Prometheus. Izany hoe, manangona metrika avy amin'ny sampana sy serivisy samihafa ary mandefa azy ireo any amin'ny vminsert. Dia miankina aminao ny zava-drehetra.
Serivisy lehibe iray hafa dia vmalert, izay ahafahanao mampiasa VictoriaMetrics ho backend, mandray angon-drakitra voavoatra avy amin'ny vminsert ary mandefa azy any amin'ny vmselect. Izy ihany koa no mikarakara ny fampandrenesana, ary koa ny fitsipika. Raha ny fanairana, dia mahazo ny fanairana amin'ny alalan'ny alertmanager izahay.
Misy singa wmauth. Mety na tsia (mbola tsy nanapa-kevitra momba an'io izahay) hampiasa azy io ho rafitra fanomezan-dàlana ho an'ny dikan-tsarimihetsika marobe. Izy io dia manohana ny remoteWrite ho an'ny Prometheus ary afaka manome alalana mifototra amin'ny url, na ny ampahany faharoa amin'izany, izay ahafahanao manoratra na tsy afaka manoratra.
Misy ihany koa ny vmbackup, vmrestore. Izany dia, raha ny marina, ny famerenana sy ny backup ny angona rehetra. Afaka manao S3, GCS, rakitra.
Ny famerimberenana voalohany ny klustery dia natao nandritra ny confinement. Tamin'izany fotoana izany dia tsy nisy kopia, noho izany dia nisy cluster roa samy hafa sy mahaleo tena izay nahazoanay angona tamin'ny alalan'ny remoteWrite.
Eto aho dia hanao famandrihana fa rehefa nifindra avy amin'ny VictoriaMetrics Single Node mankany amin'ny VictoriaMetrics Cluster Version izahay dia mbola nijanona niaraka tamin'ny loharanon-karena efa lany ihany, izany hoe ny fitadidiana no lehibe indrindra. Toy izao ny fomba nizarana ny angonay, izany hoe ny fanjifana loharanon-karena.
Efa nampiana dika mitovy eto. Natambatray ho cluster iray somary lehibe izany rehetra izany. Ny angon-tsika rehetra dia sady nozaraina no averina.
Ny cluster manontolo dia manana teboka fidirana N, midika izany fa afaka manampy data amin'ny HAPROXY i Prometheus. Eto isika dia manana ity teboka fidirana ity. Ary amin'ny alàlan'ity teboka fidirana ity dia afaka miditra amin'ny Grafana ianao.
Amin'ity tranga ity, HAPROXY no hany seranana mifantina, mampiditra ary serivisy hafa ao anatin'ity cluster ity. Aminay dia tsy azo atao ny manao adiresy iray; tsy maintsy nanao teboka fidirana maromaro izahay, satria ny milina virtoaly izay iasan'ny kluster VictoriaMetrics dia any amin'ny faritra samihafa amin'ny mpamatsy rahona iray ihany, izany hoe tsy ao anatin'ny rahonay, fa any ivelany. .
Manana fanairana izahay. Ampiasainay izany. Mampiasa alertmanager avy amin'ny Prometheus izahay. Mampiasa Opsgenie sy Telegram izahay ho fantsona fanaterana fanairana. Ao amin'ny Telegram izy ireo dia mirotsaka avy amin'ny dev, angamba zavatra avy amin'ny prod, fa ny ankamaroany dia zavatra statistika, ilain'ny injeniera. Ary i Opsgenie dia manakiana. Ireo dia antso, fitantanana ny tranga.
Ny fanontaniana mandrakizay: "Iza no manara-maso ny fanaraha-maso?" Amin'ity tranga ity, ny fanaraha-maso dia manara-maso ny tenany, satria mampiasa vmagent amin'ny node tsirairay izahay. Ary satria ny nodesy dia zaraina amin'ny foibe data samihafa amin'ny mpamatsy iray ihany, ny foibe data tsirairay dia manana ny fantsona azy manokana, mahaleo tena izy ireo, ary na dia misy atidoha misaraka aza tonga, dia mbola hahazo fampandrenesana ihany izahay. Eny, ho betsaka kokoa izy ireo, saingy tsara kokoa ny mahazo fanairana bebe kokoa noho ny tsy misy.
Mamarana ny lisitray amin'ny fampiharana HA izahay.
Ary ankoatra izany dia tiako ny manamarika ny traikefa amin'ny fifandraisana amin'ny vondrom-piarahamonina VictoriaMetrics. Nipoitra be izany. Mamaly ny bandy. Miezaka manadihady ny tranga rehetra atolotra izy ireo.
Nanomboka olana tao amin'ny GitHub aho. Voavaha haingana dia haingana izy ireo. Misy olana roa hafa tsy mihidy tanteraka, fa efa hitako avy amin'ny code izay miasa amin'ity lalana ity.
Ny fangirifiriana lehibe ho ahy nandritra ny famerimberenana dia ny hoe raha manidy node aho, dia tsy azon'i vminsert nandritra ny 30 segondra voalohany fa tsy nisy backend. Tapaka izao. Ary ara-bakiteny ao anatin'ny segondra iray na roa, ny angon-drakitra dia alaina amin'ireo node sisa rehetra, ary mijanona ny fangatahana miandry an'io node tsy hita io.
Tamin'ny fotoana iray dia tianay ho mpandraharaha VictoriaMetrics ny VictoriaMetrics. Niandry azy izahay. Mazoto manangana rafitra ho an'ny mpandraharaha VictoriaMetrics izahay izao mba handraisana ny fitsipika rehetra kajy mialoha, sns. Prometheus, satria mazoto mampiasa ny fitsipika miaraka amin'ny mpandraharaha Prometheus izahay.
Misy soso-kevitra hanatsarana ny fampiharana ny cluster. Nosoritako teo ambony ireo.
Ary tena tiako ny midina sample. Amin'ny tranga misy antsika, ny fampidinana santionany dia ilaina fotsiny amin'ny fijerena ny fironana. Amin'ny ankapobeny dia ampy ho ahy ny metrika iray mandritra ny andro. Ireo fironana ireo dia ilaina mandritra ny herintaona, telo, dimy, folo taona. Ary ny sanda metrika iray dia ampy.
- Nahafantatra fanaintainana izahay, toy ny sasany amin'ireo mpiara-miasa aminay, rehefa mampiasa Prometheus.
- Nifidy ny VictoriaMetrics ho anay izahay.
- Mizana tsara izy na mitsangana na mitsivalana.
- Afaka mizara singa samihafa amin'ny isan'ny nodes ao amin'ny cluster isika, mametra azy ireo amin'ny fitadidiana, manampy fahatsiarovana, sns.
Hampiasa VictoriaMetrics any an-trano izahay satria tena tianay. Izany no nisy sy lasa.
Kaody QR roa ho an'ny chat VictoriaMetrics, ny ifandraisako, ny radar teknika LeroyMerlin.
Source: www.habr.com