Ou te fautua atu e te faitau i le tusitusiga o le lipoti a Roma Khavronenko "ExtendedPromQL"
Faapuupuu e uiga ia te au. O lo'u igoa o Roma. Ou te faigaluega i CloudFlare ma nofo i Lonetona. Ae o aʻu foi o se VictoriaMetrics tausia.
Ma o au o le tusitala mo Grafana ma o se tamai sui mo ClickHouse.
O le a tatou amata i le vaega muamua, lea e taʻua o "Faigafaiva o Faaliliuga" ma i totonu o le a ou talanoa ai e uiga i le mea moni o soʻo se gagana pe naʻo se gagana o fesoʻotaʻiga e taua tele. Aua o le auala lea e te faʻaalia ai ou manatu i se isi tagata poʻo se faiga, pe faʻapefea ona e faʻatulagaina se talosaga. E finau tagata i luga o le Initaneti po o le fea gagana e sili atu - java poʻo se isi. Mo aʻu lava, na ou filifili e tatau ona ou filifili e tusa ai ma le galuega, aua o nei mea uma e patino.
Tatou amata mai lava i le amataga. O le a le PromQL? PromQL ole Prometheus Query Language. O le auala lea matou te faia ai ni fesili i le Prometheus e maua ai faʻamaumauga taimi.
O le a le fa'asologa o taimi fa'amaumauga? O le mea moni, e tolu vaega ia.
O nei:
- O le a le mea o loo tatou vaavaai i ai?
- A tatou tilotilo i ai.
- Ma o le a le taua o loo faaalia?
Afai e te vaʻai i le siata lenei (o lenei siata e mai i laʻu telefoni e faʻaalia ai laʻu laʻasaga fuainumera), e mafai ona vave taliina nei fesili.
Matou te tilotilo i laasaga. Tatou te vaai i le uiga ma tatou vaai i le taimi tatou te vaavaai i ai. O lona uiga, a tilotilo i lenei ata, e faigofie lava ona e fai atu o le Aso Sa na ou savali ai e tusa ma le 15 sitepu. Ole fa'asologa ole taimi lea.
Ia tatou "vaelua" (faaliliu) i latou i se isi faʻataʻitaʻiga faʻamatalaga i foliga o se laulau. O lo'o iai fo'i le mea o lo'o tatou va'ai i ai. O iinei na ou faʻaopoopoina ai sina faʻamatalaga faaopoopo, lea o le a matou taʻua o meta-data, o lona uiga e le o aʻu na faia lenei mea, ae o ni tagata se toʻalua, mo se faʻataʻitaʻiga, Jay ma Silent Bob. O le mea lea o loo tatou vaavaai i ai; o le a le mea e faʻaalia ma o afea e faʻaalia ai lena taua.
Se'i o tatou taumafai e teu uma nei fa'amaumauga i se fa'amaumauga. Mo se faʻataʻitaʻiga, na ou ave le ClickHouse syntax. Ma o iinei tatou te fatuina ai se laulau e tasi e taʻua o "Laasaga", o lona uiga o mea o loʻo tatou vaʻavaʻai i ai. E i ai le taimi tatou te vaavaai ai; mea o loʻo faʻaalia ma nisi faʻamatalaga meta o le a matou teuina ai poʻo ai: Jay ma Silent Bob.
Ma e taumafai e vaʻavaʻai i nei mea uma, matou te faʻaaogaina Grafana aua, muamua lava, e matagofie.
O le a matou faʻaogaina foi lenei plugin. E lua mafuaaga mo lenei mea. Muamua ona sa ou tusia. Ma ou te iloa tonu le faigata o le tosoina o faʻamaumauga taimi mai le ClickHouse e faʻaalia i Grafana.
O le a matou faʻaalia i le Graph Panel. O le laulau sili ona lauiloa i Grafana, lea e faʻaalia ai le faʻalagolago o se tau i le taimi, o lea matou te manaʻomia ai naʻo le lua faʻamau.
Sei o tatou tusia le fesili sili ona faigofie - pe faʻafefea ona faʻaalia fuainumera laʻasaga i Grafana, teuina o faʻamatalaga nei ile ClickHouse, ile laulau na matou fatuina. Ma matou tusia lenei talosaga faigofie. Matou te filifili mai laasaga. Matou te filifilia se tau ma filifili le taimi o nei tulaga taua, o lona uiga o vaega tutusa e tolu na matou talanoa ai.
Ma o se taunuuga, o le a tatou maua se kalafi pei o lenei. O ai na te iloa pe aisea ua ese ai o ia?
E sa'o, e tatau ona tatou fa'avasega i le taimi.
Ma i le faaiuga o le a tatou maua se faasologa sili atu, ae ese lava. O ai na te iloa pe aisea? E saʻo, e toʻalua tagata auai, ma o matou i Grafana e tuʻuina atu faʻasologa o taimi e lua, aua afai e te toe vaʻavaʻai i le faʻataʻitaʻiga o faʻamaumauga, o taimi taʻitasi taʻitasi o se tuʻufaʻatasiga tulaga ese o igoa ma faʻailoga taua uma.
O lea la, e tatau ona tatou filifilia se tagata patino. Matou te filifilia Jay.
Ma tatou toe tusi ata. O lea ua foliga mai o le kalafi o le mea moni. O le taimi nei o se faasologa masani ma o loʻo lelei mea uma.
Ma atonu e te iloa pe faʻafefea ona fai le mea lava e tasi, ae i Prometheus e ala i PromQL. O se mea faapena. Faigofie teisi. Ma ia tatou talepe uma i lalo. Sa matou faia Laasaga. Ma faamama e Jay. Matou te le o faʻamaonia iinei e tatau ona maua se tau ma matou te le filifilia se taimi.
Sei o tatou taumafai e fuafua le saoasaoa o le gaioiga o Jay poʻo Silent Bob. I le ClickHouse o le a tatou manaʻomia le faia o le RunDifference, o lona uiga, fuafua le eseesega i le va o paga o togi ma vaevae i latou i le taimi e maua ai le saoasaoa saʻo. O le talosaga o le a foliga pei o lenei.
Ma o le a faʻaalia pe tusa o nei tulaga taua, e pei o Silent Bob poʻo Jay e tusa ma le 1,8 laasaga i le sekone.
Ma i Prometheus e te iloa foʻi le faia o lenei mea. E sili atu le faigofie nai lo le taimi muamua.
Ma ina ia faigofie foi ona fai i Grafana, na ou faʻaopoopoina lenei afifi, e foliga tutusa ma PromQL. E ta'ua o le Rate Macros po'o so'o se mea e te mana'o e ta'u ai. I Grafana e na ona e tusia ai le "fua", ae i se mea loloto i lalo e liua i lenei talosaga tele. Ma e te le tau vaʻai i ai, o loʻo i ai i se mea, ae e te faʻasaoina le tele o le taimi, aua o le tusiaina o fesili tetele SQL e taugata i taimi uma. E faigofie ona e faia se mea sese ona e le malamalama lea i le mea o loʻo tupu mo se taimi umi.
Ma o se talosaga lea e leʻi ofi i totonu o le ata e tasi ma e tatau foi ona ou vaevaeina i ni koluma se lua. O se talosaga foi lea i le ClickHouse, lea e faia ai le fua tutusa, ae mo le faasologa o taimi uma e lua: Silent Bob ma Jay, ina ia lua a matou faasologa taimi i luga o le laulau. Ma o lenei ua faigata tele, i loʻu manatu.
Ma e tusa ai ma le Prometheus o le a avea ma aofaiga (fua). Mo ClickHouse, na ou faia se isi macro e taʻua o RateColumns, e foliga mai o se fesili ile Prometheus.
Na matou tilotilo i ai ma e foliga mai e manaia tele le PromQL, ae o loʻo i ai, ioe, tapulaa.
O nei:
- Fa'atapula'a FILIFILI.
- Fa'atasiga tuaoi.
- Leai se lagolago.
Ma afai na e galue i ai mo se taimi umi, ona e iloa lea o nisi taimi e faigata tele ona fai se mea i le PromQL, ae i le SQL e mafai ona e faia toetoe lava o mea uma, aua o nei filifiliga uma na matou talanoa ai e mafai ona faia i le SQL. . Ae faamata e faigofie ona faaaogā? Ma o lenei mea ou te manatu ai o le gagana sili ona malosi atonu e le o taimi uma e sili ona faigofie.
O le mea lea, o nisi taimi e te manaʻomia le filifilia o se gagana mo le galuega. E pei o Batman o tau ma Superman. E manino lava e malosi atu Superman, ae na mafai e Batman ona faʻatoʻilaloina o ia ona e sili atu lona faʻatinoga ma iloa lelei le mea na ia faia.
Ma o le isi vaega o le Extending PromQL.
Toe tasi e uiga i VictoriaMetrics. O le a le VictoriaMetrics? Ose fa'amaumauga fa'asologa o taimi, o lo'o i totonu o OpenSource, matou te tufatufa atu ona fa'asologa tasi ma fa'aputuga. E tusa ai ma a tatou faʻailoga, e sili atu le vave nai lo soʻo se mea o loʻo i luga o le maketi i le taimi nei ma o le faʻamalosi e tutusa, o lona uiga o tagata moni e lipotia le faʻamalosi e tusa ma le 0,4 bytes i le mata, ae o le Prometheus o le 1,2-1,4.
Matou te lagolagoina e sili atu nai lo na o Prometheus. Matou te lagolagoina InfluxDB, Graphite, OpenTSDB.
E mafai ona e "tusi" ia i matou, o lona uiga, e mafai ona e faʻafeiloaʻi faʻamaumauga tuai.
Ma matou te galulue lelei foi ma Prometheus ma Grafana, o lona uiga matou te lagolagoina le afi o le PromQL. Ma i Grafana e mafai lava ona e suia le Prometheus endpoint i VictoriaMetrics ma o lau dashboards uma o le a aoga e pei ona latou faia.
Ae e mafai foʻi ona e faʻaogaina faʻaopoopoga mea e maua e VictoriaMetrics.
O le a vave ona matou faʻaogaina foliga na matou faʻaopoopoina.
Aveese param vaeluaga - e mafai ona e aveese fa'agata vaeluaga ile Grafana. Afai e te le manaʻo e maua ni kalafi ese pe a faʻapipiʻi i totonu / fafo i le laulau, e fautuaina e faʻaoga le fesuiaiga $__interval. O se suiga i totonu o le Grafana ma na te filifilia le fa'amaumauga lava ia. Ma o VictoriaMetrics lava ia e mafai ona malamalama i le mea e tatau ona iai. Ma e te le manaʻomia le faʻafouina uma o au talosaga. O le a sili atu ona faigofie.
O le galuega lona lua o le va'aiga fa'asinomaga. E mafai ona e fa'aogaina le va lea i au fa'amatalaga. E mafai ona e faʻateleina, vaevae, faʻafeiloaʻi, faʻasino i ai.
Soso'o ai le fa'asologa o galuega a le aiga. Ole galuega Rollup e fa'aliliuina so'o se fa'asologa o taimi ile tolu fa'asologa o taimi. O mea ia o le min, max ma avg. Ou te iloa e faigofie tele lenei mea ona o nisi taimi e mafai ona faʻaalia ai nisi o mea e le saʻo ma le saʻo.
Ma afai o loʻo e faia naʻo le irate poʻo le fua, atonu o le ae misia nisi o tulaga e le o amio ai le faasologa o taimi e pei ona e faʻamoemoeina. Faatasi ai ma lenei galuega e sili atu ona faigofie ona vaʻai, seʻi tatou fai atu o le maualuga e matua tele mai le avg.
Soso'o le fesuia'i fa'aletonu. Default - o lona uiga o le a le tau e manaʻomia ona tatou tusia i le Grafana pe a leai sau faasologa taimi i le taimi nei. O afea e tupu ai lenei mea? Fa'apea o lo'o e auina atu i fafo nisi o fua fa'aletonu. Ma o loʻo ia te oe se faʻaoga manaia pe a e amata, e leai sau mea sese ma e leai foi ni mea sese mo le isi tolu itula poʻo se aso foi. Ma e iai sau dashboards e faʻaalia ai le sootaga mai le manuia i le mea sese. Ma o le a latou faʻaali atu ia te oe se mea ona e leai sau fua faʻatatau. Ma i le faaletonu e mafai ona e faʻamaonia soʻo se mea.
Keep_last_Value – sefe le tau mulimuli o le metric pe a misi. Afai e le maua e Prometheus i totonu ole 5 minute pe a maeʻa le isi suʻega, ona matou manatua lea o lona tau mulimuli ma o le a le toe malepe au siata.
Scrape_interval - faʻaalia le tele o taimi e aoina ai e Prometheus faʻamaumauga i luga o lau metric, ma pe faʻafefea. O iinei e mafai ona e vaʻai i se pasi, mo se faʻataʻitaʻiga.
O le suia o igoa o se mea lauiloa. Ae matou te manatu e fai si lavelave aua e manaomia ai finauga atoa. Ma e tatau ona e le gata ina manatua 5 finauga, ae ia manatua foi o latou faasologa.
O lea la, aisea e le faafaigofie ai? O lona uiga, vaevae i lalo i ni galuega laiti ma le syntax malamalama.
Ma o lea la o le vaega malie. Aisea tatou te manatu ai ua faʻalauteleina lenei PromQL? Aua matou te lagolagoina Fa'amatalaga Fa'amatalaga masani. E mafai ona e mulimuli i le QR code (), va'ai feso'ota'iga ma fa'ata'ita'iga, mai le malae ta'alo, lea e mafai ona e fa'atautaia sa'o ai fesili i VictoriaMetrics e aunoa ma le fa'apipi'iina na'o le su'esu'ega.
Ma o le a lenei mea? O lenei talosaga i luga o se talosaga lauiloa. Ou te manatu i soʻo se dashboard i le tele o kamupani e te faʻaogaina le faamama tutusa mo mea uma. E masani lava. Ae a e manaʻomia le faʻaopoopoina o se faamama fou, e tatau ona e faʻafouina laulau taʻitasi, pe download le dashboard, tatala i le JSON, suʻe sui, lea e manaʻomia ai foi le taimi. Aisea e le teu ai lenei tau i se fesuiaiga ma toe faʻaaogaina? E foliga mai, i loʻu manatu, e sili atu ona faigofie ma manino.
Mo se faʻataʻitaʻiga, pe a ou manaʻomia le faʻafouina o filiga i Grafana i talosaga uma, ma o le dashboard e mafai ona tele pe mafai foi ona tele. Ae faʻafefea ona ou manaʻo e foia lenei faʻafitauli i Grafana?
Ou te foia lenei faafitauli i le auala lenei: Ou te faia se commonFilter ma faauigaina lenei faamama i totonu, ona toe faʻaaogaina lea i fesili. Ae afai e te faia le mea lava lea e tasi i le taimi nei, o le a le aoga ona e le faʻatagaina oe e Grafana e faʻaoga fesuiaiga i totonu ole fesili fesuiaiga. Ma e fai si uiga ese.
Ma o lea na ou faia ai se filifiliga e mafai ai ona e faia lenei mea. Ma afai e te fiafia pe manaʻo i sea foliga, ona lagolagoina pe le fiafia i ai pe afai e te le fiafia i lenei manatu.
Fa'aopoopo atili e uiga i le PromQL. O iinei tatou te faʻamatalaina e le gata o se fesuiaiga, ae o se galuega atoa. Ma matou te taʻua o le ru (faʻaaogaina punaoa). Ma o lenei galuega e talia punaoa saoloto, tapulaa punaoa ma faamama. E foliga mai e faigofie le syntax. Ma e matua faigofie lava ona faʻaoga lenei galuega ma fuafua le pasene o manatuaga saoloto tatou te maua. O lona uiga, o le a le tele o mea tatou te manatua, o le a le tapulaʻa ma pe faʻafefea ona faamama. E foliga mai e sili atu le faigofie pe a e tusia uma, toe faʻaaogaina ia lava filiga, aua o le a avea ma se fesili tele, tele.
Ma o se faʻataʻitaʻiga lenei o se talosaga tele, tele. E mai le NodeExporter dashboard mo Grafana. Ae ou te tau le malamalama i le mea o loʻo tupu iinei. O lona uiga, ioe, ou te malamalama pe a e vaʻavaʻai totoʻa, ae o le numera o puipui e mafai ona vave faʻaitiitia ai le faʻaosofia e malamalama i le mea o loʻo tupu iinei. Ae aiseā e le faʻafaigofie ai ma manino?
Mo se faʻataʻitaʻiga, faʻapenei, tuʻueseeseina o mea taua poʻo vaega i ni fesuiaiga. Ona fai lea o lau numera faavae. Ua sili atu lenei mea e pei o polokalame, o le mea lea ou te fia vaʻaia i le lumanaʻi i Grafana.
O le fa'ata'ita'iga lona lua lea o le fa'afaigofieina o lenei mea pe afai ua uma ona i ai lenei fa'atinoga o le ru, ma o lo'o iai sa'o i VictoriaMetrics. Ona e pasi atu lea o le tau o le cache na e faʻaalia i le CTE.
Ua uma ona ou talanoa e uiga i le taua o le faʻaaogaina o le gagana saʻo polokalame. Ma, masalo, o kamupani uma i Grafana e iai se mea e ese mai ai. Ma atonu e te tuʻuina atu foi le avanoa i le Grafana i au atinaʻe, ma e faia e le au atinaʻe a latou lava mea. Ma latou faia uma i se auala ese. Ae sa ou manao ia tutusa, o lona uiga, ia faaitiitia i se tulaga masani.
Fa'apea e le'o iai na'o masini inisinia, masalo e iai fo'i au popoto, devops po'o SRE. Masalo o loʻo i ai ni au atamamai e iloa le mea e mataʻituina, o loʻo latou iloa le Grafana, o lona uiga, o loʻo latou galulue faʻatasi mo le tele o tausaga ma latou iloa lelei le auala e fai ai saʻo. Ma ua uma ona latou tusia lenei 100 taimi ma faamatala atu i tagata uma, ae mo nisi mafuaaga e leai se tasi e faalogo.
Ae fa'afefea pe a mafai ona latou tu'u sa'o lenei malamalama i totonu o le Grafana ina ia mafai ai e isi tagata fa'aoga ona toe fa'aogaina foliga? Ma afai latou te manaʻomia le fuafuaina o le pasene o le manatua fua, latou te faʻaaogaina le galuega. Ae faʻapefea pe a fai o le au faʻatau oloa faʻatau atu, faʻatasi ai ma a latou oloa, na tuʻuina atu foi se seti o galuega i le auala e galulue ai ma a latou metrics, aua latou te iloa lelei poʻo a nei metric ma pe faʻapefea ona faʻatatauina saʻo?
E le o iai moni lenei mea. O le mea lea na ou faia e au lava ia. Ole lagolago lea ile faletusi i Grafana. Seʻi fai mai tama na faia NodeExporter na faia le mea na ou talanoa ai. Ma sa latou saunia foi se seti o galuega tauave.
O lona uiga, e foliga fa'apenei. E te faʻafesoʻotaʻi lenei faletusi i Grafana, e te alu i le faʻataʻitaʻiga ma o loʻo tusia faigofie lava i le JSON pe faʻapefea ona galue i lenei metric. O lona uiga, o nisi seti o galuega tauave, o latou faʻamatalaga ma mea latou te liliu i ai.
Ou te manatu e mafai ona aoga lenei mea, aua o le Grafana e te tusia ai faapena. Ma Grafana "taʻu atu" ia te oe o loʻo i ai sea ma sea galuega mai lea ma lea faletusi - seʻi o tatou faʻaaogaina. Ou te manatu e manaia tele lena mea.
O sina mea itiiti e uiga i VictoriaMetrics. Matou te faia le tele o mea manaia. Faitau a matou tala e uiga i le faʻamalosi, e uiga i a matou tauvaga ma isi faʻasologa o faʻamaumauga faʻasologa o taimi, matou faʻamatalaga i le auala e galulue ai ma PromQL, aua o loʻo i ai pea le tele o tagata amata i lenei mea, faʻapea foʻi ma le faʻaogaina i luga o le laina ma e uiga i le faʻasagaga ma Thanos.
Fesili:
O le a amata la'u fesili i se tala faigofie o le olaga. Ina ua amata ona ou faaaogaina le Grafana, sa ou tusia se fesili malosi e 5 laina umi. O le i'uga o se kalafa fa'amaonia tele. O lenei fa'atulagaga ua toeitiiti lava alu i le gaosiga. Ae i le vaʻavaʻai totoʻa, na faʻaalia ai o lenei kalafi o loʻo faʻaalia ai le valea e leai se mea e faʻatatau i le mea moni, e ui o numera e pa'ū i totonu o le vaʻaiga na matou faʻamoemoe e vaʻaia. Ma la’u fesili. E iai a matou faletusi, e iai a matou galuega, ae faʻafefea ona matou tusia suʻega mo Grafana? Ua e tusia se talosaga lavelave lea e faalagolago i ai se filifiliga pisinisi - e oka se pusa moni o sapalai pe le oka. Ma e pei ona tatou iloa, o lenei galuega e tosoina ai le kalafi e tutusa ma le mea moni. Fa'afetai.
Faafetai mo le fesili. E lua vaega. Muamua, ou te maua le lagona, faʻavae i luga o loʻu poto masani, o le tele o tagata faʻaoga, pe a latou vaʻavaʻai ia latou siata, latou te le malamalama i mea o loʻo latou faʻaali atu ia i latou. Mo nisi mafua'aga, e lelei tele tagata i le sau ma se 'alofaga mo soʻo se faʻalavelave e tupu i kalafi, tusa lava pe o se mea sese i totonu o se galuega. Ma o le vaega lona lua - e foliga mai ia te aʻu o le faʻaaogaina o ia galuega o le a sili atu ona lelei le auala e foia ai lou faʻafitauli, nai lo o au atinaʻe taʻitoʻatasi e faia a latou lava fuafuaga gafatia ma faia ni mea sese ma se avanoa.
E faapefea ona siaki?
E fa'afefea ona siaki? Masalo e leai.
O se suʻega i Grafana.
O le a le mea e fai ai Grafana? E fa'aliliu sa'o e Grafana lenei talosaga ile DataSource.
Faʻaopoopo sina mea itiiti i faʻamaufaʻailoga.
Leai, e leai se mea e faaopoopo i Grafana. Atonu e iai ni fa'ailoga GET, pei, fai mai, la'a. E le o fa'amaoti manino mai, ae e mafai ona e fa'asili, pe e te le fa'asili, ae fa'aopoopo fa'afuase'i. E te le tusia su'ega iinei. Ou te manatu e le tatau ona tatou faalagolago ia Grafana o se puna o le upu moni iinei.
Faafetai mo le lipoti! Fa'afetai mo le fa'amalosi! Na e taʻua le faʻafanuaina o se fesuiaiga i se kalafi, o le Grafana e le mafai ona e faʻaogaina se fesuiaiga i totonu o se fesuiaiga. E te iloa le uiga o la'u tala?
Ioe.
O le mea muamua na ou tiga ai ina ua ou manaʻo e fai se mataala i Grafana. Ma o iina e tatau ona e faia se mataala mo talimalo taʻitasi eseese. O le mea lea na e faia, e aoga mo fa'aaliga i Grafana?
Afai e le mafai e Grafana ona faʻaogaina suiga eseese, ona ioe, o le a aoga. Ae o laʻu fautuaga e le o le faʻaogaina o le mataala i Grafana, e sili atu lou faʻaaogaina alertmanager.
Ioe, ou te faʻaaogaina, ae na foliga mai e faigofie ona faʻatulagaina i Grafana, ae faʻafetai mo le fautuaga!
puna: www.habr.com