Gisugyot nako nga basahon ang transcript sa taho ni Roman Khavronenko "ExtendedPromQL"
Sa mubo bahin kanako. Roman ang akong ngalan. Nagtrabaho ko sa CloudFlare ug nagpuyo sa London. Apan usa usab ako ka tigmintinar sa VictoriaMetrics.
Ug ako ang tagsulat para sa Grafana ug kay gamay nga proxy para sa ClickHouse.
Magsugod kita sa unang bahin, nga gitawag og "Mga Kalisud sa Paghubad" ug niini akong hisgutan ang kamatuoran nga ang bisan unsang pinulongan o bisan usa lang ka pinulongan sa komunikasyon importante kaayo. Tungod kay mao kini ang paagi nga imong ipahayag ang imong mga hunahuna sa laing tawo o sistema, kung giunsa nimo paghimo ang usa ka hangyo. Ang mga tawo sa Internet naglalis kung unsang lengguwahe ang mas maayo - java o uban pa. Alang sa akong kaugalingon, nakahukom ko nga gikinahanglan ang pagpili sa usa ka buluhaton, tungod kay kining tanan espesipiko.
Magsugod ta sa sinugdanan. Unsa ang PromQL? Ang PromQL mao ang Prometheus Query Language. Ingon niini kung giunsa namo paghimo ang mga pangutana sa Prometheus aron makakuha mga datos sa serye sa oras, serye sa oras.
Unsa ang datos sa serye sa oras? Sa literal, tulo kini ka mga parameter.
Kini mao ang:
- Unsa ang atong gitan-aw.
- Sa atong pagtan-aw niini.
- Ug unsa nga bili ang gipakita niini.
Kung imong tan-awon kini nga tsart (kini nga tsart gikan sa akong telepono, nga nagpakita sa estadistika sa akong mga lakang), nan dinhi dali nimo matubag kini nga mga pangutana.
Nagtan-aw kami sa mga lakang. Atong makita ang kahulogan ug atong makita ang panahon sa atong pagtan-aw niini. Kana mao, sa pagtan-aw niini nga diagram, dali ka makaingon nga sa Domingo naglakaw ako mga 15 nga mga lakang. Kini ang datos sa serye sa panahon.
Karon atong "buak" (bag-ohon) sila ngadto sa laing modelo sa datos sa porma sa usa ka lamesa. Dinhi usab kita adunay kung unsa ang atong gitan-aw. Dinhi gidugang nako ang usa ka gamay nga dugang nga datos, nga atong tawgon nga meta-data, nga mao, dili ako ang nakaagi, apan duha ka tawo, pananglitan, si Jay ug Silent Bob. Mao kana ang among gitan-aw; unsay gipakita niini ug kanus-a kini nagpakita sa maong bili.
Karon atong sulayan nga tipigan kining tanan nga datos sa database. Pananglitan, gikuha nako ang ClickHouse syntax. Ug dinhi naghimo kami usa ka lamesa nga gitawag nga "Mga Lakang", i.e. kung unsa ang among gitan-aw. Adunay panahon dinhi nga ato kining tan-awon; unsa ang gipakita niini ug pipila ka meta-data diin atong tipigan kung kinsa kini: Jay ug Silent Bob.
Ug aron masulayan nga mahanduraw kini tanan, gamiton namon ang Grafana, tungod kay, una, kini matahum.
Usab atong gamiton kini nga plugin. Adunay duha ka hinungdan niini. Ang una kay gisulat ko kini. Ug nahibal-an nako kung unsa ka lisud ang pagkuha sa datos sa serye sa oras gikan sa ClickHouse aron ipakita kini sa Grafana.
Atong ipakita sa Graph Panel. Kini ang pinakasikat nga panel sa Grafana ug nagpakita sa bili kumpara sa oras, mao nga duha lang ka parameter ang gikinahanglan.
Atong isulat ang pinakasimple nga pangutana - kung giunsa pagpakita ang mga estadistika sa lakang sa Grafana, pagtipig niini nga datos sa ClickHouse, sa lamesa nga among gibuhat. Ug gisulat namon ang ingon ka yano nga pangutana. Nagpili kami gikan sa mga lakang. Nagpili kami usa ka kantidad ug gipili ang oras sa kini nga mga kantidad, i.e. parehas nga tulo nga mga parameter nga among gihisgutan.
Ug isip resulta, atong makuha kini nga graph. Kinsay nakahibalo nganong weird kaayo siya?
Husto kana, kinahanglan nimo nga paghan-ay sa oras.
Ug sa katapusan nakakuha kami usa ka labi ka maayo, apan katingad-an nga iskedyul. Kinsay nasayod ngano? Husto kana, adunay duha ka mga partisipante, ug naghatag kami sa duha ka serye sa oras sa Grafana, tungod kay kung atong atubangon pag-usab ang modelo sa datos, nan ang matag serye sa oras usa ka talagsaon nga kombinasyon sa usa ka ngalan ug tanan nga mga label nga yawe nga kantidad.
Busa, kinahanglan kitang mopili ug espesipikong tawo. Gipili namo si Jay.
Ug pag-drawing pag-usab. Karon ang graph morag kamatuoran. Karon kini usa ka normal nga iskedyul ug ang tanan nagtrabaho nga maayo.
Ug, tingali, nahibal-an nimo kung giunsa ang pagbuhat sa parehas nga butang, apan sa Prometheus pinaagi sa PromQL. Sa halos ingon niini. Mas sayon. Ug atong bungkagon ang tanan. Naghimo kami og mga Lakang. Ug gisala ni Jay. Wala kami nag-specify dinhi nga kinahanglan namon nga makakuha usa ka kantidad ug wala kami magpili usa ka oras.
Karon sulayan nato nga kuwentahon ang katulin sa paglihok ni Jay o Silent Bob. Sa ClickHouse, kinahanglan natong buhaton ang runningDifference, i.e., kuwentahon ang kalainan tali sa mga parisan sa mga punto ug bahinon kini sa oras aron makuha ang eksaktong katulin. Ang hangyo mahimong sama niini.
Ug iyang ipakita ang gibana-bana nga kini nga mga kantidad, i.e. gibana-bana nga 1,8 nga mga lakang matag segundo ang Silent Bob o Jay.
Ug sa Prometheus nahibal-an usab nimo kung giunsa kini buhaton. Mas sayon kay sa kaniadto.
Ug aron mahimo usab kini nga dali buhaton sa Grafana, gidugang nako ang usa ka wrapper nga parehas kaayo sa PromQL. Gitawag kini nga Rate Macros, o bisan unsa nga gusto nimo itawag niini. Sa Grafana, nagsulat ka lang og "rate", apan sa usa ka dapit sa kahiladman kini nahimong usa ka dako nga hangyo. Ug dili nimo kinahanglan nga tan-awon kini, naa kini sa usa ka lugar, apan makatipig ka daghang oras, tungod kay ang pagsulat sa ingon kadako nga mga pangutana sa SQL kanunay nga mahal. Dali ka masayop unya dili masabtan kung unsa ang nahitabo sa dugay nga panahon.
Ug kini usa ka pangutana nga wala gani mohaum sa usa ka slide, ug kinahanglan ko pa nga bahinon kini sa duha ka mga kolum. Kini usa usab ka hangyo sa ClickHouse, nga naghimo sa parehas nga rate, apan alang sa duha nga serye sa oras: Silent Bob ug Jay, aron kami adunay duha ka serye sa oras sa panel. Ug kini lisud na kaayo, sa akong opinyon.
Ug sumala sa Prometheus kini mahimong sum (rate). Para sa ClickHouse naghimo ko og bulag nga macro nga gitawag og RateColumns nga morag Prometheus nga pangutana.
Gitan-aw namon ug ingon og ang PromQL tanan cool kaayo, apan kini adunay, siyempre, mga limitasyon.
Kini mao ang:
- Limitado nga PILI.
- Edge JOINs.
- Walay suporta.
Ug kung nagtrabaho ka niini sa dugay nga panahon, nahibal-an nimo nga usahay lisud kaayo ang pagbuhat sa usa ka butang sa PromQL, ug sa SQL mahimo nimo ang halos tanan, tungod kay ang tanan nga kini nga mga kapilian nga bag-o lang naton gihisgutan mahimo sa SQL . Apan kombenyente ba nga gamiton kini? Ug kini nakapahunahuna nako nga dili kanunay ang labing kusgan nga sinultian mahimong labing kombenyente.
Busa, usahay kinahanglan ka nga mopili og usa ka pinulongan alang sa mga buluhaton. Kini sama sa usa ka gubat tali sa Batman ug Superman. Klaro nga mas kusgan si Superman, apan napildi siya ni Batman tungod kay mas praktikal siya ug nahibal-an kung unsa ang iyang gibuhat.
Ug ang sunod nga bahin mao ang Extending PromQL.
Sa makausa pa bahin sa VictoriaMetrics. Unsa ang VictoriaMetrics? Kini usa ka database sa serye sa oras, kini naa sa OpenSource, among giapod-apod ang mga bersyon sa usa ug cluster. Sumala sa among mga benchmark, kini ang labing paspas nga naa sa merkado karon ug parehas kini sa mga termino sa compression, i.e. ang mga buhi nga tawo nagreport sa compression sa mga 0,4 bytes matag punto, kung ang Prometheus adunay 1,2-1,4.
Gisuportahan namon dili lamang ang Prometheus. Gisuportahan namon ang InfluxDB, Graphite, OpenTSDB.
Mahimo nimong "magsulat" kanamo, kana, mahimo nimong ibalhin ang daan nga datos.
Ug kami usab hingpit nga nagtrabaho kauban ang Prometheus ug Grafana, i.e. gisuportahan namon ang makina sa PromQL. Ug sa Grafana, mahimo nimo nga usbon ang Prometheus endpoint sa VictoriaMetrics ug ang tanan nimong mga dashboard molihok sama sa ilang gibuhat.
Apan mahimo usab nimo gamiton ang dugang nga mga chip nga gihatag sa VictoriaMetrics.
Dali namong susihon ang mga bahin nga among gidugang.
Omit interval param - mahimo nimong laktawan ang parameter interval sa Grafana. Kung dili nimo gusto nga makakuha mga katingad-an nga mga graph kung mag-zoom-in/out sa panel, girekomenda nga gamiton ang variable $__interval. Kini usa ka internal nga pagbag-o sa Grafana ug gipili niini ang sakup sa datos mismo. Ug ang VictoriaMetrics mismo makasabut kung unsa kini nga range. Ug dili nimo kinahanglan nga i-update ang tanan nimong mga hangyo. Kini mahimong mas sayon.
Ang ikaduhang function mao ang interval reference. Mahimo nimong gamiton kini nga gilay-on sa imong mga ekspresyon. Mahimo nimong padaghanon, bahinon, ibalhin, i-refer kini.
Sunod mao ang rollup function pamilya. Ang rollup function nagbag-o sa bisan unsa sa imong time series ngadto sa tulo ka separado nga time series. Kini ang min, max ug avg. Nakaplagan nako nga sayon kaayo, tungod kay usahay kini magpakita sa pipila ka mga outlier (anomaliya) ug dili tukma.
Ug kung nag-irate ka lang o nag-rate, mahimo nimong makalimtan ang pipila ka mga kaso diin ang serye sa oras wala molihok sa paagi nga imong gusto. Kini mas sayon nga makita uban niini nga function, ingnon ta nga ang max mao ang kaayo off avg.
Sunod mao ang default variable. Default - kini nagpasabut kung unsa nga kantidad ang kinahanglan naton nga makuha sa Grafana kung wala kita usa ka serye sa oras sa pagkakaron. Kanus-a kini mahitabo? Ingnon ta nga nag-eksport ka sa pipila ka mga sukatan sa sayup. Ug ikaw adunay ingon ka cool nga aplikasyon nga kung magsugod ka, wala ka mga sayup ug bisan wala’y mga sayup sa sunod nga tulo ka oras o bisan usa ka adlaw. Ug ikaw adunay mga dashboard nga nagpakita sa mga relasyon gikan sa kalampusan ngadto sa sayup. Ug wala sila magpakita kanimo tungod kay wala ka usa ka sukatan sa sayup. Ug sa default mahimo nimong ipiho ang bisan unsang butang.
Keep_last_Value - nagatipig sa katapusang bili sa metric kung wala kini. Kung ang Prometheus pagkahuman sa sunod nga scrape wala makit-an sa sulod sa 5 minuto, nan dinhi mahinumduman namon ang katapusan nga kantidad niini ug ang imong mga tsart dili na mabuak pag-usab.
Scrape_interval - nagpakita kung unsa ka subsob ang Prometheus sa pagkolekta sa datos sa imong metric, sa unsa nga frequency. Dinhi imong makita ang pass, pananglitan.
Ang pag-ilis sa label usa ka sikat nga bahin. Apan gihunahuna namon nga medyo komplikado kini tungod kay nanginahanglan kini nga mga argumento nga integer. Ug kinahanglan nimo nga dili lamang hinumdoman ang 5 nga mga argumento, apan hinumdomi usab ang pagkasunod-sunod niini.
Busa, nganong dili kini himoon nga mas simple? Sa ato pa, gub-on kini sa gagmay nga mga gimbuhaton nga adunay klaro nga syntax.
Ug karon ang labing makapaikag. Ngano sa atong hunahuna nga kini gipalapdan sa PromQL? Tungod kay gisuportahan namo ang Common Table Expressions. Mahimo nimong sundon ang QR code (), tan-awa ang mga link nga adunay mga panig-ingnan, gikan sa dulaanan, diin mahimo nimong ipadagan ang mga pangutana direkta sa VictoriaMetrics nga dili kini i-install sa browser lang.
Ug unsa kini? Kini nga hangyo gikan sa itaas usa ka medyo popular nga hangyo. Sa akong hunahuna sa bisan unsang dashboard sa daghang mga kompanya gigamit nimo ang parehas nga filter alang sa tanan. Kasagaran mao. Apan kung kinahanglan nimo nga idugang ang bag-ong filter, kinahanglan nimo nga i-update ang matag panel, o i-download ang dashboard, ablihi kini sa JSON, buhata ang pagpangita nga pulihan, nga nagkinahanglag oras usab. Ngano nga dili tipigan kini nga bili sa usa ka variable ug gamiton kini pag-usab? Kini tan-awon, sa akong opinyon, mas simple ug mas klaro.
Pananglitan, kung kinahanglan nako nga i-update ang mga pagsala sa Grafana sa tanan nga mga hangyo, ug ang dashboard mahimong dako o mahimo’g adunay daghan niini. Ug unsaon nako pagsulbad kini nga problema sa Grafana?
Gisulbad nako kini nga problema sama niini: Naghimo ko og commonFilter ug gihubit kini nga filter niini, ug dayon gigamit nako kini pag-usab sa mga pangutana. Apan kung buhaton nimo ang parehas karon, dili kini molihok tungod kay wala ka gitugotan sa Grafana nga mogamit mga variable sa sulod sa mga variable sa pangutana. Ug kini usa ka gamay nga katingad-an.
Ug busa naghimo ako usa ka kapilian nga nagtugot kanimo sa pagbuhat niini. Ug kung interesado ka o gusto ang ingon nga bahin, nan suporta o dili gusto kung dili nimo gusto kini nga ideya.
Dugang pa bahin sa PromQL gipalugway. Dinhi among gihubit dili lamang ang usa ka variable, apan direkta ang usa ka tibuuk nga function. Ug gitawag nato kini nga ru (paggamit sa kapanguhaan). Ug kini nga function modawat sa libre nga mga kapanguhaan, usa ka limitasyon sa kapanguhaan, ug usa ka filter. Ang syntax ingon og yano. Ug sayon kaayo nga gamiton kini nga function ug kuwentahon ang porsiyento sa libre nga memorya nga anaa kanato. Kana mao, unsa kadaghan ang atong memorya, unsa nga limitasyon ug unsaon pagsala. Kini tan-awon nga labi ka dali kung imong isulat ang tanan gamit ang parehas nga mga pagsala, tungod kay kini mahimong usa ka dako, dako nga pangutana.
Ug ania ang usa ka pananglitan sa ingon ka dako, dako nga hangyo. Kini gikan sa opisyal nga NodeExporter dashboard alang sa Grafana. Pero wa gyud ko kasabot sa nahitabo diri. Kana mao, siyempre, akong nasabtan kung imong tan-awon pag-ayo, apan ang gidaghanon sa mga bracket makapakunhod dayon sa kadasig aron masabtan kung unsa ang nahitabo dinhi. Ug nganong dili kini himoon nga mas simple ug mas klaro?
Pananglitan, sama niini, nagpasiugda sa mahinungdanong mga butang o mga bahin sa mga variable. Ug dayon buhata ang imong batakang matematika. Kini sama sa programming, kini ang gusto nakong makita sa umaabot sa Grafana.
Ania ang ikaduhang pananglitan kon unsaon nato paghimo nga mas sayon kung aduna na kita niini nga ru function, ug kini anaa na direkta sa VictoriaMetrics. Ug unya gipasa ra nimo ang naka-cache nga kantidad nga imong gipahayag sa CTE.
Nahisgotan na nako kung unsa ka hinungdanon ang paggamit sa husto nga programming language. Ug, tingali, lahi ang nahitabo sa Grafana sa matag kompanya. Ug, lagmit, naghatag ka gihapon og access sa Grafana sa imong mga developers, ug ang mga developers naghimo sa ilang kaugalingon. Ug silang tanan nagbuhat niini sa lahi nga paagi. Apan gusto ko kini sa usa ka paagi nga parehas, kana, pagkunhod sa usa ka sagad nga sukaranan.
Ingnon ta nga wala kay mga system engineers, basin naay mga experts, devops or SREs. Tingali adunay ka mga eksperto nga nahibal-an kung unsa ang pag-monitor, nahibal-an kung unsa ang Grafana, i.e. nagtrabaho sila niini sa daghang mga tuig ug nahibal-an nila kung giunsa kini buhaton sa husto. Ug gisulat na nila kini sa 100 ka beses ug gipatin-aw kini sa tanan, apan sa pipila ka rason walay naminaw.
Unsa kaha kung mahimo nilang ibutang kini nga kahibalo direkta sa Grafana aron magamit pag-usab sa ubang mga tiggamit ang mga gimbuhaton? Ug kung kinahanglan nga kuwentahon ang porsyento sa libre nga panumduman, unya i-apply ra nila ang function. Apan unsa man kung ang mga tiglalang sa mga exporter, uban ang ilang produkto, naghatag usab usa ka hugpong sa mga gimbuhaton, kung giunsa ang pagtrabaho sa ilang mga sukatan, tungod kay nahibal-an nila kung unsa kini nga mga sukatan ug kung giunsa kini pagkalkulo sa husto?
Kini nga usa wala gyud. Ania ang akong gibuhat sa akong kaugalingon. Kini ang suporta sa librarya sa Grafana. Ingnon ta nga ang mga lalaki nga naghimo sa NodeExporter nagbuhat sa akong gihulagway. Ug naghatag usab usa ka hugpong sa mga bahin.
Sa ato pa, murag ingon ani. Gikonektar nimo kini nga librarya sa Grafana, moadto ka sa pag-edit, ug ania kini yano kaayo sa JSON kung giunsa ang pagtrabaho sa kini nga sukatan. Kana mao, pipila ka hugpong sa mga gimbuhaton, ang ilang paghulagway ug kung unsa ang ilang gibuklad.
Sa akong opinyon, mahimo’g mapuslanon kini, tungod kay magsulat ka sa Grafana nga ingon niana. Ug si Grafana "nagsulti" kanimo nga adunay ingon ug ingon nga function gikan sa ingon ug ingon nga librarya - gamiton nato kini. Sa akong hunahuna kana bugnaw kaayo.
Usa ka gamay bahin sa VictoriaMetrics. Naghimo kami og daghang makapaikag nga mga butang. Basaha ang among mga artikulo bahin sa compression, bahin sa among kompetisyon sa ubang mga aplikasyon sa datos sa serye sa oras, among katin-awan kung giunsa ang pagtrabaho kauban ang PromQL, tungod kay adunay daghan pa nga mga nagsugod niini, ingon man bahin sa bertikal nga scalability ug bahin sa komprontasyon sa Thanos.
Mga Pangutana:
Magsugod ko sa akong pangutana sa usa ka simple nga istorya sa kinabuhi. Sa una nakong pagsugod sa paggamit sa Grafana, nagsulat ako usa ka makapadani nga pangutana sa 5 nga linya. Ang katapusan nga resulta usa ka makapakombinsir nga tsart. Kini nga graph hapit na sa produksiyon. Apan kung gisusi pag-ayo, nahibal-an nga kini nga tsart nagpakita sa hingpit nga kabuang nga wala’y kalabotan sa reyalidad, bisan kung ang mga numero nahulog sa sakup nga gipaabut namon nga makita. Ug akong pangutana. Kami adunay mga librarya, kami adunay mga gimbuhaton, apan giunsa namo pagsulat ang mga pagsulay alang sa Grafana? Nakasulat ka usa ka komplikado nga pangutana nga nakaapekto sa desisyon sa negosyo - aron mag-order usa ka tinuud nga sulud sa mga server o dili mag-order. Ug ingon sa nahibal-an namon, kini nga function nga nagdrowing og usa ka graph parehas sa kamatuoran. Salamat.
Salamat sa pangutana. Adunay duha ka bahin dinhi. Una, nakuha nako ang impresyon, base sa akong kasinatian, nga kadaghanan sa mga tiggamit, kung ilang gitan-aw ang ilang mga tsart, wala makasabut kung unsa ang ilang gipakita kanila. Sa usa ka paagi, ang mga tawo maayo kaayo sa paghimo og usa ka pasangil alang sa bisan unsang anomaliya nga mahitabo sa mga tsart, bisan kung kini usa ka bug sa sulod sa usa ka function. Ug ang ikaduha nga bahin - alang kanako nga ang paggamit sa ingon nga mga gimbuhaton labi ka labi nga haum sa pagsulbad sa imong problema, imbes nga ang matag usa sa imong mga developer nga naghimo sa ilang kaugalingon nga pagplano sa kapasidad ug paghimo mga sayup nga adunay posibilidad.
Giunsa pagsusi?
Unsaon pagsusi? Murag dili.
Ingon usa ka pagsulay sa Grafana.
Ug komosta ang Grafana? Gihubad ni Grafana kini nga hangyo direkta sa DataSource.
Pinaagi sa pagdugang gamay sa mga parameter.
Dili, walay gidugang sa Grafana. Mahimong adunay GET nga mga parameter, sama sa lakang. Dili kini tin-aw nga gipiho, apan mahimo nimo kini i-override, dili nimo kini ma-override, apan awtomatiko kini nga idugang. Dili ka magsulat og mga pagsulay dinhi. Sa akong hunahuna dili ka kinahanglan magsalig sa Grafana dinhi ingon usa ka gigikanan sa kamatuoran.
Salamat sa report! Salamat sa compression! Nahinumdom ka bahin sa pagmapa sa usa ka variable sa usa ka graph, nga sa Grafana dili nimo magamit ang usa ka variable sa usa ka variable. Nakasabot ka sa akong gipasabot?
Oo.
Kini sa sinugdan usa ka labad sa ulo sa diha nga gusto ko nga maghimo usa ka alerto sa Grafana. Ug didto kinahanglan nimo nga buhaton ang alerto alang sa matag host nga gilain. Ania kini nga butang nga imong gibuhat, nagtrabaho ba kini alang sa mga alerto sa Grafana?
Kung ang Grafana dili maka-access sa mga variable sa laing paagi, nan oo, kini molihok. Apan ang akong tambag mao ang dili paggamit sa pag-alerto sa Grafana, mas maayo nga gamiton nimo ang alertmanager.
Oo, gigamit nako kini, apan ingon kadali nga i-set up sa Grafana, apan salamat sa tip!
Source: www.habr.com