Ke etsa tlhahiso ea ho bala sengoloa sa tlaleho ea Roman Khavronenko "ExtendedPromQL"
Ka bokhutšoanyane ka 'na. Lebitso la ka ke Moroma. Ke sebeletsa CloudFlare mme ke lula London. Empa hape ke mohlokomeli oa VictoriaMetrics.
Mme ke nna mongodi bakeng sa Grafana le ke moemeli e monyane oa ClickHouse.
Re tla qala ka karolo ea pele, e bitsoang “Mathata a Phetolelo” ’me ho eona ke tla bua ka taba ea hore puo efe kapa efe kapa puo ea puisano e bohlokoa haholo. Hobane ke tsela eo u fetisetsang mehopolo ea hau ho motho e mong kapa tsamaiso, mokhoa oa ho etsa kopo. Batho ba Inthaneteng ba phehisana khang ka hore na ke puo efe e molemo - java kapa tse ling. Ho 'na, ke ile ka etsa qeto ea hore hoa hlokahala ho khetha mosebetsi, hobane sena sohle se totobetse.
A re qaleng ho tloha qalong. PromQL ke eng? PromQL ke Puo ea Potso ea Prometheus. Ke kamoo re bopang lipotso ho Prometheus ho fumana lintlha tsa letoto la nako, letoto la nako.
Lintlha tsa letoto la nako ke eng? Ha e le hantle, tsena ke li-parameter tse tharo.
Sena ke:
- Re shebile eng.
- Ha re e sheba.
- Mme e bontsha boleng bofe.
Haeba u sheba chate ena (chate ena e tsoa fonong ea ka, e bontšang lipalo-palo tsa mehato ea ka), joale mona u ka potlakela ho araba lipotso tsena.
Re shebile mehato. Re bona moelelo mme re bona nako eo re e shebang ka eona. Ke hore, ha u sheba setšoantšo sena, u ka bolela habonolo hore ka Sontaha ke ile ka tsamaea mehato e ka bang 15. Ena ke data ea letoto la nako.
Joale a re "senye" (ho fetola) hore e be mohlala o mong oa data ka mokhoa oa tafole. Mona re boetse re na le seo re se shebileng. Mona ke kentse lintlha tse ling tse eketsehileng, tseo re tla li bitsa meta-data, ke hore, e ne e se 'na ea ileng a feta, empa batho ba babeli, mohlala, Jay le Silent Bob. Ke seo re se shebileng; seo e se bontšang le ha e bontša boleng boo.
Joale a re lekeng ho boloka data ena kaofela polokelong ea litaba. Ka mohlala, ke nkile syntax ea ClickHouse. Mme mona re theha tafole e le nngwe e bitswang "Mehato", ke hore seo re se shebileng. Ho na le nako mona ha re e sheba; seo e se bonts'ang le lintlha tse ling moo re tla boloka hore na ke mang: Jay le Silent Bob.
'Me e le ho leka ho e bona kaofela, re tla sebelisa Grafana, hobane, pele, e ntle.
Hape re tla sebelisa plugin ena. Ho na le mabaka a mabeli a sena. Ea pele ke hobane ke e ngotse. 'Me ke tseba hantle hore na ho thata hakae ho ntša data ea letoto la nako ho ClickHouse ho e bontša Grafana.
Re tla e hlahisa ho Panel ea Kerafo. Ena ke phanele e tsebahalang haholo Grafana mme e bonts'a boleng khahlano le nako, kahoo re hloka liparamente tse peli feela.
Ha re ngole potso e bonolo - mokhoa oa ho bonts'a lipalo-palo ho Grafana, ho boloka data ena ho ClickHouse, tafoleng eo re e entseng. 'Me re ngola potso e bonolo joalo. Re khetha ho tloha mehato. Re khetha boleng mme re khetha nako ea litekanyetso tsena, ke hore li-parameter tse tšoanang tse tharo tseo re buileng ka tsona.
'Me ka lebaka leo, re fumana kerafo ena. Ke mang ea tsebang hore na ke hobane'ng ha a makatsa?
Ho lokile, o hloka ho hlophisa ka nako.
'Me qetellong re fumana kemiso e molemo, empa e ntse e makatsa. Ke mang ea tsebang lebaka? Ho joalo, ho na le barupeluoa ba babeli, 'me re fana ka lihlopha tse peli tsa nako Grafana, hobane haeba re sebetsana le mohlala oa data hape, joale letoto le leng le le leng la nako ke motsoako o ikhethang oa lebitso le li-labels tsohle tsa bohlokoa.
Ka hona, re lokela ho khetha motho ea khethehileng. Re khetha Jay.
Le ho taka hape. Joale kerafo e shebahala joalo ka 'nete. Hona joale ke kemiso e tloaelehileng 'me tsohle li sebetsa hantle.
Mme, mohlomong, o tseba ho etsa ka ntho e ts'oanang, empa ho Prometheus ka PromQL. Hantle joalo. Ho bonolo hanyane. Mme ha re e qhekanye kaofela. Re ile ra nka Mehato. Mme sefa ka Jay. Ha re hlakise mona hore re hloka ho fumana boleng mme ha re khethe nako.
Joale ha re leke ho bala lebelo la motsamao oa Jay kapa Silent Bob. Ho ClickHouse, re tla hloka ho etsa runningDifference, ke hore, ho bala phapang lipakeng tsa lipara tsa lintlha le ho li arola ka nako ho fumana lebelo le nepahetseng. Kopo e tla shebahala tjena.
'Me o tla bontša litekanyetso tsena tse ka bang 1,8 motsotsoana o etsa Silent Bob kapa Jay.
'Me ho Prometheus u tseba ho e etsa hape. Ho bonolo haholo ho feta pele.
Mme ho etsa hore ho be bonolo ho e etsa Grafana, ke kentse sekoaelo se joalo se shebahalang se ts'oana haholo le PromQL. E bitsoa Rate Macros, kapa eng kapa eng eo u batlang ho e bitsa. Grafana, u ngola feela "rate", empa kae-kae botebong ba eona e fetoha kopo e kholo joalo. 'Me ha ua tlameha ho e sheba, e teng kae-kae, empa u boloka nako e ngata, hobane ho ngola lipotso tse kholo tsa SQL ho lula ho bitsa chelete e ngata. U ka etsa phoso habonolo ebe ha u utloisise se etsahalang ka nako e telele.
Mme ena ke potso e neng e sa lekana le selaeteng se le seng, mme ke ile ka tlameha ho e arola likholomong tse peli. Hona hape ke kopo ho ClickHouse, e etsang sekhahla se ts'oanang, empa bakeng sa letoto la nako ka bobeli: Silent Bob le Jay, e le hore re be le letoto la linako tse peli phanele. 'Me sena se se se ntse se le thata haholo, ka maikutlo a ka.
'Me ho ea ka Prometheus e tla ba kakaretso (tekanyo). Bakeng sa ClickHouse ke entse macro e arohaneng e bitsoang RateColumns e shebahalang joalo ka potso ea Prometheus.
Re shebile mme ho bonahala eka PromQL e monate haholo, empa e na le mefokolo.
Sena ke:
- E lekantsoeng KHETHA.
- Edge JOIN.
- Ha ho NA tšehetso.
'Me haeba u sebelitse le eona nako e telele, joale ua tseba hore ka linako tse ling ho thata haholo ho etsa ntho e itseng PromQL,' me ka SQL u ka etsa hoo e batlang e le ntho e 'ngoe le e' ngoe, hobane likhetho tsena kaofela tseo re sa tsoa bua ka tsona li ka etsoa ka SQL. . Empa na ho ka ba molemo ho e sebelisa? 'Me sena se etsa hore ke nahane hore hase kamehla puo e matla ka ho fetisisa e ka bang bonolo ka ho fetisisa.
Ka hona, ka linako tse ling u hloka ho khetha puo bakeng sa mesebetsi. Ho tšoana le ntoa pakeng tsa Batman le Superman. Ho hlakile hore Superman o matla, empa Batman o ile a khona ho mo hlōla hobane o sebetsa haholoanyane 'me o ne a tseba hantle seo a se etsang.
'Me karolo e latelang ke Extending PromQL.
Hape ka VictoriaMetrics. VictoriaMetrics ke eng? Ena ke database ea letoto la nako, e ho OpenSource, re aba mefuta ea eona e le 'ngoe le ea lihlopha. Ho ea ka li-benchmarks tsa rona, ke eona e potlakileng ka ho fetisisa e teng 'marakeng hona joale' me e tšoana le ho hatella, ke hore, batho ba phelang ba tlaleha khatello ea hoo e ka bang 0,4 bytes ka ntlha, ha Prometheus e na le 1,2-1,4.
Ha re tšehetse Prometheus feela. Re tšehetsa InfluxDB, Graphite, OpenTSDB.
O ka "ngola" ho rona, ke hore, o ka fetisetsa data ea khale.
Hape re sebetsa hantle le Prometheus le Grafana, ke hore, re tšehetsa enjene ea PromQL. Mme ho Grafana, o ka fetola pheletso ea Prometheus ho VictoriaMetrics mme li-dashboard tsa hau kaofela li tla sebetsa joalo ka ha li entse.
Empa o ka sebelisa lichifi tse ling tse fanoeng ke VictoriaMetrics.
Re tla sheba likarolo tseo re li kentseng kapele.
Omit interval param - o ka tlola nako ea parametha Grafana. Ha u sa batle ho fumana li-graph tse makatsang ha u atametsa / ho tsoa ka har'a phanele, ho khothaletsoa ho sebelisa mofuta o fapaneng. $__interval. Ena ke phetoho ea ka hare ea Grafana 'me e khetha mofuta oa data ka boeona. Mme VictoriaMetrics ka boeona e ka utloisisa hore na mofuta ona o lokela ho ba eng. 'Me ha ua tlameha ho ntlafatsa lipotso tsohle tsa hau. Ho tla ba bonolo haholoanyane.
Mosebetsi oa bobeli ke referense ea nako. U ka sebelisa sebaka sena ka har'a lipolelo tsa hau. O ka atisa, arola, fetisa, bua ka eona.
E latelang ke lelapa la tšebetso ea rollup. Mosebetsi oa rollup o fetola nako efe kapa efe ea nako ea hau hore e be letoto la linako tse tharo tse arohaneng. Tsena ke min, max le avg. Ke e fumana e le bonolo haholo, hobane ka linako tse ling e ka bonts'a lintho tse ling tse tsoang kantle ho naha (li-anomalies) le ho se nepahale.
'Me haeba u ntse u halefile kapa u reiti, mohlomong u ka fetoa ke maemo a mang moo lethathamo la nako le sa sebetseng ka tsela eo u neng u rerile ka eona. Ho bonolo haholo ho bona ka ts'ebetso ena, ha re re max e theohile haholo ho avg.
E latelang ke phetoho ea kamehla. Ka mehla - sena se bolela boleng boo re hlokang ho bo hlahisa Grafana haeba re sena letoto la nako hajoale. E etsahala neng? Ha re re u romella lintlha tse ling tsa liphoso. 'Me u na le kopo e pholileng hoo ha u qala, ha u na liphoso ebile ha u na liphoso bakeng sa lihora tse tharo tse latelang kapa esita le letsatsi. 'Me u na le li-dashboards tse bontšang likamano ho tloha katlehong ho ea ho phoso. 'Me ba ke ke ba u bontša letho hobane ha u na metric ea phoso. Mme ka ho sa feleng, o ka hlakisa eng kapa eng.
Keep_last_Value - e boloka boleng ba ho qetela ba metric haeba bo le sieo. Haeba Prometheus ka mor'a hore scrape e latelang e se ke ea e fumana nakong ea metsotso e 5, joale mona re tla hopola boleng ba eona ba ho qetela 'me lichate tsa hau li ke ke tsa senyeha hape.
Scrape_interval - e bonts'a hore na Prometheus e bokella data hangata hakae ho metric ea hau, ka makhetlo a makae. Mona u ka bona pasa, mohlala.
Label replace ke karolo e tsebahalang. Empa re nahana hore e batla e rarahane hobane e hloka likhang tse felletseng. 'Me ha ua lokela ho hopola likhang tse 5 feela, empa hape u hopole tatellano ea tsona.
Ka hona, ke hobane'ng ha u sa etse hore li be bonolo haholoanyane? Ke hore, e arole ka likarolo tse nyenyane tse nang le syntax e hlakileng.
'Me hona joale e thahasellisang ka ho fetisisa. Hobaneng re nahana hore e atolositsoe PromQL? Hobane re tšehetsa Common Table Expressions. O ka latela khoutu ea QR (), bona lihokelo tse nang le mehlala, ho tloha lebaleng la lipapali, moo o ka tsamaisang lipotso ka kotloloho ho VictoriaMetrics ntle le ho e kenya feela ho sebatli.
Mme ke eng? Kopo ena e tsoang holimo ke kopo e tsebahalang haholo. Ke nahana hore ho dashboard efe kapa efe lik'hamphaning tse ngata u sebelisa filthara e tšoanang bakeng sa ntho e ngoe le e ngoe. Hangata ho joalo. Empa ha o hloka ho kenya filthara e ncha, o tlameha ho nchafatsa phanele e 'ngoe le e' ngoe, kapa u khoasolle dashboard, u e bule ho JSON, etsa sebaka sa ho fumana sebaka, seo le sona se nkang nako. Ke hobane'ng ha u sa boloke boleng bona ka har'a mofuta o fapaneng 'me u bo sebelise hape? E shebahala, ka maikutlo a ka, e bonolo haholoanyane ebile e hlakile.
Mohlala, ha ke hloka ho nchafatsa lihloela ho Grafana likopo tsohle, 'me dashboard e ka ba kholo kapa ho ka ba le tse' maloa tsa tsona. Hona nka rata ho rarolla bothata boo joang Grafana?
Ke rarolla bothata bona ka tsela ena: Ke etsa commonFilter ebe ke hlalosa filthara ena ho eona, ebe ke e sebelisa hape lipotsong. Empa ha o etsa joalo hona joale, e ke ke ea sebetsa hobane Grafana ha e u lumelle ho sebelisa mefuta e fapaneng ea lipotso. Mme ke ntho e makatsang.
'Me kahoo ke entse khetho e lumellang hore u etse sena. 'Me haeba u thahasella kapa u batla tšobotsi e joalo, joale tšehetsa kapa u sa rate haeba u sa rate khopolo ena.
Tse ling mabapi le PromQL e atolositsoe. Mona ha re hlalose phetoho feela, empa ka ho toba mosebetsi oohle. 'Me re e bitsa ru (tšebeliso ea lisebelisoa). Mme ts'ebetso ena e amohela lisebelisoa tsa mahala, moeli oa lisebelisoa, le sefe. Syntax e bonahala e le bonolo. 'Me ho bonolo haholo ho sebelisa ts'ebetso ena le ho bala peresente ea memori ea mahala eo re nang le eona. Ke hore, re na le memori e kae, moeli le mokhoa oa ho sefa. E shebahala e le betere ha o ka e ngola kaofela hape o sebelisa lihloela tse tšoanang, hobane e tla fetoha potso e kholo, e kholo.
'Me mohlala oa kopo e kholo joalo, e kholo ke ena. E tsoa ho dashboard ea molao ea NodeExporter bakeng sa Grafana. Empa ha ke utloisise hantle se etsahalang mona. Ke hore, ha e le hantle, kea utloisisa haeba u sheba ka hloko, empa palo ea li-brackets e ka fokotsa hang-hang tšusumetso ea ho utloisisa se etsahalang mona. Hona ke hobane'ng ha u sa etse hore e be bonolo le ho feta?
Mohlala, joalo ka sena, ho totobatsa lintho tsa bohlokoa kapa likarolo tse fapaneng. Ebe u etsa lipalo tsa hau tsa mantlha. Sena se tšoana le mananeo, sena ke seo ke lakatsang ho se bona nakong e tlang Grafana.
Mohlala oa bobeli ke ona oa hore na re ka etsa hore ho be bonolo le ho feta haeba re ne re se re ntse re e-na le ts'ebetso ena ea ru, 'me e se e ntse e le teng ka kotloloho ho VictoriaMetrics. Ebe u fetisa boleng bo bolokiloeng boo u bo boletseng ho CTE.
Ke se ke buile ka bohlokoa ba ho sebelisa puo e nepahetseng ea lenaneo. 'Me, mohlomong, ho etsahala ntho e fapaneng Grafana k'hamphaning e' ngoe le e 'ngoe. Mme, mohlomong, o ntse o fana ka phihlello ho Grafana ho bahlahisi ba hau, mme bahlahisi ba iketsetsa ho hong. 'Me bohle ba e etsa ka tsela e fapaneng. Empa ke ne ke e batla ka tsela e tšoanang, ke hore, e fokotsoe ho ea boemong bo tloaelehileng.
Ha re re ha u na le lienjineri tsa sistimi feela, mohlomong u na le litsebi, li-devops kapa li-SRE. Mohlomong u na le litsebi tse tsebang hore na ho beha leihlo ke eng, ho tseba hore na Grafana ke eng, ke hore, esale ba sebetsa le sena ka lilemo tse ngata 'me ba tseba hantle ho e etsa hantle. 'Me ba se ba ntse ba e ngotse ka makhetlo a 100' me ba e hlalosetsa bohle, empa ka mabaka a itseng ha ho motho ea mamelang.
Ho thoe'ng haeba ba ne ba ka kenya tsebo ee ka ho toba Grafana e le hore basebelisi ba bang ba ka boela ba sebelisa mesebetsi? 'Me haeba ho ka hlokahala ho bala peresente ea memori ea mahala, joale ba ne ba tla sebelisa mosebetsi feela. Empa ho thoe'ng haeba baetsi ba barekisi, hammoho le sehlahisoa sa bona, le bona ba fane ka sete ea mesebetsi, mokhoa oa ho sebetsa le metrics ea bona, hobane ba tseba hantle hore na metrics ee ke eng le ho e bala ka nepo?
Enoa ha e eo e le kannete. Sena ke seo ke se entseng ka bonna. Ena ke tšehetso ea laebrari e Grafana. Ha re re bashanyana ba entseng NodeExporter ba entse seo ke se hlalositseng. Mme hape o fane ka sete ea likarolo.
Ke hore, e shebahala tjena. U hokela laeborari ena ho Grafana, u ea ho ea hlophisa, 'me mona ho bonolo haholo ho JSON ho sebetsa ka metric ena. Ke hore, lihlopha tse ling tsa mesebetsi, tlhaloso ea tsona le seo li se hlahisang.
Ka maikutlo a ka, sena se ka ba molemo, hobane joale u ne u tla ngola ka Grafana feela joalo. 'Me Grafana "e u bolella" hore ho na le ts'ebetso e joalo le e joalo ho tloha laebraring e joalo - a re e sebeliseng. Ke nahana hore ho tla ba monate haholo.
Hanyane ka VictoriaMetrics. Re etsa lintho tse ngata tse thahasellisang. Bala lingoloa tsa rona mabapi le khatello, mabapi le tlholisano ea rona le lits'ebetso tse ling tsa data tsa nako, tlhaloso ea rona ea mokhoa oa ho sebetsa le PromQL, hobane ho na le ba qalang ba bangata ho sena, hammoho le mabapi le scalability e otlolohileng le mabapi le ho qabana le Thanos.
Lipotso:
Ke tla qala potso ea ka ka pale ea bophelo e bonolo. Ha ke qala ho sebelisa Grafana, ke ile ka ngola potso e susumetsang haholo ea mela e 5. Sephetho ke chate e kholisang haholo. Kerafo ena e se e batla e kene tlhahisong. Empa ha ho shebiloe ka hloko, ho ile ha fumaneha hore chate ena e bontša lintho tse se nang thuso tse sa amane le 'nete, le hoja lipalo li oela ka har'a mefuta eo re neng re lebeletse ho e bona. Mme potso yaka. Re na le lilaebrari, re na le mesebetsi, empa re ngola liteko joang bakeng sa Grafana? U ngotse potso e rarahaneng e amang qeto ea khoebo - ho laela setshelo sa 'nete sa li-server kapa ho se odara. 'Me joalo ka ha re tseba, ts'ebetso ena e hulang graph e tšoana le' nete. Kea leboha.
Ke leboha potso. Ho na le likarolo tse peli mona. Ntlha ea pele, ke fumana maikutlo, ho latela phihlelo ea ka, hore basebelisi ba bangata, ha ba sheba lichate tsa bona, ha ba utloisise seo ba se bontšang. Ka tsela e itseng, batho ba na le bokhoni ba ho hlahisa lebaka la phoso leha e le efe e etsahalang lichate, le haeba e le kokoana ka har'a ts'ebetso. 'Me karolo ea bobeli - ho bonahala ho' na hore ho sebelisa mesebetsi e joalo ho ka ba molemo haholo ho rarolla bothata ba hau, ho e-na le hore e mong le e mong oa baetsi ba hau ba iketsetse moralo oa bokhoni le ho etsa liphoso ka monyetla o itseng.
U ka hlahloba joang?
Joang ho hlahloba? Mohlomong ha ho joalo.
E le teko Grafana.
Ho thoe'ng ka Grafana? Grafana o fetolela kopo ena ka kotloloho ho DataSource.
Ka ho eketsa hanyenyane ho li-parameter.
Che, ha ho letho le eketsoang Grafana. Ho ka ba le liparamente tsa GET, joalo ka mohato. Ha e hlalosoe ka ho hlaka, empa u ka e fetelletsa, u ke ke ua e hlakola, empa e eketsoa ka bo eona. Ha u ngole liteko mona. Ha ke nahane hore o lokela ho itšetleha ka Grafana mona e le mohloli oa 'nete.
Re leboha tlaleho! Ke leboha compression! U ile ua hopola ka ho etsa 'mapa oa ho feto-fetoha ka kerafong, hore Grafana u ke ke ua sebelisa phapano ea mofuta. Na lea utloisisa seo ke se bolelang?
E.
Sena qalong e ne e le hlooho e bohloko ha ke ne ke batla ho etsa tlhokomeliso Grafana. Mme moo o hloka ho etsa tlhokomeliso bakeng sa moamoheli e mong le e mong ka thoko. Ntho ena eo u e entseng ke ena, na e sebetsa ho litemoso Grafana?
Haeba Grafana e sa fihlelle lintho tse fapaneng ka tsela e 'ngoe, ho joalo, e tla sebetsa. Empa keletso ea ka ha se ho sebelisa tlhokomeliso ho Grafana ho hang, ho molemo ho sebelisa alertmanager.
E, kea e sebelisa, empa ho bonahala ho le bonolo ho e qala Grafana, empa ke leboha keletso!
Source: www.habr.com