Rwy'n bwriadu darllen trawsgrifiad yr adroddiad gan Roman Khavronenko "ExtendedPromQL"
Yn fyr amdanaf i. Fy enw i yw Rhufeinig. Rwy'n gweithio i CloudFlare ac yn byw yn Llundain. Ond dwi hefyd yn gynhaliwr VictoriaMetrics.
A fi yw'r awdur ar gyfer Grafana a yn ddirprwy bach ar gyfer ClickHouse.
Byddwn yn dechrau gyda’r rhan gyntaf, sy’n cael ei galw’n “Anawsterau Cyfieithu” ac ynddo byddaf yn sôn am y ffaith bod unrhyw iaith neu hyd yn oed dim ond iaith cyfathrebu yn bwysig iawn. Gan mai dyma sut rydych chi'n cyfleu'ch meddyliau i berson neu system arall, sut rydych chi'n llunio cais. Mae pobl ar y Rhyngrwyd yn dadlau pa iaith sy'n well - java neu ryw iaith arall. I mi fy hun, penderfynais fod angen dewis tasg, oherwydd mae hyn i gyd yn benodol.
Gadewch i ni ddechrau o'r cychwyn cyntaf. Beth yw PromQL? PromQL yw Prometheus Query Language. Dyma sut rydym yn ffurfio ymholiadau yn Prometheus i gael data cyfres amser, cyfresi amser.
Beth yw data cyfres amser? Yn llythrennol, mae'r rhain yn dri pharamedr.
Dyma yw:
- Beth ydyn ni'n edrych arno.
- Pan edrychwn arno.
- A pha werth y mae'n ei ddangos.
Os edrychwch ar y siart hwn (mae'r siart hwn o'm ffôn, sy'n dangos ystadegau fy nghamau), yna yma gallwch chi ateb y cwestiynau hyn yn gyflym.
Rydym yn edrych ar gamau. Rydyn ni'n gweld yr ystyr ac rydyn ni'n gweld yr amser rydyn ni'n edrych arno. Hynny yw, o edrych ar y diagram hwn, gallwch yn hawdd ddweud fy mod wedi cerdded tua 15 o gamau ddydd Sul. Data cyfres amser yw hwn.
Nawr, gadewch i ni eu "torri" (trawsnewid) i fodel data arall ar ffurf tabl. Yma hefyd mae gennym yr hyn yr ydym yn edrych arno. Yma ychwanegais ychydig o ddata ychwanegol, y byddwn yn ei alw'n feta-ddata, hynny yw, nid fi a aeth drwodd, ond dau berson, er enghraifft, Jay a Silent Bob. Dyma beth rydyn ni'n edrych arno; beth mae'n ei ddangos a phryd mae'n dangos y gwerth hwnnw.
Nawr, gadewch i ni geisio storio'r holl ddata hwn yn y gronfa ddata. Er enghraifft, cymerais y gystrawen ClickHouse. A dyma ni’n creu un tabl o’r enw “Camau”, h.y. yr hyn rydyn ni’n edrych arno. Mae yma amser pan edrychwn arno; yr hyn y mae'n ei ddangos a rhywfaint o feta-ddata lle byddwn yn storio pwy ydyw: Jay a Silent Bob.
Ac er mwyn ceisio delweddu'r cyfan, byddwn yn defnyddio Grafana, oherwydd, yn gyntaf, mae'n brydferth.
Hefyd byddwn yn defnyddio'r ategyn hwn. Mae dau reswm am hyn. Mae'r cyntaf oherwydd i mi ei ysgrifennu. Ac rwy'n gwybod yn union pa mor anodd yw tynnu data cyfres amser o ClickHouse i'w ddangos yn Grafana.
Byddwn yn arddangos yn y Panel Graff. Dyma'r panel mwyaf poblogaidd yn Grafana ac mae'n dangos gwerth yn erbyn amser, felly dim ond dau baramedr sydd eu hangen arnom.
Gadewch i ni ysgrifennu'r ymholiad symlaf - sut i ddangos ystadegau cam yn Grafana, gan storio'r data hwn yn ClickHouse, yn y tabl a grëwyd gennym. Ac rydym yn ysgrifennu ymholiad mor syml. Rydym yn dewis o gamau. Rydym yn dewis gwerth ac yn dewis amser y gwerthoedd hyn, h.y. yr un tri pharamedr y buom yn siarad amdanynt.
Ac o ganlyniad, rydym yn cael y graff hwn. Pwy a wyr pam ei fod mor rhyfedd?
Mae hynny'n iawn, mae angen i chi ddidoli yn ôl amser.
Ac yn y diwedd cawn amserlen well, ond rhyfedd o hyd. Pwy a wyr pam? Mae hynny'n iawn, mae dau gyfranogwr, ac rydym yn rhoi i ffwrdd dwy gyfres amser yn Grafana, oherwydd os ydym yn ymdrin â'r model data eto, yna mae pob cyfres tro yn gyfuniad unigryw o enw a'r holl labeli gwerthoedd allweddol.
Felly, mae angen inni ddewis person penodol. Rydyn ni'n dewis Jay.
A thynnu eto. Nawr mae'r graff yn edrych fel y gwir. Nawr mae'n amserlen arferol ac mae popeth yn gweithio'n dda.
Ac, mae'n debyg, eich bod chi'n gwybod sut i wneud am yr un peth, ond yn Prometheus trwy PromQL. Yn fras fel hyn. Ychydig yn haws. A gadewch i ni dorri'r cyfan i lawr. Cymerasom Camau. A hidlo gan Jay. Nid ydym yn nodi yma fod angen inni gael gwerth ac nid ydym yn dewis amser.
Nawr, gadewch i ni geisio cyfrifo cyflymder symud Jay neu Silent Bob. Yn ClickHouse, bydd angen i ni wneud runningDifference, h.y., cyfrifo'r gwahaniaeth rhwng parau o bwyntiau a'u rhannu ag amser i gael yr union gyflymder. Bydd y cais yn edrych rhywbeth fel hyn.
A bydd yn dangos tua’r gwerthoedd hyn, h.y. tua 1,8 cam yr eiliad mae Silent Bob neu Jay.
Ac yn Prometheus rydych chi'n gwybod sut i wneud hynny hefyd. Llawer haws nag o'r blaen.
Ac i'w wneud hefyd yn hawdd i'w wneud yn Grafana, ychwanegais lapiwr o'r fath sy'n edrych yn debyg iawn i PromQL. Fe'i gelwir yn Macros Cyfradd, neu beth bynnag yr ydych am ei alw. Yn Grafana, rydych chi'n ysgrifennu “cyfradd”, ond yn rhywle yn ddwfn i lawr mae'n trawsnewid yn gais mor fawr. Ac nid oes rhaid i chi hyd yn oed edrych arno, mae yno yn rhywle, ond rydych chi'n arbed llawer o amser, oherwydd mae ysgrifennu ymholiadau SQL enfawr o'r fath bob amser yn ddrud. Gallwch chi wneud camgymeriad yn hawdd ac yna methu â deall beth sy'n digwydd am amser hir.
Ac mae hwn yn ymholiad nad oedd hyd yn oed yn ffitio ar un sleid, ac roedd yn rhaid i mi hyd yn oed ei rannu'n ddwy golofn. Mae hwn hefyd yn gais yn ClickHouse, sy'n gwneud yr un gyfradd, ond ar gyfer y ddwy gyfres amser: Silent Bob a Jay, fel bod gennym ddwy gyfres amser ar y panel. Ac mae hyn eisoes yn anodd iawn, yn fy marn i.
Ac yn ôl Prometheus bydd yn swm (cyfradd). Ar gyfer ClickHouse gwnes facro ar wahân o'r enw RateColumns sy'n edrych fel ymholiad Prometheus.
Fe wnaethon ni edrych ac mae'n ymddangos bod PromQL i gyd mor cŵl, ond mae ganddo, wrth gwrs, gyfyngiadau.
Dyma yw:
- SELECT cyfyngedig.
- YmYMUNO.
- Dim CAEL cefnogaeth.
Ac os ydych chi wedi gweithio gydag ef ers amser maith, yna rydych chi'n gwybod ei bod hi'n anodd iawn gwneud rhywbeth yn PromQL weithiau, ac yn SQL gallwch chi wneud bron popeth, oherwydd gallai'r holl opsiynau hyn rydyn ni newydd siarad amdanyn nhw gael eu gwneud yn SQL . Ond a fyddai'n gyfleus ei ddefnyddio? Ac mae hyn yn gwneud i mi feddwl nad yw'r iaith fwyaf pwerus bob amser yn gallu bod yr un fwyaf cyfleus.
Felly, weithiau mae angen i chi ddewis iaith ar gyfer tasgau. Mae fel brwydr rhwng Batman a Superman. Mae'n amlwg bod Superman yn gryfach, ond roedd Batman yn gallu ei drechu oherwydd ei fod yn fwy ymarferol ac yn gwybod yn union beth roedd yn ei wneud.
A'r rhan nesaf yw Ymestyn PromQL.
Unwaith eto am VictoriaMetrics. Beth yw VictoriaMetrics? Cronfa ddata cyfres amser yw hon, mae yn OpenSource, rydym yn dosbarthu ei fersiynau sengl a chlwstwr. Yn ôl ein meincnodau, dyma'r cyflymaf sydd ar y farchnad nawr ac mae'n debyg o ran cywasgu, h.y. mae pobl fyw yn adrodd am gywasgiad o tua 0,4 bytes y pwynt, pan fo gan Prometheus 1,2-1,4.
Rydym yn cefnogi nid yn unig Prometheus. Rydym yn cefnogi InfluxDB, Graphite, OpenTSDB.
Gallwch chi "ysgrifennu" ynom ni, hynny yw, gallwch chi drosglwyddo hen ddata.
Ac rydym hefyd yn gweithio'n berffaith gyda Prometheus a Grafana, h.y. rydym yn cefnogi injan PromQL. Ac yn Grafana, gallwch newid pwynt terfyn Prometheus i VictoriaMetrics a bydd eich holl ddangosfyrddau yn gweithio fel y gwnaethant.
Ond gallwch hefyd ddefnyddio sglodion ychwanegol a ddarperir gan VictoriaMetrics.
Byddwn yn mynd trwy'r nodweddion rydyn ni wedi'u hychwanegu yn gyflym.
Hepgorer param egwyl - gallwch hepgor cyfwng paramedr yn Grafana. Pan nad ydych am gael graffiau rhyfedd wrth chwyddo i mewn/allan yn y panel, argymhellir defnyddio'r newidyn $__interval. Mae hwn yn newid Grafana mewnol ac mae'n dewis yr ystod data ei hun. A gall VictoriaMetrics ei hun ddeall beth ddylai'r ystod hon fod. Ac nid oes rhaid i chi ddiweddaru'ch holl ymholiadau. Bydd yn llawer haws.
Yr ail swyddogaeth yw cyfeirnodi cyfwng. Gallwch ddefnyddio'r bylchau hyn yn eich ymadroddion. Gallwch luosi, rhannu, trosglwyddo, cyfeirio ato.
Nesaf yw'r teulu swyddogaeth rollup. Mae'r swyddogaeth rholio yn trawsnewid unrhyw un o'ch cyfresi amser yn dair cyfres amser ar wahân. Y rhain yw min, mwyafswm a chyf. Rwy'n ei chael hi'n gyfleus iawn, oherwydd weithiau gall ddangos rhai allgleifion (anomaleddau) ac anghywirdebau.
Ac os mai dim ond cythruddo neu raddio ydych chi, yna mae'n debyg y gallwch chi golli rhai achosion lle nad yw'r gyfres amser yn ymddwyn fel y bwriadoch chi. Mae'n llawer haws gweld gyda'r swyddogaeth hon, gadewch i ni ddweud bod uchafswm yn fawr iawn oddi ar gyf.
Nesaf yw'r newidyn diofyn. Diofyn - mae hyn yn golygu pa werth y mae angen i ni ei dynnu yn Grafana os nad oes gennym gyfres amser ar hyn o bryd. Pryd mae'n digwydd? Gadewch i ni ddweud eich bod yn allforio rhai metrigau gwall. Ac mae gennych chi gymhwysiad mor cŵl, pan fyddwch chi'n dechrau, nid oes gennych chi unrhyw wallau a hyd yn oed dim gwallau am y tair awr nesaf neu hyd yn oed y diwrnod. Ac mae gennych chi ddangosfyrddau sy'n dangos perthnasoedd o lwyddiant i gamgymeriad. Ac ni fyddant yn dangos dim i chi oherwydd nad oes gennych fetrig gwall. Ac yn ddiofyn gallwch chi nodi unrhyw beth.
Keep_last_Value - yn arbed gwerth olaf y metrig os yw ar goll. Os na ddaeth Prometheus ar ôl y sgrapio nesaf o hyd iddo o fewn 5 munud, yna yma byddwn yn cofio ei werth olaf ac ni fydd eich siartiau'n torri eto.
Scrape_interval - yn dangos pa mor aml mae Prometheus yn casglu data ar eich metrig, pa mor aml. Yma gallwch weld y tocyn, er enghraifft.
Mae disodli label yn nodwedd boblogaidd. Ond rydyn ni'n meddwl ei fod ychydig yn gymhleth oherwydd ei fod yn cymryd dadleuon cyfanrif. Ac mae angen i chi nid yn unig gofio'r 5 dadl, ond hefyd cofio eu dilyniant.
Felly, beth am eu gwneud yn symlach? Hynny yw, ei dorri i lawr yn swyddogaethau bach gyda chystrawen glir.
Ac yn awr y mwyaf diddorol. Pam rydyn ni'n meddwl ei fod yn PromQL estynedig? Oherwydd ein bod yn cefnogi Mynegiadau Tabl Cyffredin. Gallwch ddilyn y cod QR (), gweler dolenni gydag enghreifftiau, o'r maes chwarae, lle gallwch chi redeg ymholiadau yn uniongyrchol yn VictoriaMetrics heb ei osod yn y porwr yn unig.
A beth ydyw? Mae'r cais hwn oddi uchod yn gais eithaf poblogaidd. Rwy'n credu mewn unrhyw ddangosfwrdd mewn llawer o gwmnïau eich bod chi'n defnyddio'r un hidlydd ar gyfer popeth. Fel arfer felly. Ond pan fydd angen i chi ychwanegu rhywfaint o hidlydd newydd, mae'n rhaid i chi ddiweddaru pob panel, neu lawrlwytho'r dangosfwrdd, ei agor yn JSON, gwneud darganfyddiad yn ei le, sydd hefyd yn cymryd amser. Beth am storio'r gwerth hwn mewn newidyn a'i ailddefnyddio? Mae'n edrych, yn fy marn i, yn llawer symlach a chliriach.
Er enghraifft, pan fydd angen i mi ddiweddaru hidlwyr yn Grafana ym mhob cais, a gall y dangosfwrdd fod yn enfawr neu gall fod sawl un ohonynt hyd yn oed. A sut hoffwn i ddatrys y broblem hon yn Grafana?
Rwy'n datrys y broblem hon fel hyn: Rwy'n gwneud commonFilter ac yn diffinio'r hidlydd hwn ynddo, ac yna rwy'n ei ailddefnyddio mewn ymholiadau. Ond os gwnewch yr un peth nawr, ni fydd yn gweithio oherwydd nid yw Grafana yn caniatáu ichi ddefnyddio newidynnau y tu mewn i newidynnau ymholiad. Ac mae ychydig yn rhyfedd.
Ac felly fe wnes i opsiwn sy'n caniatáu ichi wneud hyn. Ac os oes gennych chi ddiddordeb neu eisiau nodwedd o'r fath, yna cefnogwch neu ddim yn hoffi os nad ydych chi'n hoffi'r syniad hwn.
Mwy am PromQL wedi'i ymestyn. Yma rydym yn diffinio nid yn unig newidyn, ond yn uniongyrchol swyddogaeth gyfan. Ac rydyn ni'n ei alw'n ru (defnydd adnoddau). Ac mae'r swyddogaeth hon yn derbyn adnoddau am ddim, terfyn adnoddau, a hidlydd. Mae'r gystrawen yn ymddangos yn syml. Ac mae'n hawdd iawn defnyddio'r swyddogaeth hon a chyfrifo canran y cof am ddim sydd gennym. Hynny yw, faint o gof sydd gennym, pa derfyn a sut i hidlo. Mae'n edrych yn llawer gwell pe baech chi'n ysgrifennu'r cyfan gan ailddefnyddio'r un ffilterau, oherwydd byddai'n troi'n ymholiad mawr, mawr.
A dyma enghraifft o gais mor fawr, mor fawr. Mae'n dod o ddangosfwrdd swyddogol NodeExporter ar gyfer Grafana. Ond dydw i ddim wir yn deall beth sy'n digwydd yma. Hynny yw, wrth gwrs, rwy'n deall os edrychwch yn ofalus, ond gall nifer y cromfachau leihau'r cymhelliant ar unwaith i ddeall beth sy'n digwydd yma. A beth am ei wneud yn symlach ac yn gliriach?
Er enghraifft, fel hyn, amlygu pethau neu rannau arwyddocaol mewn newidynnau. Ac yna gwnewch eich mathemateg sylfaenol. Mae hyn eisoes yn debycach i raglennu, dyma'r hyn yr hoffwn ei weld yn Grafana yn y dyfodol.
Dyma ail enghraifft o sut y gallwn ei gwneud hi'n haws fyth pe bai gennym y swyddogaeth ru hon eisoes, ac mae eisoes yn bodoli'n uniongyrchol yn VictoriaMetrics. Ac yna rydych chi'n pasio'r gwerth cached a ddatganwyd gennych yn y CTE.
Rwyf eisoes wedi siarad am ba mor bwysig yw defnyddio'r iaith raglennu gywir. Ac, yn ôl pob tebyg, mae rhywbeth gwahanol yn digwydd yn Grafana ym mhob cwmni. Ac, yn ôl pob tebyg, rydych chi'n dal i roi mynediad i Grafana i'ch datblygwyr, ac mae'r datblygwyr yn gwneud rhywbeth eu hunain. Ac maen nhw i gyd yn ei wneud mewn ffordd wahanol. Ond roeddwn i eisiau'r un peth rhywsut, hynny yw, wedi'i ostwng i safon gyffredin.
Gadewch i ni ddweud nad oes gennych chi beirianwyr system hyd yn oed, efallai bod gennych chi arbenigwyr, devops neu SREs hyd yn oed. Efallai bod gennych chi arbenigwyr sy'n gwybod beth yw monitro, yn gwybod beth yw Grafana, h.y. maen nhw wedi bod yn gweithio gyda hyn ers blynyddoedd ac maen nhw'n gwybod yn union sut i wneud pethau'n iawn. Ac fe wnaethon nhw ei ysgrifennu 100 gwaith yn barod a'i esbonio i bawb, ond am ryw reswm does neb yn gwrando.
Beth os gallent roi'r wybodaeth hon yn uniongyrchol i Grafana fel y gallai defnyddwyr eraill ailddefnyddio'r swyddogaethau? Ac os byddai angen cyfrifo canran y cof am ddim, yna byddent yn defnyddio'r swyddogaeth yn syml. Ond beth pe bai crewyr allforwyr, ynghyd â'u cynnyrch, hefyd yn darparu set o swyddogaethau, sut i weithio gyda'u metrigau, oherwydd eu bod yn gwybod yn union beth yw'r metrigau hyn a sut i'w cyfrifo'n gywir?
Nid yw'r un hwn yn bodoli mewn gwirionedd. Dyma beth wnes i fy hun. Dyma'r cymorth llyfrgell yn Grafana. Gadewch i ni ddweud bod y dynion a wnaeth NodeExporter wedi gwneud yr hyn a ddisgrifiais. A hefyd wedi darparu set o nodweddion.
Hynny yw, mae'n edrych fel hyn. Rydych chi'n cysylltu'r llyfrgell hon â Grafana, rydych chi'n mynd i olygu, ac yma mae'n syml iawn yn JSON sut i weithio gyda'r metrig hwn. Hynny yw, rhai set o swyddogaethau, eu disgrifiad a'r hyn y maent yn datblygu iddo.
Yn fy marn i, gallai hyn fod yn ddefnyddiol, oherwydd yna byddech chi'n ysgrifennu yn Grafana yn union fel hynny. Ac mae Grafana yn "dweud" wrthych fod yna swyddogaeth o'r fath ac o'r fath gan lyfrgell o'r fath - gadewch i ni ei ddefnyddio. Rwy'n meddwl y byddai hynny'n cŵl iawn.
Ychydig am VictoriaMetrics. Rydyn ni'n gwneud llawer o bethau diddorol. Darllenwch ein herthyglau am gywasgu, am ein cystadleuaeth â chymwysiadau data cyfres amser eraill, ein hesboniad o sut i weithio gyda PromQL, oherwydd mae llawer mwy o ddechreuwyr yn hyn, yn ogystal ag am scalability fertigol ac am wrthdaro â Thanos.
Cwestiynau:
Dechreuaf fy nghwestiwn gyda stori bywyd syml. Pan ddechreuais ddefnyddio Grafana am y tro cyntaf, ysgrifennais ymholiad 5 llinell perswadiol iawn. Mae'r canlyniad terfynol yn siart argyhoeddiadol iawn. Mae'r graff hwn bron â chael ei gynhyrchu. Ond o edrych yn agosach, daeth i'r amlwg bod y siart hwn yn dangos nonsens llwyr nad oes a wnelo ddim â realiti, er bod y niferoedd yn disgyn i'r ystod yr oeddem yn disgwyl ei weld. A fy nghwestiwn. Mae gennym ni lyfrgelloedd, mae gennym ni swyddogaethau, ond sut ydyn ni'n ysgrifennu profion ar gyfer Grafana? Rydych chi wedi ysgrifennu ymholiad cymhleth sy'n effeithio ar y penderfyniad busnes - i archebu cynhwysydd gwirioneddol o weinyddion neu i beidio ag archebu. Ac fel y gwyddom, mae'r swyddogaeth hon sy'n tynnu graff yn debyg i'r gwir. Diolch.
Diolch am y cwestiwn. Mae dwy ran yma. Yn gyntaf, rwy'n cael yr argraff, yn seiliedig ar fy mhrofiad, nad yw'r rhan fwyaf o ddefnyddwyr, pan fyddant yn edrych ar eu siartiau, yn deall yr hyn y maent yn ei ddangos iddynt. Rhywsut, mae pobl yn dda iawn am feddwl am esgus dros unrhyw anghysondeb sy'n digwydd ar y siartiau, hyd yn oed os yw'n nam y tu mewn i swyddogaeth. A'r ail ran - mae'n ymddangos i mi y byddai defnyddio swyddogaethau o'r fath yn llawer mwy addas i ddatrys eich problem, yn lle bod pob un o'ch datblygwyr yn gwneud eu cynllunio gallu eu hunain ac yn gwneud camgymeriadau gyda rhywfaint o debygolrwydd.
Sut i wirio?
Sut i wirio? Mae'n debyg na.
Fel prawf yn Grafana.
A beth am Grafana? Mae Grafana yn cyfieithu'r cais hwn yn uniongyrchol i'r Ffynhonnell Data.
Trwy ychwanegu ychydig at y paramedrau.
Na, nid oes dim yn cael ei ychwanegu at Grafana. Efallai y bydd paramedrau GET, megis cam. Nid yw wedi'i nodi'n benodol, ond gallwch chi ei ddiystyru, ni allwch ei ddiystyru, ond caiff ei ychwanegu'n awtomatig. Nid ydych chi'n ysgrifennu profion yma. Nid wyf yn meddwl y dylech ddibynnu ar Grafana yma fel ffynhonnell gwirionedd.
Diolch am yr adroddiad! Diolch am y cywasgu! Roeddech yn cofio am fapio newidyn mewn graff, na allwch ddefnyddio newidyn mewn newidyn yn Grafana. Ydych chi'n deall yr hyn yr wyf yn ei olygu?
Ydw.
Cur pen oedd hyn i ddechrau pan oeddwn i eisiau gwneud rhybudd yn Grafana. Ac yno mae angen i chi fod yn effro ar gyfer pob gwesteiwr ar wahân. Dyma'r peth a wnaethoch, a yw'n gweithio ar gyfer rhybuddion yn Grafana?
Os nad yw Grafana yn cyrchu newidynnau mewn rhyw ffordd arall, yna ie, bydd yn gweithio. Ond fy nghyngor i yw peidio â defnyddio rhybuddio yn Grafana o gwbl, byddai'n well ichi ddefnyddio alertmanager.
Ydw, dwi'n ei ddefnyddio, ond roedd hi'n ymddangos yn haws ei sefydlu yn Grafana, ond diolch am y tip!
Ffynhonnell: hab.com