Roman Khavronenkoren "ExtendedPromQL" txostenaren transkripzioa irakurtzea gomendatzen dizut
Niri buruz laburki. Nire izena Roman da. CloudFlare-n lan egiten dut eta Londresen bizi naiz. Baina VictoriaMetrics mantentzailea ere banaiz.
Eta ni naiz egilea Grafanarentzat eta ClickHouserako proxy txiki bat da.
Lehen zatitik hasiko gara, “Itzulpenaren zailtasunak” izenekoa eta bertan edozein hizkuntza edo komunikazio hizkuntza bat ere oso garrantzitsua dela hitz egingo dut. Horrela helarazten diozulako zure pentsamenduak beste pertsona edo sistema bati, nola formulatzen duzun eskaera. Interneten jendeak eztabaidatzen du zein den hizkuntza hobea: java edo besteren bat. Niretzat, zereginaren arabera aukeratu behar dudala erabaki nuen, hori guztia zehatza delako.
Has gaitezen hasiera-hasieratik. Zer da PromQL? PromQL Prometheus Query Language da. Horrela eratzen ditugu Prometheus-en kontsultak denbora serieko datuak lortzeko.
Zer dira denbora serieko datuak? Literalki, hiru parametro dira.
Hauek dira:
- Zeri begira gaude?
- Begiratzen dugunean.
- Eta zer balio erakusten du?
Taula honi begiratzen badiozu (diagrama hau nire telefonoarena da, nire urratsen estatistikak erakusten dituena), galdera hauei azkar erantzun diezaieke.
Pausoei begiratzen diegu. Esanahia ikusten dugu eta denbora ikusten dugu begiratzen dugunean. Hau da, diagrama hau ikusita, erraz esan daiteke igandean 15 pauso inguru eman nituela. Hau denbora serieko datuak dira.
Orain "zatitu" (bihurtu) ditzagun beste datu-eredu batean taula moduan. Hemen ere badugu zer ikusten ari garen. Hemen datu gehigarri apur bat gehitu dut, meta-datuak deituko ditugunak, hau da, ez naiz ni izan hau pasatu, bi pertsona baizik, adibidez, Jay eta Silent Bob. Hau da begiratzen ari garena; zer erakusten duen eta noiz erakusten duen balio hori.
Orain saia gaitezen datu horiek guztiak datu-base batean gordetzen. Adibidez, ClickHouse sintaxia hartu nuen. Eta hemen "Urratsak" izeneko taula bat sortzen dugu, hau da, zer ikusten ari garen. Bada garai bat begiratzen duguna; zer erakusten duen eta metadatu batzuk non gordeko ditugun nor den: Jay eta Silent Bob.
Eta hori guztia bistaratzen saiatzeko, Grafana erabiliko dugu, lehenik eta behin, ederra delako.
Plugin hau ere erabiliko dugu. Bi arrazoi daude horretarako. Lehenengoa idatzi dudalako da. Eta zehatz-mehatz badakit zein zaila den ClickHousetik denbora serieko datuak ateratzea Grafanan erakusteko.
Grafikoen panelean bistaratuko dugu. Hau da Grafanako panel ezagunena, balio baten denboraren mendekotasuna erakusten duena, beraz, bi parametro baino ez ditugu behar.
Idatz dezagun kontsultarik errazena: nola erakutsi urratsen estatistikak Grafana-n, datu hauek ClickHouse-n gordeta, sortu dugun taulan. Eta eskaera sinple hau idazten dugu. Urratsetatik aukeratzen dugu. Balio bat hautatzen dugu eta balio horien denbora hautatzen dugu, hau da, hitz egin ditugun hiru parametro berberak.
Eta ondorioz, honelako grafiko bat lortuko dugu. Nork daki zergatik den hain arraroa?
Hori bai, denboraren arabera ordenatu behar dugu.
Eta azkenean ordutegi hobea, baina oraindik arraroa, lortuko dugu. Nork daki zergatik? Hori bai, bi parte-hartzaile daude, eta Grafanan bi denbora-serie oparitzen ditugu, datu-ereduari berriro begiratuz gero, denbora-serie bakoitza izenaren eta gako-balioen etiketa guztien konbinazio bakarra baita.
Horregatik, pertsona zehatz bat aukeratu behar dugu. Jay aukeratu dugu.
Eta marraztu dezagun berriro. Orain grafikoak egia dirudi. Orain ordutegi normala da eta dena ondo dabil.
Eta ziurrenik badakizu gutxi gorabehera gauza bera egiten, baina Prometheus-en PromQL bidez. Honelako zerbait. Apur bat sinpleagoa. Eta hautsi dezagun dena. Urratsak eman genituen. Eta Jay-ren arabera iragazi. Hemen ez dugu zehazten balio bat lortu behar dugunik eta ez dugu garairik aukeratzen.
Orain saia gaitezen Jay edo Silent Bob-en mugimendu-abiadura kalkulatzen. ClickHousen runningDifference egin beharko dugu, hau da, puntu pareen arteko aldea kalkulatu eta denboraren arabera zatitu abiadura zehatza lortzeko. Eskaerak antzeko itxura izango du.
Eta gutxi gorabehera balio hauek erakutsiko ditu, hau da, Silent Bob edo Jay-k segundoko 1,8 pauso hartzen ditu gutxi gorabehera.
Eta Prometheus-en ere badakizu nola egin. Lehen baino askoz errazagoa.
Eta Grafanan egiteko ere erraza izan dadin, PromQL-ren oso antzekoa den bilgarri hau gehitu dut. Tarifa makroak deitzen da edo nahi duzun bezala. Grafanan "tasa" idazten duzu besterik gabe, baina sakonean eskaera handi hau bihurtzen da. Eta ez duzu begiratu beharrik ere, hor dago nonbait, baina denbora asko aurrezten duzu, SQL kontsulta handiak idaztea beti garestia baita. Erraz egin dezakezu akats bat eta gero ez ulertu zer gertatzen ari den denbora luzez.
Eta diapositiba batean ere sartzen ez zen eskaera da eta bi zutabetan banatu behar izan nuen. Hau ere ClickHouse-n eskaera bat da, tarifa bera egiten duena, baina bi denbora-serieetarako: Silent Bob eta Jay, panelean bi denbora-serie izan ditzagun. Eta hori dagoeneko oso zaila da, nire ustez.
Eta Prometeoren arabera batura (tasa) izango da. ClickHouse-rako, RateColumns izeneko makro bereizi bat egin nuen, Prometheus-en kontsulta baten itxura duena.
Begiratu dugu eta badirudi PromQL oso polita dela, baina, noski, mugak ditu.
Hauek dira:
- AUKERA mugatua.
- Mugako JOIN-ak.
- Laguntzarik EZ.
Eta denbora luzez lan egin baduzu, badakizu batzuetan PromQL-n zerbait egitea oso zaila dela, baina SQLn ia dena egin dezakezu, hitz egin berri ditugun aukera hauek guztiak SQLn egin daitezkeelako. . Baina erosoa izango al litzateke hura erabiltzea? Eta horrek pentsarazten dit hizkuntza boteretsuena ez dela beti erosoena izango.
Hori dela eta, batzuetan atazarako hizkuntza bat aukeratu behar duzu. Batman Superman borrokan ari den bezalakoa da. Argi dago Superman indartsuagoa dela, baina Batmanek hura garaitzeko gai izan zen, praktikoagoa delako eta zertan ari zen zehatz-mehatz zekielako.
Eta hurrengo zatia PromQL zabaltzea da.
Beste behin VictoriaMetrics-i buruz. Zer da VictoriaMetrics? Denbora serieen datu-base bat da, OpenSource-n dago, bere bertsio bakar eta cluster banatzen ditugu. Gure erreferentzien arabera, orain merkatuan dagoen edozer baino azkarragoa da eta konpresioa antzekoa da, hau da, benetako pertsonek puntu bakoitzeko 0,4 byte inguruko konpresioa adierazten dute, eta Prometheus-ena 1,2-1,4koa da.
Prometheus baino gehiago onartzen dugu. InfluxDB, Graphite, OpenTSDB onartzen ditugu.
“idatzi” diezagukezu, hau da, datu zaharrak transferitu ditzakezu.
Eta Prometheus eta Grafanarekin ere primeran lan egiten dugu, hau da, PromQL motorra onartzen dugu. Eta Grafanan Prometheus amaierako puntua VictoriaMetrics-era alda dezakezu eta zure aginte-panel guztiek funtzionatuko dute.
Baina VictoriaMetrics-ek eskaintzen dituen funtzio osagarriak ere erabil ditzakezu.
Gehitu ditugun funtzioak azkar aztertuko ditugu.
Utzi tarte-parametroa: tarte-parametroak ezaba ditzakezu Grafana-n. Grafiko arrarorik lortu nahi ez duzunean panela handitzean/urruntzean, aldagaia erabiltzea gomendatzen da. $__interval. Hau Grafana barneko aldaketa bat da eta datu-barrutia bera hautatzen du. Eta VictoriaMetrics-ek berak uler dezake zer izan behar duen sorta hori. Eta ez dituzu zure eskaera guztiak eguneratu behar. Askoz errazagoa izango da.
Bigarren funtzioa tarte-erreferentzia da. Tarte hau zure esamoldeetan erabil dezakezu. Biderkatu, zatitu, transferitu, erreferentzia egin dezakezu.
Hurrengoa rollup funtzio familia da. Rollup funtzioak zure denbora-seriea hiru denbora-serie bereizi bihurtzen du. Hauek min, max eta batez bestekoak dira. Hau oso erosoa iruditzen zait, batzuetan ezusteko eta zehaztasunik gabeko batzuk ager ditzakeelako.
Eta haserre edo baloratzen ari bazara, ziurrenik denbora serieak espero zenuen moduan jokatzen ez duen kasu batzuk galduko dituzu. Funtzio honekin askoz errazagoa da ikustea, demagun max bataz bestekoa dela oso.
Hurrengo aldagai lehenetsia da. Lehenetsia - honek esan nahi du zer balio marraztu behar dugun Grafanan momentuz denbora serierik ez badugu. Noiz gertatzen da hau? Demagun errore-neurri batzuk esportatzen ari zarela. Eta hain aplikazio polita daukazu, non hasten zarenean, hurrengo hiru orduetan edo egun batean ere akatsik ez duzula izango. Eta arrakastatik akatsera arteko erlazioa erakusten duten aginte-panelak dituzu. Eta ez dizute ezer erakutsiko errore-metriarik ez duzulako. Eta lehenespenez edozer zehaztu dezakezu.
Keep_last_Value - metrikaren azken balioa gordetzen du falta bada. Prometheus-ek ez badu aurkitzen hurrengo scrapearen ondorengo 5 minuturen buruan, hemen bere azken balioa gogoratuko dugu eta zure grafikoak ez dira berriro hautsiko.
Scrape_interval - Prometheus-ek zure metrikaren datuak zenbat aldiz biltzen dituen eta zein maiztasunarekin erakusten du. Hemen pasabide bat ikus dezakezue, adibidez.
Etiketa ordezkatzea ezaugarri ezaguna da. Baina apur bat konplikatua dela uste dugu, argudio osoak behar dituelako. Eta 5 argumentu gogoratu ez ezik, haien sekuentzia ere gogoratu behar duzu.
Hori dela eta, zergatik ez erraztu? Hau da, sintaxi ulergarria duten funtzio txikietan zatitzea.
Eta orain parte dibertigarria. Zergatik uste dugu hau PromQL hedatua dela? Common Table Expressions onartzen dugulako. QR kodea jarraitu dezakezu (), ikusi estekak adibideekin, jolastokitik, non VictoriaMetrics-en zuzenean kontsultak egin ditzakezu arakatzailean instalatu gabe.
Eta zer da hau? Goiko eskaera hau nahiko eskaera ezaguna da. Uste dut enpresa askotan edozein paneletan iragazki bera erabiltzen duzula guztietarako. Normalean horrela. Baina iragazki berriren bat gehitu behar duzunean, panel bakoitza eguneratu behar duzu, edo aginte-panela deskargatu, ireki JSON-en, ordezkatu aurkitu, eta horrek ere denbora behar du. Zergatik ez gorde balio hau aldagai batean eta berrerabili? Honek, nire ustez, askoz sinpleagoa eta argiagoa dirudi.
Adibidez, eskaera guztietan Grafana-n iragazkiak eguneratu behar ditudanean, eta aginte-panela handia izan daiteke edo horietako batzuk ere egon daitezke. Eta nola konpondu nahiko nuke arazo hau Grafanan?
Arazo hau honela konpontzen dut: ohiko iragazki bat egiten dut eta iragazki hau bertan definitzen dut, eta gero berrerabili egiten dut kontsultetan. Baina orain gauza bera egiten baduzu, ez du funtzionatuko Grafanak ez baitu aukera ematen kontsulta-aldagaien barruan aldagaiak erabiltzeko. Eta pixka bat arraroa da.
Eta, beraz, hau egiteko aukera ematen dizun aukera bat egin nuen. Eta horrelako funtzio bat interesatzen bazaizu edo nahi baduzu, onartu edo ez zaizu gustatzen ideia hau gustatzen ez bazaizu.
PromQL hedatuari buruzko informazio gehiago. Hemen aldagai bat ez ezik, funtzio oso bat definitzen dugu. Eta ru deitzen diogu (baliabideen erabilera). Eta funtzio honek doako baliabideak, baliabideen muga eta iragazkia onartzen ditu. Sintaxia sinplea dela dirudi. Eta oso erraza da funtzio hau erabiltzea eta daukagun memoria librearen ehunekoa kalkulatzea. Hau da, zenbat memoria dugun, zein den muga eta nola iragazi. Askoz erosoagoa dirudi dena idatziz gero, iragazki berberak berrerabiliz, kontsulta handi eta handi bihurtuko litzatekeelako.
Eta hona hemen eskaera handi eta handi baten adibide bat. Grafana-ren NodeExporter panel ofizialekoa da. Baina ia ez dut ulertzen hemen gertatzen dena. Hau da, jakina, ulertzen dut ondo begiratuz gero, baina parentesi kopuruak berehala murriztu dezake hemen gertatzen dena ulertzeko motibazioa. Eta zergatik ez errazago eta argiago egin?
Adibidez, honela, gauza edo zati esanguratsuak aldagaietan bereiztea. Eta gero egin zure oinarrizko matematika. Hau jada programazioa bezalakoa da, hau da etorkizunean Grafanan ikusi nahiko nukeena.
Hona hemen, lehendik ru funtzio hau bagenuen, eta VictoriaMetrics-en zuzenean existitzen den hori are erraztu genezakeen bigarren adibide bat. Eta, ondoren, CTEn deklaratu duzun cacheko balioa pasa besterik ez duzu.
Dagoeneko hitz egin dut zein garrantzitsua den programazio-lengoaia egokia erabiltzea. Eta, ziurrenik, Grafanako enpresa bakoitzak zerbait desberdina izaten du. Eta ziurrenik Grafanarako sarbidea ere emango diezu zure garatzaileei, eta garatzaileek beren gauza egiten dute. Eta denek nolabait ezberdin egiten dute. Baina nolabait berdina izatea nahi nuen, hau da, estandar komun batera murriztea.
Demagun sistema-ingeniariak besterik ez dituzula ere, agian adituak, devops edo SRE ere badituzula. Beharbada badaukazue adituak monitorizazioa zer den dakitenak, Grafana zer den dakitenak, hau da, urteak daramatzate horrekin lanean eta ongi dakite nola egin behar den. Eta dagoeneko 100 aldiz idatzi dute hau eta guztiei azaldu diete, baina arrazoiren batengatik inork ez du entzuten.
Zer gertatzen da ezagutza hori zuzenean Grafanan sartuko balute, beste erabiltzaile batzuek eginbideak berrerabil ditzaten? Eta memoria librearen ehunekoa kalkulatu beharko balute, funtzioa aplikatu besterik ez lukete. Zer gertatuko litzateke esportatzaileen sortzaileek, beren produktuarekin batera, beren metrikekin lan egiteko funtzio multzo bat ere emango balute, badakitelako zehatz-mehatz zein diren metrika horiek eta nola kalkulatu behar diren?
Hau ez da benetan existitzen. Hau da nik neuk egin nuena. Hau da Grafanako liburutegiaren euskarria. Demagun NodeExporter egin duten mutilek hitz egin dudana egin dutela. Eta funtzio multzo bat ere eman zuten.
Hau da, horrelako zerbait dirudi. Liburutegi hau Grafana-ra konektatzen duzu, edizioan sartzen zara eta JSON-n idatzita dago nola lan egin metrika honekin. Hau da, funtzio multzo batzuk, haien deskribapena eta zer bihurtzen diren.
Hau baliagarria izan daitekeela uste dut, orduan Grafanan horrela idatziko zenuke eta. Eta Grafanak "esaten" dizu halako eta halako funtzio bat dagoela halako liburutegi batetik - erabil dezagun. Oso polita izango litzatekeela uste dut.
VictoriaMetrics-i buruz pixka bat. Gauza interesgarri asko egiten ditugu. Irakurri gure artikuluak konpresioari buruz, denbora serieko beste datu-aplikazio batzuekin ditugun lehiaketei buruz, PromQL-rekin lan egiteko gure azalpena, oraindik hasiberri asko baitaude honetan, baita eskalagarritasun bertikalei buruz eta Thanos-ekin izandako konfrontazioari buruz ere.
galderak:
Nire galdera bizitzako istorio sinple batekin hasiko dut. Grafana erabiltzen hasi nintzenean, 5 lerro zituen oso kontsulta erakargarria idatzi nuen. Azken emaitza grafiko oso sinesgarria da. Ordutegi hau ia ekoizten hasi da. Baina gertuagotik begiratuta, grafiko honek errealitatearekin zerikusirik ez duen zentzugabekeria absolutua erakusten duela ikusi zen, nahiz eta zenbakiak espero genuen tartean egon. Eta nire galdera. Liburutegiak ditugu, funtzioak ditugu, baina nola idazten ditugu probak Grafanarentzat? Eskaera konplexu bat idatzi duzu, zeinaren araberakoa den negozioaren erabakia: zerbitzarien benetako edukiontzi bat eskatzeko edo ez eskatzeko. Eta dakigunez, grafikoa marrazten duen funtzio hau egiaren antzekoa da. Eskerrik asko.
Eskerrik asko galderagatik. Bi zati daude. Lehenik eta behin, inpresioa dut, nire esperientzian oinarrituta, erabiltzaile gehienek, beren diagramak begiratzen dituztenean, ez dutela ulertzen zer erakusten ari zaien. Zerbaitegatik, jendea oso ona da grafikoetan gertatzen den edozein anomaliarako aitzakia bat topatzen, funtzio baten barruan akatsa bada ere. Eta bigarren zatia - iruditzen zait funtzio horiek erabiltzea zure arazoa konpontzeko ikuspegi askoz hobea izango litzatekeela, zure garatzaile bakoitzak bere gaitasunaren plangintza egin beharrean eta probabilitate batzuekin akatsak egin beharrean.
Nola egiaztatu?
Nola egiaztatu? Seguruenik ez.
Grafanan proba gisa.
Zer zerikusi du Grafanak? Grafanak eskaera hau zuzenean itzultzen du DataSource-ra.
Parametroei pixka bat gehitzea.
Ez, ez zaio ezer gehitzen Grafanari. GET parametroak egon daitezke, esate baterako, urratsa. Ez dago esplizituki zehazten, baina baliogabetu dezakezu edo agian ez duzu baliogabetu, baina automatikoki gehitzen da. Hemen ez duzu probarik idatziko. Ez dut uste Grafanan fidatu behar dugunik hemen egia iturri gisa.
Eskerrik asko erreportajeagatik! Eskerrik asko konpresioagatik! Grafiko batean aldagai bat mapatzea aipatu duzu, Grafanan ezin duzula aldagai baten barruan aldagairik erabili. Ba al dakizu zer esan nahi dudan?
Bai.
Hau buruhaustea izan zen hasieran Grafanan alerta bat sortu nahi nuenean. Eta bertan ostalari bakoitzarentzako alerta bat egin behar duzu bereizita. Egin duzun gauza hau, funtzionatzen al du Grafanako alertetarako?
Grafanak ez baditu aldagaiak modu ezberdinean sartzen, orduan bai, funtzionatuko du. Baina nire aholkua Grafanan alertak ez erabiltzea da, hobe duzu alertmanager erabiltzea.
Bai, erabiltzen dut, baina errazagoa iruditu zitzaidan Grafanan konfiguratzea, baina eskerrik asko aholkuagatik!
Iturria: www.habr.com