Abdi nyarankeun anjeun maca transkrip laporan Romawi Khavronenko "ExtendedPromQL"
Sakeudeung ngeunaan kuring. Ngaran abdi Roman. Abdi damel di CloudFlare sareng cicing di London. Tapi kuring ogé pangropéa VictoriaMetrics.
Sareng abdi pangarangna pikeun Grafana jeung mangrupakeun proxy leutik pikeun ClickHouse.
Urang mimitian ku bagian kahiji, nu disebut "Kasusah Tarjamahan" na di dinya kuring bakal ngobrol ngeunaan kanyataan yén basa mana wae atawa malah ngan basa komunikasi pohara penting. Kusabab ieu kumaha anjeun nepikeun pikiran anjeun ka jalma atawa sistem sejen, kumaha anjeun ngarumuskeun pamundut a. Jalma dina Internét ngajawab ngeunaan basa mana anu langkung saé - java atanapi anu sanés. Pikeun kuring sorangan, kuring mutuskeun yén kuring kedah milih dumasar kana tugas, sabab sadayana ieu khusus.
Hayu urang mimitian ti mimiti pisan. Naon PromQL? PromQL nyaéta Prometheus Query Language. Ieu kumaha urang ngabentuk queries di Prometheus pikeun meunangkeun data runtuyan waktu.
Naon ari data séri waktos? Sacara harfiah, ieu tilu parameter.
Ieu mangrupikeun:
- Naon anu urang tingali?
- Lamun urang nempo eta.
- Sarta naon nilai eta nembongkeun?
Upami anjeun ningali bagan ieu (bagan ieu tina telepon kuring anu nunjukkeun stats léngkah kuring), éta tiasa gancang ngajawab patarosan ieu.
Urang nempo léngkah. Urang ningali hartos sareng urang ningali waktos nalika urang ningali éta. Hartina, nempo diagram ieu, anjeun bisa kalayan gampang disebutkeun yen dina Minggu kuring leumpang ngeunaan 15 léngkah. Ieu data runtuyan waktu.
Ayeuna hayu urang "beulah" (ngarobah) kana model data sejen dina bentuk tabel. Di dieu urang ogé gaduh naon anu urang tingali. Di dieu kuring ditambahkeun saeutik data tambahan, nu urang bakal nelepon meta-data, i.e. teu kuring anu ngaliwat ieu, tapi dua jalma, contona, Jay jeung Silent Bob. Ieu naon urang nempo; naon anu ditingalikeun sareng iraha éta nunjukkeun nilai éta.
Ayeuna hayu urang cobian nyimpen sadaya data ieu dina pangkalan data. Salaku conto, kuring nyandak sintaksis ClickHouse. Sareng di dieu urang nyiptakeun hiji méja anu disebut "Lengkah", nyaéta naon anu urang tingali. Aya waktos urang ningali éta; naon anu ditingalikeun sareng sababaraha data meta dimana urang bakal nyimpen saha éta: Jay sareng Silent Bob.
Sareng pikeun ngabayangkeun sadayana ieu, kami bakal nganggo Grafana sabab, mimitina, éta éndah.
Urang ogé bakal ngagunakeun plugin ieu. Aya dua alesan pikeun ieu. Anu kahiji sabab kuring nyeratna. Sareng kuring terang kumaha héséna pikeun narik data séri waktos ti ClickHouse pikeun nunjukkeun dina Grafana.
Kami bakal ningalikeunana dina Panel Grafik. Ieu panel pang populerna di Grafana, nu nembongkeun gumantungna hiji nilai on waktos, jadi urang ngan butuh dua parameter.
Hayu urang nyerat patarosan pangbasajanna - kumaha cara nunjukkeun statistik léngkah dina Grafana, nyimpen data ieu dina ClickHouse, dina tabel anu kami ciptakeun. Sarta kami nulis pamundut basajan ieu. Urang milih tina léngkah. Kami milih nilai sareng pilih waktos nilai ieu, nyaéta tilu parameter anu sami anu urang bahas.
Sareng hasilna, urang bakal nampi grafik sapertos kieu. Saha anu terang naha anjeunna anéh?
Leres, urang kedah nyortir dumasar waktos.
Sarta dina tungtungna urang bakal meunang hadé, tapi jadwal tetep aneh. Saha anu terang kunaon? Leres, aya dua pamilon, sareng kami di Grafana masihan dua séri waktos, sabab upami anjeun ningali deui modél data, maka unggal séri waktos mangrupikeun kombinasi unik tina nami sareng sadaya labél konci-nilai.
Ku alatan éta, urang kudu milih hiji jalma husus. Urang milih Jay.
Sareng urang ngagambar deui. Ayeuna grafik Sigana mah bebeneran. Ayeuna ieu jadwal normal sareng sadayana berpungsi saé.
Sareng anjeun panginten terang kumaha ngalakukeun hal anu sami, tapi dina Prometheus via PromQL. Sapertos kieu. Saeutik leuwih basajan. Sarta hayu urang megatkeun eta sadayana handap. Urang nyandak Léngkah. Sareng saringan ku Jay. Kami henteu netepkeun di dieu yén urang kedah nampi nilai sareng urang henteu milih waktos.
Ayeuna hayu urang coba ngitung laju gerakan Jay atanapi Silent Bob. Dina ClickHouse urang bakal kedah ngalakukeun runningDifference, i.e. ngitung bédana antara pasangan titik sarta ngabagi aranjeunna ku waktu pikeun meunangkeun speed pasti. Paménta bakal katingali sapertos kieu.
Sareng bakal nunjukkeun kira-kira nilai ieu, nyaéta Silent Bob atanapi Jay nyandak kirang langkung 1,8 léngkah per detik.
Sareng di Prometheus anjeun terang kumaha ngalakukeun ieu ogé. Leuwih gampang ti éta saméméhna.
Sarta sangkan eta oge gampang pikeun ngalakukeun dina Grafana, Kuring ditambahkeun wrapper ieu, nu Sigana pisan sarupa PromQL. Disebut Rate Macros atanapi naon waé anu anjeun hoyong sebut. Dina Grafana anjeun ngan saukur nyerat "rate", tapi di mana waé di jerona janten pamenta ageung ieu. Na anjeun malah teu kudu kasampak di dinya, éta aya wae, tapi anjeun simpen loba waktu, sabab nulis queries SQL badag sapertos salawasna mahal. Anjeun tiasa sacara gampil nyieun kasalahan teras teu ngartos naon anu lumangsung pikeun lila.
Sareng ieu mangrupikeun pamundut anu henteu pas kana hiji slide sareng kuring kedah ngabagi kana dua kolom. Ieu ogé pamundut di ClickHouse, nu ngajadikeun laju sarua, tapi pikeun duanana runtuyan waktu: Bob jeung Jay jempé, ku kituna urang boga dua runtuyan waktu dina panel. Sareng ieu parantos sesah pisan, dina pamanggih kuring.
Jeung nurutkeun Prometheus eta bakal jumlah (rate). Pikeun ClickHouse, abdi ngadamel makro misah disebut RateColumns, nu Sigana mah a query di Prometheus.
Kami ningal éta sareng sigana PromQL saé pisan, tapi éta, tangtosna, watesan.
Ieu mangrupikeun:
- PILIHAN kawates.
- Borderline JOINs.
- Henteu gaduh dukungan.
Sareng upami anjeun parantos lami damel sareng éta, anjeun terang yén sakapeung sesah pisan pikeun ngalakukeun hiji hal di PromQL, tapi dina SQL anjeun tiasa ngalakukeun ampir sadayana, sabab sadaya pilihan ieu anu urang bahas tiasa dilakukeun dina SQL. . Tapi bakal merenah ngagunakeunana? Sareng ieu ngajadikeun kuring mikir yén basa anu pangkuatna henteu salawasna anu paling merenah.
Ku alatan éta, kadang anjeun kedah milih basa pikeun tugas. Ieu kawas Batman ngalawan Superman. Jelas yén Superman langkung kuat, tapi Batman tiasa ngéléhkeun anjeunna kusabab anjeunna langkung praktis sareng terang naon anu anjeunna laksanakeun.
Sareng bagian salajengna nyaéta Ngalegaan PromQL.
Sakali deui ngeunaan VictoriaMetrics. Naon VictoriaMetrics? Ieu database runtuyan waktu, éta dina OpenSource, urang ngadistribusikaeun versi tunggal jeung klaster na. Numutkeun tolok ukur kami, éta langkung gancang tibatan naon waé anu aya di pasar ayeuna sareng komprési anu sami, nyaéta jalma nyata ngalaporkeun komprési sakitar 0,4 bait per titik, sedengkeun Prometheus nyaéta 1,2-1,4.
Urang ngarojong leuwih ti ngan Prometheus. Kami ngadukung InfluxDB, Graphite, OpenTSDB.
Anjeun tiasa "nulis" ka kami, nyaéta, anjeun tiasa nransfer data anu lami.
Sareng kami ogé tiasa dianggo sampurna sareng Prometheus sareng Grafana, nyaéta kami ngadukung mesin PromQL. Sareng di Grafana anjeun ngan saukur tiasa ngarobih titik tungtung Prometheus ka VictoriaMetrics sareng sadaya dasbor anjeun bakal tiasa dianggo sapertos anu dilakukeun.
Tapi anjeun ogé tiasa nganggo fitur tambahan anu disayogikeun VictoriaMetrics.
Kami bakal gancang ngaliwat fitur anu kami tambahkeun.
Ngaleungitkeun param interval - anjeun tiasa ngaleungitkeun parameter interval dina Grafana. Nalika anjeun henteu hoyong kéngingkeun grafik anu anéh nalika ngagedekeun / kaluar dina panel, disarankeun pikeun nganggo variabel. $__interval. Ieu mangrupikeun parobihan Grafana internal sareng milih rentang data nyalira. Jeung VictoriaMetrics sorangan bisa ngarti naon rentang ieu kudu. Sareng anjeun henteu kedah ngapdet sadaya pamundut anjeun. Bakal leuwih gampang.
Fungsi kadua nyaéta rujukan interval. Anjeun tiasa nganggo interval ieu dina ekspresi anjeun. Anjeun tiasa ngalikeun, ngabagi, mindahkeun, ngarujuk kana.
Salajengna nyaéta kulawarga fungsi rollup. Fungsi Rollup ngarobih salah sahiji séri waktos anjeun janten tilu séri waktos anu misah. Ieu min, max jeung avg. Kuring manggihan ieu pohara merenah sabab kadang bisa nembongkeun sababaraha outliers na akurat.
Sareng upami anjeun ngan ukur ngambek atanapi meunteun, maka anjeun panginten bakal sono sababaraha kasus dimana séri waktos henteu kalakuanana sapertos anu anjeun ngarepkeun. Kalawan fungsi ieu loba gampang ningali, hayu urang nyebutkeun yén max pisan tina avg.
Salajengna nyaéta variabel standar. Default - ieu hartosna nilai naon anu urang kedah ngagambar dina Grafana upami urang henteu gaduh séri waktos ayeuna. Iraha ieu kajadian? Anggap anjeun ngékspor sababaraha métrik kasalahan. Sareng anjeun gaduh aplikasi anu saé sapertos nalika anjeun ngamimitian, anjeun henteu ngagaduhan kasalahan sareng henteu aya kasalahan salami tilu jam atanapi sadinten. Sareng anjeun gaduh dasbor anu nunjukkeun hubungan tina kasuksésan dugi ka kasalahan. Jeung maranéhna bakal némbongkeun Anjeun nanaon sabab teu boga métrik kasalahan. Sareng sacara standar anjeun tiasa netepkeun naon waé.
Keep_last_Value - nyimpen nilai panungtungan métrik lamun leungit. Upami Prometheus henteu mendakanana dina 5 menit saatos kerok salajengna, maka di dieu urang bakal émut nilai terakhirna sareng grafik anjeun moal pegat deui.
Scrape_interval - nunjukkeun sabaraha sering Prometheus ngumpulkeun data dina métrik anjeun, sareng frekuensi naon. Di dieu anjeun tiasa ningali pas, contona.
Ngagantian labél mangrupikeun fitur anu populer. Tapi kami pikir éta rada pajeulit sabab butuh sakabeh argumen. Sareng anjeun kedah émut henteu ngan ukur 5 dalil, tapi ogé émut urutanna.
Ku alatan éta, naha henteu nyieun aranjeunna basajan? Nyaéta, ngarecahna kana fungsi leutik kalayan sintaksis anu kaharti.
Tur ayeuna bagian senang. Naha urang pikir ieu PromQL diperpanjang? Kusabab urang ngadukung Ungkapan Méja Umum. Anjeun tiasa nuturkeun kode QR (), tingali tautan sareng conto, tina tempat kaulinan, dimana anjeun tiasa ngajalankeun patarosan langsung di VictoriaMetrics tanpa masangna dina browser.
Sareng naon ieu? Paménta ieu di luhur mangrupikeun pamundut anu cukup populer. Jigana dina sagala dasbor di loba pausahaan nu make filter sarua pikeun sagalana. Biasana kitu. Tapi nalika anjeun kedah nambihkeun saringan énggal, anjeun kedah ngapdet unggal panel, atanapi unduh dasbor, buka di JSON, milarian gentos, anu ogé peryogi waktos. Naha henteu nyimpen nilai ieu dina variabel sareng dianggo deui? Ieu katingalina, dina pamanggih kuring, langkung saderhana sareng langkung jelas.
Salaku conto, nalika kuring kedah ngapdet saringan dina Grafana dina sadaya pamundut, sareng dasbor tiasa ageung atanapi tiasa aya sababaraha di antarana. Sareng kumaha abdi hoyong ngabéréskeun masalah ieu di Grafana?
Kuring ngajawab masalah ieu ku cara kieu: Kuring nyieun commonFilter sarta nangtukeun filter ieu di dinya, lajeng dipake deui dina queries. Tapi upami anjeun ngalakukeun anu sami ayeuna, éta moal jalan sabab Grafana henteu ngamungkinkeun anjeun ngagunakeun variabel dina variabel pamundut. Tur éta rada aneh.
Janten kuring ngadamel pilihan anu ngamungkinkeun anjeun ngalakukeun ieu. Sareng upami anjeun resep atanapi hoyong fitur sapertos kitu, teras dukung atanapi henteu resep upami anjeun henteu resep ide ieu.
Langkung seueur ngeunaan PromQL diperpanjang. Di dieu urang nangtukeun teu ukur variabel, tapi hiji sakabéh fungsi. Sarta kami nelepon deui ru (pamakéan sumberdaya). Sareng fungsi ieu nampi sumberdaya gratis, watesan sumberdaya sareng saringan. Sintaksis sigana basajan. Tur éta pisan gampang ngagunakeun fungsi ieu jeung ngitung persentase memori bébas kami boga. Hartina, sabaraha memori urang boga, naon watesan jeung kumaha nyaring. Sigana langkung merenah upami anjeun nyerat sadayana, nganggo deui saringan anu sami, sabab éta bakal janten patarosan anu ageung.
Sareng ieu mangrupikeun conto paménta anu ageung sareng ageung. Éta tina dasbor NodeExporter resmi pikeun Grafana. Tapi kuring bieu ngartos naon anu lumangsung di dieu. Maksudna, tangtosna, abdi ngartos lamun kasampak raket, tapi jumlah kurung bisa langsung ngurangan motivasi ngartos naon anu lumangsung di dieu. Sareng naha henteu ngajantenkeun langkung saderhana sareng langkung jelas?
Contona, saperti kieu, misahkeun hal atawa bagian signifikan kana variabel. Lajeng ngalakukeun math dasar anjeun. Ieu parantos langkung sapertos pemrograman, ieu anu kuring hoyong tingali di masa depan di Grafana.
Di handap ieu conto kadua kumaha urang bisa nyieun ieu malah gampang lamun urang geus miboga fungsi ru ieu, sarta eta geus aya langsung di VictoriaMetrics. Sareng anjeun ngan saukur lulus nilai sindangan anu anjeun nyatakeun dina CTE.
Kuring parantos nyarioskeun kumaha pentingna ngagunakeun basa pamrograman anu leres. Sareng, sigana, unggal perusahaan di Grafana ngagaduhan anu béda-béda. Sareng anjeun sigana ogé masihan aksés ka Grafana ka pamekar anjeun, sareng pamekar ngalakukeun hal sorangan. Sarta aranjeunna sadayana ngalakukeun eta kumaha bae béda. Tapi kuring miharep éta kumaha bae anu sarua, nyaeta, pikeun ngurangan kana standar umum.
Hayu urang nyebutkeun teu boga ngan insinyur sistem, meureun anjeun malah boga ahli, devops atanapi SRE. Panginten anjeun gaduh ahli anu terang naon ngawaskeun, anu terang naon Grafana, nyaéta, aranjeunna parantos damel mangtaun-taun sareng aranjeunna terang kumaha leres-leres ngalakukeunana. Sareng aranjeunna parantos nyerat ieu 100 kali sareng ngajelaskeun ka sadayana, tapi pikeun sababaraha alesan teu aya anu ngadangukeun.
Kumaha upami aranjeunna tiasa nempatkeun pangaweruh ieu langsung kana Grafana supados pangguna sanés tiasa nganggo deui fitur éta? Tur upami aranjeunna diperlukeun keur ngitung persentase memori bébas, aranjeunna saukur bakal nerapkeun fungsi. Kumaha upami panyipta eksportir, sareng produkna, ogé nyayogikeun sakumpulan fungsi ngeunaan cara damel sareng métrikna, sabab terang persis naon métrik ieu sareng kumaha ngitungna leres?
Ieu teu bener aya. Ieu naon atuh sorangan. Ieu mangrupikeun dukungan perpustakaan di Grafana. Sebutkeun jalma-jalma anu ngadamel NodeExporter ngalakukeun naon anu kuring nyarioskeun. Sareng aranjeunna ogé nyayogikeun sakumpulan fungsi.
Nyaéta, sigana sapertos kieu. Anjeun nyambungkeun perpustakaan ieu ka Grafana, anjeun lebet kana éditan sareng éta ditulis saderhana pisan dina JSON kumaha damel sareng métrik ieu. Hartina, sababaraha set fungsi, pedaran maranéhanana jeung naon maranéhna ngahurungkeun kana.
Jigana ieu bisa jadi mangpaat, sabab lajeng di Grafana anjeun bakal nulis kawas éta. Sareng Grafana "nyarioskeun" anjeun yén aya fungsi sapertos kitu ti perpustakaan sapertos kitu - hayu urang dianggo. Jigana éta bakal pisan cool.
Sakedik ngeunaan VictoriaMetrics. Urang ngalakukeun loba hal metot. Maca tulisan kami ngeunaan komprési, ngeunaan kompetisi kami sareng aplikasi data séri waktos anu sanés, katerangan kami ngeunaan cara damel sareng PromQL, sabab masih seueur pamula dina ieu, ogé ngeunaan skalabilitas nangtung sareng konfrontasi sareng Thanos.
patarosan:
Abdi badé ngamimitian patarosan ku carita kahirupan anu sederhana. Nalika kuring mimiti nganggo Grafana, kuring nyerat patarosan anu pikaresepeun pisan anu panjangna 5 garis. Hasil ahir nyaéta grafik anu ngayakinkeun pisan. Jadwal ieu ampir nuju produksi. Tapi dina pamariksaan anu langkung caket, tétéla yén grafik ieu nunjukkeun omong kosong anu teu aya hubunganana sareng kanyataan, sanaos jumlahna aya dina kisaran anu kami ngarepkeun. Sareng patarosan abdi. Kami ngagaduhan perpustakaan, kami ngagaduhan fungsi, tapi kumaha urang nyerat tés pikeun Grafana? Anjeun parantos nyerat pamenta anu kompleks dimana kaputusan bisnis gumantung - pikeun mesen wadah nyata server atanapi henteu mesen. Sareng sakumaha anu urang terang, fungsi ieu anu ngagambar grafik sami sareng kaleresan. Hatur nuhun.
Hatur nuhun kana patarosan. Aya dua bagian. Mimiti, kuring nampi kesan, dumasar kana pangalaman kuring, yén kalolobaan pangguna, nalika ningali grafikna, henteu ngartos naon anu aranjeunna nunjukkeun. Kanggo sababaraha alesan, jalma anu saé pisan pikeun masihan alesan pikeun anomali anu aya dina grafik, sanaos éta kasalahan dina hiji fungsi. Jeung bagian kadua - sigana kuring nu ngagunakeun fungsi sapertos bakal jadi pendekatan leuwih hadé pikeun ngarengsekeun masalah anjeun, tinimbang unggal pamekar anjeun ngalakukeun perencanaan kapasitas sorangan jeung nyieun kasalahan kalawan sababaraha probabiliti.
Kumaha mariksa?
Kumaha pariksa? Meureun moal.
Salaku tés dina Grafana.
Naon hubunganana Grafana sareng éta? Grafana narjamahkeun pamundut ieu langsung ka DataSource.
Nambahkeun saeutik saeutik kana parameter.
Henteu, teu aya anu nambihan kana Grafana. Meureun aya parameter GET, kawas, sebutkeun, hambalan. Ieu teu eksplisit dieusian, tapi anjeun bisa override eta, atawa anjeun bisa jadi teu override eta, tapi ditambahkeun otomatis. Anjeun moal nyerat tés di dieu. Abdi henteu nyangka urang kedah ngandelkeun Grafana salaku sumber bebeneran di dieu.
Hatur nuhun laporan! Hatur nuhun pikeun komprési! Anjeun nyarios pemetaan variabel dina grafik, yén dina Grafana anjeun teu tiasa nganggo variabel dina variabel. Naha anjeun terang naon anu kuring maksud?
Sumuhun.
Ieu mimitina nyeri sirah nalika kuring hayang nyieun waspada di Grafana. Tur aya nu peryogi ngalakukeun ngageter pikeun tiap host nyalira. Hal ieu anjeun damel, naha éta tiasa dianggo pikeun panggeuing di Grafana?
Upami Grafana henteu ngaksés variabel sacara béda, maka leres, éta bakal tiasa dianggo. Tapi saran kuring henteu nganggo alerting di Grafana pisan, anjeun langkung saé nganggo alertmanager.
Leres, kuring nganggo éta, tapi sigana langkung gampang pikeun nyetél di Grafana, tapi hatur nuhun pikeun naséhat!
sumber: www.habr.com