M na-atụ aro ka ị gụọ transcript nke Roman Khavronenko akụkọ "ExtendedPromQL"
Na nkenke banyere m. Aha m bụ Roman. Ana m arụ ọrụ na CloudFlare ma biri na London. Mana abụkwara m onye nlekọta VictoriaMetrics.
Abụ m onye edemede maka Grafana na bụ obere proxy maka ClickHouse.
Anyị ga-amalite na akụkụ nke mbụ, nke a na-akpọ "Ihe isi ike nke nsụgharị" na n'ime ya ka m ga-ekwu maka eziokwu ahụ bụ na asụsụ ọ bụla ma ọ bụ ọbụna naanị asụsụ nke nkwurịta okwu dị ezigbo mkpa. N'ihi na nke a bụ otú ị na-ebufe echiche gị na onye ọzọ ma ọ bụ usoro, otú i chepụta arịrịọ. Ndị mmadụ na ịntanetị na-arụrịta ụka banyere asụsụ ka mma - java ma ọ bụ asụsụ ọzọ. Maka onwe m, ekpebiri m na m kwesịrị ịhọrọ dịka ọrụ ahụ si dị, n'ihi na ihe a niile bụ kpọmkwem.
Ka anyị malite site na mmalite. Kedu ihe bụ PromQL? PromQL bụ asụsụ ajụjụ Prometheus. Nke a bụ ka anyị na-etolite ajụjụ na Prometheus iji nweta data usoro oge.
Kedu ihe bụ data usoro oge? N'ụzọ nkịtị, ndị a bụ atọ parameters.
Ndị a bụ:
- Kedu ihe anyị na-ele?
- Mgbe anyị lere ya anya.
- Oleekwa uru ọ na-egosi?
Ọ bụrụ na ị lelee chaatị a ( chaatị a si na ekwentị m na-egosi stats nzọụkwụ m), ọ nwere ike ịza ajụjụ ndị a ngwa ngwa.
Anyị na-ele anya na nzọụkwụ. Anyị na-ahụ ihe ọ pụtara, anyị na-ahụkwa oge anyị na-ele ya anya. Ya bụ, ileba anya na eserese a, ị nwere ike ikwu n'ụzọ dị mfe na na Sọnde m jere ije ihe dị ka steepụ puku iri na ise. Nke a bụ data usoro oge.
Ugbu a, ka anyị "kewaa" (gbanwee) ha n'ime ụdị data ọzọ n'ụdị tebụl. Ebe a anyị nwekwara ihe anyị na-ele anya. N'ebe a, agbakwunyere m ntakịrị data ọzọ, nke anyị ga-akpọ meta-data, ya bụ, ọ bụghị m mere nke a, mana mmadụ abụọ, dịka ọmụmaatụ, Jay na Silent Bob. Nke a bụ ihe anyị na-ele anya; kedu ihe ọ na-egosi na mgbe ọ na-egosi uru ahụ.
Ugbu a, ka anyị gbalịa ịchekwa data a niile na nchekwa data. Dịka ọmụmaatụ, ewerere m syntax ClickHouse. Na ebe a anyị na-emepụta otu tebụl a na-akpọ "Nzọụkwụ", ya bụ ihe anyị na-ele anya. O nwere mgbe anyị na-ele ya anya; ihe ọ na-egosi na ụfọdụ meta data ebe anyị ga-echekwa onye ọ bụ: Jay na Silent Bob.
Na iji gbalịa iji anya nke uche hụ ihe ndị a niile, anyị ga-eji Grafana n'ihi na, nke mbụ, ọ mara mma.
Anyị ga-ejikwa ngwa mgbakwunye a. E nwere ihe abụọ kpatara nke a. Nke mbụ bụ n'ihi na m dere ya. Amakwaara m otu o siri sie ike ịdọrọ data usoro oge site na ClickHouse iji gosi ya na Grafana.
Anyị ga-egosipụta ya na Panel eserese. Nke a bụ panel kachasị ewu ewu na Grafana, nke na-egosi ndabere nke uru na oge, ya mere anyị chọrọ naanị parampat abụọ.
Ka anyị dee ajụjụ kachasị mfe - otu esi egosi ọnụ ọgụgụ nzọụkwụ na Grafana, na-echekwa data a na ClickHouse, na tebụl anyị mepụtara. Anyị na-edekwa arịrịọ a dị mfe. Anyị na-ahọrọ site na nzọụkwụ. Anyị na-ahọrọ uru ma họrọ oge nke ụkpụrụ ndị a, ya bụ otu paramita atọ ahụ anyị kwuru banyere ya.
N'ihi ya, anyị ga-enweta eserese dị ka nke a. Ònye ma ihe mere o ji dị ịtụnanya?
Nke ahụ ziri ezi, anyị kwesịrị ịhazi site na oge.
Na n'ikpeazụ anyị ga-enweta mma, ma ka iju usoro. Ònye ma ihe kpatara ya? Nke ahụ ziri ezi, e nwere mmadụ abụọ sonyere, na anyị na Grafana na-enye pụọ abụọ usoro oge, n'ihi na ọ bụrụ na ị na-ele na data nlereanya ọzọ, mgbe ọ bụla usoro bụ a pụrụ iche Nchikota aha na niile isi-uru labels.
Ya mere, anyị kwesịrị ịhọrọ otu onye. Anyị na-ahọrọ Jay.
Ka anyị see ọzọ. Ugbu a eserese dị ka eziokwu. Ugbu a nke a bụ usoro ihe omume na ihe niile na-arụ ọrụ nke ọma.
Ma eleghị anya ị maara ka esi eme otu ihe ahụ, mana na Prometheus site na PromQL. Ihe dị ka nke a. Obere dị mfe. Ka anyị kwatuo ya niile. Anyị mere Nzọụkwụ. Na nzacha site na Jay. Anyị anaghị akọwapụta ebe a na anyị kwesịrị inweta uru ma anyị anaghị ahọrọ oge.
Ugbu a, ka anyị gbalịa gbakọọ ọsọ ngagharị nke Jay ma ọ bụ Silent Bob. Na ClickHouse anyị ga-achọ ime RunDifference, ya bụ gbakọọ ọdịiche dị n'etiti ụzọ abụọ ma kesaa ha site na oge iji nweta ọsọ ọsọ. Arịrịọ ahụ ga-adị ka nke a.
Ọ ga-egosi ihe dịka ụkpụrụ ndị a, ya bụ Silent Bob ma ọ bụ Jay na-ewe ihe dịka 1,8 nzọụkwụ kwa nkeji.
Na Prometheus ị maara otu esi eme nke a. Ọ dị mfe karịa ka ọ dị na mbụ.
Na iji mee ka ọ dị mfe ime na Grafana, agbakwunyere m ihe mkpuchi a, nke yiri PromQL. A na-akpọ ya Rate Macros ma ọ bụ ihe ọ bụla ịchọrọ ịkpọ ya. Na Grafana ị na-ede naanị "ọnụego", mana ebe dị omimi ọ na-agbanwe ka ọ bụrụ nnukwu arịrịọ a. Na ị pụghị ilele ya anya, ọ dị ebe ahụ, mana ị na-echekwa oge dị ukwuu, n'ihi na ide nnukwu ajụjụ SQL dị otú ahụ na-adị ọnụ mgbe niile. Ị nwere ike imehie ihe ngwa ngwa wee ghara ịghọta ihe na-eme ogologo oge.
Ma nke a bụ arịrịọ nke na-adabaghị n'otu slide na ọbụna m ga-ekewa ya na kọlụm abụọ. Nke a bụkwa arịrịọ na ClickHouse, nke na-eme otu ọnụego, mana maka usoro oge abụọ: Silent Bob na Jay, ka anyị nwee usoro oge abụọ na panel. Ma nke a adịlarị ike nke ukwuu, n'uche nke m.
Na dị ka Prometheus si kwuo ọ ga-abụ nchikota (ọnụego). Maka ClickHouse, emere m macro dị iche iche akpọrọ RateColumns, nke dị ka ajụjụ na Prometheus.
Anyị lere ya anya ma ọ dị ka PromQL dị mma, mana o nwere, n'ezie, njedebe.
Ndị a bụ:
- Nhọrọ oke.
- Borderline jikọtara.
- Enweghị nkwado.
Ma ọ bụrụ na ị na-arụ ọrụ na ya ruo ogologo oge, mgbe ahụ ị maara na mgbe ụfọdụ ọ na-esiri ike ime ihe na PromQL, ma na SQL ị nwere ike ime ihe niile, n'ihi na ndị a niile nhọrọ ndị anyị ka kwuru banyere ya nwere ike ime na SQL. . Ma ọ ga-adabara iji ya? Nke a na-emekwa ka m chee na asụsụ kacha ike nwere ike ọ gaghị adị mma mgbe niile.
Ya mere, mgbe ụfọdụ, ịchọrọ ịhọrọ asụsụ maka ọrụ ahụ. Ọ dị ka Batman na-alụ ọgụ Superman. O doro anya na Superman siri ike karị, ma Batman nwere ike imeri ya n'ihi na ọ bara uru karị ma mara kpọmkwem ihe ọ na-eme.
Na akụkụ na-esote bụ Extending PromQL.
Ọzọkwa banyere VictoriaMetrics. Kedu ihe bụ VictoriaMetrics? Nke a bụ nchekwa data usoro oge, ọ dị na OpenSource, anyị na-ekesa ụdị otu na ụyọkọ ya. Dị ka akara ngosi anyị si dị, ọ dị ngwa ngwa karịa ihe ọ bụla dị na ahịa ugbu a na mkpakọ yiri ya, ya bụ ndị ezigbo mmadụ na-akọ mkpakọ banyere 0,4 bytes kwa isi, ebe Prometheus bụ 1,2-1,4.
Anyị na-akwado karịa naanị Prometheus. Anyị na-akwado InfluxDB, Graphite, OpenTSDB.
Ị nwere ike "dee" anyị, ya bụ, ị nwere ike ịnyefe data ochie.
Anyị na Prometheus na Grafana na-arụkwa ọrụ nke ọma, ya bụ, anyị na-akwado injin PromQL. Na Grafana ị nwere ike gbanwee njedebe Prometheus na VictoriaMetrics na dashboard gị niile ga-arụ ọrụ dịka ha mere.
Mana ị nwekwara ike iji atụmatụ ndị ọzọ VictoriaMetrics na-enye.
Anyị ga-aga ngwa ngwa na njirimara ndị anyị gbakwunyere.
Wepụ param interval – ị nwere ike hapụ paramita etiti oge na Grafana. Mgbe ị na-achọghị inweta eserese dị iche iche mgbe ị na-ebuba / pụta na panel, a na-atụ aro ka iji mgbanwe ahụ. $__interval. Nke a bụ mgbanwe Grafana dị n'ime ma ọ na-ahọrọ oke data n'onwe ya. Na VictoriaMetrics n'onwe ya nwere ike ịghọta ihe oke a kwesịrị ịbụ. Ma ịkwesighi imelite arịrịọ gị niile. Ọ ga-adị mfe karị.
Ọrụ nke abụọ bụ nrụtụ aka n'etiti. Ị nwere ike iji nkeji oge a na okwu gị. Ị nwere ike ịmụba, kewaa, nyefee, rụtụ aka na ya.
Nke na-esote bụ ezinụlọ ọrụ mpịakọta. Ọrụ Rollup na-agbanwe usoro oge gị ọ bụla ka ọ bụrụ usoro oge atọ dị iche iche. Ndị a bụ min, max na avg. M na-ahụ na nke a dị nnọọ adaba n'ihi na mgbe ụfọdụ ọ nwere ike na-egosi ụfọdụ outliers na ezighị ezi.
Ma ọ bụrụ na ị na-eme naanị iwe ma ọ bụ ọnụego, mgbe ahụ ị ga-atụ uche ụfọdụ ebe usoro oge adịghị eme ka ị tụrụ anya ya. Site na ọrụ a ọ na-adị mfe ịhụ, ka anyị kwuo na max dị nnọọ ukwuu site na avg.
Ọzọ bụ mgbanwe ndabara. Default - nke a pụtara uru anyị kwesịrị ịdọrọ na Grafana ma ọ bụrụ na anyị enweghị usoro oge ugbu a. Kedu mgbe nke a na-eme? Ka anyị kwuo na ị na-ebupụ ụfọdụ metrik mperi. Ma ị nwere ngwa dị mma nke na mgbe ịmalitere, ị nweghị njehie na ọbụna enweghị njehie maka awa atọ na-esote ma ọ bụ ọbụna otu ụbọchị. Na ị nwere dashboards na-egosi mmekọrịta site na ịga nke ọma ruo njehie. Ha agaghị egosikwa gị ihe ọ bụla n'ihi na ị nweghị metrik njehie. Na ndabara ị nwere ike ịkọwapụta ihe ọ bụla.
Keep_last_Value – na-echekwa uru ikpeazụ nke metric ma ọ bụrụ na ọ na-efu. Ọ bụrụ na Prometheus achọtaghị ya n'ime 5 nkeji mgbe nke ọzọ scrape, mgbe ahụ, ebe a anyị ga-echeta uru ikpeazụ ya na gị chaatị agaghị agbaji ọzọ.
Scrape_interval – na-egosi ugboro ole Prometheus na-anakọta data na metrik gị, yana ole ugboro. Ebe ị nwere ike ịhụ ngafe, ọmụmaatụ.
Ndochi akara bụ ihe ama ama. Mana anyị chere na ọ dị ntakịrị mgbagwoju anya n'ihi na ọ na-ewe arụmụka dum. Na ịkwesịrị ọ bụghị naanị icheta arụmụka 5, kamakwa cheta usoro ha.
Ya mere, gịnị ma ị mee ka ha dị mfe karị? Ya bụ, jiri syntax nwere nghọta gbarie ya n'ime obere ọrụ.
Ma ugbu a akụkụ fun. Gịnị mere anyị ji eche na nke a na-agbatị PromQL? N'ihi na anyị na-akwado Common Tebụl Okwu. Ị nwere ike ịgbaso koodu QR (), hụ njikọ nwere ihe atụ, site na ebe egwuregwu, ebe ị nwere ike ịgba ajụjụ ozugbo na VictoriaMetrics na-etinyeghị ya naanị na ihe nchọgharị.
Gịnịkwa bụ ihe a? Arịrịọ a dị n'elu bụ arịrịọ ama ama. Echere m na dashboard ọ bụla n'ọtụtụ ụlọ ọrụ ị na-eji otu nzacha maka ihe niile. Ọ na-adịkarị otú ahụ. Mana mgbe ịchọrọ ịgbakwunye nzacha ọhụrụ, ị ga-emelite panel nke ọ bụla, ma ọ bụ budata dashboard, mepee ya na JSON, chọta nnọchi, nke na-ewekwa oge. Kedu ihe kpatara na ị gaghị echekwa uru a na mgbanwe ma jiri ya mee ihe ọzọ? Nke a na-ele anya, n'uche nke m, dị mfe ma doo anya.
Dịka ọmụmaatụ, mgbe m kwesịrị imelite ihe nzacha na Grafana na arịrịọ niile, na dashboard nwere ike ibu ibu ma ọ bụ na enwere ike ịnwe ọtụtụ n'ime ha. Kedukwa ka m ga-esi dozie nsogbu a na Grafana?
Ana m edozi nsogbu a n'ụzọ dị otú a: M na-eme ihe nzacha nkịtị ma kọwaa nzacha a n'ime ya, wee jiri ya mee ihe na ajụjụ. Mana ọ bụrụ na ịmee otu ihe ahụ ugbu a, ọ gaghị arụ ọrụ n'ihi na Grafana anaghị ekwe ka ị jiri mgbanwe n'ime mgbanwe ajụjụ. Ma ọ bụ ntakịrị iju.
Ya mere, emere m nhọrọ nke na-enye gị ohere ime nke a. Ma ọ bụrụ na ị nwere mmasị ma ọ bụ chọọ ụdị ihe a, kwado ya ma ọ bụ na-enweghị mmasị na ya ma ọ bụrụ na echiche a adịghị amasị gị.
Ihe ndị ọzọ gbasara PromQL gbatịrị. N'ebe a, anyị na-akọwa ọ bụghị naanị mgbanwe, ma ọrụ dum. Na anyị na-akpọ ya ru (ike ojiji). Na ọrụ a na-anabata akụrụngwa efu, mmachi akụrụngwa na nzacha. Okwu ahụ yiri ka ọ dị mfe. Ma ọ dị mfe iji ọrụ a wee gbakọọ pasent nke ebe nchekwa efu anyị nwere. Ya bụ, ole ebe nchekwa anyị nwere, kedu ihe njedebe na otu esi edozi. Ọ na-adị mma karịa ma ọ bụrụ na ịdere ya niile, na-eji otu nzacha ahụ eme ihe, n'ihi na ọ ga-aghọ nnukwu ajụjụ.
Na ebe a bụ ọmụmaatụ nke nnukwu arịrịọ dị otú ahụ. Ọ sitere na dashboard NodeExporter maka Grafana. Ma aghọtachaghị m ihe na-eme ebe a. Nke ahụ bụ, n'ezie, aghọtara m ma ọ bụrụ na ị na-ele anya nke ọma, ma ọnụ ọgụgụ nke nne na nna nwere ike ibelata mkpali ozugbo ịghọta ihe na-eme ebe a. Ma gịnị mere na ị gaghị eme ka ọ dị mfe ma doo anya karị?
Dịka ọmụmaatụ, dịka nke a, ikewapụ ihe dị mkpa ma ọ bụ akụkụ n'ime mgbanwe. Ma mechaa mgbakọ na mwepụ gị. Nke a adịlarị ka mmemme, nke a bụ ihe m ga-achọ ịhụ n'ọdịnihu na Grafana.
Nke a bụ ihe atụ nke abụọ nke otu anyị nwere ike isi mee ka nke a dị mfe ma ọ bụrụ na anyị enweelarị ọrụ ru a, ma ọ dịlarị na VictoriaMetrics. Ị ga-agafe naanị uru echekwara nke ị kwuputara na CTE.
E kwuworị m banyere otú ọ dị mkpa iji asụsụ mmemme kwesịrị ekwesị. Ma eleghị anya, ụlọ ọrụ ọ bụla dị na Grafana nwere ihe dị iche na-eme. Ma eleghị anya ị na-enyekwa ndị mmepe gị ohere ịnweta Grafana, ndị mmepe na-eme ihe nke ha. Ha niile na-emekwa ya n'ụzọ dị iche. Ma achọrọ m ka ọ bụrụ otu, ya bụ, ibelata ya n'ụkpụrụ nkịtị.
Ka anyị kwuo na ị nweghị naanị ndị injinia sistemụ, ikekwe ị nwere ndị ọkachamara, devops ma ọ bụ SRE. Ma eleghị anya, ị nwere ndị ọkachamara maara ihe nlekota bụ, ndị maara ihe Grafana bụ, ya bụ, ha na-arụ ọrụ na ya ruo ọtụtụ afọ na ha maara kpọmkwem otu esi eme ya nke ọma. Ma ha edeworị nke a ugboro 100 ma kọwaara onye ọ bụla, ma n'ihi ihe ụfọdụ ọ dịghị onye na-ege ntị.
Kedu ihe ma ọ bụrụ na ha nwere ike itinye ihe ọmụma a ozugbo na Grafana ka ndị ọrụ ndị ọzọ nwee ike iji njirimara ndị a ọzọ? Ma ọ bụrụ na ha chọrọ ịgbakọ pasent nke ebe nchekwa efu, ha ga-etinye naanị ọrụ ahụ. Kedu ihe ma ọ bụrụ na ndị na-emepụta ndị na-ebupụ ndị na-ebupụ, yana ngwaahịa ha, nyekwara usoro ọrụ nke otu esi arụ ọrụ na metrics ha, n'ihi na ha maara kpọmkwem ihe ndị a bụ na otu esi agbakọọ ha nke ọma?
Nke a adịghị adị n'ezie. Nke a bụ ihe m mere onwe m. Nke a bụ nkwado ọbá akwụkwọ dị na Grafana. Ka anyị kwuo na ụmụ okorobịa ndị mere NodeExporter mere ihe m kwuru. Ha nyekwara ọtụtụ ọrụ.
Ya bụ, ọ dị ka nke a. Ị jikọọ ọba akwụkwọ a na Grafana, ị na-abanye na nhazi ma dee ya nke ọma na JSON ka esi arụ ọrụ na metrik a. Ya bụ, ụfọdụ ọrụ, nkọwa ha na ihe ha na-atụgharị.
Echere m na nke a nwere ike ịba uru, n'ihi na mgbe ahụ na Grafana ị ga-ede otu ahụ. Na Grafana "na-agwa" gị na e nwere ọrụ dị otú ahụ na nke dị otú ahụ a n'ọbá akwụkwọ - ka anyị jiri ya. Echere m na nke ahụ ga-adị mma nke ukwuu.
Obere maka VictoriaMetrics. Anyị na-eme ọtụtụ ihe na-adọrọ mmasị. Gụọ akụkọ anyị gbasara mkpakọ, gbasara asọmpi anyị na ngwa data usoro oge ndị ọzọ, nkọwa anyị banyere otu esi arụ ọrụ na PromQL, n'ihi na a ka nwere ọtụtụ ndị mbido na nke a, yana gbasara scalability kwụ ọtọ na banyere esemokwu na Thanos.
Ajụjụ:
M ga-eji akụkọ ndụ dị mfe malite ajụjụ m. Mgbe mbụ m malitere iji Grafana, edere m ajụjụ na-adọrọ adọrọ nke dị ahịrị 5 ogologo. Nsonaazụ ikpeazụ bụ eserese na-ekwenye ekwenye. Usoro a fọrọ nke nta ka ọ banye n'imepụta. Mana na nyocha nke ọma, ọ tụgharịrị na eserese a na-egosi enweghị isi na-enweghị ihe jikọrọ ya na eziokwu, ọ bụ ezie na ọnụọgụ na-adaba n'ime oke anyị tụrụ anya ịhụ. Na ajụjụ m. Anyị nwere ọba akwụkwọ, anyị nwere ọrụ, mana kedu ka anyị si ede ule maka Grafana? Ịdela arịrịọ dị mgbagwoju anya nke mkpebi azụmahịa dabere - iji nye ezigbo akpa nke sava ma ọ bụ ịghara ịtụ. Ma dị ka anyị maara, ọrụ a nke na-ese eserese ahụ yiri eziokwu. Daalụ.
Daalụ maka ajụjụ a. Enwere akụkụ abụọ. Nke mbụ, enwere m mmetụta, dabere na ahụmịhe m, na ọtụtụ ndị ọrụ, mgbe ha na-elele eserese ha, anaghị aghọta ihe ha na-egosi ha. N'ihi ihe ụfọdụ, ndị mmadụ dị nnọọ mma n'ịgbapụta ihe ngọpụ maka anomaly ọ bụla na-eme na eserese, ọ bụrụgodị na ọ bụ njehie n'ime ọrụ. Na akụkụ nke abụọ - ọ dị m ka iji ọrụ ndị dị otú ahụ ga-abụ ụzọ kachasị mma iji dozie nsogbu gị, kama nke ọ bụla n'ime ndị mmepe gị na-eme atụmatụ ikike nke aka ha ma na-emehie na ụfọdụ ihe gbasara omume.
Esi lelee?
Kedu ka esi lelee? Ikekwe ọ bụghị.
Dị ka ule na Grafana.
Kedu ihe jikọrọ Grafana na ya? Grafana tụgharịrị arịrịọ a ozugbo na DataSource.
Na-agbakwụnye ntakịrị na paramita.
Mba, ọ nweghị ihe a gbakwunyere na Grafana. Enwere ike ịnwe paramita GET, dị ka, sịnụ, nzọụkwụ. A kọwaghị ya nke ọma, mana ị nwere ike ịkagbu ya, ma ọ bụ na ị gaghị ewepụ ya, mana agbakwunyere ya na-akpaghị aka. Ị gaghị ede ule ebe a. Echeghị m na anyị kwesịrị ịdabere na Grafana dị ka isi iyi nke eziokwu ebe a.
Daalụ maka akụkọ ahụ! Daalụ maka mkpakọ! Ị kwuru na ịdepụta mgbanwe na eserese, na na Grafana ị nweghị ike iji mgbanwe n'ime mgbanwe. Ị ma ihe m na-ekwu?
Ee.
Nke a bụ isi ọwụwa na mbụ mgbe m chọrọ ịmepụta njikere na Grafana. Na n'ebe ahụ, ị ga-eme njikere maka onye ọ bụla ọbịa iche iche. Ihe a ị mere, ọ na-arụ ọrụ maka ọkwa ọkwa na Grafana?
Ọ bụrụ na Grafana enwetaghị mgbanwe dị iche iche, yabụ ee, ọ ga-arụ ọrụ. Mana ndụmọdụ m abụghị ka ị ghara iji alerting na Grafana ma ọlị, ị ka mma iji alertmanager.
Ee, m na-eji ya, mana ọ dị ka ọ dị mfe ịtọlite na Grafana, mana daalụ maka ndụmọdụ ahụ!
isi: www.habr.com