Smaoinigh ar choincheap na monatóireachta Kubernetes, cuir aithne ar an uirlis Prometheus, agus labhair faoi foláirimh.
Tá ábhar na monatóireachta toirtiúil, ní féidir é a dhíchóimeáil in aon alt amháin. Is é cuspóir an téacs seo forbhreathnú a sholáthar ar na huirlisí, na coincheapa agus na cineálacha cur chuige.
Is é ábhar an ailt ná squeeze ó . Más mian leat cúrsa iomlán a dhéanamh - cláraigh le haghaidh cúrsa ar .
Cad a ndéantar monatóireacht air i mbraisle Kubernetes
freastalaithe fisiceacha. Má tá braisle Kubernetes imscaradh ar a fhreastalaithe, ní mór duit monatóireacht a dhéanamh ar a sláinte. Láimhseálann Zabbix an tasc seo; má oibríonn tú leis, ansin ní gá duit a dhiúltú, ní bheidh aon coinbhleachtaí ann. Is é Zabbix a dhéanann monatóireacht ar staid ár bhfreastalaithe.
Rachaimid ar aghaidh chuig monatóireacht ag leibhéal an bhraisle.
Comhpháirteanna an Phlána Rialaithe: API, Sceidealóir agus eile. Ar a laghad, ní mór duit a chinntiú go bhfuil API na bhfreastalaithe nó etcd níos mó ná 0. Is féidir le srl a lán méadrachta a thabhairt ar ais: ag na dioscaí ar a bhfuil sé ag sníomh, ag sláinte a bhraisle srl, agus eile.
dhugaire chuma i bhfad ó shin agus tá gach duine ar an eolas go maith ar a chuid fadhbanna: a lán de na coimeádáin a ghiniúint reo agus fadhbanna eile. Dá bhrí sin, ba cheart Docker féin, mar chóras, a rialú freisin, ar a laghad le haghaidh infhaighteacht.
dns. Má thiteann DNS amach sa bhraisle, ansin beidh an tseirbhís Discovery ar fad ag titim amach ina dhiaidh sin, ní bheidh glaonna ó phodanna go pods ag obair. I mo chleachtas, ní raibh aon fhadhbanna den sórt sin ann, ach ní chiallaíonn sé seo nach gá monatóireacht a dhéanamh ar staid an DNS. Is féidir latency iarratais agus roinnt méadracht eile a rianú ar CoreDNS.
Isteach. Is gá rialú a dhéanamh ar infhaighteacht na n-iontrálacha (lena n-áirítear an Rialaitheoir Isteach) mar phointí iontrála don tionscadal.
Tá príomhchodanna an bhraisle díchóimeála - anois déanaimis dul síos go dtí leibhéal na n-astarraingtí.
Bheadh sé cosúil go ritheann feidhmchláir i pods, rud a chiallaíonn gur gá iad a rialú, ach i ndáiríre níl siad. Is gearrshaolach iad na pods: inniu ritheann siad ar fhreastalaí amháin, amárach ar fhreastalaí eile; inniu tá 10 gcinn acu, amárach 2. Mar sin, ní dhéanann aon duine monatóireacht ar na pods. Laistigh d'ailtireacht microservice, tá sé níos tábhachtaí rialú a dhéanamh ar infhaighteacht an iarratais ina iomláine. Go háirithe, seiceáil an bhfuil críochphointí seirbhíse ar fáil: an n-oibríonn aon rud? Má tá an t-iarratas ar fáil, ansin cad a tharlaíonn taobh thiar de, cé mhéad macasamhla atá ann anois - is ceisteanna den dara hord iad seo. Ní gá monatóireacht a dhéanamh ar chásanna aonair.
Ag an leibhéal deiridh, ní mór duit oibriú an iarratais féin a rialú, méadracht ghnó a ghlacadh: líon na n-orduithe, iompar úsáideoirí, agus mar sin de.
Prometheus
Is é an córas is fearr chun monatóireacht a dhéanamh ar bhraisle . Níl a fhios agam ar aon uirlis is féidir a mheaitseáil le Prometheus ó thaobh cáilíochta agus éasca le húsáid. Tá sé iontach don bhonneagar solúbtha, mar sin nuair a deir siad “monatóireacht Kubernetes”, is gnách go gciallaíonn siad Prometheus.
Tá cúpla rogha ann chun tús a chur le Prometheus: trí Helm a úsáid, is féidir leat Oibreoir Prometheus nó Prometheus rialta a shuiteáil.
- Prometheus rialta. Tá gach rud go breá leis, ach ní mór duit ConfigMap a chumrú - go deimhin, scríobh comhaid cumraíochta bunaithe ar théacs, mar a rinneamar roimhe seo, roimh an ailtireacht microservice.
- Tá Oibreoir Prometheus beagán níos scaipthe, beagán níos casta i dtéarmaí loighic inmheánach, ach tá sé níos éasca oibriú leis: tá rudaí ar leith ann, cuirtear astarraingtí leis an mbraisle, agus mar sin tá siad i bhfad níos áisiúla a rialú agus a chumrú.
Chun an táirge a thuiscint, molaim an Prometheus rialta a shuiteáil ar dtús. Beidh ort gach rud a chumrú tríd an config, ach beidh sé seo tairbheach: beidh tú ag déanamh amach cad a bhaineann le cad agus conas atá sé cumraithe. In Oibreoir Prometheus, ardaíonn tú láithreach chuig astarraingt níos airde, cé gur féidir leat dul isteach sa doimhneacht freisin más mian leat.
Tá Prometheus comhtháite go maith le Kubernetes: is féidir leis an Freastalaí API a rochtain agus idirghníomhú leis.
Tá tóir ar Prometheus, agus is é sin an fáth go dtacaíonn líon mór feidhmchlár agus teangacha ríomhchlárúcháin leis. Tá tacaíocht ag teastáil, ós rud é go bhfuil a bhformáid méadrachta féin ag Prometheus, agus chun é a aistriú, beidh leabharlann laistigh den fheidhmchlár nó onnmhaireoir réidh de dhíth ort. Agus tá go leor easpórtálaithe den sórt sin ann. Mar shampla, tá Easpórtálaí PostgreSQL ann: glacann sé sonraí ó PostgreSQL agus tiontaíonn sé go formáid Prometheus é ionas gur féidir le Prometheus oibriú leis.
Prometheus ailtireacht
Prometheus freastalaí is é an deireadh cúil, inchinn Prometheus. Déantar méadracht a stóráil agus a phróiseáil anseo.
Stóráiltear na méadrachtaí sa bhunachar sonraí sraith ama (TSDB). Ní bunachar sonraí ar leith é TSDB, ach pacáiste sa teanga Go atá leabaithe i Prometheus. Thart ar labhairt, tá gach rud in aon dénártha amháin.
Ná stóráil sonraí in TSDB ar feadh i bhfad
Níl an bonneagar Prometheus oiriúnach chun méadracht a stóráil go fadtéarmach. Is é 15 lá an tréimhse choinneála réamhshocraithe. Is féidir leat an teorainn seo a shárú, ach cuimhnigh: dá mhéad sonraí a stórálann tú in TSDB agus dá fhad a dhéanfaidh tú é, is amhlaidh is mó acmhainní a úsáidfidh sé. Meastar gur droch-chleachtas é sonraí stairiúla a stóráil i Prometheus.
Má tá trácht ollmhór agat, is é líon na méadrachta na céadta mílte in aghaidh an tsoicind, ansin is fearr a stóráil a theorannú de réir spás diosca nó de réir tréimhse. De ghnáth, stóráiltear “sonraí te” in TSDB, méadracht i gceann cúpla uair an chloig. Le haghaidh stórála níos faide, úsáidtear stóráil sheachtrach sna bunachair shonraí sin atá oiriúnach i ndáiríre do seo, mar shampla, InfluxDB, ClickHouse, agus mar sin de. Chonaic mé níos mó léirmheasanna maithe faoi ClickHouse.
Oibríonn Prometheus Server ar an tsamhail tharraingt: téann sé ar son méadrachta go dtí na críochphointí sin a thugamar dó. Dúirt siad: “téigh go dtí an Freastalaí API”, agus téann sé ann gach n-ú líon soicind agus tógann sé an mhéadracht.
I gcás rudaí le saolré gearr (post poist nó cron) is féidir a bheith le feiceáil idir tréimhsí scrapála, tá comhpháirt Pushgateway ann. Déantar méadracht ó rudaí gearrthéarmacha a bhrú isteach ann: tá méadú tagtha ar an bpost, rinneadh gníomh, cuireadh méadracht chuig Pushgateway agus críochnaíodh é. Tar éis tamaill, tiocfaidh Prometheus síos ar a luas féin agus tógfaidh sé na méadrachtaí seo ó Pushgateway.
Chun fógraí a chumrú i Prometheus tá comhpháirt ar leith - Bainisteoir foláirimh. Agus na rialacha foláirimh. Mar shampla, ní mór duit foláireamh a chruthú más é API an fhreastalaí é 0. Nuair a thiteann an teagmhas, cuirtear an foláireamh ar aghaidh chuig an mbainisteoir foláirimh le haghaidh tuilleadh seolta. Tá socruithe ródaithe sách solúbtha ag an mbainisteoir foláirimh: is féidir grúpa amháin foláirimh a sheoladh chuig comhrá teileagram an riarthóir, ceann eile chuig comhrá na bhforbróirí, agus an tríú cuid chuig comhrá na n-oibrithe bonneagair. Is féidir fógraí a sheoladh chuig Slack, Telegram, ríomhphost agus bealaí eile.
Agus ar deireadh, inseoidh mé duit faoi ghné killer Prometheus - Ag Lorg. Agus tú ag obair le Prometheus, ní gá duit seoltaí sonracha rudaí a shonrú le haghaidh monatóireachta, is leor a gcineál a shocrú. Is é sin, ní gá duit a scríobh "seo an seoladh IP, anseo an port - monatóir", ina ionad sin, ní mór duit a chinneadh cad iad na prionsabail a aimsiú na rudaí seo (spriocanna - spriocanna). Tarraingíonn Prometheus féin, ag brath ar na rudaí atá gníomhach faoi láthair, na cinn riachtanacha agus cuireann sé le monatóireacht iad.
Luíonn an cur chuige seo go maith le struchtúr Kubernetes, áit a bhfuil gach rud ar snámh freisin: inniu tá freastalaithe 10 ann, amárach 3. D'fhonn gan seoladh IP an fhreastalaí a shonrú gach uair, scríobh siad uair amháin conas é a aimsiú - agus déanfaidh Discovering é. .
Tugtar an teanga Prometheus air PromQL. Ag baint úsáide as an teanga seo, is féidir leat luachanna na méadrachta ar leith a fháil agus ansin iad a thiontú, ríomhaireachtaí anailíseacha a thógáil bunaithe orthu.
https://prometheus.io/docs/prometheus/latest/querying/basics/
Простой запрос
container_memory_usage_bytes
Математические операции
container_memory_usage_bytes / 1024 / 1024
Встроенные функции
sum(container_memory_usage_bytes) / 1024 / 1024
Уточнение запроса
100 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]) * 100)Prometheus comhéadan gréasáin
Tá a chomhéadan gréasáin féin, cothrom íostach ag Prometheus. Níl sé oiriúnach ach le haghaidh dífhabhtaithe nó taispeántais.
Sa líne Slonn, is féidir leat ceist a scríobh sa teanga PromQL.
Tá rialacha foláirimh sa chluaisín Foláirimh, agus tá trí stádas acu:
- neamhghníomhach - mura bhfuil an foláireamh gníomhach faoi láthair, is é sin, tá gach rud go breá leis, agus níor oibrigh sé;
- ar feitheamh - is é seo má d'oibrigh an foláireamh, ach nach bhfuil an seoladh a rith fós. Socraítear an mhoill chun blinking líonra a chúiteamh: má tá an tseirbhís sonraithe ardaithe laistigh de nóiméad, níor cheart an t-aláram a fhuaimniú fós;
- Is é lámhaigh an tríú stádas nuair a lasann an foláireamh suas agus nuair a sheolann sé teachtaireachtaí.
Sa roghchlár Stádas gheobhaidh tú rochtain ar fhaisnéis faoi cad is Prometheus ann. Tá aistriú go dtí na spriocanna (spriocanna) ann freisin ar labhair muid thuas.
Le haghaidh forbhreathnú níos mionsonraithe ar chomhéadan Prometheus, féach .
Comhtháthú le Grafana
I gcomhéadan gréasáin Prometheus, ní bhfaighidh tú graif áille sothuigthe ónar féidir leat conclúid a bhaint as staid an bhraisle. Chun iad a thógáil, tá Prometheus comhtháite le Grafana. Faighimid dashboards den sórt sin.
Níl sé deacair ar chor ar bith comhtháthú Prometheus agus Grafana a bhunú, is féidir leat treoracha a fháil sa doiciméadú: Bhuel, críochnóidh mé le seo.
Sna hailt seo a leanas, leanfaimid leis an ábhar monatóireachta: labhairfimid faoi logaí a bhailiú agus a anailísiú ag baint úsáide as Grafana Loki agus uirlisí malartacha.
Údar: Marcel Ibraev, riarthóir Kubernetes deimhnithe, innealtóir cleachtach sa chuideachta , cainteoir agus forbróir cúrsa Slurm.
Foinse: will.com