Sei o tatou vaʻavaʻai i le manatu o Kubernetes mataʻituina, faamasani i le meafaigaluega Prometheus, ma talanoa e uiga i le mataala.
O le autu o le mataʻituina e tele; e le mafai ona aofia i se tusiga e tasi. O le faʻamoemoe o lenei tusitusiga o le tuʻuina atu lea o se aotelega o meafaigaluega, manatu, ma auala.
O mea o le tusiga o se oomi mai . Afai e te mana'o e maua a'oa'oga atoatoa, saini mo se kosi i luga .
O le a le mea o loʻo mataʻituina i totonu o le Kubernetes cluster
'au'aunaga fa'aletino. Afai o loʻo faʻapipiʻi se vaega Kubernetes i luga o ana lava 'auʻaunaga, e tatau ona e mataʻituina lo latou soifua maloloina. O Zabbix na te taulimaina lenei galuega; afai e te galulue ma ia, ona leai lea o se mea e te teena ai, o le a leai ni feeseeseaiga. O le Zabbix e mata'ituina le tulaga oa tatou 'au'aunaga.
Se'i o tatou aga'i atu ile mata'itū ile tulaga fa'afuifu.
Vaega Pulea Vaalele: API, Scheduler ma isi. I se tulaga maualalo, e tatau ona e mataʻituina o le API server poʻo le etcd e sili atu nai lo le 0. Etcd e mafai ona tuʻuina atu le tele o metrics: i luga o tisiketi o loʻo taamilo ai, i luga o le soifua maloloina o lona etcd cluster, ma isi.
Docker na aliali mai i se taimi ua leva ma ua iloa lelei e tagata uma ona faʻafitauli: o le tele o koneteina e mafua ai le malulu ma isi faʻafitauli. O le mea lea, Docker lava ia, i le avea ai o se faiga, e tatau foi ona mataʻituina, a itiiti mai mo avanoa.
DNS Afai e le manuia le DNS i se fuifui, o le a le manuia foi le auaunaga Discovery atoa, ma valaau mai pods i pods o le a le toe galue. I laʻu faʻataʻitaʻiga, e leai ni faʻafitauli faʻapea, ae e le o lona uiga e le manaʻomia ona mataʻituina le tulaga DNS. Talosaga latency ma nisi metrics e mafai ona siaki i CoreDNS.
Ulufale. E mana'omia le fa'atonutonuina o le maua o mea e ulu atu (e aofia ai le Ingress Controller) e fai ma mea e ulufale ai i totonu o le poloketi.
O vaega autu o le fuifui ua faʻamavaeina - o lea seʻi o tatou agai i lalo, i le tulaga o mea faʻapitoa.
E foliga mai o talosaga e tamoe i pods, o lona uiga e tatau ona pulea, ae o le mea moni latou te le faia. Pods e le tumau: o aso nei latou te galulue i le tasi server, taeao i le isi; O le asō e 10 i latou, taeao 2. O le mea lea e leai se tasi e mataʻituina ia pods. I totonu o le microservice architecture, e sili atu ona taua le pulea o le avanoa o le talosaga atoa. Aemaise lava, siaki le avanoa o 'au'aunaga pito i tua: o iai se mea e aoga? Afai o loʻo avanoa le talosaga, o le a le mea o loʻo tupu i tua, pe fia faʻataʻitaʻiga o loʻo i ai nei - o fesili lona lua ia. E le mana'omia le mata'ituina o tulaga ta'itasi.
I le tulaga mulimuli, e te manaʻomia le mataʻituina o le faʻaogaina o le talosaga lava ia, ave faʻataʻitaʻiga pisinisi: numera o faʻatonuga, amio a tagata faʻaoga, ma isi.
Prometheus
Ole faiga sili mo le mata'ituina o se fuifui ole . Ou te le iloa se mea faigaluega e mafai ona faʻatusatusa i le Prometheus i tulaga lelei ma le faigofie o le faʻaoga. E manaia tele mo atinaʻe agile, o lea a fai mai tagata "mataʻituina Kubernetes" e masani ona faauiga Prometheus.
E i ai ni nai filifiliga mo le amataina o Prometheus: faʻaaoga Helm, e mafai ona e faʻapipiʻi masani Prometheus poʻo Prometheus Operator.
- Prometheus masani. O loʻo lelei mea uma, ae e manaʻomia le faʻatulagaina o le ConfigMap - o le mea moni, tusi faila faʻapipiʻi tusitusiga, e pei ona matou faia muamua, aʻo leʻi faia le fausaga o le microservice.
- O le Prometheus Operator e laʻititi laʻititi, e sili atu le lavelave i lona mafaufau i totonu, ae sili atu le faigofie ona galulue faʻatasi: o loʻo i ai mea eseese, faʻapipiʻi faʻapipiʻi i le fuifui, o lea e sili atu ona faigofie e pulea ma fetuunai.
Ina ia malamalama i le oloa, ou te fautuaina e faʻapipiʻi muamua Prometheus masani. E tatau ona e faʻatulagaina mea uma e ala i le config, ae o le a aoga lenei mea: o le ae malamalama i le mea e tatau ma pe faʻafefea ona faʻapipiʻiina. I le Prometheus Operator, e vave lava ona e tulaʻi i se tulaga maualuga atu, e ui lava e te manaʻo ai, e mafai foi ona e suʻesuʻe i le loloto.
Prometheus o loʻo tuʻufaʻatasia lelei ma Kubernetes: e mafai ona maua ma fegalegaleai ma le API Server.
Prometheus e lauiloa ma e lagolagoina e le tele o talosaga ma gagana polokalame. E mana'omia le lagolago ona o le Prometheus o lo'o i ai ana lava fua fa'atatau, ma e fa'aliliuina e te mana'omia se faletusi i totonu o le talosaga po'o se tagata fa'atau atu. Ma e fai lava si to'atele o tagata fa'atau oloa fa'apea. Mo se faʻataʻitaʻiga, o loʻo i ai le PostgreSQL Exporter: e manaʻomia faʻamaumauga mai le PostgreSQL ma faʻaliliuina i le Prometheus format ina ia mafai e Prometheus ona galue i ai.
Prometheus fausaga
Prometheus Server - o le vaega lea o le server, o le faiʻai o Prometheus. O i'ina e teu ma fa'agaioi ai fua.
O fua fa'atatau o lo'o teuina i le fa'amaumauga fa'asologa o taimi (TSDB). TSDB e le o se faʻamaumauga tuʻufaʻatasia, ae o se Go package o loʻo fausia i totonu o Prometheus. I se faaupuga masani, o mea uma e tasi i le binary.
Aua le teuina faʻamatalaga i le TSDB mo se taimi umi
Ole atina'e a le Prometheus e le talafeagai mo le teuina umi o metrics. Ole taimi ole teuina ole 15 aso. E mafai ona e sili atu i lenei tapulaʻa, ae ia manatua: o le tele o faʻamatalaga e te teuina i le TSDB ma le umi e te faia ai, o le tele o punaoa o le a faʻaaogaina. O le teuina o fa'amaumauga fa'asolopito i le Prometheus ua ta'ua o faiga leaga.
Afai e tele au fefaʻatauaʻiga, o le numera o metrics o loʻo i le fiaselau afe i le sekone, ona sili atu lea ona faʻatapulaʻaina lo latou teuina e ala i avanoa vaʻa poʻo le vaitaimi. E masani lava, TSDB teuina "faamatalaga vevela", metrics moni mo ni nai itula. Mo le teuina mo se taimi umi, e faʻaogaina le teuina i fafo i na faʻamaumauga e matua fetaui lelei mo lenei mea, mo se faʻataʻitaʻiga InfluxDB, ClickHouse, ma isi. Na ou vaaia nisi iloiloga lelei e uiga i ClickHouse.
Prometheus Server e galue e tusa ai ma le faʻataʻitaʻiga toso: o ia lava e alu mo metrics i faʻaiʻuga na matou tuʻuina atu ia te ia. Na latou fai mai: "Alu i le API Server," ma e alu i ai i numera nth o sekone ma ave le metrics.
Mo mea faitino e pu'upu'u le ola (galuega po'o le cron job) e ono aliali mai i le va o vaitausaga, o lo'o i ai se vaega Pushgateway. Fuafuaga mai mea pupuu o loʻo tuleia i totonu: o le galuega na tulaʻi, faʻamaeʻaina le gaioiga, auina atu le metrics i Pushgateway ma maeʻa. A maeʻa sina taimi, o le a alu Prometheus i lona lava saoasaoa ma ave nei metotia mai Pushgateway.
Ina ia faʻatulagaina faʻamatalaga i Prometheus o loʻo i ai se vaega eseese - Alertmanager. Ma tulafono mataala. Mo se faʻataʻitaʻiga, e tatau ona e fatuina se mataala pe a fai o le server API o le 0. A faʻaalia le mea na tupu, e tuʻuina atu le mataala i le pule mataala mo le toe auina atu. O le pule mataala e fai lava si fetuutuunai fa'asologa o auala: tasi le vaega o fa'aliga e mafai ona lafo i le admins 'telegram chat, le isi i le au atina'e' talanoaga, ma le lona tolu i le aufaipisinisi' talatalanoaga. E mafai ona lafoina faʻamatalaga i Slack, Telegram, imeli ma isi auala.
Ma le mea mulimuli, o le a ou taʻu atu ia te oe le uiga fasioti tagata o Prometheus - le mauaina o. A e galue ma Prometheus, e te le manaʻomia le faʻamaonia o tuatusi faʻapitoa o mea e mataʻituina; ua lava e faʻamaonia ai latou ituaiga. O lona uiga, e leai se mea e manaʻomia e tusi ai "o le tuatusi IP lea, o le taulaga lea - mataʻituina", ae e tatau ona e fuafua pe o le a le mataupu faavae e maua ai nei mea (taulaiga - sini). Prometheus lava ia, faʻalagolago i mea o loʻo galue i le taimi nei, toso i luga mea talafeagai ma faʻaopoopo i latou i le mataʻituina.
O lenei faiga e fetaui lelei ma le fausaga o Kubernetes, lea e faʻafefe ai mea uma: i aso nei o loʻo i ai 10 servers, taeao 3. Ina ia le faʻaalia le tuatusi IP a le server i taimi uma, na matou tusia muamua pe faʻapefea ona maua - ma Discovering o le a faia.
Ua ta'ua le gagana Prometheus PromQL. I le faʻaaogaina o lenei gagana, e mafai ona e mauaina faʻatauga o metotia faʻapitoa ona suia lea ma fausia faʻatusatusaga faʻatatau e faʻavae i luga.
https://prometheus.io/docs/prometheus/latest/querying/basics/
Простой запрос
container_memory_usage_bytes
Математические операции
container_memory_usage_bytes / 1024 / 1024
Встроенные функции
sum(container_memory_usage_bytes) / 1024 / 1024
Уточнение запроса
100 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m]) * 100)Prometheus upega tafaʻilagi
O le Prometheus e iai lana lava fa'aoga upega tafa'ilagi. E na'o le fetaui mo le fa'aleaga po'o le fa'ata'ita'iga.
E mafai ona e tusia se fesili ile PromQL ile laina Fa'aaliga.
O lo'o iai tulafono fa'ailoa i le fa'ailoga Alerts, ma e tolu a latou tulaga:
- le toaga - pe afai e le o malosi le mataala i le taimi nei, o lona uiga, e lelei mea uma, ma e leʻi aoga;
- o loʻo faʻatali - o le mea lea pe a fai o le mataala na faʻaalia, ae e leʻi faia le lafoina. O le fa'atuai ua fa'atulaga e totogi ai le emo o feso'ota'iga: afai o le auaunaga fa'apitoa ua si'itia i totonu o le minute, ona leai lea o se mana'oga e fa'alogoina le fa'ailo;
- fana o le tulaga lona tolu, pe a moli le mataala ma auina atu savali.
I le Tulaga lisi o le ae maua ai avanoa i faʻamatalaga e uiga i le Prometheus. E i ai foi se suiga i sini na matou talanoa i luga.
Mo se faʻamatalaga auiliili o le Prometheus interface, vaʻai .
Faʻatasi ma Grafana
I totonu o le upega tafaʻilagi a le Prometheus e te le mauaina ni ata matagofie ma malamalama e mafai ona e faia ai faʻaiuga e uiga i le tulaga o le fuifui. Ina ia fausia, Prometheus faʻatasi ma Grafana. O dashboards ia matou te maua.
O le faʻatulagaina o le tuʻufaʻatasia o Prometheus ma Grafana e le faigata lava; faʻatonuga e mafai ona maua i totonu o faʻamaumauga: , lelei, o le a ou fa'ai'u i lenei mea.
I tala o loʻo mulimuli mai o le a tatou faʻaauauina le autu o le mataʻituina: o le a tatou talanoa e uiga i le aoina ma le auiliiliga o ogalaau e faʻaaoga ai le Grafana Loki ma isi mea faigaluega.
Tusitala: Marcel Ibraev, faʻamaonia Kubernetes pule, galue inisinia i le kamupani , failauga ma le Slurm course developer.
puna: www.habr.com