Tuhipoka. whakamaori.: Ka tukuna atu e matou ki a koe nga korero hangarau mo nga take mo te wa e paheke ana i roto i te ratonga kapua e tiakina ana e nga kaihanga o Grafana. He tauira matarohia tenei mo te ahuatanga o te ahuatanga hou me te ahua tino whaihua i hangaia hei whakapai ake i te kounga o nga hanganga... ka pa te kino ki te kore koe e aro ki te maha o nga ahuatanga o tana tono i roto i nga ahuatanga o te hanga. He rawe ka puta mai nga rauemi penei ka taea e koe te ako mai i o hapa anake. Ko nga korero kei roto i te whakamaoritanga o tenei tuhinga mai i te perehitini tuarua o nga hua mai i Grafana Labs.
I te Paraire, Hurae 19, ka mutu te mahi a Hosted Prometheus i Grafana Cloud mo te 30 meneti. Ka mihi ahau ki nga kaihoko katoa e pa ana ki te mate. Ko ta matou mahi he whakarato i nga taputapu aro turuki e hiahia ana koe, a kei te mohio matou ma te kore e waatea mai ka uaua ake to oranga. Ka tino whakaaro nui matou ki tenei aitua. Ko tenei tuhipoka e whakamarama ana i nga mea i tupu, i pehea ta matou whakautu, me ta matou mahi kia kore ai e puta ano.
prehistory
Ko te ratonga a Grafana Cloud Hosted Prometheus kei runga — Te kaupapa CNCF ki te hanga i tetahi ratonga Prometheus kareiti whakapae, tino waatea, maha kairëti. Ko te hoahoanga Cortex he huinga o nga ratonga moroiti takitahi, ma ia tangata e mahi ana ake mahi: te tukurua, te rokiroki, nga patai, aha atu. Kei te kaha te whakawhanaketanga a Cortex me te taapiri i nga ahuatanga hou me te whakapai ake i nga mahi. Ka horahia e matou nga tukunga Cortex hou ki nga tautau kia taea ai e nga kaihoko te whai painga ki enei ahuatanga - Waimarie, ka taea te whakahou a Cortex me te kore he wa heke.
Mo nga whakamohoatanga korekore, ka hiahia te ratonga Ingester Cortex ki te taapiri Ingester i te wa o te whakahou. (Tuhipoka. whakamaori.: - te waahanga taketake o te Cortex. Ko tana mahi he kohi i nga tauira tauira, whakarōpūhia ki roto i nga wahanga Prometheus ka penapena ki roto i te putunga korero penei i a DynamoDB, BigTable, Cassandra ranei.) Ma tenei ka taea e nga Ingesters tawhito te tuku raraunga o naianei ki nga Ingesters hou. He mea tika kia mohio ko Ingesters he hiahia rawa. Mo ratou ki te mahi, me whai koe i te 4 cores me te 15 GB o te mahara mo ia pod, i.e. 25% o te mana tukatuka me te maharatanga o te miihini turanga i roto i te keehi o a maatau roopu Kubernetes. I te nuinga o te waa, he maha noa atu nga rauemi kaore i whakamahia i roto i te roopu i te 4 nga matua me te 15 GB o te mahara, na reira ka taea e taatau te huri i enei whakaurunga taapiri i nga wa whakamohoatanga.
Heoi, he maha nga wa i te wa e mahi noa ana kaore tetahi o nga miihini e whiwhi i tenei 25% o nga rauemi kaore i whakamahia. Ae, kaore matou e tohe: ka whai hua tonu te PTM me te mahara mo etahi atu tukanga. Hei whakaoti i tenei raruraru, i whakatau matou ki te whakamahi . Ko te whakaaro ko te hoatu ki a Ingesters te kaupapa matua ake i era atu ratonga miihini (kore whenua). Ina hiahia tatou ki te whakahaere i tetahi atu (N+1) Ingester, ka nekehia e tatou etahi atu putunga iti ake. Ka whakawhitihia enei pene ki nga rauemi kore utu i runga i etahi atu miihini, ka waiho he "poka" nui hei whakahaere i tetahi atu Ingester.
I te Rāpare, Hōngongoi 18, e wha nga taumata matua hou i tukuna e matou ki o matou roopu: whakakoi, roa, reo и iti. I whakamatauria ratou i runga i te roopu o roto kaore he hokohoko a nga kaihoko mo te kotahi wiki. Ma te taunoa, ka whakawhiwhia nga poti kaore he kaupapa matua reo Ko te kaupapa matua, i whakaritea te karaehe mo Ingesters me teitei kaupapa matua. Arohaehae i rahuitia mo te aroturuki (Prometheus, Alertmanager, node-exporter, kube-state-metrics, etc.). Kua tuwhera ta matou whirihora, a ka taea e koe te tiro i te PR .
Tutuki
I te Paraire, Hurae 19, i whakarewahia e tetahi o nga miihini he kahui Cortex hou mo tetahi kaihoko nui. Ko te whirihora mo tenei kahui kaore i uru ki nga kaupapa matua hou, no reira i tautapahia nga poro hou katoa he kaupapa matua taunoa - reo.
Ko te roopu Kubernetes kaore i te rawaka nga rauemi mo te roopu Cortex hou, a ko te roopu Cortex hangahanga o naianei kaore i whakahōuhia (Ka waiho nga Ingesters me te kore teitei kaupapa matua). Mai i te Ingesters o te tautau hou i taunoa i reo Ko te kaupapa matua, me nga putunga o naianei kei roto i te whakaputanga i mahi kaore he kaupapa matua, na nga Ingesters o te kahui hou i whakakapi i nga Ingesters mai i te roopu whakangao Cortex o naianei.
Ko te ReplicaSet mo te Ingester kua peia i roto i te roopu whakangao i kitea te poti kua peia ka hangaia he mea hou hei pupuri i te maha o nga kape kua tohua. Ko te pod hou i tautapahia ma te taunoa reo matua, me tetahi atu "tawhito" Ingester i roto i te hanga ngaro ona rawa. Ko te hua ko tukanga horo, na te mea i nekehia nga putunga katoa mai i te Ingester mo nga kohinga whakangao Cortex.
Ko nga kaiwhakauru he ahua me te penapena raraunga mo nga haora 12 o mua. Ma tenei ka taea e maatau te kopiri i a raatau i mua i te tuhi ki te rokiroki mo te wa roa. Hei whakatutuki i tenei, ka tohatohahia e Cortex nga raraunga puta noa i nga raupapa ma te whakamahi i te Ripanga Hash Distributed (DHT) me te whakahoki ano i ia raupapa puta noa i nga Ingesters e toru ma te whakamahi i te riterite o te koorama ahua-Dynamo. Kaore a Cortex e tuhi raraunga ki nga Ingesters kua monoa. No reira, ka wehe te tini o nga Ingesters i te DHT, kare e taea e Cortex te whakarato i te tukuruatanga o nga whakaurunga, ka hinga.
Te Rapu me te Whakatikatika
Nga whakamohiotanga hou a Prometheus i runga i te "putea hapa" (hapa-pūtea-e hāngai ana — ka puta nga korero i roto i te tuhinga a meake nei) ka timata te tangi o te whakaoho 4 meneti i muri i te tiimata o te kati. I roto i nga meneti e rima e whai ake nei, i whakahaerehia e matou etahi tātaritanga me te whakanui ake i te kahui Kubernetes o raro ki te manaaki i nga tautau whakangao hou me nga roopu o mua.
I muri i te rima meneti, ka tuhi angitu nga Ingesters tawhito i o raatau raraunga, ka timata nga mea hou, ka waatea ano nga kohinga Cortex.
Ko etahi atu meneti 10 i pau ki te tirotiro me te whakatika i nga hapa o waho o te mahara (OOM) mai i te whakamotuhēhēnga takawaenga whakamuri kei mua o Cortex. Ko nga hapa OOM i ahu mai i te pikinga tekau nga wa o te QPS (e whakapono ana matou na te kaha rawa o nga tono mai i nga kaitoro Prometheus a te kiritaki).
Nga paunga
He 26 meneti te tapeke o te wa heke. Kaore he raraunga i ngaro. Kua oti pai te utaina e nga Kaipupuri nga raraunga katoa i roto i te mahara ki te rokiroki mo te wa roa. I te wa o te katinga, kua mukua nga kaitoro Prometheus kiritaki (mamao) rekoata whakamahi i runga i te WAL (i tuhia e mai i Grafana Labs) me te whakahoki ano i nga tuhi i rahua i muri i te tukinga.
Nga mahi tuhi roopu whakaputa
kitenga
He mea nui ki te ako mai i tenei aitua me te whai i nga huarahi e tika ana kia kore e hoki mai ano.
Ki te titiro whakamua, kare e tika kia tautuhia te taunoa reo te kaupapa matua tae noa ki te whiwhi i nga Kaihanga katoa i roto i te mahi roa he kaupapa matua. I tua atu, he mea tika ki te tiaki i a raatau i mua teitei kaupapa matua. Kua whakaritea nga mea katoa inaianei. Ko te tumanako ka awhina to maatau wheako ki etahi atu whakahaere e whakaaro ana ki te whakamahi i nga kaupapa matua i Kubernetes.
Ka taapirihia e matou he taumata atu mana whakahaere mo te horahanga o etahi atu taonga kei te ao katoa nga whirihoranga ki te tautau. Mai i tenei wa, ka aromatawaihia enei huringa bоnui ake nga tangata. I tua atu, ko te whakarereketanga i puta ai te tukinga i kiia he iti rawa mo te tuhinga kaupapa motuhake - i korerohia i roto i te take GitHub anake. Mai i tenei wa, ko enei whakarereketanga katoa ki nga whirihora ka haere tahi me nga tuhinga kaupapa tika.
Ka mutu, ka whakaaunoatia e matou te whakarereketanga o te takawaenga whakamuri motuhēhēnga hei aukati i te taumahatanga o te OOM i kitehia e matou, ka arotakehia nga tautuhinga taunoa a Prometheus e pa ana ki te takahuri me te tauine hei aukati i nga take penei a muri ake nei.
He pai ano nga hua o te rahunga: kua riro i a ia nga rauemi e tika ana, ka ora tonu a Cortex me te kore he wawaotanga. I whiwhi ano matou i nga wheako nui ki te mahi tahi - ko ta matou punaha whakahiato rangitaki hou - i awhina i te whakahaere tika o nga Ingesters katoa i te waa me muri i te rahungatanga.
PS mai i te kaiwhakamaori
Pānuihia hoki i runga i ta maatau blog:
- «";
- «";
- «";
- «".
Source: will.com