He raruraru ki te DNS i Kubernetes. Te tirotiro tūpāpaku tūmatanui

Tuhipoka whakamaoritanga: He whakamaoritanga tenei o te tuupapatanga a te iwi mai i te blog engineering a te kamupene Tino. E whakaahua ana i te raru ki te conntrack i roto i te kahui Kubernetes, i arai atu ki te wa poto o etahi ratonga whakaputa.

Ka whai hua pea tenei tuhinga mo te hunga e hiahia ana ki te ako i etahi atu korero mo te tirotiro matemate, ki te aukati ranei i etahi raru DNS kei te heke mai.

He raruraru ki te DNS i Kubernetes. Te tirotiro tūpāpaku tūmatanui
Ehara tenei i te DNS
Kaore e taea te DNS
Ko DNS

He iti mo te tirotiro matemate me nga tukanga i Preply

Ko te tirotiro tūpāpaku e whakaatu ana i te hē, i etahi huihuinga ranei i roto i te hanga. Kei roto i te tirotiro tūpāpaku he rārangi wā o ngā takahanga, te pānga o te kaiwhakamahi, te take pakiaka, ngā mahi i mahia, me ngā akoranga.

Kei te rapu SRE

I nga huihuinga ia wiki me te pizza, i roto i te roopu hangarau, ka tohatohahia e matou nga korero rereke. Ko tetahi o nga waahanga nui o enei hui ko te tirotiro mate, he maha nga wa ka haere tahi me te whakaaturanga me nga kiriata me te hohonutanga o te tirohanga o te aitua. Ahakoa kaore matou i te pakipaki i muri i nga tirotirohanga mate, ka ngana matou ki te whakawhanake i te ahurea "kore he" (tikanga kore hara). E whakapono ana matou ka taea e te tuhi me te whakaatu i nga tirotiro matemate te awhina i a matou (me etahi atu) ki te aukati i nga aitua penei a muri ake nei, na reira ka tohatohahia e matou.

Ko nga tangata e uru ana ki tetahi aitua me whakaaro ka taea e ratou te korero i roto i nga korero me te kore e mataku ki te whiu, ki te utu ranei. Kaore he he! Ko te tuhi i te poupoutanga ehara i te whiu, engari he huarahi ako mo te kamupene katoa.

Kia mau ki te CALMS & DevOps: Ko te S mo te Tiri

He raruraru ki te DNS i Kubernetes. Te tūpāpaku

Rā: 28.02.2020

Nga Kaituhi: Amet U., Andrey S., Igor K., Alexey P.

Tūnga: Kua oti

He poto: Ko te kore wateatanga DNS wahanga (26 min) mo etahi ratonga i roto i te roopu Kubernetes

Pānga: 15000 nga huihuinga i ngaro mo nga ratonga A, B me C

Putaketake: Kaore i taea e Kube-kaiwaenga te tango tika i tetahi urunga tawhito mai i te ripanga hono, na reira kei te ngana tonu etahi o nga ratonga ki te hono atu ki nga poro kore-kore.

E0228 20:13:53.795782       1 proxier.go:610] Failed to delete kube-system/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...

Keu: Na te iti o te kawenga i roto i te roopu Kubernetes, i whakaitihia e CoreDNS-autoscaler te maha o nga poti i roto i te horahanga mai i te toru ki te rua.

otinga: Ko te tukunga o te tono i muri mai i timata te hanga i nga pona hou, ka taapirihia e CoreDNS-autoscaler etahi atu pona hei mahi i te tautau, i whakapataritari i te tuhi ano i te ripanga hono.

Rapunga: I kitea e te aro turuki a Prometheus te maha o nga hapa 5xx mo nga ratonga A, B me C ka timata te waea ki nga miihini mahi.

He raruraru ki te DNS i Kubernetes. Te tirotiro tūpāpaku tūmatanui
5xx hapa i Kibana

Nga mahi

pānga
Momo
Te kawenga
Whāinga

Monokia te autoscaler mo CoreDNS
aukati
Ameet U.
DEVOPS-695

Whakaturia he tūmau DNS keteroki
heke
Max V.
DEVOPS-665

Whakaritehia te aro turuki hononga
aukati
Ameet U.
DEVOPS-674

Nga Akoranga i Akona

He aha te mea i pai:

  • I pai te mahi o te aroturuki. He tere te whakautu me te whakarite
  • Kaore matou i pa ki nga rohe o nga node

He aha te he:

  • Kaore ano i te mohiotia te tino take, he rite ki bug motuhake i roto i te hononga
  • Ko nga mahi katoa ka whakatika i nga hua anake, kaua ko te putake (bug)
  • I mohio matou ka raru pea matou ki te DNS, engari kaore matou i aro ki nga mahi

I waimarie matou:

  • Ko te tukunga i muri mai na CoreDNS-autoscaler, nana i tuhi te ripanga conntrack.
  • Ko etahi o nga ratonga anake i pa tenei pepeha

Raina Wā (EET)


pānga

22:13
I whakaitihia e CoreDNS-autoscaler te maha o nga pene mai i te toru ki te rua

22:18
I timata nga miihini e mahi ana ki te whiwhi waea mai i te punaha aroturuki

22:21
I timata nga miihini e mahi ana ki te rapu i te take o nga hapa.

22:39
I timata nga miihini e mahi ana ki te huri i tetahi o nga ratonga hou ki te putanga o mua

22:40
5xx hapa i mutu te puta, kua tau te ahuatanga

  • Te wa ki te kimi: 4 meneti
  • Wā i mua i te mahi: 21 meneti
  • Te wa ki te whakatika: 1 meneti

mōhiohio atu

Hei whakaiti i te whakamahi PTM, ka whakamahia e te kernel Linux tetahi mea e kiia ana ko te conntrack. Hei poto, he taputapu tenei kei roto he rarangi o nga rekoata NAT e rongoa ana ki tetahi ripanga motuhake. Ina tae mai te paakete e whai ake nei mai i te peera kotahi ki te peera ano i mua, kaore e tatauhia te wahitau IP whakamutunga, engari ka tangohia mai i te ripanga hono.
He raruraru ki te DNS i Kubernetes. Te tirotiro tūpāpaku tūmatanui
Me pehea te mahi conntrack

Ngā putanga

He tauira tenei o tetahi o a maatau tirotiro mate me etahi hononga whai hua. I roto i tenei tuhinga, ka tohatohahia e matou nga korero ka whai hua pea ki etahi atu kamupene. No reira kare matou e mataku ki te pohehe, na reira ka whakapuakina e matou tetahi o a matou tirotiro mate. Anei etahi o nga tirotirohanga a te iwi whanui:

Source: will.com

Tāpiri i te kōrero