{"id":80532,"date":"2020-05-07T01:42:17","date_gmt":"2020-05-06T23:42:17","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem"},"modified":"2020-05-07T01:42:17","modified_gmt":"2020-05-06T23:42:17","slug":"problemy-s-dns-v-kubernetes-publichnyj-postmortem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/da\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem","title":{"rendered":"Problemer med DNS i Kubernetes. Offentlig postmortem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Bem. overs\u00e6ttelse:<\/b> Dette er en overs\u00e6ttelse af et offentligt post-mortem fra virksomhedens ingeni\u00f8rblog. Preply<\/a><\/noindex>. Den beskriver et problem med conntrack i Kubernetes-klyngen, som f\u00f8rte til delvis nedetid for visse produktionsservices.<\/i><\/p>\n

Denne artikel kan v\u00e6re nyttig for dem, der \u00f8nsker at vide lidt mere om post-mortems eller forhindre visse potentielle problemer med DNS i fremtiden.<\/p>\n

\"Problemer
\nDet er ikke DNS
\nDet kan ikke v\u00e6re, at det er DNS
\nDet var DNS<\/i>
\n<\/a><\/noindex><\/p>\n

Lidt om post-mortems og processerne i Preply<\/h2>\n

<\/p>\n

Post-mortem beskriver et svigt i driften eller en h\u00e6ndelse i produktionen. Post-mortem inkluderer en tidslinje over h\u00e6ndelser, p\u00e5virkningen p\u00e5 brugeren, \u00e5rsagen, handlingerne og de l\u00e6rte lektioner.<\/p>\n

Seeking SRE<\/a><\/noindex><\/i><\/p><\/blockquote>\n

\nVed de ugentlige m\u00f8der med pizza, i kredsen af det tekniske team, deler vi forskellige oplysninger. En af de vigtigste dele af s\u00e5danne m\u00f8der er post-mortems, som ofte ledsages af pr\u00e6sentation med dias og en dybere analyse af den h\u00e6ndelse, der er sket. Selvom vi ikke \"klapper\" efter post-mortems, fors\u00f8ger vi at udvikle en \"blameless\" kultur (blameless culture<\/a><\/noindex>). Vi tror p\u00e5, at skrivning og pr\u00e6sentation af post-mortems kan hj\u00e6lpe os (og ikke kun os) med at forhindre lignende h\u00e6ndelser i fremtiden, derfor deler vi dem.<\/p>\n

Personer involveret i h\u00e6ndelsen skal f\u00f8le, at de kan fort\u00e6lle om den i detaljer, uden at frygte for straf eller geng\u00e6ldelse. Ingen bebrejdelse! At skrive et post-mortem er ikke en straf, men en l\u00e6ringsmulighed for hele virksomheden.<\/p>\n

Keep CALMS & DevOps: S st\u00e5r for Sharing<\/a><\/noindex><\/i><\/p><\/blockquote>\n

<\/p>\n

DNS-problemer i Kubernetes. Post-mortem<\/h2>\n

\nDato:<\/b> 28.02.2020<\/p>\n

Forfattere:<\/b> Amet U., Andrey S., Igor K., Alexey P.<\/p>\n

Status:<\/b> Afsluttet<\/p>\n

Kort sagt:<\/b> Delvis utilg\u00e6ngelighed af DNS (26 min) for nogle tjenester i Kubernetes-klyngen<\/p>\n

P\u00e5virkning:<\/b> 15000 begivenheder mistet for tjenesterne A, B og C<\/p>\n

\u00c5rsag:<\/b> Kube-proxy kunne ikke korrekt fjerne den gamle post fra conntrack-tabellen, s\u00e5 nogle tjenester fors\u00f8gte stadig at oprette forbindelse til ikke-eksisterende pods.<\/p>\n

E0228 20:13:53.795782 1 proxier.go:610] Failed to delete kube-system\/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...<\/code><\/pre>\n
\nTrigger:<\/b> P\u00e5 grund af den lave belastning i Kubernetes-klyngen reducerede CoreDNS-autoscaler antallet af pods i deployment fra tre til to.<\/p>\n
L\u00f8sning:<\/b> En ny deployment af applikationen har initieret oprettelsen af nye noder, og CoreDNS-autoscaler har tilf\u00f8jet flere pods til at betjene clusteret, hvilket har for\u00e5rsaget en overskrivning af conntrack-tabellen.<\/p>\n
Opdagelse:<\/b> Prometheus overv\u00e5gning har opdaget et stort antal 5xx fejl for tjenesterne A, B og C og har triggeret et opkald til de vagthavende ingeni\u00f8rer.<\/p>\n
\"Problemer
\n5xx fejl i Kibana<\/i><\/p>\n
Handlinger<\/h3>\n
<\/p>\n
Handling
\nType
\nAnsvarlig
\nRegler for godkendelse af merge-requests<\/p>\n
Deaktiver autoscaler for CoreDNS
\nforebyg.
\nAmet U.
\nDEVOPS-695<\/p>\n
Install\u00e9r en cache DNS-server
\nreducer.
\nMax V.
\nDEVOPS-665<\/p>\n
Konfigurer conntrack overv\u00e5gning
\nforebyg.
\nAmet U.
\nDEVOPS-674<\/p>\n
<\/p>\n
L\u00e6rte lektioner<\/h3>\n
\nHvad gik godt:<\/b><\/p>\n