{"id":80532,"date":"2020-05-07T01:42:17","date_gmt":"2020-05-06T23:42:17","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem"},"modified":"2020-05-07T01:42:17","modified_gmt":"2020-05-06T23:42:17","slug":"problemy-s-dns-v-kubernetes-publichnyj-postmortem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/no\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem","title":{"rendered":"DNS-problem i Kubernetes. Offentlig postmortem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Obs. overs.:<\/b> dette er en oversettelse av et offentlig postmortem fra ingeni\u00f8rbloggen til selskapet Preply<\/a><\/noindex>. Den beskriver et problem med conntrack i Kubernetes-klyngen, som f\u00f8rte til delvis nedetid for noen produksjonstjenester.<\/i><\/p>\n

Denne artikkelen kan v\u00e6re nyttig for dem som \u00f8nsker \u00e5 l\u00e6re litt mer om postmortem-er eller forhindre noen potensielle DNS-problemer i fremtiden.<\/p>\n

\"DNS-problem
\nDette er ikke DNS
\nDet kan ikke v\u00e6re at det er DNS
\nDet var DNS<\/i>
\n<\/a><\/noindex><\/p>\n

Litt om postmortem-er og prosessene i Preply<\/h2>\n

<\/p>\n

Postmortemet beskriver en feil i driften eller en hendelse i produksjonen. Postmortemet inkluderer en kronologi over hendelser, beskrivelse av brukerens p\u00e5virkning, \u00e5rsaken, tiltakene og l\u00e6rdommen.<\/p>\n

Seeking SRE<\/a><\/noindex><\/i><\/p><\/blockquote>\n

\nP\u00e5 ukentlige m\u00f8ter med pizza, i kretsen av det tekniske teamet, deler vi ulike informasjoner. En av de viktigste delene av slike m\u00f8ter er postmortem-er, som oftast ledsages av en presentasjon med lysbilder og dypere analyse av den oppst\u00e5tte hendelsen. Selv om vi ikke \u00abklapper\u00bb etter postmortem-er, pr\u00f8ver vi \u00e5 utvikle en kultur for \u00abuten skyld\u00bb (blameless culture<\/a><\/noindex>). Vi tror at skriving og presentasjon av postmortem-er kan hjelpe oss (og ikke bare oss) med \u00e5 forhindre lignende hendelser i fremtiden, derfor deler vi dem.<\/p>\n

Personene involvert i hendelsen m\u00e5 f\u00f8le at de kan forklare den i detalj uten \u00e5 frykte straff eller represalier. Ingen forakt! \u00c5 skrive et postmortem er ikke straff, men en mulighet for l\u00e6ring for hele selskapet.<\/p>\n

Keep CALMS & DevOps: S er for Sharing<\/a><\/noindex><\/i><\/p><\/blockquote>\n

<\/p>\n

DNS-problemer i Kubernetes. Postmortem<\/h2>\n

\nDato:<\/b> 28.02.2020<\/p>\n

Forfattere:<\/b> Amet U., Andrey S., Igor K., Alexey P.<\/p>\n

Status:<\/b> Fullf\u00f8rt<\/p>\n

Kort oppsummert:<\/b> Delvis utilgjengelighet av DNS (26 min) for noen tjenester i Kubernetes-klyngen<\/p>\n

Innvirkning:<\/b> 15000 hendelser tapt for tjenestene A, B og C<\/p>\n

\u00c5rsak:<\/b> Kube-proxy klarte ikke \u00e5 fjerne den gamle posten fra conntrack-tabellen korrekt, s\u00e5 noen tjenester pr\u00f8vde fortsatt \u00e5 koble seg til ikke-eksisterende pods.<\/p>\n

E0228 20:13:53.795782 1 proxier.go:610] Failed to delete kube-system\/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...<\/code><\/pre>\n
\nUtl\u00f8ser:<\/b> P\u00e5 grunn av lav belastning i Kubernetes-klyngen, reduserte CoreDNS-autoscaler antallet pods i distribusjonen fra tre til to.<\/p>\n
L\u00f8sning:<\/b> En ny applikationsdisposition initierade skapandet av nya noder, CoreDNS-autoscaler lade till fler pods f\u00f6r att st\u00f6dja klustret, vilket ledde till att conntrack-tabellen skrev \u00f6ver.<\/p>\n
Uppt\u00e4ckts:<\/b> Prometheus-\u00f6vervakning uppt\u00e4ckte ett stort antal 5xx-fel f\u00f6r tj\u00e4nsterna A, B och C och initierade ett samtal till jouringenj\u00f6rerna.<\/p>\n
\"DNS-problem
\n5xx-fel i Kibana<\/i><\/p>\n
Handlinger<\/h3>\n
<\/p>\n
Handling
\nType
\nAnsvarig
\nOppgave<\/p>\n
Inaktivera autoskalern f\u00f6r CoreDNS
\nf\u00f6rhindra.
\nAmet U.
\nDEVOPS-695<\/p>\n
Installera caching DNS-server
\nminska.
\nMax V.
\nDEVOPS-665<\/p>\n
Konfigurera \u00f6vervakning av conntrack
\nf\u00f6rhindra.
\nAmet U.
\nDEVOPS-674<\/p>\n
<\/p>\n
L\u00e6rte leksjoner<\/h3>\n
\nVad gick bra:<\/b><\/p>\n