{"id":80532,"date":"2020-05-07T01:42:17","date_gmt":"2020-05-06T23:42:17","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem"},"modified":"2020-05-07T01:42:17","modified_gmt":"2020-05-06T23:42:17","slug":"problemy-s-dns-v-kubernetes-publichnyj-postmortem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sv\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem","title":{"rendered":"Problem med DNS i Kubernetes. Offentligt postmortem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Obs. \u00f6vers.:<\/b> detta \u00e4r en \u00f6vers\u00e4ttning av en offentlig postmortem fr\u00e5n ingenj\u00f6rsbloggen f\u00f6r f\u00f6retaget Preply<\/a><\/noindex>. Den beskriver problemet med conntrack i Kubernetes-klustret som ledde till delvis stillest\u00e5nd av vissa produktionsservrar.<\/i><\/p>\n

Den h\u00e4r artikeln kan vara anv\u00e4ndbar f\u00f6r dem som vill veta lite mer om postmortems eller f\u00f6rhindra vissa potentiella DNS-problem i framtiden.<\/p>\n

\"Problem
\nDetta \u00e4r inte DNS
\nDet kan inte vara att det \u00e4r DNS
\nDet var DNS<\/i>
\n<\/a><\/noindex><\/p>\n

Lite om postmortems och processerna p\u00e5 Preply<\/h2>\n

<\/p>\n

I postmortemet beskrivs ett driftstopp eller n\u00e5got annat evenemang i produktionen. Postmortemet inneh\u00e5ller en tidslinje med h\u00e4ndelser, beskrivning av p\u00e5verkan p\u00e5 anv\u00e4ndaren, grundorsaken, \u00e5tg\u00e4rder och l\u00e4rdomar.<\/p>\n

S\u00f6ker SRE<\/a><\/noindex><\/i><\/p><\/blockquote>\n

\nVid v\u00e5ra veckovisa m\u00f6ten med pizza, i den tekniska teamets krets, delar vi med oss av olika information. En av de viktigaste delarna av s\u00e5dana m\u00f6ten \u00e4r postmortems, som ofta \u00e5tf\u00f6ljs av en presentation med bilder och en djupare analys av den intr\u00e4ffade incidenten. Trots att vi inte \"appl\u00e5derar\" efter postmortems str\u00e4var vi efter att fr\u00e4mja en \"blame-free\"-kultur (blame-free culture<\/a><\/noindex>). Vi tror att skrivandet och presentationen av postmortems kan hj\u00e4lpa oss (och inte bara oss) att f\u00f6rhindra liknande incidenter i framtiden, d\u00e4rf\u00f6r delar vi med oss av dem.<\/p>\n

Personer som varit involverade i incidenten m\u00e5ste k\u00e4nna att de kan ber\u00e4tta om den i detalj utan att frukta bestraffning eller h\u00e4mnd. Ingen bestraffning! Att skriva ett postmortem \u00e4r inte ett straff utan en m\u00f6jlighet till l\u00e4rande f\u00f6r hela f\u00f6retaget.<\/p>\n

Keep CALMS & DevOps: S st\u00e5r f\u00f6r Dela<\/a><\/noindex><\/i><\/p><\/blockquote>\n

<\/p>\n

DNS-problem i Kubernetes. Postmortem<\/h2>\n

\nDatum:<\/b> 28.02.2020<\/p>\n

F\u00f6rfattare:<\/b> Amet U., Andrey S., Igor K., Alexey P.<\/p>\n

Status:<\/b> Avslutat<\/p>\n

Kort sagt:<\/b> Delvis otillg\u00e4nglighet av DNS (26 min) f\u00f6r vissa tj\u00e4nster i Kubernetes-klustret<\/p>\n

P\u00e5verkan:<\/b> 15000 h\u00e4ndelser f\u00f6rlorade f\u00f6r tj\u00e4nsterna A, B och C<\/p>\n

Grundorsak:<\/b> Kube-proxy kunde inte korrekt ta bort den gamla posten fr\u00e5n conntrack-tabellen, d\u00e4rf\u00f6r fortsatte vissa tj\u00e4nster att f\u00f6rs\u00f6ka ansluta till icke-existerande pods<\/p>\n

E0228 20:13:53.795782 1 proxier.go:610] Misslyckades med att ta bort kube-system\/kube-dns:dns slutpunktsanslutningar, fel: fel vid borttagning av conntrack-poster f\u00f6r UDP-peer {100.64.0.10, 100.110.33.231}, fel: conntrack-kommandot returnerade: ...<\/code><\/pre>\n
\nTrigger:<\/b> P\u00e5 grund av l\u00e5g belastning inom Kubernetes-klustret minskade CoreDNS-autoskalan antalet pods i distributionen fr\u00e5n tre till tv\u00e5<\/p>\n
L\u00f6sningen:<\/b> En ny deployment av applikationen initierade skapandet av nya noder, CoreDNS-autoscaler lade till fler pods f\u00f6r att betj\u00e4na klustret, vilket ledde till en \u00f6verskrivning av conntrack-tabellen.<\/p>\n
Uppt\u00e4ckte:<\/b> Prometheus-monitorering uppt\u00e4ckte ett stort antal 5xx-fel f\u00f6r tj\u00e4nsterna A, B och C och initierade ett samtal till jouringenj\u00f6rerna.<\/p>\n
\"Problem
\n5xx-fel i Kibana<\/i><\/p>\n
\u00c5tg\u00e4rder<\/h3>\n
<\/p>\n
f\u00f6r konsolen nu:
\nTyp
\nAnsvarig
\nUppgift<\/p>\n
Inaktivera autoskaleren f\u00f6r CoreDNS
\nf\u00f6rhindra.
\nAmet U.
\nDEVOPS-695<\/p>\n
Installera en cachande DNS-server
\nminska.
\nMax V.
\nDEVOPS-665<\/p>\n
Konfigurera conntrack-monitorering
\nf\u00f6rhindra.
\nAmet U.
\nDEVOPS-674<\/p>\n
<\/p>\n
L\u00e4rdomar<\/h3>\n
\nVad gick bra:<\/b><\/p>\n