{"id":80532,"date":"2020-05-07T01:42:17","date_gmt":"2020-05-06T23:42:17","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem"},"modified":"2020-05-07T01:42:17","modified_gmt":"2020-05-06T23:42:17","slug":"problemy-s-dns-v-kubernetes-publichnyj-postmortem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/nl\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem","title":{"rendered":"Problemen met DNS in Kubernetes. Publieke postmortem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Opmerking van de vertaler:<\/b> dit is een vertaling van een openbaar post-mortem uit de technische blog van het bedrijf Preply<\/a><\/noindex>. Dit beschrijft een probleem met conntrack in een Kubernetes-cluster, dat leidde tot gedeeltelijke uitval van sommige productie-diensten.<\/i><\/p>\n

Dit artikel kan nuttig zijn voor degenen die meer willen leren over post-mortems of om enkele potenti\u00eble problemen met DNS in de toekomst te voorkomen.<\/p>\n

\"Problemen
\nDit is geen DNS
\nKan niet zijn dat dit DNS is
\nDit was DNS<\/i>
\n<\/a><\/noindex><\/p>\n

Een beetje over post-mortems en processen bij Preply<\/h2>\n

<\/p>\n

In het post-mortem wordt een storing of een gebeurtenis in de productie beschreven. Het post-mortem bevat een chronologie van gebeurtenissen, de impact op de gebruiker, de onderliggende oorzaak, acties en geleerde lessen.<\/p>\n

Seeking SRE<\/a><\/noindex><\/i><\/p><\/blockquote>\n

\nBij wekelijkse vergaderingen met pizza, in de kring van het technische team, delen we verschillende informatie. Een van de belangrijkste onderdelen van deze vergaderingen zijn de post-mortems, die meestal worden begeleid door een presentatie met dia's en een diepere analyse van het voorval. Ondanks dat we na post-mortems niet 'klappen', streven we ernaar een cultuur van 'zonder verwijten' te bevorderen (blameless culture<\/a><\/noindex>). We geloven dat het schrijven en presenteren van post-mortems ons (en anderen) kan helpen om soortgelijke voorvallen in de toekomst te voorkomen, daarom delen we ze.<\/p>\n

Mensen die betrokken zijn bij het voorval moeten het gevoel hebben dat ze het in detail kunnen vertellen, zonder angst voor straf of wraak. Geen veroordeling! Het schrijven van een post-mortem is geen straf, maar een leermogelijkheid voor het hele bedrijf.<\/p>\n

Keep CALMS & DevOps: S is voor Delen<\/a><\/noindex><\/i><\/p><\/blockquote>\n

<\/p>\n

Problemen met DNS in Kubernetes. Post-mortem<\/h2>\n

\nDatum:<\/b> 28.02.2020<\/p>\n

Authors:<\/b> Amet U., Andrei S., Igor K., Alexey P.<\/p>\n

Status:<\/b> Afgerond<\/p>\n

Kort samengevat:<\/b> Gedeeltelijke onbeschikbaarheid van DNS (26 min) voor sommige diensten in het Kubernetes-cluster<\/p>\n

Impact:<\/b> 15000 gebeurtenissen verloren voor de diensten A, B en C<\/p>\n

Onderliggende oorzaak:<\/b> Kube-proxy kon het oude record niet correct verwijderen uit de conntrack-tabel, waardoor sommige diensten nog steeds probeerden verbinding te maken met niet-bestaande pods<\/p>\n

E0228 20:13:53.795782       1 proxier.go:610] Failed to delete kube-system\/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...<\/code><\/pre>\n
\nTrigger:<\/b> Vanwege de lage belasting binnen het Kubernetes-cluster, heeft de CoreDNS-autoscaler het aantal pods in de deployment verminderd van drie naar twee<\/p>\n
Oplossing:<\/b> Een nieuwe implementatie van de applicatie heeft de creatie van nieuwe nodes ge\u00efnitieerd, de CoreDNS-autoscaler heeft meer pods toegevoegd voor clusterondersteuning, wat de herschrijving van de conntrack-tabel heeft veroorzaakt.<\/p>\n
Detectie:<\/b> Prometheus-monitoring heeft een groot aantal 5xx-fouten voor de services A, B en C gedetecteerd en heeft een oproep gedaan naar de dienstdoende ingenieurs.<\/p>\n
\"Problemen
\n5xx-fouten in Kibana<\/i><\/p>\n
Acties<\/h3>\n
<\/p>\n
Actie
\nType
\nVerantwoordelijke
\nTask<\/p>\n
Autoskaler uitschakelen voor CoreDNS
\nvoorkom.
\nAmet U.
\nDEVOPS-695<\/p>\n
Cache DNS-server instellen
\nvermind.
\nMax V.
\nDEVOPS-665<\/p>\n
Conntrack-monitoring instellen
\nvoorkom.
\nAmet U.
\nDEVOPS-674<\/p>\n
<\/p>\n
Lessons learned<\/h3>\n
\nWat goed ging:<\/b><\/p>\n