{"id":80532,"date":"2020-05-07T01:42:17","date_gmt":"2020-05-06T23:42:17","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem"},"modified":"2020-05-07T01:42:17","modified_gmt":"2020-05-06T23:42:17","slug":"problemy-s-dns-v-kubernetes-publichnyj-postmortem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pt\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem","title":{"rendered":"Problemas de DNS no Kubernetes. Post mortem p\u00fablico","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Nota de tradu\u00e7\u00e3o:<\/b> este \u00e9 um tradu\u00e7\u00e3o do post mortem p\u00fablico do blog de engenharia da empresa Preply<\/a><\/noindex>. Nele, descreve-se o problema com o conntrack no cluster Kubernetes, que levou a uma interrup\u00e7\u00e3o parcial de alguns servi\u00e7os em produ\u00e7\u00e3o.<\/i><\/p>\n

Este artigo pode ser \u00fatil para quem deseja saber um pouco mais sobre post mortems ou prevenir alguns problemas potenciais com DNS no futuro.<\/p>\n

\"Problemas
\nN\u00e3o \u00e9 DNS
\nN\u00e3o pode ser que seja DNS
\nEra DNS<\/i>
\n<\/a><\/noindex><\/p>\n

Um pouco sobre post mortems e processos na Preply<\/h2>\n

<\/p>\n

No post mortem, descreve-se uma falha de opera\u00e7\u00e3o ou qualquer evento em produ\u00e7\u00e3o. O post mortem inclui uma cronologia de eventos, descri\u00e7\u00e3o do impacto no usu\u00e1rio, causa raiz, a\u00e7\u00f5es e li\u00e7\u00f5es aprendidas.<\/p>\n

Seeking SRE<\/a><\/noindex><\/i><\/p><\/blockquote>\n

\nNas reuni\u00f5es semanais com pizza, em um c\u00edrculo de equipe t\u00e9cnica, compartilhamos diversas informa\u00e7\u00f5es. Uma das partes mais importantes dessas reuni\u00f5es s\u00e3o os post mortems, que geralmente s\u00e3o acompanhados de apresenta\u00e7\u00f5es em slides e uma an\u00e1lise mais profunda do incidente ocorrido. Apesar de n\u00e3o 'aplaudirmos' ap\u00f3s os post mortems, nos esfor\u00e7amos para promover uma cultura de 'sem culpa' (blameless culture<\/a><\/noindex>). Acreditamos que escrever e apresentar post mortems pode nos ajudar (e n\u00e3o s\u00f3) a prevenir incidentes semelhantes no futuro, \u00e9 por isso que os compartilhamos.<\/p>\n

As pessoas envolvidas no incidente devem sentir que podem falar sobre ele em detalhes, sem medo de puni\u00e7\u00e3o ou retalia\u00e7\u00e3o. Nada de reprova\u00e7\u00e3o! A escrita do post mortem n\u00e3o \u00e9 uma puni\u00e7\u00e3o, mas uma oportunidade de aprendizado para toda a empresa.<\/p>\n

Keep CALMS & DevOps: S \u00e9 para Compartilhamento<\/a><\/noindex><\/i><\/p><\/blockquote>\n

<\/p>\n

Problemas de DNS no Kubernetes. Post mortem<\/h2>\n

\nData:<\/b> 28.02.2020<\/p>\n

Autores:<\/b> Amet U., Andrei S., Igor K., Alexey P.<\/p>\n

Status:<\/b> Conclu\u00eddo<\/p>\n

Resumindo:<\/b> Indisponibilidade parcial do DNS (26 min) para alguns servi\u00e7os no cluster Kubernetes<\/p>\n

Impacto:<\/b> 15000 eventos perdidos para os servi\u00e7os A, B e C<\/p>\n

Causa raiz:<\/b> O Kube-proxy n\u00e3o conseguiu remover corretamente a antiga entrada da tabela conntrack, portanto, alguns servi\u00e7os ainda tentaram se conectar a pods inexistentes<\/p>\n

E0228 20:13:53.795782       1 proxier.go:610] Falha ao excluir kube-system\/kube-dns:dns endpoint connections, erro: erro ao excluir as entradas do conntrack para o par UDP {100.64.0.10, 100.110.33.231}, erro: comando do conntrack retornou: ...<\/code><\/pre>\n
\nGatilho:<\/b> Devido \u00e0 baixa carga dentro do cluster Kubernetes, o CoreDNS-autoscaler reduziu o n\u00famero de pods no deployment de tr\u00eas para dois<\/p>\n
Solu\u00e7\u00e3o:<\/b> Um novo deploy da aplica\u00e7\u00e3o iniciou a cria\u00e7\u00e3o de novos n\u00f3s, o CoreDNS-autoscaler adicionou mais pods para atender ao cluster, o que provocou a reescrita da tabela conntrack<\/p>\n
Detec\u00e7\u00e3o:<\/b> A monitora\u00e7\u00e3o do Prometheus detectou um grande n\u00famero de erros 5xx para os servi\u00e7os A, B e C e acionou uma chamada para os engenheiros de plant\u00e3o<\/p>\n
\"Problemas
\nErros 5xx no Kibana<\/i><\/p>\n
A\u00e7\u00f5es<\/h3>\n
<\/p>\n
A\u00e7\u00e3o
\nTipo
\nRespons\u00e1vel
\nTarefa<\/p>\n
Desativar autoscaler para CoreDNS
\nprev.
\nAmet U.
\nDEVOPS-695<\/p>\n
Configurar servidor DNS cache
\nreduz.
\nMax V.
\nDEVOPS-665<\/p>\n
Configurar monitora\u00e7\u00e3o conntrack
\nprev.
\nAmet U.
\nDEVOPS-674<\/p>\n
<\/p>\n
Li\u00e7\u00f5es aprendidas<\/h3>\n
\nO que correu bem:<\/b><\/p>\n