{"id":80532,"date":"2020-05-07T01:42:17","date_gmt":"2020-05-06T23:42:17","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem"},"modified":"2020-05-07T01:42:17","modified_gmt":"2020-05-06T23:42:17","slug":"problemy-s-dns-v-kubernetes-publichnyj-postmortem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/it\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem","title":{"rendered":"Problemi di DNS in Kubernetes. Resoconto pubblico","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Nota del traduttore:<\/b> questo \u00e8 un resoconto pubblico tradotto dal blog tecnico dell'azienda Preply<\/a><\/noindex>. Descrive un problema con conntrack nel cluster Kubernetes, che ha portato a un'interruzione parziale di alcuni servizi in produzione.<\/i><\/p>\n

Questo articolo pu\u00f2 essere utile a chi desidera saperne di pi\u00f9 sui resoconti o prevenire alcuni problemi potenziali con il DNS in futuro.<\/p>\n

\"Problemi
\nNon \u00e8 DNS
\nNon pu\u00f2 essere DNS
\nEra DNS<\/i>
\n<\/a><\/noindex><\/p>\n

Un po' sui resoconti e i processi in Preply<\/h2>\n

<\/p>\n

Il resoconto descrive un guasto o un evento in produzione. Il resoconto include una cronologia degli eventi, una descrizione dell'impatto sugli utenti, la causa principale, le azioni intraprese e le lezioni apprese.<\/p>\n

Seeking SRE<\/a><\/noindex><\/i><\/p><\/blockquote>\n

\nDurante le riunioni settimanali con pizza, nel nostro gruppo tecnico, condividiamo varie informazioni. Una delle parti pi\u00f9 importanti di queste riunioni sono i resoconti, che di solito sono accompagnati da presentazioni con diapositive e un'analisi pi\u00f9 approfondita dell'incidente avvenuto. Anche se non 'applaudiamo' dopo i resoconti, cerchiamo di promuovere una cultura 'senza colpe' (blameless culture<\/a><\/noindex>). Crediamo che la stesura e la presentazione dei resoconti possano aiutarci (e non solo) a prevenire incidenti simili in futuro, ed \u00e8 per questo che li condividiamo.<\/p>\n

Le persone coinvolte nell'incidente devono sentirsi in grado di raccontare tutto nei dettagli, senza temere punizioni o ritorsioni. Niente biasimo! Scrivere un resoconto non \u00e8 una punizione, ma un'opportunit\u00e0 di apprendimento per tutta l'azienda.<\/p>\n

Keep CALMS & DevOps: S is for Sharing<\/a><\/noindex><\/i><\/p><\/blockquote>\n

<\/p>\n

Problemi di DNS in Kubernetes. Resoconto<\/h2>\n

\nData:<\/b> 28.02.2020<\/p>\n

Autori:<\/b> Amet U., Andrei S., Igor K., Aleksei P.<\/p>\n

Stato:<\/b> Completato<\/p>\n

In breve:<\/b> Parziale indisponibilit\u00e0 di DNS (26 min) per alcuni servizi nel cluster Kubernetes<\/p>\n

Impatto:<\/b> 15000 eventi persi per i servizi A, B e C<\/p>\n

Causa principale:<\/b> Kube-proxy non \u00e8 riuscito a rimuovere correttamente la vecchia voce dalla tabella conntrack, quindi alcuni servizi continuavano a tentare di connettersi a pod inesistenti.<\/p>\n

E0228 20:13:53.795782       1 proxier.go:610] Impossibile eliminare le connessioni di endpoint kube-system\/kube-dns:dns, errore: errore durante l'eliminazione delle voci di conntrack per il peer UDP {100.64.0.10, 100.110.33.231}, errore: il comando conntrack ha restituito: ...<\/code><\/pre>\n
\nAttivatore:<\/b> A causa del carico ridotto all'interno del cluster Kubernetes, il CoreDNS-autoscaler ha ridotto il numero di pod nel deployment da tre a due.<\/p>\n
Soluzione:<\/b> Un'altra distribuzione dell'applicazione ha avviato la creazione di nuovi nodi, CoreDNS-autoscaler ha aggiunto pi\u00f9 pod per servire il cluster, il che ha provocato la riscrittura della tabella conntrack<\/p>\n
Rilevamento:<\/b> Il monitoraggio di Prometheus ha rilevato un grande numero di errori 5xx per i servizi A, B e C e ha avviato una chiamata agli ingegneri di turno<\/p>\n
\"Problemi
\nErrori 5xx in Kibana<\/i><\/p>\n
Azioni<\/h3>\n
<\/p>\n
Azione
\nTipo
\nResponsabile
\nCompito<\/p>\n
Disabilita l'autoscaler per CoreDNS
\nprevenire
\nAmet U.
\nDEVOPS-695<\/p>\n
Imposta un server DNS cache
\nridurre
\nMax V.
\nDEVOPS-665<\/p>\n
Configura il monitoraggio conntrack
\nprevenire
\nAmet U.
\nDEVOPS-674<\/p>\n
<\/p>\n
Lezioni apprese<\/h3>\n
\nCosa \u00e8 andato bene:<\/b><\/p>\n