{"id":80532,"date":"2020-05-07T01:42:17","date_gmt":"2020-05-06T23:42:17","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem"},"modified":"2020-05-07T01:42:17","modified_gmt":"2020-05-06T23:42:17","slug":"problemy-s-dns-v-kubernetes-publichnyj-postmortem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/pl\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem","title":{"rendered":"Problemy z DNS w Kubernetes. Publiczny postmortem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Przyp. t\u0142um.:<\/b> to jest t\u0142umaczenie publicznego postmortemu z in\u017cynieryjnego bloga firmy Preply<\/a><\/noindex>. Opisuje problem z conntrack w klastrze Kubernetes, kt\u00f3ry spowodowa\u0142 cz\u0119\u015bciowy przest\u00f3j niekt\u00f3rych us\u0142ug produkcyjnych.<\/i><\/p>\n

Ten artyku\u0142 mo\u017ce by\u0107 przydatny dla tych, kt\u00f3rzy chc\u0105 dowiedzie\u0107 si\u0119 nieco wi\u0119cej o postmortemach lub zapobiec potencjalnym problemom z DNS w przysz\u0142o\u015bci.<\/p>\n

\"Problemy
\nTo nie jest DNS
\nNie mo\u017ce to by\u0107 DNS
\nTo by\u0142 DNS<\/i>
\n<\/a><\/noindex><\/p>\n

Kilka s\u0142\u00f3w o postmortemach i procesach w Preply<\/h2>\n

<\/p>\n

Postmortem opisuje awari\u0119 dzia\u0142ania lub jakie\u015b wydarzenie w produkcji. Postmortem zawiera chronologi\u0119 wydarze\u0144, opis wp\u0142ywu na u\u017cytkownika, przyczyn\u0119, dzia\u0142ania i wyci\u0105gni\u0119te wnioski.<\/p>\n

Seeking SRE<\/a><\/noindex><\/i><\/p><\/blockquote>\n

\nNa cotygodniowych spotkaniach z pizz\u0105, w gronie zespo\u0142u technicznego, dzielimy si\u0119 r\u00f3\u017cnymi informacjami. Jedn\u0105 z najwa\u017cniejszych cz\u0119\u015bci takich spotka\u0144 s\u0105 postmortemy, kt\u00f3re najcz\u0119\u015bciej s\u0105 zwi\u0105zane z prezentacj\u0105 slajd\u00f3w i g\u0142\u0119bsz\u0105 analiz\u0105 zaistnia\u0142ego incydentu. Chocia\u017c nie \u201eklaszczemy\u201d po postmortemach, staramy si\u0119 rozwija\u0107 kultur\u0119 \u201ebez winy\u201d (blameless culture<\/a><\/noindex>). Wierzymy, \u017ce pisanie i prezentowanie postmortem\u00f3w mo\u017ce pom\u00f3c nam (i nie tylko) w zapobieganiu podobnym incydentom w przysz\u0142o\u015bci, dlatego dzielimy si\u0119 nimi.<\/p>\n

Osoby zaanga\u017cowane w incydent powinny czu\u0107, \u017ce mog\u0105 szczeg\u00f3\u0142owo o nim opowiedzie\u0107, nie obawiaj\u0105c si\u0119 kary czy odwetu. \u017badnych pot\u0119pie\u0144! Pisanie postmortemu to nie kara, ale mo\u017cliwo\u015b\u0107 nauki dla ca\u0142ej firmy.<\/p>\n

Keep CALMS & DevOps: S stands for Sharing<\/a><\/noindex><\/i><\/p><\/blockquote>\n

<\/p>\n

Problemy z DNS w Kubernetes. Postmortem<\/h2>\n

\nData:<\/b> 28.02.2020<\/p>\n

Autorzy:<\/b> Amet U., Andriej S., Igor K., Aleksiej P.<\/p>\n

Status:<\/b> Zako\u0144czony<\/p>\n

Kr\u00f3tko:<\/b> Cz\u0119\u015bciowa niedost\u0119pno\u015b\u0107 DNS (26 min) dla niekt\u00f3rych us\u0142ug w klastrze Kubernetes<\/p>\n

Wp\u0142yw:<\/b> 15000 zdarze\u0144 utracono dla us\u0142ug A, B i C<\/p>\n

Przyczyna:<\/b> Kube-proxy nie m\u00f3g\u0142 poprawnie usun\u0105\u0107 starego wpisu z tabeli conntrack, dlatego niekt\u00f3re us\u0142ugi wci\u0105\u017c pr\u00f3bowa\u0142y po\u0142\u0105czy\u0107 si\u0119 z nieistniej\u0105cymi podami<\/p>\n

E0228 20:13:53.795782 1 proxier.go:610] Nie uda\u0142o si\u0119 usun\u0105\u0107 kube-system\/kube-dns:dns endpoint connections, b\u0142\u0105d: b\u0142\u0105d podczas usuwania wpis\u00f3w conntrack dla UDP peer {100.64.0.10, 100.110.33.231}, b\u0142\u0105d: polecenie conntrack zwr\u00f3ci\u0142o: ...<\/code><\/pre>\n
\nTrigger:<\/b> Z powodu niskiego obci\u0105\u017cenia w klastrze Kubernetes, CoreDNS-autoscaler zmniejszy\u0142 liczb\u0119 pod\u00f3w w wdro\u017ceniu z trzech do dw\u00f3ch<\/p>\n
Rozwi\u0105zanie:<\/b> Kolejny deploy aplikacji spowodowa\u0142 utworzenie nowych w\u0119z\u0142\u00f3w, a CoreDNS-autoscaler doda\u0142 wi\u0119cej pod\u00f3w do obs\u0142ugi klastra, co spowodowa\u0142o nadpisanie tabeli conntrack.<\/p>\n
Wykrywanie:<\/b> Monitoring Prometheus wykry\u0142 du\u017c\u0105 liczb\u0119 b\u0142\u0119d\u00f3w 5xx dla us\u0142ug A, B i C oraz zainicjowa\u0142 wezwanie do dy\u017curnych in\u017cynier\u00f3w.<\/p>\n
\"Problemy
\nB\u0142\u0119dy 5xx w Kibana<\/i><\/p>\n
Dzia\u0142ania<\/h3>\n
<\/p>\n
Akcja
\nTyp
\nOdpowiedzialny
\nZadanie<\/p>\n
Wy\u0142\u0105cz autoskalera dla CoreDNS
\nzapobierz.
\nAmet U.
\nDEVOPS-695<\/p>\n
Zainstalowa\u0107 serwer DNS z pami\u0119ci\u0105 podr\u0119czn\u0105
\nzmniejsz.
\nMax W.
\nDEVOPS-665<\/p>\n
Skonfigurowa\u0107 monitoring conntrack
\nzapobierz.
\nAmet U.
\nDEVOPS-674<\/p>\n
<\/p>\n
Wyci\u0105gni\u0119te lekcje<\/h3>\n
\nCo posz\u0142o dobrze:<\/b><\/p>\n