{"id":80532,"date":"2020-05-07T01:42:17","date_gmt":"2020-05-06T23:42:17","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem"},"modified":"2020-05-07T01:42:17","modified_gmt":"2020-05-06T23:42:17","slug":"problemy-s-dns-v-kubernetes-publichnyj-postmortem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/et\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem","title":{"rendered":"DNS-probleemid Kubernetesis. Avalik post-mortem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

M\u00e4rkus:<\/b> see on t\u00f5lge avalikust postmortemist ettev\u00f5tte inseneriblogist Preply<\/a><\/noindex>. Selles kajastatakse probleemi conntrack'iga Kubernetes'i klastris, mis viis osalise seiskumiseni m\u00f5nedes tootmisteenustes.<\/i><\/p>\n

See artikkel v\u00f5ib olla kasulik neile, kes soovivad teada saada rohkem postmortem'ite kohta v\u00f5i ennetada tulevikus potentsiaalseid DNS-probleeme.<\/p>\n

\"DNS-probleemid
\nSee ei ole DNS
\nEi saa olla, et see on DNS
\nSee oli DNS<\/i>
\n<\/a><\/noindex><\/p>\n

Veidi postmortem'itest ja protsessidest Preply's<\/h2>\n

<\/p>\n

Postmortemis kirjeldatakse t\u00f5rget v\u00f5i m\u00f5nda s\u00fcndmust tootmisprotsessis. Postmortem sisaldab s\u00fcndmuste kronoloogiat, kasutaja m\u00f5jutamise kirjeldust, algp\u00f5hjust, rakendatud meetmeid ja saadud \u00f5ppetunde.<\/p>\n

Otsime SRE-d<\/a><\/noindex><\/i><\/p><\/blockquote>\n

\nIgal n\u00e4dalal toimuvatel pizzakohtumistel tehnilise meeskonnaga jagame mitmesugust teavet. \u00dcks selliste kohtumiste olulisemaid osi on postmortem'id, mis on enamasti kaasas esitlustega ja s\u00fcgavamal anal\u00fc\u00fcsil toimunud juhtumist. Kuigi me ei \u201eaplodeeri\u201c postmortem'ite ajal, p\u00fc\u00fcame arendada \u201eilma s\u00fc\u00fcdistusteta\u201c kultuuri (blame'itav kultuur<\/a><\/noindex>). Me usume, et postmorte kirjutamine ja esitlemine v\u00f5ivad aidata meil (ja mitte ainult) sarnaseid intsidendid tulevikus \u00e4ra hoida, just seet\u00f5ttu jagame me neid.<\/p>\n

Intsidenti osalenud isikud peaksid tundma, et nad saavad selle kohta p\u00f5hjalikult r\u00e4\u00e4kida, kartmata karistust v\u00f5i k\u00e4ttemaksu. Pole \u00fchtegi hukkam\u00f5istu! Postmorte kirjutamine ei ole karistus, vaid \u00f5ppimise v\u00f5imalus kogu ettev\u00f5ttele.<\/p>\n

Keep CALMS & DevOps: S on jagamine<\/a><\/noindex><\/i><\/p><\/blockquote>\n

<\/p>\n

DNS-probleemid Kuberneteses. Postmorte<\/h2>\n

\nKuup\u00e4ev:<\/b> 28.02.2020<\/p>\n

Autorid:<\/b> Amet U., Andrei S., Igor K., Aleksei P.<\/p>\n

Olek:<\/b> L\u00f5petatud<\/p>\n

L\u00fchidalt:<\/b> Osaline DNS-\u00fclesolek (26 min) m\u00f5nede teenuste jaoks Kubernetes-klusteris<\/p>\n

M\u00f5ju:<\/b> 15000 s\u00fcndmust kadus teenuste A, B ja C jaoks<\/p>\n

P\u00f5hjus:<\/b> Kube-proxy ei suutnud korralikult eemaldada vana kirjet conntrack tabelist, seega m\u00f5ned teenused proovisid endiselt luua \u00fchendust mitteeksisteerivate podidega<\/p>\n

E0228 20:13:53.795782       1 proxier.go:610] Eba\u00f5nnestus kube-system\/kube-dns:dns l\u00f5pp-punkti \u00fchenduste kustutamine, viga: viga conntracki kirje kustutamisel UDP partnerile {100.64.0.10, 100.110.33.231}, viga: conntracki k\u00e4sk tagastas: ...<\/code><\/pre>\n
\nK\u00e4ivitaja:<\/b> Kuna Kubernetes-klusteris on v\u00e4ike koormus, v\u00e4hendas CoreDNS-autoscaler podide arvu nas kolme kahe peale.<\/p>\n
Lahenduseks on:<\/b> Rakenduse uus juurutamine k\u00e4ivitas uute s\u00f5lmede loomise, CoreDNS-autoscaler lisas klastriteenuse haldamiseks rohkem pod'e, mis p\u00f5hjustas conntracki tabeli \u00fclekirjutamise.<\/p>\n
Avastatud:<\/b> Prometheus j\u00e4lgimine tuvastas suure hulga 5xx vigu teenustes A, B ja C ning k\u00e4ivitas h\u00e4daolukorra teadlikkuse.<\/p>\n
\"DNS-probleemid
\n5xx vead Kibanas<\/i><\/p>\n
Toimingud<\/h3>\n
<\/p>\n
Tegevus
\nT\u00fc\u00fcp
\nVastutav
\n\u00dclesanne<\/p>\n
L\u00fclita CoreDNS-autoskaleerija v\u00e4lja
\nennetamine.
\nAmet U.
\nDEVOPS-695<\/p>\n
Sea sisse vahem\u00e4lus hoiduv DNS-server
\nv\u00e4henda.
\nMax V.
\nDEVOPS-665<\/p>\n
Seadista conntracki j\u00e4lgimine
\nennetamine.
\nAmet U.
\nDEVOPS-674<\/p>\n
<\/p>\n
T\u00f5statatud \u00f5ppetunnid<\/h3>\n
\nMis l\u00e4ks h\u00e4sti:<\/b><\/p>\n