{"id":80532,"date":"2020-05-07T01:42:17","date_gmt":"2020-05-06T23:42:17","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem"},"modified":"2020-05-07T01:42:17","modified_gmt":"2020-05-06T23:42:17","slug":"problemy-s-dns-v-kubernetes-publichnyj-postmortem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/sl\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem","title":{"rendered":"Te\u017eave z DNS v Kubernetesu. Javni postmortem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Prim. prev.:<\/b> to je prevod javnog postmortema iz in\u017eenjerskog bloga tvrtke Preply<\/a><\/noindex>. U njemu se opisuje problem s conntrackom u Kubernetes klasteru koji je doveo do povremenog zastoja nekih produkcijskih servisa.<\/i><\/p>\n

Ovaj \u010dlanak mo\u017ee biti koristan onima koji \u017eele saznati ne\u0161to vi\u0161e o postmortemima ili sprije\u010diti neke potencijalne probleme s DNS-om u budu\u0107nosti.<\/p>\n

\"Te\u017eave
\nTo nije DNS
\nNe mo\u017ee biti da je to DNS
\nTo je bio DNS<\/i>
\n<\/a><\/noindex><\/p>\n

Malo o postmortemima i procesima u Preply<\/h2>\n

<\/p>\n

U postmortemu se opisuje kvar u radu ili neki doga\u0111aj u produkciji. Postmortem uklju\u010duje hronologiju doga\u0111aja, opis utjecaja na korisnika, uzrok, akcije i nau\u010dene lekcije.<\/p>\n

Seeking SRE<\/a><\/noindex><\/i><\/p><\/blockquote>\n

\nNa na\u0161im tjednim sastancima s pizzom, u krugu tehni\u010dkog tima, dijelimo razne informacije. Jedan od najva\u017enijih dijelova takvih sastanaka su postmortemi, koji obi\u010dno dolaze s prezentacijom sa slajdovima i dubljom analizom do\u017eivljenog incidenta. Iako ne 'plje\u0161\u0107emo' nakon postmortema, trudimo se razvijati kulturu 'bez prebacivanja' (blameless culture<\/a><\/noindex>). Vjerujemo da pisanje i predstavljanje postmortema mo\u017ee pomo\u0107i nama (i ne samo nama) da sprije\u010dimo sli\u010dne incidente u budu\u0107nosti, upravo zato ih i dijelimo.<\/p>\n

Osobe uklju\u010dene u incident trebaju osjetiti da mogu detaljno ispri\u010dati o tome, bez straha od kazne ili odmazde. Nema nikakvog prekoravanja! Pisanje postmortema nije kazna, ve\u0107 mogu\u0107nost u\u010denja za cijelu tvrtku.<\/p>\n

Keep CALMS & DevOps: S is for Sharing<\/a><\/noindex><\/i><\/p><\/blockquote>\n

<\/p>\n

Problemi s DNS-om u Kubernetesu. Postmortem<\/h2>\n

\nDatum:<\/b> 28.02.2020<\/p>\n

Avtorji:<\/b> Amet U., Andrey S., Igor K., Alexey P.<\/p>\n

Status:<\/b> Zavr\u0161eno<\/p>\n

Kratko:<\/b> Djelomi\u010dna nedostupnost DNS-a (26 min) za neke servise u Kubernetes klasteru<\/p>\n

Utjecaj:<\/b> 15000 doga\u0111aja izgubljeno za servise A, B i C<\/p>\n

Uzrok:<\/b> Kube-proxy nije mogao ispravno ukloniti staru stavku iz conntrack tablice, tako da su neki servisi i dalje poku\u0161avali povezati se s nepostoje\u0107im podovima<\/p>\n

E0228 20:13:53.795782       1 proxier.go:610] Failed to delete kube-system\/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...<\/code><\/pre>\n
\nOkida\u010d:<\/b> Zbog niske optere\u0107enosti unutar Kubernetes klastera, CoreDNS-autoscaler smanjio je broj podova u dispeju s tri na dva<\/p>\n
Re\u0161enje:<\/b> Novi deploy aplikacije je pokrenuo kreiranje novih nodova, CoreDNS-autoscaler je dodao vi\u0161e podova za odr\u017eavanje klastera, \u0161to je izazvalo prepisivanje conntrack tabele.<\/p>\n
Otkriveno:<\/b> Prometheus monitoring je otkrio veliki broj 5xx gre\u0161aka za servise A, B i C i pokrenuo poziv de\u017eurnim in\u017eenjerima.<\/p>\n
\"Te\u017eave
\n5xx gre\u0161ke u Kibani<\/i><\/p>\n
Akcije<\/h3>\n
<\/p>\n
Akcija
\nTip
\nOdgovorna osoba
\nNaloga<\/p>\n
Isklju\u010diti autoskaler za CoreDNS
\nspre\u010diti.
\nAmet U.
\nDEVOPS-695<\/p>\n
Postaviti ke\u0161iraju\u0107i DNS-server
\nsmanjiti.
\nMaks V.
\nDEVOPS-665<\/p>\n
Podesiti monitoring conntrack-a
\nspre\u010diti.
\nAmet U.
\nDEVOPS-674<\/p>\n
<\/p>\n
Izvu\u010dene lekcije<\/h3>\n
\n\u0160ta je bilo dobro:<\/b><\/p>\n