{"id":80532,"date":"2020-05-07T01:42:17","date_gmt":"2020-05-06T23:42:17","guid":{"rendered":"https:\/\/prohoster.info\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem"},"modified":"2020-05-07T01:42:17","modified_gmt":"2020-05-06T23:42:17","slug":"problemy-s-dns-v-kubernetes-publichnyj-postmortem","status":"publish","type":"post","link":"https:\/\/prohoster.info\/hr\/blog\/administrirovanie\/problemy-s-dns-v-kubernetes-publichnyj-postmortem","title":{"rendered":"Problemi s DNS-om u Kubernetesu. Javna postmortem","gt_translate_keys":[{"key":"rendered","format":"text"}]},"content":{"rendered":"

Napomena prevoda:<\/b> ovo je prijevod javnog postmortema iz in\u017eenjerskog bloga kompanije Preply<\/a><\/noindex>. U njemu se opisuje problem s conntrack u Kubernetes klasteru, koji je doveo do privremenog zastoja nekih produkcijskih usluga.<\/i><\/p>\n

Ovaj \u010dlanak mo\u017ee biti koristan onima koji \u017eele saznati malo vi\u0161e o postmortemima ili sprije\u010diti neke potencijalne probleme s DNS-om u budu\u0107nosti.<\/p>\n

\"Problemi
\nTo nije DNS
\nNe mo\u017ee biti da je to DNS
\nTo je bio DNS<\/i>
\n<\/a><\/noindex><\/p>\n

Malo o postmortemima i procesima u Preply<\/h2>\n

<\/p>\n

U postmortemu se opisuje kvar u radu ili neki doga\u0111aj u produkciji. Postmortem uklju\u010duje kronologiju doga\u0111aja, opis utjecaja na korisnike, osnovni uzrok, akcije i nau\u010dene lekcije.<\/p>\n

Seeking SRE<\/a><\/noindex><\/i><\/p><\/blockquote>\n

\nNa tjednim sastancima uz pizzu, u krugu tehni\u010dkog tima, dijelimo razne informacije. Jedan od najva\u017enijih dijelova takvih sastanaka su postmortemi, koji naj\u010de\u0161\u0107e dolaze s prezentacijom i dubljom analizom doga\u0111aja. Iako ne \u201eapludiramo\u201c nakon postmortema, nastojimo razviti kulturu \u201ebez optu\u017eivanja\u201c (blameless culture<\/a><\/noindex>). Vjerujemo da pisanje i predstavljanje postmortema mo\u017ee pomo\u0107i nama (i ne samo nama) u sprje\u010davanju sli\u010dnih incidenata u budu\u0107nosti, zato ih i dijelimo.<\/p>\n

Osobe uklju\u010dene u incident trebaju osje\u0107ati da mogu detaljno ispri\u010dati o njemu, ne boje\u0107i se kazne ili odmazde. Nema osu\u0111ivanja! Pisanje postmortema nije kazna, nego prilika za u\u010denje za cijelu kompaniju.<\/p>\n

Keep CALMS & DevOps: S is for Sharing<\/a><\/noindex><\/i><\/p><\/blockquote>\n

<\/p>\n

Problemi s DNS-om u Kubernetesu. Postmortem<\/h2>\n

\nDatum:<\/b> 28.02.2020<\/p>\n

Autori:<\/b> Amet U., Andrija S., Igor K., Aleksej P.<\/p>\n

Status:<\/b> Zavr\u0161eno<\/p>\n

Ukratko:<\/b> Djelomi\u010dna nedostupnost DNS-a (26 min) za neke usluge u Kubernetes klasteru<\/p>\n

Utjecaj:<\/b> 15000 doga\u0111aja izgubljeno za usluge A, B i C<\/p>\n

Osnovni uzrok:<\/b> Kube-proxy nije mogao ispravno ukloniti staru stavku iz conntrack tablice, pa su se neke usluge jo\u0161 uvijek poku\u0161avale spojiti na nepostoje\u0107e podove<\/p>\n

E0228 20:13:53.795782       1 proxier.go:610] Failed to delete kube-system\/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...<\/code><\/pre>\n
\nOkida\u010d:<\/b> Zbog niskog optere\u0107enja unutar Kubernetes klastera, CoreDNS-autoscaler smanjio je broj podova u deploymentu s tri na dva<\/p>\n
Re\u0161enje:<\/b> Novi deployment aplikacije pokrenuo je stvaranje novih nodova, CoreDNS-autoscaler je dodao vi\u0161e podova za uslu\u017eivanje klastera, \u0161to je izazvalo ponovno zapisivanje conntrack tablice<\/p>\n
Otkrivanje:<\/b> Prometheus monitoring je otkrio veliki broj 5xx gre\u0161aka za usluge A, B i C i pokrenuo poziv on-call in\u017eenjerima<\/p>\n
\"Problemi
\n5xx gre\u0161ke u Kibani<\/i><\/p>\n
Radnje<\/h3>\n
<\/p>\n
Akcija
\nTip
\nOdgovorna osoba
\nZadatak<\/p>\n
Isklju\u010diti autoskaliranje za CoreDNS
\nsprije\u010diti
\nAmet U.
\nDEVOPS-695<\/p>\n
Postaviti ke\u0161iraju\u0107i DNS poslu\u017eitelj
\nsmanjiti
\nMax V.
\nDEVOPS-665<\/p>\n
Konfigurirati monitoring conntracka
\nsprije\u010diti
\nAmet U.
\nDEVOPS-674<\/p>\n
<\/p>\n
Izvu\u010dene lekcije<\/h3>\n
\n\u0160to je bilo dobro:<\/b><\/p>\n