Problemi sa DNS-om u Kubernetesu. Javna postmortem analiza

Napomena prev.: ovo je prijevod javnog postmortema iz inženjerskog bloga kompanije Preply. U njemu se opisuje problem s conntrack u Kubernetes klasteru, koji je doveo do djelomične nedostupnosti nekih produkcijskih usluga.

Ovaj članak može biti koristan onima koji žele saznati nešto više o postmortemima ili spriječiti neke potencijalne probleme s DNS-om u budućnosti.

Problemi sa DNS-om u Kubernetesu. Javna postmortem analiza
To nije DNS
Ne može biti da je to DNS
To je bio DNS

Malo o postmortemima i procesima u Preply

U postmortemu se opisuje kvar u radu ili neki događaj u produkciji. Postmortem uključuje hronologiju događaja, opis uticaja na korisnike, korijenski uzrok, akcije i naučene lekcije.

Seeking SRE

Na nedjeljnim sastancima uz pizzu, u krugu tehničkog tima, dijelimo razne informacije. Jedan od najvažnijih dijelova takvih sastanaka su postmortemi, koji najčešće dolaze uz prezentaciju sa slajdovima i dubljom analizom nastalog incidenta. Iako ne ‘apludiramo’ nakon postmortema, trudimo se razvijati kulturu 'bez okrivljavanja' (blameless cluture). Vjerujemo da pisanje i predstavljanje postmortema može pomoći nama (i ne samo nama) u sprečavanju sličnih incidenata u budućnosti, upravo zato ih i dijelimo.

Osobe uključene u incident moraju osjećati da mogu detaljno govoriti o njemu, ne bojeći se kazne ili odmazde. Nema optuživanja! Pisanje postmortema nije kazna, već mogućnost učenja za cijelu kompaniju.

Keep CALMS & DevOps: S je za Dijeljenje

Problemi s DNS-om u Kubernetesu. Postmortem

Datum: 28.02.2020

Autori: Amet U., Andrej S., Igor K., Aleksei P.

Status: Završeno

Ukratko: Djelomična nedostupnost DNS-a (26 min) za neke usluge u Kubernetes klasteru

Uticaj: 15000 događaja izgubljeno za usluge A, B i C

Korijenski uzrok: Kube-proxy nije mogao ispravno ukloniti staru stavku iz tabele conntrack, zbog čega su se neke usluge i dalje pokušavale povezati na nepostojeće podove

E0228 20:13:53.795782       1 proxier.go:610] Failed to delete kube-system/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...

Okidač: Zbog niskog opterećenja unutar Kubernetes klastera, CoreDNS-autoscaler smanjio je broj podova u deploymentu sa tri na dva

Rešenje: Novo implementiranje aplikacije izazvalo je kreiranje novih čvorova, CoreDNS-autoscaler je dodao više podova za podršku klasteru, što je izazvalo prepisivanje conntrack tabele

Otkrivanje: Prometheus monitoring je otkrio veliki broj 5xx grešaka za servise A, B i C i inicirao poziv za dežurne inženjere

Problemi sa DNS-om u Kubernetesu. Javna postmortem analiza
5xx greške u Kibani

Akcije

Akcija
Tip
Odgovorna osoba
Zadatak

Isključiti autoscaler za CoreDNS
spreči.
Amet U.
DEVOPS-695

Postaviti keširajući DNS server
smanji.
Maks V.
DEVOPS-665

Postaviti monitoring conntrack-a
spreči.
Amet U.
DEVOPS-674

Izvučene lekcije

Šta je dobro prošlo:

  • Monitoring je radio efikasno. Reakcija je bila brza i organizovana
  • Nismo naišli na nikakve limite na čvorovima

Šta nije bilo u redu:

  • Još uvek nepoznata stvarna prvobitna uzrok, izgleda kao specifična greška u conntrack-u
  • Sve akcije ispravljaju samo posledice, ne prvobitni uzrok (greška)
  • Znali smo da ćemo рано ili kasno imati problema s DNS-om, ali nismo prioritizovali zadatke

Gde smo imali sreće:

  • Novo implementiranje je aktiviralo CoreDNS-autoscaler, koji je prepisao conntrack tabelu
  • Ovaj bug je zahvatio samo deo servisa

Hronologija (EET)

Vreme
Akcija

22:13
CoreDNS-autoscaler je smanjio broj podova sa tri na dva

22:18
Dežurni inženjeri su počeli dobijati pozive od sistema monitoringa

22:21
Dežurni inženjeri su počeli istraživati uzrok grešaka

22:39
Dežurni inženjeri su počeli vraćati jednu od poslednjih verzija servisa na prethodnu verziju

22:40
5xx greške su prestale da se pojavljuju, situacija se stabilizovala

  • Vreme do otkrića: 4 min
  • Vreme do preduzimanja akcija: 21 min
  • Vreme do ispravke: 1 min

Dodatne informacije

Da bi se minimizirala upotreba CPU-a, Linux kernel koristi nešto što se zove conntrack. Ukratko, to je alat koji sadrži spisak NAT zapisa, koji se čuvaju u posebnoj tabeli. Kada sledeći paket stigne iz istog poda u isti pod kao pre, krajnja IP adresa neće biti izračunata ponovo, već će biti uzeta iz conntrack tabele.
Problemi sa DNS-om u Kubernetesu. Javna postmortem analiza
Kako conntrack funkcioniše

Zaključci

Ovo je bio primjer jednog od naših postmrtnih izvještaja s korisnim linkovima. Konkretno u ovom članku dijelimo informacije koje mogu biti korisne drugim kompanijama. Zbog toga se ne bojimo praviti greške i zbog toga smo jedan od naših postmrtnih izvještaja učinili javnim. Evo još nekoliko zanimljivih javnih postmrtnih izvještaja:

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster