Napomena prev.: ovo je prijevod javnog postmortema iz inženjerskog bloga kompanije . U njemu se opisuje problem s conntrack u Kubernetes klasteru, koji je doveo do djelomične nedostupnosti nekih produkcijskih usluga.
Ovaj članak može biti koristan onima koji žele saznati nešto više o postmortemima ili spriječiti neke potencijalne probleme s DNS-om u budućnosti.

To nije DNS
Ne može biti da je to DNS
To je bio DNS
Malo o postmortemima i procesima u Preply
U postmortemu se opisuje kvar u radu ili neki događaj u produkciji. Postmortem uključuje hronologiju događaja, opis uticaja na korisnike, korijenski uzrok, akcije i naučene lekcije.
Na nedjeljnim sastancima uz pizzu, u krugu tehničkog tima, dijelimo razne informacije. Jedan od najvažnijih dijelova takvih sastanaka su postmortemi, koji najčešće dolaze uz prezentaciju sa slajdovima i dubljom analizom nastalog incidenta. Iako ne ‘apludiramo’ nakon postmortema, trudimo se razvijati kulturu 'bez okrivljavanja' (). Vjerujemo da pisanje i predstavljanje postmortema može pomoći nama (i ne samo nama) u sprečavanju sličnih incidenata u budućnosti, upravo zato ih i dijelimo.
Osobe uključene u incident moraju osjećati da mogu detaljno govoriti o njemu, ne bojeći se kazne ili odmazde. Nema optuživanja! Pisanje postmortema nije kazna, već mogućnost učenja za cijelu kompaniju.
Problemi s DNS-om u Kubernetesu. Postmortem
Datum: 28.02.2020
Autori: Amet U., Andrej S., Igor K., Aleksei P.
Status: Završeno
Ukratko: Djelomična nedostupnost DNS-a (26 min) za neke usluge u Kubernetes klasteru
Uticaj: 15000 događaja izgubljeno za usluge A, B i C
Korijenski uzrok: Kube-proxy nije mogao ispravno ukloniti staru stavku iz tabele conntrack, zbog čega su se neke usluge i dalje pokušavale povezati na nepostojeće podove
E0228 20:13:53.795782 1 proxier.go:610] Failed to delete kube-system/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...Okidač: Zbog niskog opterećenja unutar Kubernetes klastera, CoreDNS-autoscaler smanjio je broj podova u deploymentu sa tri na dva
Rešenje: Novo implementiranje aplikacije izazvalo je kreiranje novih čvorova, CoreDNS-autoscaler je dodao više podova za podršku klasteru, što je izazvalo prepisivanje conntrack tabele
Otkrivanje: Prometheus monitoring je otkrio veliki broj 5xx grešaka za servise A, B i C i inicirao poziv za dežurne inženjere

5xx greške u Kibani
Akcije
Akcija
Tip
Odgovorna osoba
Zadatak
Isključiti autoscaler za CoreDNS
spreči.
Amet U.
DEVOPS-695
Postaviti keširajući DNS server
smanji.
Maks V.
DEVOPS-665
Postaviti monitoring conntrack-a
spreči.
Amet U.
DEVOPS-674
Izvučene lekcije
Šta je dobro prošlo:
- Monitoring je radio efikasno. Reakcija je bila brza i organizovana
- Nismo naišli na nikakve limite na čvorovima
Šta nije bilo u redu:
- Još uvek nepoznata stvarna prvobitna uzrok, izgleda kao u conntrack-u
- Sve akcije ispravljaju samo posledice, ne prvobitni uzrok (greška)
- Znali smo da ćemo рано ili kasno imati problema s DNS-om, ali nismo prioritizovali zadatke
Gde smo imali sreće:
- Novo implementiranje je aktiviralo CoreDNS-autoscaler, koji je prepisao conntrack tabelu
- Ovaj bug je zahvatio samo deo servisa
Hronologija (EET)
Vreme
Akcija
22:13
CoreDNS-autoscaler je smanjio broj podova sa tri na dva
22:18
Dežurni inženjeri su počeli dobijati pozive od sistema monitoringa
22:21
Dežurni inženjeri su počeli istraživati uzrok grešaka
22:39
Dežurni inženjeri su počeli vraćati jednu od poslednjih verzija servisa na prethodnu verziju
22:40
5xx greške su prestale da se pojavljuju, situacija se stabilizovala
- Vreme do otkrića: 4 min
- Vreme do preduzimanja akcija: 21 min
- Vreme do ispravke: 1 min
Dodatne informacije
- Logovi CoreDNS:
I0228 20:13:53.507780 1 event.go:221] Event(v1.ObjectReference{Kind:"Deployment", Namespace:"kube-system", Name:"coredns", UID:"2493eb55-3dc0-11ea-b3a2-02bb48f8c230", APIVersion:"apps/v1", ResourceVersion:"132690686", FieldPath:""}): type: 'Normal' reason: 'ScalingReplicaSet' Scaled down replica set coredns-6cbb6646c9 to 2 - Linkovi na Kibanu (izrezano), Grafana (izrezano)
Da bi se minimizirala upotreba CPU-a, Linux kernel koristi nešto što se zove conntrack. Ukratko, to je alat koji sadrži spisak NAT zapisa, koji se čuvaju u posebnoj tabeli. Kada sledeći paket stigne iz istog poda u isti pod kao pre, krajnja IP adresa neće biti izračunata ponovo, već će biti uzeta iz conntrack tabele.

Kako conntrack funkcioniše
Zaključci
Ovo je bio primjer jednog od naših postmrtnih izvještaja s korisnim linkovima. Konkretno u ovom članku dijelimo informacije koje mogu biti korisne drugim kompanijama. Zbog toga se ne bojimo praviti greške i zbog toga smo jedan od naših postmrtnih izvještaja učinili javnim. Evo još nekoliko zanimljivih javnih postmrtnih izvještaja:
- GitLab:
- Dropbox:
- Spotify:
- Mnoge druge iz i repozitorija
- Takođe javnog postmortema sa SRE knjigom
Izvor: habr.com
