ProHoster > Π‘Π»ΠΎΠ³ > administratio > Problemata cum DNS in Kubernetes. Publica postmortem

Problemata cum DNS in Kubernetes. Publica postmortem

Nota translatio: Haec est translatio publici postmortem e societatis machinalis diarii preply. Difficultas cum conntrack describit in botro Kubernetes, quod ad tempus alicuius productionis muneris partialis ducitur.

Articulus hic utilis esse potest iis qui paulo plus discere volunt de postmortems vel aliquas difficultates potentiales DNS in futuro impedire.

Problemata cum DNS in Kubernetes. Publica postmortem
Hoc non est DNS
Non potest esse DNS
Fuit DNS

Paulo de postmortibus et processibus in Preply

Postmortem describit malfunction vel aliquem eventum in productione. Postmortem includit tempus eventuum, impulsum usoris, causam radicem, actiones captas et lectiones didicit.

quaerens SRE

In hebdomadibus colloquiis cum pizza, inter technicas turmas varias informationes communicamus. Una ex praecipuis talium conventuum partibus est post-mortems, quae frequentius cum labitur praesentatione et profundiore analysi incidentis comitatur. Etsi post mortem post mortem non plaudimus, culturam "nullae culpae" evolvere conamur (sine cultura). Credimus scribere et praesentare postmortems nos adiuvare posse (et alii) similia incidentia in futuro impedire, quam ob rem eas communicamus.

Singuli, qui in casu obveniunt, se singillatim loqui posse sine metu poenae vel poenae sentiant. Nulla culpa! Scribens postmortem non poena, sed occasionem discendi cum universo comitatu.

Tacebitis & DevOps: S est ad Socius

Problemata cum DNS in Kubernetes. Postmortem

date: 28.02.2020

auctores: Amet U., Andrey S., Igor K., Alexey P.

Status: perfectus

breviter: DNS partialis unavailability (26 min) aliquot officia in botro Kubernetes

Influence: 15000 certe amissa pro officiis A, B et C

Radix causae est; Kube-procuratorium vetus ingressum e mensa contracta recte removere non potuit, ideo quaedam officia cum siliquis non existentibus coniungere conabantur.

E0228 20:13:53.795782       1 proxier.go:610] Failed to delete kube-system/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...

Felis: Ob pondus grave intra botrum Kubernetes, CoreDNS-autoscaler numerum siliquae in instructione a tribus ad duo redegit.

solution: Proxima applicationis instruere novas nodi creandas initiavit, CoreDNS-autoscaler plus leguminis ad serviendum botri addidit, qui ad rescribe mensae machinae provocavit.

Deprehensio: Prometheus magna vigilantia deprehendit numerum 5xx errorum ob operas A, B, C vocatio ad officium fabrum initiavit.

Problemata cum DNS in Kubernetes. Publica postmortem
5xx errores in Kibana

actus

modum
genus
Responsible
negotium

Inactivare autoscaler ad CoreDNS
prohibitus
Amet u.
DEVOPS-695

Vesci caching erigat servo
diminutio
Maximilianus VV.
DEVOPS-665

Eriges magna conntrack
prohibitus
Amet u.
DEVOPS-674

Lectiones didicit

Quid opera bona;

  • Magna opera bene. Responsum est ieiunium et dispositum est
  • Limites nodos non attingebamus

Quod erat malum;

  • Causa vera radicis adhuc ignota, similis est propria bug in contrack
  • Omnes actiones tantum consequentia corrigunt, non radix causa (bug)
  • Scimus citius vel serius problemata cum DNS habere posse, sed munera non prioritizare

unde nos felix obtinuit;

  • Proxima institutio CoreDNS-autoscaler Urguet, quae mensam conntrackam inscripsit.
  • Hoc cimex affectus tantum aliqua officia

Timeline (EET)

tempus
modum

22:13
CoreDNS-autoscaler numerum siliquae a tribus ad duo redegit

22:18
Machinatores ad officium vocare coeperunt ex vigilantia systema

22:21
Errorum causam fabrum in statione cognoscere coeperunt.

22:39
Machinatores ad officium unum ex recentissimis officiis ad priorem versionem revolvere coeperunt

22:40
5xx errores apparere desierunt, condicio stabilita est

  • Tempus deprehendendi: 4 minutes
  • Tempus ante actum: 21 minutes
  • Tempus figere: 1 minutes

additional Information

Ad usum CPU extenuandum, nucleus Linux utitur aliquo nomine conntrack. In summa, haec utilitas est quae indicem rerum NAT monumentorum continet in peculiari tabula repositae. Cum altera fasciculus ex eodem vasculo ad idem vasculum quod prius pervenerit, finalis IP oratio non calculanda, sed e mensa contracta capietur.
Problemata cum DNS in Kubernetes. Publica postmortem
Quomodo conntrack opera

results

Hoc exemplum fuit unius e nostris postmortems cum utili nexu. Speciatim in hoc articulo informationes communicamus quae aliis societatibus usui esse possunt. Quam ob rem errare non timemus et ideo unum nostrum postmortems publicum facimus. Hic quidam plus interesting publici postmortems sunt:

Source: www.habr.com