ProHoster > Блог > Nchịkwa > Nsogbu na DNS na Kubernetes. Ọha ọnwụ ọnwụ

Nsogbu na DNS na Kubernetes. Ọha ọnwụ ọnwụ

Rịba ama. ntụgharị asụsụ: Nke a bụ ntụgharị asụsụ nke postmortem ọha sitere na blọọgụ injinịa ụlọ ọrụ Kpamkpam. Ọ na-akọwa nsogbu na conntrack na Kubernetes ụyọkọ, nke butere na obere oge ọdịda nke ụfọdụ ọrụ mmepụta.

Edemede a nwere ike ịba uru maka ndị chọrọ ịmụta ntakịrị banyere ọnwụ ọnwụ ma ọ bụ gbochie ụfọdụ nsogbu DNS nwere ike ime n'ọdịnihu.

Nsogbu na DNS na Kubernetes. Ọha ọnwụ ọnwụ
Nke a abụghị DNS
Ọ pụghị ịbụ DNS
Ọ bụ DNS

Obere gbasara ọnwụ ọnwụ na usoro na Preply

Postmortem na-akọwa adịghị arụ ọrụ ma ọ bụ ụfọdụ ihe omume na mmepụta. Oge nwuru anwu gụnyere usoro iheomume nke mmemme, mmetụta onye ọrụ, ihe kpatara ya, omume emere na nkuzi ndị amụtara.

Na-achọ SRE

Na nzukọ kwa izu na pizza, n'etiti ndị ọrụ nka, anyị na-ekerịta ozi dị iche iche. Otu n'ime akụkụ kachasị mkpa nke nzukọ ndị dị otú ahụ bụ post-mortems, nke a na-ejikọta ya na ihe ngosi na slides na nyocha miri emi nke ihe merenụ. Ọ bụ ezie na anyị anaghị akụ aka mgbe a nwụsịrị, anyị na-agbalị ịzụlite omenala nke "enweghị ụta" (omenala na-enweghị ntụpọ). Anyị kwenyere na ide na igosipụta ọnwụ ọnwụ nwere ike inyere anyị aka (na ndị ọzọ) igbochi ụdị ihe ahụ n'ọdịnihu, nke mere anyị ji kesaa ha.

Ndị mmadụ mere ihe merenụ kwesịrị iche na ha nwere ike ikwu n'ụzọ zuru ezu n'atụghị egwu ntaramahụhụ ma ọ bụ nkwụghachi ụgwọ. Enweghị ụta! Ide postmortem abụghị ntaramahụhụ, mana ohere mmụta maka ụlọ ọrụ niile.

Debe CALMS & DevOps: S bụ maka ikekọrịta

Nsogbu na DNS na Kubernetes. Postmortem

Datebọchị: 28.02.2020

Ndị dere: Amet U., Andrey S., Igor K., Alexey P.

Ọnọdụ: Emechaala

Ntu nkenke: Enweghị akụkụ DNS (nkeji 26) maka ụfọdụ ọrụ na ụyọkọ Kubernetes

Mmetụta: Ihe omume 15000 furu efu maka ọrụ A, B na C

Mgbọrọgwụ: Kube-proxy enweghị ike iwepu ntinye ochie na tebụl conntrack, yabụ ụfọdụ ọrụ ka na-agbalị ijikọ na pọd ndị na-adịghị adị.

E0228 20:13:53.795782       1 proxier.go:610] Failed to delete kube-system/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...

Mkpali: N'ihi obere ibu dị n'ime ụyọkọ Kubernetes, CoreDNS-autoscaler belatara ọnụ ọgụgụ pọd na ntinye ahụ site na atọ ruo abụọ.

ngwọta: Nbugharị ngwa na-esote malitere imepụta ọnụ ọhụrụ, CoreDNS-autoscaler gbakwunyere pọd ndị ọzọ iji jeere ụyọkọ ahụ ozi, nke kpasuru iweghachite tebụl conntrack.

Nchọpụta: Nleba anya Prometheus achọpụtala ọtụtụ njehie 5xx maka ọrụ A, B na C wee malite ịkpọ ndị injinia nọ n'ọrụ.

Nsogbu na DNS na Kubernetes. Ọha ọnwụ ọnwụ
5xx mperi na Kibana

Omume

mmetụta
Ụdị
Na-akwụ ụgwọ
Ebumnuche

Gbanyụọ autoscaler maka CoreDNS
gbochiri
Amet U.
Mkpokọta-695

Hazie sava DNS na-echekwa caching
ibelata
Max V.
Mkpokọta-665

Hazie nleba anya contrack
gbochiri
Amet U.
Mkpokọta-674

Ihe mmụta ndị a mụtara

Ihe gara nke ọma:

  • Nleba anya na-arụ ọrụ nke ọma. Azịza ya bụ ngwa ngwa na nhazi
  • Anyị enwetaghị oke ọ bụla na ọnụ

Kedu ihe adịghị mma:

  • Ka amabeghị ezigbo ihe kpatara ya, yiri ya ahụhụ kpọmkwem na nkwekọrịta
  • Omume niile na-edozi naanị ihe ga-esi na ya pụta, ọ bụghị ihe kpatara ya ( ahụhụ)
  • Anyị maara na n'oge na-adịghị, anyị nwere ike inwe nsogbu na DNS, mana anyị ebuteghị ọrụ ndị ahụ ụzọ

Ebe anyị nwetara chioma:

  • CoreDNS-autoscaler kpalitere mbugharị na-esote, bụ nke mechiri tebụl conntrack.
  • Njehie a metụtara naanị ụfọdụ ọrụ

Usoro iheomume (EET)

Время
mmetụta

22:13
CoreDNS-autoscaler belatara ọnụ ọgụgụ pọd site na atọ ruo abụọ

22:18
Ndị injinia nọ n'ọrụ malitere ịnata oku sitere na sistemụ nleba anya

22:21
Ndị injinia nọ n'ọrụ malitere ịchọpụta ihe kpatara mmejọ ndị ahụ.

22:39
Ndị injinia nọ n'ọrụ bidoro ịtụgharị otu n'ime ọrụ kachasị ọhụrụ na ụdị gara aga

22:40
Njehie 5xx kwụsịrị ịpụta, ọnọdụ ahụ kwụsiri ike

  • Oge nchọpụta: 4 min
  • Oge tupu ime ihe: 21 min
  • Oge idozi: 1 min

na ozi ndị ọzọ

Iji wedata ojiji CPU, kernel Linux na-eji ihe akpọrọ conntrack. Na nkenke, nke a bụ akụrụngwa nwere ndepụta ndekọ NAT nke echekwara na tebụl pụrụ iche. Mgbe ngwugwu na-esote si n'otu pọd gaa n'otu pọd ahụ dị ka ọ dị na mbụ, a gaghị atụgharị adreesị IP ikpeazụ, mana a ga-ewepụ ya na tebụl conntrack.
Nsogbu na DNS na Kubernetes. Ọha ọnwụ ọnwụ
Kedu ka nkwekọrịta si arụ ọrụ

Nsonaazụ

Nke a bụ ọmụmaatụ nke otu n'ime ozu anyị nwere ụfọdụ njikọ bara uru. Kpọmkwem n'isiokwu a, anyị na-ekerịta ozi nwere ike ịba uru nye ụlọ ọrụ ndị ọzọ. Ọ bụ ya mere na anyị anaghị atụ egwu imejọ ihe na ya mere anyị ji eme ka otu n'ime anyị post ozu ọha. Nke a bụ ụfọdụ ọnwụ ọha na-atọ ụtọ karịa:

isi: www.habr.com

Tinye a comment