Manatua. fa'aliliuga: Ole fa'aliliuga lea ole fa'asalalauga fa'alaua'itele mai le blog inisinia a le kamupani . O loʻo faʻamatalaina ai se faʻafitauli i le fesoʻotaʻiga i totonu o le Kubernetes cluster, lea na mafua ai ona faʻaitiitia le taimi o nisi auaunaga gaosiga.
Atonu e aoga lenei tusiga mo i latou e fia aʻoaʻo sina mea itiiti e uiga i postmortems pe puipuia nisi faʻafitauli DNS i le lumanaʻi.
E le o le DNS lea
E le mafai ona avea ma DNS
O le DNS
O sina mea itiiti e uiga i postmortems ma faiga ile Preply
O le postmortem e faamatalaina ai se faaletonu po o se mea na tupu i le gaosiga. O le postmortem e aofia ai se fa'asologa o taimi o mea na tutupu, aafiaga o tagata fa'aoga, a'a mafua'aga, gaioiga na faia, ma lesona na a'oa'oina.
I fonotaga faalevaiaso ma pizza, i totonu o le au faʻapitoa, matou te faʻasoa faʻamatalaga eseese. O se tasi o vaega pito sili ona taua o ia fonotaga o le siakiina o maliu, lea e masani ona faʻatasi ma se faʻaaliga faʻatasi ma faʻataʻitaʻiga ma se suʻesuʻega loloto o le mea na tupu. E ui lava ina matou le patipati pe a maeʻa suʻesuʻega, matou te taumafai e atiaʻe se aganuʻu "leai se tuʻuaʻiga" (). Matou te talitonu o le tusitusi ma le tuʻuina atu o postmortems e mafai ona fesoasoani ia i matou (ma isi) e puipuia ai faʻalavelave faʻapena i le lumanaʻi, o le mea lea matou te faʻasoa atu ai.
E tatau i tagata taʻitoʻatasi o loʻo aʻafia i se faʻalavelave ona lagona e mafai ona latou tautala auiliili e aunoa ma le fefe i se faʻasalaga poʻo se taui. Leai se tuuaiga! O le tusiaina o se postmortem e le o se faasalaga, ae o se avanoa e aʻoaʻo ai le kamupani atoa.
Fa'afitauli ile DNS ile Kubernetes. Falemeli
Aso: 28.02.2020
Tusitala: Amet U., Andrey S., Igor K., Alexey P.
Tulaga: Ua uma
Faʻapuupuu: E le maua se vaega DNS (26 min) mo nisi au'aunaga i le kulupu Kubernetes
A'afiaga: 15000 mea na tutupu na leiloa mo auaunaga A, B ma C
A'a mafua'aga: Na le mafai e Kube-proxy ona aveese sa'o se mea tuai mai le laulau fa'afeso'ota'i, o lea o lo'o taumafai pea nisi o au'aunaga e fa'afeso'ota'i i pods e le o iai.
E0228 20:13:53.795782 1 proxier.go:610] Failed to delete kube-system/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...Fa'aoso: Ona o le maualalo o le uta i totonu o le Kubernetes cluster, CoreDNS-autoscaler faʻaititia le numera o pods i le faʻapipiʻiina mai le tolu i le lua
vaifofo: O le isi faʻapipiʻiina o le talosaga na amataina ai le fausiaina o nodes fou, CoreDNS-autoscaler faʻaopoopo nisi pods e tautua ai le fuifui, lea na faaosofia ai le toe tusia o le laulau conntrack.
Su'esu'ega: O le mataʻituina o le Prometheus na maua ai le tele o 5xx mea sese mo auaunaga A, B ma C ma amata ai se telefoni i le au inisinia tiute.
5xx sese i Kibana
Gaioiga
aafiaga
Ituaiga
Faʻatuatuaina
Faamoemoega
Taofi le autoscaler mo CoreDNS
taofia
Amet U.
DEVOPS-695
Seti se fa'aoga DNS server
faaitiitia
Max V.
DEVOPS-665
Seti le mataituina o fesootaiga
taofia
Amet U.
DEVOPS-674
Lesona A'oa'oina
O le a le mea na lelei:
- Na lelei le mataituina. Sa vave ma maopoopo le tali
- Matou te leʻi oʻo i se tapulaʻa i nodes
O le a le mea na sese:
- E le iloa lava le mafuaaga moni, tutusa ma i le fesootaiga
- O gaioiga uma e faʻasaʻo naʻo taunuuga, ae le o le mafuaʻaga (bug)
- Na matou iloa e le o toe mamao pe mulimuli ane atonu e iai a matou faʻafitauli i le DNS, ae matou te leʻi faʻamuamua galuega
Le mea na matou laki ai:
- O le isi faʻaogaina na faʻaosoina e le CoreDNS-autoscaler, lea na faʻaulu ai le laulau faʻatasi.
- O lenei bug na a'afia ai na'o nisi auaunaga
Timeline (EET)
Taimi
aafiaga
22:13
CoreDNS-autoscaler faʻaititia le numera o pods mai le tolu i le lua
22:18
Inisinia i tiute na amata ona maua ni telefoni mai le masini mataʻituina
22:21
Na amata ona sailia e inisinia sa tiute le mafuaaga o mea sese.
22:39
Inisinia i tiute na amata ona toe faʻafoʻi se tasi o auaunaga sili ona lata mai i le lomiga muamua
22:40
5xx mea sese ua le toe aliali mai, ua mautu le tulaga
- Taimi e iloa ai: 4 min
- Taimi a'o le'i fa'agaioiga: 21 min
- Taimi e fa'aleleia ai: 1 min
faamatalaga faaopoopo
- CoreDNS fa'amaumauga:
I0228 20:13:53.507780 1 event.go:221] Event(v1.ObjectReference{Kind:"Deployment", Namespace:"kube-system", Name:"coredns", UID:"2493eb55-3dc0-11ea-b3a2-02bb48f8c230", APIVersion:"apps/v1", ResourceVersion:"132690686", FieldPath:""}): type: 'Normal' reason: 'ScalingReplicaSet' Scaled down replica set coredns-6cbb6646c9 to 2 - So'oga i Kibana (tipu), Grafana (tipi)
Ina ia faʻaitiitia le faʻaogaina o le CPU, e faʻaaogaina e le fatu Linux se mea e taʻua o le conntrack. I se faapuupuuga, o se aoga lea e aofia ai se lisi o faamaumauga a le NAT o loʻo teuina i totonu o se laulau faʻapitoa. A o'o mai le isi pusa mai le pusa lava e tasi i le pusa tutusa e pei ona i ai muamua, o le tuatusi IP mulimuli o le a le toe fa'atatauina, ae o le a aveesea mai le laulau fa'afeso'ota'i.
Fa'afefea ona galue le feso'ota'iga
O taunuʻuga
O se fa'ata'ita'iga lea o se tasi o a matou su'esu'ega ma ni feso'ota'iga aoga. Faʻapitoa i lenei tusiga, matou te faʻasoa faʻamatalaga e ono aoga i isi kamupani. O le mafuaaga lena matou te le fefefe ai e faia ni mea sese ma o le mafuaaga lena matou te faalauiloaina ai se tasi o a matou falemeli. O nisi nei o su'esu'ega fa'alaua'itele e sili atu ona manaia:
- GitLab:
- Dropbox:
- Spotify:
- Tele isi mai ma fale teu oloa
- Faʻaauau foi fa'asalalauga fa'alaua'itele ma le Tusi SRE
puna: www.habr.com