Ogow tarjumaad: Tani waa tarjumaad ka mid ah dhimashada dadwaynaha ee ka timid barta injineernimada ee shirkadda . Waxay qeexaysaa dhibaatada is-hortaagga kutlada Kubernetes, taasoo keentay qayb ahaan hoos u dhaca adeegyada wax-soo-saarka qaarkood.
Maqaalkani wuxuu faa'iido u yeelan karaa kuwa doonaya inay wax yar ka bartaan dhimashada ka dib ama ka hortagga dhibaatooyinka DNS ee mustaqbalka mustaqbalka.
Tani ma aha DNS
Ma noqon karto DNS
Waxay ahayd DNS
Wax yar oo ku saabsan dhimashada ka dib iyo hababka Preply
Dhimashada ka dib waxay qeexaysaa cillad ama dhacdo wax soo saar ah. Dhimashada ka dib waxa ku jira jadwalka dhacdooyinka, saamaynta isticmaalaha, sababta asalka u ah, tallaabooyinka la qaaday, iyo casharrada laga bartay.
Kulamada toddobaadlaha ah ee pizza, oo ka mid ah kooxda farsamada, waxaan wadaagnaa macluumaad kala duwan. Qaybaha ugu muhiimsan ee shirarka noocan oo kale ah waxaa ka mid ah baaritaanka dhimashada, kuwaas oo inta badan lagu daro bandhigyo sawir leh iyo falanqayn qoto dheer oo ku saabsan dhacdada. In kasta oo aynaan sacab tuman dhimashada ka dib, waxaan isku daynaa inaan horumarino dhaqan "eedayn la'aan" (). Waxaan aaminsanahay in qorista iyo soo bandhigida dhimashada dhimashada ay naga caawin karto (iyo kuwa kale) inaan ka hortagno dhacdooyinka la midka ah mustaqbalka, waana sababta aan u wadaageyno iyaga.
Shakhsiyaadka ku lugta leh dhacdada waa inay dareemaan inay si faahfaahsan u hadli karaan iyaga oo aan ka baqayn ciqaab ama ciqaab. Eedda ma leh! Qoritaanka dhimashada ka dib maaha ciqaab, laakiin waa fursad waxbarasho oo loogu talagalay shirkadda oo dhan.
Dhibaatooyinka DNS ee Kubernetes. Dhimashada kadib
Taariikhda: 28.02.2020
Qorayaasha: Amet U., Andrey S., Igor K., Alexey P.
Xaaladda: Dhammaatay
Si kooban: La'aanta DNS qayb ahaan (26 daqiiqo) ee adeegyada qaar ee kutlada Kubernetes
Saamayn: 15000 oo dhacdo ayaa ku lumay adeegyada A, B iyo C
Sababta asalka ah: Kube-proxy waxa uu awoodi waayay in uu si sax ah uga saaro galitaankii hore ee miiska kontrack-ka, sidaa awgeed adeegyada qaar ayaa wali isku dayayay in ay ku xidhmaan gadhyo aan jirin
E0228 20:13:53.795782 1 proxier.go:610] Failed to delete kube-system/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...Kicin: Sababtoo ah culeyska hooseeya ee gudaha kutlada Kubernetes, CoreDNS-autoscaler ayaa hoos u dhigtay tirada boodhka ee goobta la geynayo saddex ilaa laba.
xal: Dirista soo socota ee arjiga waxa ay bilawday abuurista qanjidhada cusub, CoreDNS-autoscaler waxa ay ku dartay boodhyo badan si ay ugu adeegto kutlada, taas oo kicisay in dib loo qoro miiska heshiisyada.
Ogaanshaha: Korjoogteynta Prometheus waxay ogaatay khaladaad badan oo 5xx ah oo loogu talagalay adeegyada A, B iyo C waxayna bilaabeen wacitaanka injineerada shaqada
5xx khaladaadka Kibana
Falalka
saamaynta
Nooca
Masuul
Ujeeddo
Dami autoscaler ee CoreDNS
laga hortagay
Amet U.
DEVOPS-695
Samee server-ka DNS caching
hoos u dhac
Max V.
DEVOPS-665
Deji la socodka kontrackka
laga hortagay
Amet U.
DEVOPS-674
Duruusta La Bartay
Maxaa si fiican u dhacay:
- Kormeerku si fiican ayuu u shaqeeyay. Jawaabtu waxay ahayd mid degdeg ah oo habaysan
- Ma aanan ku dhicin wax xad ah qanjidhada
Maxaa qaldan:
- Ilaa hadda lama garanayo sababta asalka ah ee dhabta ah, oo la mid ah marka la eego
- Dhammaan ficillada oo dhan waxay saxaan oo keliya cawaaqibta, ma aha sababta asalka ah (bug)
- Waxaan ogeyn in mar dhow ama hadhow laga yaabo inaan dhibaato kala kulmi karno DNS, laakiin ma aanan siinin mudnaanta hawlaha
Halka aan nasiib ku helnay:
- Soo diristii xigtay waxaa kiciyay CoreDNS-autoscaler, kaas oo ka rogay miiska is-khilaafka.
- Cayayaankani waxa uu saameeyay adeegyada qaarkood
Waqtiga (EET)
Waqti
saamaynta
22:13
CoreDNS-autoscaler waxay hoos u dhigtay tirada boodhka saddex ilaa laba
22:18
Injineerada shaqada ku jira ayaa bilaabay inay taleefan ka helaan nidaamka la socodka
22:21
Injineerada shaqada ku jiray ayaa bilaabay inay ogaadaan sababta qaladaadkaas.
22:39
Injineerada shaqada ku jira ayaa bilaabay inay mid ka mid ah adeegyadii ugu dambeeyay dib ugu celiyaan noocii hore
22:40
Khaladaadka 5xx ayaa joojiyay inay soo baxaan, xaaladdu way degtay
- Waqtiga lagu ogaanayo: 4 daqiiqo
- Waqtiga ka horreeya ficilka: 21 daqiiqo
- Waqtiga hagaajinta: 1 daqiiqo
macluumaad dheeraad ah
- Diiwaanada CoreDNS:
I0228 20:13:53.507780 1 event.go:221] Event(v1.ObjectReference{Kind:"Deployment", Namespace:"kube-system", Name:"coredns", UID:"2493eb55-3dc0-11ea-b3a2-02bb48f8c230", APIVersion:"apps/v1", ResourceVersion:"132690686", FieldPath:""}): type: 'Normal' reason: 'ScalingReplicaSet' Scaled down replica set coredns-6cbb6646c9 to 2 - Isku xirka Kibana (jar), Grafana (jar)
Si loo yareeyo isticmaalka CPU, kernel Linux wuxuu isticmaalaa wax la yiraahdo conntrack. Marka la soo koobo, kani waa utility ka kooban liiska diiwaanada NAT ee lagu kaydiyay miis gaar ah. Marka baakidhka soo socda uu ka yimaado isla boodhkii oo u soo galo isla boodhkii hore, ciwaanka IP-ga kama dambaysta ah dib loo xisaabin maayo, laakiin waxa laga soo qaadanayaa miiska heshiiska.
Sida qandaraasku u shaqeeyo
Natiijooyinka
Tani waxay tusaale u ahayd mid ka mid ah dhimashadayada dambe oo leh xidhiidho faa'iido leh. Gaar ahaan maqaalkan, waxaan ku wadaagnaa macluumaadka laga yaabo inay faa'iido u yeeshaan shirkadaha kale. Taasi waa sababta aan uga cabsanayno inaan khalad samayno, waana sababta aan mid ka mid ah dhimashadayada ka dib dadweynaha uga dhigayno. Waa kuwan qaar kale oo xiiso badan oo dadwaynaha ka dib dhimashada:
- GitLab:
- Dropbox:
- Muuqaal:
- Qaar kale oo badan oo ka socda iyo kaydka
- Sidoo kale Dhimashada dadwaynaha oo leh Buuga SRE
Source: www.habr.com