แจแแแแจแแแ แแแ แแแแแ: แแก แแ แแก แกแแฏแแ แ แแแกแขแแแแแแแก แแแ แแแแแ แแแแแแแแแก แกแแแแแแแ แ แแแแแแแแ . แแแ แแฆแฌแแ แก Kubernetes แแแแกแขแแ แจแ แแแแขแ แแฅแขแแแ แแแแแแจแแ แแแฃแ แแ แแแแแแแก, แ แแแแช แแแแแแฌแแแ แฌแแ แแแแแแก แแแแแแ แแ แกแแ แแแกแแก แแแฌแแแแแ แแแ แจแแคแแ แฎแแแ.
แแก แกแขแแขแแ แจแแแซแแแแ แกแแกแแ แแแแแ แแงแแก แแแแแแแก, แแแกแแช แกแฃแ แก แแแแแแก แชแแขแ แแแขแ แแแกแขแแแแแแแก แจแแกแแฎแแ แแ แแแแแแแแจแ แแแแแแแ แแแชแแแแก DNS-แแก แแแแแแ แแ แแแขแแแชแแฃแ แ แแ แแแแแแ.
แแก แแ แแ แแก DNS
แแก แแ แจแแแซแแแแ แแงแแก DNS
แแก แแงแ DNS
แชแแขแ แ แแ แแแกแขแแแแแแแแแกแ แแ แแ แแชแแกแแแแก แจแแกแแฎแแ Preply-แจแ
แแแกแขแแแ แขแแแ แแฆแฌแแ แก แฌแแ แแแแแแก แแแฃแแแ แแแแแแก แแ แ แแแแ แแแแแแแแก. แแแกแขแแแ แขแแแ แแแแชแแแก แแแแแแแแแแก แแแแแแก, แแแแฎแแแ แแแแแก แแแแแฅแแแแแแแก, แซแแ แแฃแ แแแแแแก, แแแแฎแแ แชแแแแแแฃแ แฅแแแแแแแแก แแ แแแกแฌแแแ แแแแแแแแแแแก.
แแแชแแกแแแ แงแแแแแแแแ แแฃแ แจแแฎแแแแ แแแแ, แขแแฅแแแแฃแ แแฃแแแก แจแแ แแก, แฉแแแ แแฃแแแแ แแแ แกแฎแแแแแกแฎแแ แแแคแแ แแแชแแแก. แแกแแแ แจแแฎแแแแ แแแแก แแ แ-แแ แแ แฃแแแแจแแแแแแแแแแกแ แแแฌแแแแ แกแแแแแแแแก แจแแแแแแแ แแแแแแแแแแ, แ แแแแแกแแช แงแแแแแแ แฎแจแแ แแ แแฎแแแแก แแ แแแแแขแแชแแ แกแแแแแแแแ แแ แแแชแแแแแขแแก แฃแคแ แ แฆแ แแ แแแแแแแแ. แแแฃแฎแแแแแแ แแแแกแ, แ แแ แฉแแแ แขแแจแก แแ แแฃแแ แแแ แกแแแแแแแแก แจแแแแแ, แฉแแแ แแชแแแแแแ แแแแแแแแแแ แแ แแฃแแขแฃแ แ "แแแแแแแจแแฃแแแแแก แแแ แแจแ" (). แฉแแแ แแแฏแแ แ, แ แแ แแแกแขแแแแแแแก แแแฌแแ แ แแ แฌแแ แแแแแ แแแแแแฎแแแ แแแ (แแ แกแฎแแแแก) แแแแแแแแจแ แแกแแแแกแ แแแชแแแแแขแแแแก แแแแแแแ แแชแแแแแแจแ, แ แแก แแแแแช แฉแแแ แแแ แแฃแแแแ แแแ.
แแแชแแแแแขแจแ แแแแแฌแแแ แแแ แแแแ แฃแแแ แแแ แซแแแ, แ แแ แแแ แจแแฃแซแแแแ แแแขแแแฃแ แแ แแกแแฃแแ แแ แกแแกแฏแแแแก แแ แจแฃแ แแกแซแแแแแก แจแแจแแก แแแ แแจแ. แแ แแแแแแ แ แแ แแแ! แแแกแขแแแแแแแก แแแฌแแ แ แแ แแ แแก แกแแกแฏแแแ, แแ แแแแ แกแฌแแแแแก แจแแกแแซแแแแแแแ แแแแแ แแแแแแแแแกแแแแก.
แแ แแแแแแแแ DNS-แแแ Kubernetes-แจแ. แแแกแขแแแแแแ
แแแ แแฆแ: 28.02.2020
แฒแแขแแ แแแ: แแแแข แฃ., แแแแ แแ แก., แแแแ แ., แแแแฅแกแแ แ.
แกแขแแขแฃแกแ: แแแกแ แฃแแแ
แแแแแแ: แแแฌแแแแแ แแแ DNS แแแฃแฌแแแแแแแแ (26 แฌแ) แแแแแแ แแ แกแแ แแแกแแกแแแแก Kubernetes แแแแกแขแแ แจแ
แฒแแแแแแ: 15000 แฆแแแแกแซแแแแ แแแแแแ แแ A, B แแ C แกแแ แแแกแแแแกแแแแก
แฒซแแ แแฃแแ แแแแแแ: Kube-proxy-แแ แแแ แจแแซแแ แซแแแแ แฉแแแแฌแแ แแก แกแฌแแ แแ แแแแฆแแแ แแแแขแ แแฅแขแแก แชแฎแ แแแแแแ, แแแแขแแ แแแแแแ แแ แกแแ แแแกแ แแแแแ แชแแแแแแแ แแแแแแจแแ แแแแก แแ แแ แกแแแฃแ แแแแแแแแ
E0228 20:13:53.795782 1 proxier.go:610] Failed to delete kube-system/kube-dns:dns endpoint connections, error: error deleting conntrack entries for UDP peer {100.64.0.10, 100.110.33.231}, error: conntrack command returned: ...แแแแแแฌแแแแ: Kubernetes แแแแกแขแแ แจแ แแแแแแ แแแขแแแ แแแแก แแแแ, CoreDNS-autoscaler-แแ แจแแแแชแแ แ แแแแแแแก แ แแแแแแแแ แแแแแแแแแแจแ แกแแแแแแ แแ แแแแ.
แแแแแกแแแแแ: แแแแแแแชแแแก แแแแแแแแ แแแแแแแแแแ แแแแฌแงแ แแฎแแแ แแแแแซแแแแก แจแแฅแแแ, CoreDNS-autoscaler-แแ แแแแแแขแ แแแขแ แแแแงแแคแแแแแ แแแแกแขแแ แแก แแแแแกแแงแแแแแแแ, แ แแแแช แแแแแแฌแแแ แกแแแแแขแ แแฅแขแ แชแฎแ แแแแก แฎแแแแฎแแแ แฉแแฌแแ แ.
แแแแแแแแแ: แแ แแแแแแก แแแแแขแแ แแแแแ แแฆแแแแฉแแแ แแแแ แ แแแแแแแแแ 5xx แจแแชแแแแแแ A, B แแ C แกแแ แแแกแแแแกแแแแก แแ แแแแฌแงแ แแแ แ แแแ แแแ แแแแแแ แแแแแ.
5xx แจแแชแแแแแแ แแแแแแแจแ
แแฅแขแแฃแ แแแ
แแคแแฅแขแ
แแแชแแแแแก
แแแกแฃแฎแแกแแแแแแแ
แแแแแแแแ
แแแแแ แแแ แแแขแแกแแแแแ แ CoreDNS-แแกแแแแก
แแฆแแแแแ
แแแแข แฃ.
DEVOPS-695
แแแแงแแแแ แฅแแจแแ แแแแก DNS แกแแ แแแ แ
แจแแแชแแ แแแ
แแแฅแก แ.
DEVOPS-665
แแแแงแแแแ แแแแขแ แแฅแขแแก แแแแแขแแ แแแแ
แแฆแแแแแ
แแแแข แฃ.
DEVOPS-674
แแแกแฌแแแแ แแแแแแแแแแแ
แ แ แแแ แแแ แฌแแแแแ:
- แแแแแขแแ แแแแ แแแ แแแ แแฃแจแแแแแ. แแแกแฃแฎแ แแงแ แกแฌแ แแคแ แแ แแ แแแแแแแแฃแแ
- แฉแแแ แแ แแแแแฆแฌแแแ แ แแแแ แกแแแฆแแ แแแก แแแแแซแแแแ
แฒ แ แแงแ แแ แ แกแฌแแ แ:
- แฏแแ แแแแแ แฃแชแแแแแ แ แแแแฃแ แ แซแแ แแฃแแ แแแแแแ, แแกแแแแกแ แแแแขแ แแฅแขแจแ
- แงแแแแ แฅแแแแแแ แแกแฌแแ แแแก แแฎแแแแ แจแแแแแแแก แแ แแ แ แซแแ แแฃแ แแแแแแก (แจแแชแแแแแก)
- แฉแแแ แแแชแแแแ, แ แแ แแแ แ แแฃ แแแแแ แจแแกแแซแแแ แแ แแแแแแแแ แจแแแแแฅแแแ DNS-แแแ แแแแแแจแแ แแแแ, แแแแ แแ แฉแแแ แแ แแแซแแแแแแ แแ แแแ แแขแแขแก แแแแแแแแแแก
แกแแแแช แแแแแแแแ แแแ:
- แจแแแแแแ แแแแแแแแแ แแแแฌแงแ CoreDNS-autoscaler-แแก แแแแ , แ แแแแแแแช แแแแแฌแแ แ แแแแขแ แแฅแขแแก แชแฎแ แแแ
- แแก แจแแชแแแแ แจแแแฎแ แแฎแแแแ แแแแแแ แ แกแแ แแแกแก
แฅแ แแแแแแแแ (EET)
แแ แ
แแคแแฅแขแ
22:13
CoreDNS-autoscaler-แแ แจแแแแชแแ แ แแแแแแแก แ แแแแแแแแ แกแแแแแแ แแ แแแแ
22:18
แแแ แแแ แแแแแแ แแแแ แแแแฌแงแแก แแแ แแแแก แแแฆแแแ แแแแแขแแ แแแแแก แกแแกแขแแแแแแ
22:21
แแแ แแแ แแแแแแ แแแแ แจแแชแแแแแก แแแแแแแก แแแ แแแแแ แแแแฌแงแแก.
22:39
แแแ แแแ แแแแแแ แแแแ แแแแฌแงแแก แแ แ-แแ แแ แฃแแฎแแแกแ แกแแ แแแกแแก แฌแแแ แแแ แกแแแแ แแแแ แฃแแแแ
22:40
5xx แจแแชแแแแแแแ แจแแฌแงแแแขแ แแแแแฉแแแ, แกแแขแฃแแชแแ แแแกแขแแแแแฃแ แแ
- แแแแแแแแแแก แแ แ: 4-แ
- แแแฅแแแแแแแแแ แแ แ: 21-แ
- แแแแแกแฌแแ แแแแก แแ แ: 1-แ
แแแแแขแแแแแ แแแคแแ แแแชแแ
- CoreDNS แแฃแ แแแแแแ:
I0228 20:13:53.507780 1 event.go:221] Event(v1.ObjectReference{Kind:"Deployment", Namespace:"kube-system", Name:"coredns", UID:"2493eb55-3dc0-11ea-b3a2-02bb48f8c230", APIVersion:"apps/v1", ResourceVersion:"132690686", FieldPath:""}): type: 'Normal' reason: 'ScalingReplicaSet' Scaled down replica set coredns-6cbb6646c9 to 2 - แแแฃแแแแ แแแแแแแกแแแ (แแแญแ แแแ), แแ แแคแแแ (แแแญแ แแแ)
CPU-แก แแแแแงแแแแแแก แจแแกแแแชแแ แแแแแ, Linux-แแก แแแ แแแ แแงแแแแแก แ แแฆแแช แกแแฎแแแฌแแแแแแ conntrack. แแแแแแ, แแก แแ แแก แแ แแแ แแแ, แ แแแแแแช แจแแแชแแแก NAT แฉแแแแฌแแ แแแแก แฉแแแแแแแแแแก, แ แแแแแแแช แแแแฎแแแ แกแแแชแแแแฃแ แชแฎแ แแแจแ. แ แแแแกแแช แจแแแแแแ แแแแแขแ แฉแแแแแ แแแแแ แแแแแแแ แแแแแ แแแแจแ, แ แแแแ แช แแแ แ, แกแแแแแแ IP แแแกแแแแ แแ แแ แแฅแแแแ แฎแแแแฎแแแ แแแแแแแแ, แแแแ แแ แแฅแแแแ แแฆแแแฃแแ แกแแแแแขแ แแฅแขแ แชแฎแ แแแแแแ.
แ แแแแ แแฃแจแแแแก contrack
แจแแแแแแแ
แแก แแงแ แฉแแแแ แแ แ-แแ แแ แแแกแขแแแแแแแก แแแแแแแแ แ แแแแแแแแ แกแแกแแ แแแแแ แแแฃแแแ. แแแแแ แแขแฃแแแ แแ แกแขแแขแแแจแ แฉแแแ แแแแแแ แแแ แแแคแแ แแแชแแแก, แ แแแแแแช แจแแแซแแแแ แกแแกแแ แแแแแ แแงแแก แกแฎแแ แแแแแแแแแแแกแแแแก. แแแแขแแ แฉแแแ แแ แแแแจแแแแ แจแแชแแแแแแแก แแแจแแแแแก แแ แแแแขแแ แแแฅแแแงแแแแ แฉแแแแก แแ แ-แแ แ แแแกแขแแแแแแแก. แแฅ แแ แแก แแแแแ แ แแแแแแแแ แกแแแแขแแ แแกแ แกแแฏแแ แ แแแกแขแแแแแแ:
- GitLab:
- Dropbox:
- Spotify:
- แแแแ แ แกแฎแแ แแแ แแ แกแแชแแแ
- แแกแแแ แกแแฏแแ แ postmortem แแ แแแ SRE แฌแแแแ
แฌแงแแ แ: www.habr.com