Habr 사후 보고서: 신문에 떨어졌습니다.

2019년 여름의 첫 번째 달과 두 번째 달의 시작은 어려운 것으로 드러났으며 글로벌 IT 서비스가 몇 차례 크게 하락했습니다. 주목할만한 것 중에는 CloudFlare 인프라에서 발생한 두 가지 심각한 사고(첫 번째 - 미국 일부 ISP의 BGP에 대한 비뚤어진 손과 부주의한 태도, 두 번째 - CF 자체의 비뚤어진 배포로 CF를 사용하는 모든 사람에게 영향을 미쳤음) , 이는 많은 주목할만한 서비스) 및 Facebook CDN 인프라의 불안정한 작동(Instagram 및 WhatsApp을 포함한 모든 FB 제품에 영향을 미침)입니다. 우리는 또한 배포판에 속해야 했지만 글로벌 배경에 비해 중단이 훨씬 눈에 띄지 않았습니다. 누군가가 이미 검은 헬리콥터와 "주권적" 음모를 끌어들이기 시작했기 때문에 우리는 우리 사건에 대한 공개 사후 분석을 발표합니다.

03.07.2019, 16 : 05
내부 네트워크 연결이 끊어진 것처럼 리소스 문제가 기록되기 시작했습니다. 모든 것을 완전히 확인하지 않은 채 BGP 세션을 DataLine에 배치하는 지점까지 내부 네트워크의 인터넷 액세스(NAT)에 문제가 있다는 것이 분명해지면서 그들은 DataLine에 대한 외부 채널의 성능을 비난하기 시작했습니다.

03.07.2019, 16 : 35
사이트의 로컬 네트워크에서 인터넷(NAT)으로의 네트워크 주소 변환 및 액세스를 제공하는 장비에 장애가 발생한 것이 분명해졌습니다. 장비를 재부팅하려는 시도는 아무런 결과도 얻지 못했습니다. 경험상 도움이 되지 않았을 가능성이 높기 때문에 기술 지원으로부터 응답을 받기 전에 연결 구성을 위한 대체 옵션 검색이 시작되었습니다.

이 장비로 인해 클라이언트 VPN 직원의 수신 연결도 종료되고 원격 복구 작업이 더욱 어려워지면서 문제가 다소 악화되었습니다.

03.07.2019, 16 : 40
우리는 이전에 잘 작동했던 기존 백업 NAT 구성표를 부활시키려고 노력했습니다. 그러나 다수의 네트워크 개조로 인해 이 계획이 거의 완전히 작동하지 않게 되었다는 것이 분명해졌습니다. 왜냐하면 복원이 기껏해야 작동하지 않거나 최악의 경우 이미 작동하고 있던 것을 중단시킬 수 있기 때문입니다.

우리는 백본을 제공하는 일련의 새로운 라우터로 트래픽을 전송하기 위한 몇 가지 아이디어를 연구하기 시작했지만 핵심 네트워크의 경로 배포 특성으로 인해 실행 불가능한 것처럼 보였습니다.

03.07.2019, 17 : 05
동시에, 이름 서버의 이름 확인 메커니즘에서 문제가 확인되어 애플리케이션의 엔드포인트를 확인하는 데 오류가 발생했으며 호스트 파일을 중요한 서비스 기록으로 빠르게 채우기 시작했습니다.

03.07.2019, 17 : 27
Habr의 제한된 기능이 복원되었습니다.

03.07.2019, 17 : 43
그러나 결국 신속하게 설치된 경계 라우터 중 하나를 통해 트래픽을 구성하는 비교적 안전한 솔루션이 발견되었습니다. 인터넷 연결이 복원되었습니다.

이후 몇 분 동안 모니터링 시스템에서 모니터링 에이전트의 기능 복원에 대한 많은 알림이 왔지만 네임 서버(DNS)의 이름 확인 메커니즘이 손상되어 일부 서비스가 작동하지 않는 것으로 나타났습니다.

03.07.2019, 17 : 52
NS가 다시 시작되고 캐시가 지워졌습니다. 해결이 복원되었습니다.

03.07.2019, 17 : 55
MK, Freelansim 및 Toaster를 제외한 모든 서비스가 작동하기 시작했습니다.

03.07.2019, 18 : 02
MK와 Freelansim이 작업을 시작했습니다.

03.07.2019, 18 : 07
DataLine을 사용하여 무고한 BGP 세션을 되돌렸습니다.

03.07.2019, 18 : 25
그들은 NAT 풀의 외부 주소 변경과 여러 서비스의 ACL 부재로 인한 리소스 문제를 기록하기 시작했으며 이는 즉시 수정되었습니다. 토스터는 바로 작동하기 시작했습니다.

03.07.2019, 20 : 30
텔레그램 봇과 관련된 오류를 발견했습니다. 그들은 몇 개의 acl(프록시 서버)에 외부 주소를 등록하는 것을 잊어버린 것으로 밝혀졌으며 이는 즉시 수정되었습니다.

조사 결과

• 이전에 적합성에 대한 의구심을 품었던 장비가 작동하지 않았습니다. 네트워크 개발을 방해하고 호환성 문제가 있어 작업에서 제거할 계획이 있었지만 동시에 중요한 기능을 수행했기 때문에 서비스를 중단하지 않고는 기술적으로 교체가 어려웠습니다. 이제 계속 진행할 수 있습니다.
• DNS 문제는 NAT 네트워크 외부의 새로운 백본 네트워크에 더 가깝게 이동하고 변환 없이(사고 이전 계획이었던) 그레이 네트워크에 대한 전체 연결을 유지함으로써 피할 수 있습니다.
• RDBMS 클러스터를 어셈블할 때 도메인 이름을 사용해서는 안 됩니다. IP 주소를 투명하게 변경하는 편리함이 특별히 필요하지 않기 때문입니다. 이러한 조작에는 여전히 클러스터를 다시 빌드해야 하기 때문입니다. 이 결정은 역사적 이유와 무엇보다도 RDBMS 구성에서 이름별 엔드포인트의 명확성에 의해 결정되었습니다. 일반적으로 고전적인 함정입니다.
• 원칙적으로 '룬의 주권화'에 버금가는 훈련이 진행됐다. 자율적 생존 능력 강화 측면에서 생각해 볼 부분이 있다.

출처 : habr.com