엉뚱한 곳에서 문제를 찾는다

이것은 내결함성으로 잘 위장된 작은 문제가 골칫거리로 변하는 실제 사례의 짧은 이야기입니다.

작은 성향:

소규모 지점에는 데스크톱 하드웨어를 기반으로 하는 자체 PBX(별표 + FreePBX)와 1C, 파일 덤프 및 가상 RO 도메인 컨트롤러가 있는 동일한 로컬 터미널 서버가 있습니다. 인터넷은 Mikrotik을 배포합니다. 가지가 작아서 그것으로 충분합니다.
모든 것은 모니터링으로 시작되었으며(시간 부족과 게으름으로 인해 모든 것이 모니터링되지는 않음) 지점에 있는 한 서버(PBX 포함)의 과열을 보고했습니다. 지역 주민들이 문제를 해결하는 동안 노인은 멈춰서 MySQL 데이터베이스를 약간 손상시켰습니다.

많은 것들이 문제를 예고했지만 이번은 그렇지 않았습니다...

문제 없습니다. 베이스가 수리되었으므로 모든 것이 작동할 것입니다. 그러나 지역 주민들은 불평하고 전화가 끊어졌습니다. 알겠습니다. FreePBX에 문제가 있습니다. 백업하고 배포했는데 모든 것이 정상입니다.
하지만 문제는 현지인들이 여전히 불만을 토로하고 있고, 전화도 정상적으로 연결되지 않는다는 점이다. 그들 앞에서는 통화가 정상적으로 진행되는 것처럼 보이지만, 자기 자신에게 전화를 걸거나 서로 전화를 걸면 몇 초 정도 지연이 발생한다. Asterisk와 FreePBX의 방대하고 이해하기 어려운 로그를 보기 시작했지만 거기에서 문제를 발견할 수 없습니다. 비슷한 지연을 가져온 STUN 및 ICE에 문제가 있었던 것으로 기억합니다. 나는 모든 것을 지옥으로 끄고 결과는 XNUMX입니다.

낙담은 잘못된 결정을 내리는 길입니다.

우울해지고 있고, ATS를 몇 시간 동안 만지작거려도 아무 소용이 없고, 이미 늦은 밤인데 문제가 해결되지 않고 있습니다.
나는 신선한 머리를 바라며 아침까지 문제를 떠났다. 아침에 또 다른 실패한 결정이 내려졌습니다. 시스템이 손상되었기 때문에(종속성이 그렇게 파괴적일 수는 없었지만) 모든 패키지를 다시 설치하여 시스템을 수정하려고 했습니다. 결과는 XNUMX보다 약간 크며 지연이 감소했습니다(크게는 아니지만 이미 성공).
또 다른 잘못된 결정을 내립니다. OS(및 백업 복사본의 데이터베이스) 부분 복구가 거의 성공하지 못했고 문제의 근본 원인이 아직 명확하지 않고 원인을 검색하는 데 이미 많은 시간이 소요된 경우 그런 다음 급진적으로 행동하기로 결정합니다. OS를 철거하고 모든 것을 처음부터 다시 시작합니다(다행히 프로세스 자동화를 통해 적절한 시간 내에 이 작업이 수행됩니다). 복사본에서 FreePBX 구성을 롤업하고 있습니다. 또 다른 실패. 결과는 XNUMX입니다!

절망 - 마음이 흐려지고 결정이 더욱 나빠진다

나는 절망에 빠지고 있습니다. 매우 나쁜 생각이 들기 시작합니다. 아마도 백업의 conf가 비뚤어졌을 수도 있습니다(여러 업데이트 후에 작동하지 않는 일이 발생했고 이유를 찾을 수 없었습니다). 아무것도 남지 않았습니다. : 손으로 처음부터 다 뒤집어야 해요. 얼마나 불명예스러운 일입니까! 결과는 엄격하게 XNUMX이고 많은 시간이 낭비됩니다!

수용은 인식으로 가는 길이다

무슨 일이 일어나고 있는지 이해하려는 필사적인 시도로 나는 로그를 주의 깊게 연구하기 시작했습니다. 나는 패턴을 발견했다. 내선 통화는 정확히 5초 안에 이루어지며, 3개의 내선 통화 그룹에 대해서는 15초가 소요됩니다! 통화 지연에 대해 인터넷 검색을 시작했지만 이미 특정 지연이 표시되어 있습니다. 그리고 나는 이미 찾은 답을 발견했습니다. 사람들은 문제가 DNS에 있다고 말하지만 문제가 없으며 모든 주소가 해결되었음을 확신합니다!

명백하다 - 가능성이 없다

할 일이 없어서 nslookup과 빙고를 선택합니다(바로 할 수 있었으면 좋겠습니다)! 기본 DNS가 거기에 있지만(컨트롤러가 있는 가상 머신) 눈치채지도 못했습니다! DNS가 하나만 있으면 오류가 발생합니다 😉

합계

DNS 내결함성으로 가려진 모니터링(모든 노드에 대해 구성되어야 함)을 통해 볼 수 있었던 기본적인 문제로 인해 어리석은 상황을 해결하는 데 거의 이틀의 작업 시간이 소요되었습니다. 게으름은 골치 아픈 일입니다. 모니터링을 설정하는 데는 몇 분이 걸리고, 없는 문제를 찾는 데는 이틀이 걸립니다.

등록된 사용자만 설문 조사에 참여할 수 있습니다. 로그인제발

이런 일이 당신에게 일어난 적이 있습니까?

• 네, 아주 드물게요

• 네, 거의 없습니다

• 자주

• 매우 자주

• 아니요, 누구와도, 나와 함께만은 아닙니다!

• 아니요, 저는 절대 오류가 없습니다!

2명의 사용자가 투표했습니다. 1명의 사용자가 기권했습니다.

출처 : habr.com