これは、フォールト トレランスによって巧みに隠蔽された小さな問題が頭痛の種に変わる実際の実践からの短い物語です。
小さな気質：
小規模なブランチでは、デスクトップ ハードウェアをベースにした独自の PBX (アスタリスク + FreePBX) と、1C を備えた同じローカル ターミナル サーバー、ファイル ダンプ、および仮想 RO ドメイン コントローラーを備えています。 Mikrotik はインターネットで配布されています。 枝は小さいので、彼らには十分です。
すべては監視から始まりました (時間の不足と怠惰のため、すべてが監視されているわけではありません)。ブランチ内の XNUMX 台のサーバー (PBX を使用) の過熱が報告されました。 地元の人々が問題を解決している間、老人はフリーズし、MySQL データベースをわずかに壊してしまいました。
多くのことが問題を予感させましたが、今回はそうではありませんでした...
問題ありません。ベースは修復されているので、すべて動作するはずです。 しかし地元住民からは苦情が寄せられ、電話は途切れる。 わかりました。FreePBX に問題があります。バックアップを作成し、展開しました。すべて問題ありません。
しかし問題はそこにあり、地元住民は依然として苦情を訴えており、電話は正常に通じていません。 彼らの前では、通話は正常に行われているように見えますが、自分自身を呼び出したり、お互いに電話したりすると、数秒の遅延が発生します。 Asterisk と FreePBX の大量で理解できないログを調べ始めましたが、問題は見つかりませんでした。 STUN と ICE にも同様の遅延が発生する問題があったことを覚えています。 私はすべてを地獄に戻します、結果はゼロです。
落胆は間違った決断を下す道です。
憂鬱になってきました。何時間も ATS をいじっても何も良い結果は得られず、もう夜も遅いのに、問題は解決していません。
私は朝まで問題を放置し、頭がすっきりすることを期待しました。 朝、また失敗した決断が下されました。システムが壊れていたので（依存関係がそれほど破壊的であるはずはありませんでしたが）、すべてのパッケージを再インストールしてシステムを修復しようとしていました。 結果はゼロよりわずかに大きく、遅延は減少しました (大幅ではありませんが、すでに成功しています)。
私はまた間違った決断を下します。OS (およびバックアップ コピーからのデータベース) の部分修復がほとんど成功せず、問題の根本が依然として明確ではなく、原因の探索にすでに多くの時間が費やされている場合、それから私は抜本的に行動することにしました。OS を破壊し、すべてを最初からやり直します (幸いなことに、プロセスの自動化により、許容可能な時間内でこれが行われます)。 FreePBX 構成をコピーからロールアップしています。 またしても失敗。 結果はゼロです！
絶望 - 心は曇り、決断はさらに悪くなります
私は絶望に陥っています。 非常に悪い考えが浮かんできて、おそらくバックアップの conf が壊れているのではないかと思います (何度かアップデートを行った後、その後機能しなくなったことが起こりましたが、その理由は見つかりませんでした)、何も残っていないのです。 ：すべてを手で一から転がさなければなりません。 なんて恥ずべきことでしょう！ 結果は厳密にゼロであり、多くの時間が無駄になりました。
受け入れることは気づきへの道です
何が起こっているのかを理解しようと必死になって、私はログを注意深く調べ始めました。 あるパターンに気づきました。 内線通話は 5 秒以内に発生し、内線 3 件の通話のグループの場合は 15 秒以内に発生します。 通話の遅延についてグーグルで検索し始めましたが、すでに具体的な遅延が示されています。 そして、私はすでに見つけた答えに遭遇しました。問題はDNSにあると言われていますが、問題はなく、すべてのアドレスが解決されていると確信しています。
明らか - ありそうもない
何もすることがないので、nslookup とビンゴを選択します (すぐに実行できればいいのですが)。 プライマリ DNS はそこにあります (コントローラーを備えた仮想マシン) ですが、私は気づきませんでした。 DNS が XNUMX つしかない場合、エラーが発生します 😉
合計
監視 (すべてのノードに対して設定する必要がある) によって確認できたであろう初歩的な問題が、DNS フォールト トレランスによって隠蔽され、愚かな状況の解決にほぼ XNUMX 営業日のロスをもたらしました。 怠惰は面倒です。監視の設定には XNUMX 分かかりますが、何も問題がない場所を探すには XNUMX 日かかります。
登録ユーザーのみがアンケートに参加できます。 お願いします。
こんなことがあなたに起こったことはありますか？
-
はい、ごくまれに
-
はい、まれに
-
頻繁
-
よく
-
いや、誰とでも、私とだけじゃない！
-
いいえ、私は無謬です！
2人のユーザーが投票しました。 1 ユーザーが棄権しました。
出所： habr.com