To mała historia z rzeczywistej praktyki, gdy mały problem, dobrze ukryty przez niezawodność, staje się prawdziwym bólem głowy.
Mała dyspozycja:
Mały oddział, który ma swoją centralę telefoniczną (Asterisk + FreePBX) na desktopowym sprzęcie oraz lokalny terminal z 1C, serwerem plików i wirtualnym kontrolerem domeny. Internet rozdziela Mikrotik. Oddział jest mały, to wystarcza.
Wszystko zaczęło się od monitoringu (z powodu braku czasu i lenistwa nie monitoruje się wszystkiego), który zgłosił przegrzanie jednego serwera (z centralą telefoniczną) w oddziale. Podczas gdy lokalni próbowali rozwiązać problem, staruszek zawiesił się i uszkodził trochę bazę MySQL.
Wiele zwiastowało kłopoty, ale nie to...
Nie ma sprawy, baza została naprawiona, wszystko powinno działać. Ale miejscowi narzekają, rozmowy się zrywają. No dobrze — problemy w FreePBX się zdarzają, biorę kopię zapasową, rozkładam, wszystko w porządku.
A problem wciąż jest, miejscowi wciąż narzekają, rozmowy nie idą normalnie. Do nich telefon dochodzi jakby w porządku, ale gdy sami dzwonią, lub dzwonią do siebie nawzajem, występuje opóźnienie kilku sekund. Zaczynam przeszukiwać obszerne i niezrozumiałe logi Asterisk i FreePBX, nie udaje się zauważyć problemu. Przypominam sobie, że był problem ze STUN i ICE, który powodował podobne opóźnienie. Wyłączam wszystko na jakiś czas, efekt zerowy.
Przygnębienie — droga do podejmowania złych decyzji:
Wpadałem w przygnębienie, wielogodzinne grzebanie w centrali telefonicznej nie przynosiło niczego dobrego, była już głęboka noc, a problem nie został rozwiązany.
Zostawiłem problem do rana, mając nadzieję na świeżość umysłu. Rano podjęto kolejną nieudaną decyzję: skoro system się zepsuł (choć zawieszenie nie mogło być aż tak destrukcyjne), próbuję naprawić system przez reinstalację wszystkich pakietów. Efekt nieco powyżej zera, opóźnienie się skróciło (nieznacznie, ale to już sukces).
Podejmuję jeszcze jedną złoną decyzję: jeśli częściowa naprawa systemu operacyjnego (i bazy danych z kopii zapasowej) miała niewielki sukces, a źródło problemu wciąż nie jest jasne, a na dodatek już stracono bardzo dużo czasu na szukanie przyczyny, decyduję się działać radykalnie: ściągamy system operacyjny i instalujemy wszystko od nowa (na szczęście automatyzacja procesu sprawia, że zajmuje to akceptowalny czas). Nakładam konfigurację FreePBX z kopii. Kolejna porażka. Efekt zerowy!
Desperacja — umysł zostaje przyćmiony, decyzje stają się jeszcze gorsze.
Wpadałem w despair. Zaczynają przychodzić całkiem złe myśli, myślę: może konferencja w backupie jest uszkodzona (miałem tak po kilku aktualizacjach, że po nich nic nie działało i nie udało mi się znaleźć przyczyny), nie pozostaje nic innego: muszę zacząć wszystko od nowa ręcznie. Jaki wstyd! Wynik jest całkowicie zerowy, a jeszcze straciłem mnóstwo czasu!
Akceptacja — droga do zrozumienia
W desperackich próbach zrozumienia, co się dzieje, zaczynam uważnie analizować logi. Zauważam prawidłowość. Wywołanie Extension następuje dokładnie po 5 sekundach, a w przypadku grupy wywołań z 3 Extension po 15! Zaczynam szukać w Google na temat opóźnienia wywołania, ale już wskazując konkretne opóźnienie. I natrafiam na już znalezioną przeze mnie odpowiedź, ludzie mówią, że problem leży w DNS, ale ja doskonale wiem, że problemu nie ma, wszystkie adresy są prawidłowo rozwiązywane!
To, co oczywiste — nie jest prawdopodobne
Nie ma co robić, biorę do ręki nslookup i bingo (czemu nie zrobiłem tego wcześniej)! Podstawowy DNS leży (wirtualka z kontrolerem), a ja tego nie zauważyłem! Gdyby był tylko jeden DNS, od razu pojawiłby się błąd 😉
Podsumowanie
Elementarny problem, który mógłby zauważyć monitoring (który trzeba ustawić dla wszystkich węzłów), zamaskowany odpornością DNS, doprowadził do straty prawie dwóch dni roboczych na rozwiązanie głupiej sytuacji. Leniwe wszystko jest problemem, skonfigurowanie monitoringu to minuta — szukanie problemu tam, gdzie go nie ma — dwa dni.
Tylko zarejestrowani użytkownicy mogą brać udział w ankiecie. , proszę.
Czy miałeś coś podobnego?
Tak, bardzo rzadko
Tak, rzadko
Tak, często
Tak, bardzo często
Nie, z kimkolwiek, tylko nie ze mną!
Nie, jestem nieomylny!
Zagłosowało 2 użytkowników. Wstrzymał się 1 użytkownik.
Źródło: habr.com
