🥇Căutăm problema nu în acel loc

Aceasta este o mică poveste din experiența reală, în care o problemă minoră, bine mascată sub un sistem de redundanță, devine o durere de cap.

O mică prezentare:

O mică filială, care are propria sa centrală telefonică (Asterisk + FreePBX) pe baza unui hardware desktop și un server local cu 1C, un sistem de fișiere și un controller de domeniu RO virtual. Internetul este distribuit de Mikrotik. Filiala este mică și le este suficient.
Totul a început cu monitorizarea (din cauza lipsei de timp și a leneviei nu se monitorizează tot), care a raportat supraincalzirea unuia server (cu centrala telefonică) din filială. În timp ce localnicii soluționau problema, bătrânul s-a blocat și a stricat puțin baza de date MySQL.

Multe semne prevestitoare erau în aer, dar nu acesta…

Nu e o problemă, baza de date a fost reparată, totul ar trebui să funcționeze. Dar localnicii se plâng, apelurile se întrerup. În regulă — problemele cu FreePBX se mai întâmplă, iau un backup, îl restabilesc, totul e ok.
Însă problema persistă, localnicii se plâng din nou, apelurile nu se conectează corect. Până la ei apelul pare normal, dar atunci când ei sună sau sună unii pe alții, apare o întârziere de câteva secunde. Încep să analizez logurile voluminoase și confuze ale Asterisk și FreePBX, dar nu reușesc să găsesc problema. Îmi amintesc că a fost o problemă cu STUN și ICE care provoca o întârziere similară. Dezactivez totul, dar rezultatul este nul.

Dezvinovățirea — un drum spre luarea deciziilor proaste:

Cad în deznădejde, ore întregi de descoperire a centralelor telefonice nu duc la nimic bun, deja e adânc în noapte, iar problema nu se rezolvă.
Am lăsat problema până dimineață, sperând că voi avea o gândire proaspătă. Dimineața, am luat o nouă decizie eșuată: dacă sistemul s-a stricat (deși blocarea nu putea fi chiar atât de devastatoare), încerc să repar sistemul reinstalând toate pachetele. Rezultatul este puțin mai bun decât zero, întârzierea s-a micșorat (nu semnificativ, dar deja este un succes).
Accept o altă decizie proastă: dacă reparația parțială a sistemului de operare (și a bazei de date din backup) a avut un mic succes, iar cauza problemei rămâne neclară, și în plus a fost deja cheltuit mult timp căutând cauza, decid să acționez radical: ștergem sistemul de operare și facem o instalare curată (din fericire, automatizarea procesului face ca acest lucru să fie realizat într-un timp acceptabil). Instalez configurația FreePBX dintr-o copie. O nouă eșec. Rezultatul este nul!

Deznădejdea - mintea se întunecă, iar deciziile devin și mai proaste

Cade în deznădejde. Încep să vină gânduri foarte rele, mă gândesc: poate confa din backup este strâmbă (am avut așa după câteva actualizări, că după ele nu mergea și nu am reușit să găsesc cauza), nu mai rămâne nimic: trebuie să reinstalez totul manual de la zero. Ce rușine! Rezultatul este strict nul, iar timpul pierdut este enorm!

Acceptarea - drumul către conștientizare

În încercări disperate de a înțelege ce se întâmplă, încep să studiez atent jurnalele. Observ o regularitate. Apelul extensiei se face exact după 5 secunde, iar pentru grupul de apeluri din 3 extensii după 15! Încep să caut pe Google despre întârzierea apelului, dar deja specificând întârzierea exactă. Și mă ciocnesc de un răspuns pe care l-am găsit deja, oamenii spun că problema este în DNS, dar eu știu sigur că nu este nicio problemă, toate adresele sunt rezolvate!

Evidentul - nu improbabilul

Nu am ce face, iau în mână nslookup și bingo (ar fi trebuit să fac asta imediat)! DNS-ul primar este căzut (virtuală cu controlerul), iar eu nici nu am observat! Dacă ar fi fost un singur DNS, ar fi apărut imediat o eroare 😉

Rezultatul

O problemă elementară, pe care monitorizarea ar fi putut să o vadă (care ar trebui configurată pentru toate nodurile), mascată de redundanța DNS, a dus la pierderea a aproape două zile de lucru rezolvând o situație prostească. Leneșul face totul complicat; configurarea monitorizării durează un minut - căutând problema acolo unde nu este, durează două zile.

Numai utilizatorii înregistrați pot participa la sondaj. Conectați-vă, vă rugăm.