Iktar ma tkun kumplessa s-sistema, aktar titkabbar b'kull tip ta' twissijiet. U hemm bżonn li tirreaġixxi għal dawn l-istess twissijiet, aggregahom u viżwalizzahom. Naħseb li din hija sitwazzjoni li hija familjari għal ħafna sal-punt ta 'nervożità.
Is-soluzzjoni li se tiġi diskussa mhix l-aktar mhux mistennija, iżda t-tfittxija ma tirritornax artiklu sħiħ dwar dan is-suġġett.
Għalhekk, iddeċidejt li naqsam l-esperjenza ta 'FunCorp u nitkellem dwar kif il-proċess tad-dmirijiet huwa strutturat, min isejjaħ, għaliex u kif tista' tħares lejn dan kollu.
X'inhu PagerDuty?
Allura, biex issolvi dawn il-problemi kollha, bdejna nfittxu għodda konvenjenti. Wara xi tiftix, għażilna PagerDuty. PD deher lilna li hija soluzzjoni pjuttost kompluta u konċiża b'numru kbir ta 'integrazzjonijiet u settings. Kif inhi?
Fil-qosor, PagerDuty hija pjattaforma ta 'proċessar ta' inċidenti li tista 'tipproċessa inċidenti deħlin permezz ta' diversi integrazzjonijiet, twaqqaf ordnijiet ta 'dmirijiet u mbagħad tavża lill-inġinier fuq xogħol skond il-livell ta' l-inċident (f'livell għoli - sejħa, f'livell baxx - - push mill-applikazzjoni / SMS).
Min hu l-uffiċjal tad-dmirijiet?
Dan huwa probabbilment l-ewwel post biex tibda twaqqaf PD.
F'FunCorp, bħal kumpaniji oħra, hemm pożizzjoni onorarja ta' uffiċjal tad-dmir. Huwa trażmess minn inġinier għal inġinier darba kuljum. Hemm hekk imsejħa l-ewwel u t-tieni linja ta 'rispons għal twissija minn PagerDuty. Ejja ngħidu li tasal twissija ta’ prijorità għolja, u jekk 10 minuti wara s-sejħa lill-uffiċjal tad-dmir mill-ewwel linja ma jkun hemm l-ebda reazzjoni għaliha (jiġifieri, ma tiġix trasferita għall-istatus ta’ rikonoxximent jew riżolt), is-sejħa tmur għat-tieni. inġinier ta' xogħol. Dan huwa kkonfigurat f'PagerDuty innifsu permezz ta' Politiki ta' Escalation.
Jekk it-tieni duty officer ma jirrispondix, in-notifika terġa' lura għal prinċipali lill-uffiċjal tal-kariga.
Għalhekk, kwalunkwe twissija ta' prijorità għolja li tidħol ma tistax tibqa' mhux ipproċessata.
Issa ejja naraw minn fejn jistgħu jiġu l-inċidenti.
Liema integrazzjonijiet nużaw?
Il-PD jirċievi ħafna inċidenti differenti minn diversi servizzi. Bħalissa għandna madwar 25 servizz bħal dan, u biex nipproċessawhom nużaw xi integrazzjonijiet lesti.
- Prometheus
Is-sistema ewlenija tal-ġbir tal-metriċi hija Prometheus. Diġà nkiteb ħafna dwarha fuq Habré, ngħid biss li għandna diversi minnhom għal ambjenti differenti: wieħed jiġbor metriċi minn magni virtwali u dockers, ieħor mis-servizzi tal-Amazon, it-tielet minn magni tal-ħardwer. Telegraf jintuża prinċipalment bħala esportatur tal-metriċi.
Hawn ukoll, naħseb, kollox huwa ċar mit-titlu. Din l-integrazzjoni tintuża biex tibgħat notifiki minn xi skripts esegwiti minn cron. PD jagħtik ċertu indirizz li għalih tibgħat ittri. Meta toħloq servizz b'din l-integrazzjoni, tista 'tissettja prijoritajiet, f'liema ordni se jiġu pproċessati l-inċidenti deħlin, kif eżattament toħloq twissija (għal kull ittra li tidħol, għal ittra deħlin + ċerta regola, eċċ.).
- Slack
Fl-opinjoni tiegħi, integrazzjoni interessanti ħafna. Hemm drabi meta jiġri xi ħaġa iżda ma tkunx koperta minn inċidenti. Għalhekk, żidna l-integrazzjoni minn Slack biex noħolqu inċident. Jiġifieri, tista 'tikteb lil Slack korporattiv /callofduty kollox bil-mod u jkisser dalwaqt u l-PD jipproċessah u jibgħat l-inċident lill-inġinier tad-dmir.
Aħna nagħmlu:
Naraw:
- API
Integrazzjoni HTTP. Fil-fatt, m'hemm xejn partikolarment interessanti hawn, biss talba POST b'korp fil-format JSON. Per eżempju, xi ħaġa interessanti: nużawha għall-użu ta 'monitoraġġ estern . Dan is-servizz jiċċekkja l-aċċessibbiltà tas-siti tagħna minn partijiet differenti tad-dinja. Fil-każ meta nirċievu kodiċi ta 'rispons inaċċettabbli (per eżempju, 502), jinħoloq inċident u mbagħad kollox isegwi l-katina deskritta hawn fuq. StatusCake innifsu għandu l-abbiltà li jimmonitorja l-URLs interni, iċ-ċertifikat SSL jew l-iskadenza tad-dominju.
- LibreNMS
Din hija sistema oħra ta 'monitoraġġ, tista' taqra aktar dwarha fuq il-websajt tagħhom . Bl-għajnuna tagħha, aħna nissorveljaw l-interfaces tan-netwerk u l-iDRAC minn servers.
Kien hemm ukoll integrazzjonijiet bħal Datadog, CloudWatch. Tista 'tara aktar dwar dak li ġara lilhom .
Viżwalizzazzjoni
Is-sistema ewlenija tar-rappurtar tal-inċidenti hija Slack. L-inċidenti kollha li jaslu għand PD jinkitbu fuq chat speċjali, u jekk l-istatus tagħhom jinbidel, dan jintwera wkoll fiċ-chat.
Meta qamet l-opportunità li turi dejta utli fuq l-iskrins tal-moniters imdendlin mis-saqaf, f'daqqa waħda rrealizzajna li aħna (fid-dipartiment devops) ma kellna xejn x'nur fuqhom. Hemm Grafana mill-isbaħ, iżda ma tkoprix kollox, u l-impjegati jirreaġixxu għal twissijiet, mhux mapep.
Wara tfittxija bir-reqqa iżda bla suċċess fuq GitHub għal "bord" konċiż u informattiv għall-PD, iddeċidejna li niktbu tagħna stess - biss b'dak li kellna bżonn. Għalkemm għall-ewwel kien hemm idea li juri l-interface PD innifsu, deher saħansitra aktar inkonvenjenti.
Biex tiktebha, kull ma trid tagħmel hu li tikseb ċavetta minn PD bi drittijiet ta' qari biss.
U dan huwa dak li ksibna:
L-iskrin juri l-inċidenti kurrenti miftuħa, l-isem tal-inġinier kurrenti fuq xogħol mill-iskeda magħżula, u l-ħin mingħajr inċident ta 'prijorità għolja (il-pannell b'inċident ta' prijorità għolja se jkun enfasizzat bl-aħmar).
.
Bħala riżultat, irċevejna dashboard konvenjenti biex naraw l-inċidenti kollha tagħna. Inkun ferħan jekk xi wħud minnkom isibu utli l-esperjenza tagħna.
Sors: www.habr.com