Plis sistèm nan konplèks, plis li vin anvayi ak tout kalite alèt. E gen yon nesesite pou reyaji pou alèt sa yo menm, agrégées Et visualiser yo. Mwen panse ke sa a se yon sitiyasyon ki abitye nan anpil nan pwen nan nève.
Solisyon an ki pral diskite se pa pi inatandi a, men rechèch la pa retounen yon atik plen véritable sou sijè sa a.
Se poutèt sa, mwen deside pataje eksperyans FunCorp a epi pale sou ki jan pwosesis devwa a estriktire, ki moun ki rele, poukisa ak ki jan ou ka gade nan tout bagay.
Ki sa ki PagerDuty?
Se konsa, rezoud tout pwoblèm sa yo, nou te kòmanse chache yon zouti pratik. Apre kèk rechèch, nou te chwazi PagerDuty. PD te sanble yo dwe yon solisyon jistis konplè ak kout ak yon gwo kantite entegrasyon ak anviwònman. Ki jan li ye?
Nan ti bout tan, PagerDuty se yon platfòm pwosesis ensidan ki ka trete ensidan fèk ap rantre atravè entegrasyon divès kalite, mete lòd devwa ak Lè sa a, alèt enjenyè a sou devwa depann sou nivo a nan ensidan an (nan yon wo nivo - yon apèl, nan yon nivo ki ba - yon pouse soti nan aplikasyon an / SMS).
Ki moun ki ofisye devwa a?
Sa a se pwobableman premye kote yo kòmanse mete kanpe PD.
Nan FunCorp, tankou lòt konpayi yo, gen yon pozisyon onorè ofisye devwa. Li transmèt de enjenyè a enjenyè yon fwa pa jou. Gen yon sa yo rele premye ak dezyèm liy repons a yon alèt soti nan PagerDuty. Sipoze yon alèt priyorite rive, epi si 10 minit apre apèl la bay enjenyè devwa a soti nan premye liy lan pa gen okenn reyaksyon sou li (sa vle di, li pa transfere nan rekonèt oswa rezoud estati), apèl la ale nan dezyèm lan. enjenyè devwa. Sa a se configuré nan PagerDuty tèt li atravè Règleman Eskalasyon.
Si dezyèm ofisye devwa a pa reponn, notifikasyon an retounen prensipal bay ofisye devwa a.
Kidonk, nenpòt alèt gwo priyorite k ap vini pa ka rete san trete.
Koulye a, ann wè ki kote ensidan yo ka soti.
Ki entegrasyon nou itilize?
PD resevwa anpil ensidan diferan nan men divès sèvis. Kounye a nou gen anviwon 25 sèvis sa yo, e pou nou trete yo, nou itilize kèk entegrasyon pare yo.
- Prometheus
Sistèm koleksyon mezi prensipal la se Prometheus. Gen anpil bagay ki deja ekri sou li sou Habré, mwen pral jis di ke nou gen plizyè nan yo pou diferan anviwònman: youn kolekte mezi nan machin vityèl ak dockers, yon lòt nan sèvis Amazon, twazyèm lan nan machin pyès ki nan konpitè. Telegraf se sitou itilize kòm yon ekspòtatè metrik.
- Imèl
Isit la tou, mwen panse, tout bagay klè nan tit la. Yo itilize entegrasyon sa a pou voye notifikasyon ki sòti nan kèk scripts ki egzekite pa cron. PD ba ou yon sèten adrès kote ou voye lèt. Lè w ap kreye yon sèvis ak entegrasyon sa yo, ou ka mete priyorite, nan ki lòd ensidan k ap vini yo pral trete, ki jan egzakteman yo kreye yon alèt (pou chak lèt k ap fèk ap rantre, pou yon lèt fèk ap rantre + yon règ sèten, elatriye).
- Kanson
Dapre mwen, yon entegrasyon trè enteresan. Gen kèk fwa lè yon bagay rive men ki pa kouvri pa ensidan. Se poutèt sa, nou te ajoute entegrasyon nan Slack pou kreye yon ensidan. Sa vle di, ou ka ekri nan antrepriz Slack /callofduty tout bagay se ralanti epi yo pral kraze byento epi PD a pral trete li epi voye ensidan an bay enjenyè devwa a.
Nou fè:
Nou wè:
- API
HTTP entegrasyon. An reyalite, pa gen anyen patikilyèman enteresan isit la, jis yon demann POST ak yon kò nan fòma JSON. Pou egzanp, yon bagay enteresan: nou itilize li pou siveyans ekstèn lè l sèvi avèk . Sèvis sa a tcheke aksè nan sit nou yo soti nan diferan pati nan mond lan. Nan ka lè nou resevwa yon kòd repons ki pa akseptab (pa egzanp, 502), yo kreye yon ensidan epi answit tout bagay swiv chèn ki dekri pi wo a. StatusCake tèt li gen kapasite pou kontwole URL entèn yo, sètifika SSL oswa ekspirasyon domèn.
- LibreNMS
Sa a se yon lòt sistèm siveyans, ou ka li plis sou li sou sit entènèt yo . Avèk èd li, nou kontwole interfaces rezo ak iDRAC soti nan serveurs.
Te gen tou entegrasyon tankou Datadog, CloudWatch. Ou ka wè plis sou sa ki te pase yo .
Vizyalizasyon
Sistèm prensipal rapò ensidan an se Slack. Tout ensidan ki vini nan PD yo ekri nan yon chat espesyal, epi si sitiyasyon yo chanje, sa a parèt tou nan chat la.
Lè opòtinite a te parèt pou montre done itil sou ekran monitè ki pandye nan plafon an, nou toudenkou reyalize ke nou (nan depatman devops la) pa te gen anyen yo montre sou yo. Gen yon Grafana bèl bagay, men li pa kouvri tout bagay, ak anplwaye yo reyaji a alèt, pa tablo.
Apre yon rechèch apwofondi men san siksè sou GitHub pou yon "tablo" kout ak enfòmatif pou PD, nou deside ekri pwòp pa nou - sèlman ak sa nou bezwen. Malgre ke nan premye te gen yon lide yo montre koòdone nan PD tèt li, li te sanble menm plis konvenyan.
Pou ekri li, tout sa ou bezwen fè se jwenn yon kle nan men yon PD ki gen dwa pou li sèlman.
Epi sa a se sa nou jwenn:
Ekran an montre ensidan ouvè yo kounye a, non enjenyè aktyèl la nan sèvis la nan orè yo chwazi a, ak tan an san yon ensidan priyorite segondè (panèl la ki gen yon ensidan priyorite segondè pral make an wouj).
.
Kòm rezilta, nou te resevwa yon tablodbò pratik pou wè tout ensidan nou yo. Mwen pral kontan si kèk nan nou jwenn eksperyans nou itil.
Sous: www.habr.com