Чӣ қадаре ки система мураккабтар бошад, ҳамон қадар он бо ҳама гуна огоҳиҳо пур мешавад. Ва зарурати вокуниш ба ин огоҳиҳо, ҷамъоварӣ ва визуалӣ вуҷуд дорад. Ман фикр мекунам, ки ин вазъиятест, ки ба бисёриҳо то ҳадде асабонӣ ошно аст.
Роҳе, ки мавриди баррасӣ қарор хоҳад гирифт, ғайричашмдошт нест, аммо ҷустуҷӯ мақолаи мукаммалро дар ин мавзӯъ барнамегардонад.
Аз ин рӯ, ман тасмим гирифтам, ки таҷрибаи FunCorp-ро мубодила кунам ва дар бораи он сӯҳбат кунам, ки раванди навбатдорӣ чӣ гуна сохта шудааст, кӣ занг мезанад, чаро ва чӣ гуна шумо метавонед ба ҳама назар кунед.
PagerDuty чист?
Ҳамин тавр, барои ҳалли ҳамаи ин мушкилот мо ба ҷустуҷӯи асбоби мувофиқ шурӯъ кардем. Пас аз чанд ҷустуҷӯ, мо PagerDuty -ро интихоб кардем. PD ба назари мо як ҳалли хеле мукаммал ва мухтасар бо шумораи зиёди ҳамгироӣ ва танзимот буд. Вай чӣ гуна аст?
Хулоса, PagerDuty як платформаи коркарди ҳодисаҳо мебошад, ки метавонад ҳодисаҳои воридшударо тавассути ҳамгироии гуногун коркард кунад, фармоишҳои навбатдорӣ муқаррар кунад ва сипас вобаста ба сатҳи ҳодиса (дар сатҳи баланд - занг, дар сатҳи паст) муҳандиси навбатдорро огоҳ кунад. як такони барнома / SMS).
Навбатдор кист?
Эҳтимол, ин ҷои аввал барои оғози танзими PD аст.
Дар FunCorp, мисли дигар ширкатҳо, вазифаи фахрии навбатдор вуҷуд дорад. Он рузе як маротиба аз инженер ба инженер мегузарад. Як сатри аввал ва дуюми посух ба огоҳӣ аз PagerDuty мавҷуд аст. Фарз мекунем, ки огоҳии афзалиятнок расид ва агар 10 дақиқа пас аз занг ба навбатдор аз хати аввал вокуниш нишон надиҳад (яъне, он ба ҳолати эътироф ё ҳалшуда интиқол дода нашавад), занг ба дуюм мегузарад. инженери навбатдор. Ин дар худи PagerDuty тавассути Сиёсати густариш танзим карда шудааст.
Агар навбатдори дуюм ҷавоб надиҳад, огоҳинома бармегардад асосй ба навбатдор.
Ҳамин тариқ, ҳама гуна огоҳии афзалиятноки воридшаванда наметавонад коркарднашуда боқӣ монад.
Акнун биёед бубинем, ки ҳодисаҳо аз куҷо пайдо мешаванд.
Мо кадом интеграцияҳоро истифода мебарем?
PD аз хидматҳои гуногун ҳодисаҳои гуногун мегирад. Дар айни замон мо тақрибан 25 чунин хидмат дорем ва барои коркарди онҳо мо якчанд интегратсияҳои тайёрро истифода мебарем.
- Prometheus
Системаи асосии ҷамъоварии ченакҳо Prometheus мебошад. Дар бораи он аллакай дар Ҳабре бисёр навишта шудааст, ман танҳо мегӯям, ки мо якчандтои онҳоро барои муҳитҳои гуногун дорем: яке аз мошинҳои виртуалӣ ва докерҳо, дигаре аз хидматҳои Amazon, сеюмӣ аз мошинҳои сахтафзор ҷамъоварӣ мекунад. Telegraf асосан ҳамчун содиркунандаи метрика истифода мешавад.
- Имейл
Дар ин чо хам, ба фикрам, аз сарлавха хама чиз равшан аст. Ин ҳамгироӣ барои фиристодани огоҳиҳо аз баъзе скриптҳои аз ҷониби cron иҷрошуда истифода мешавад. PD ба шумо суроғаи муайянеро медиҳад, ки шумо ба он мактуб мефиристед. Ҳангоми эҷоди хидмат бо чунин ҳамгироӣ, шумо метавонед афзалиятҳоро муқаррар кунед, ки ҳодисаҳои воридотӣ бо кадом тартиб коркард карда мешаванд, чӣ тавр дақиқ эҷод кардани огоҳӣ (барои ҳар як мактуби воридотӣ, барои ҳарфи воридотӣ + қоидаи муайян ва ғайра).
- суст
Ба андешаи ман, як ҳамгироӣ хеле ҷолиб. Ҳолатҳое мешаванд, ки чизе рӯй медиҳад, аммо бо ҳодисаҳо фаро гирифта намешаванд. Аз ин рӯ, мо барои эҷоди як ҳодиса ҳамгироиро аз Slack илова кардем. Яъне, шумо метавонед ба Slack корпоративӣ нависед /callofduty ҳама чиз суст аст ва ба зудӣ вайрон мешавад ва ПД онро коркард карда, ходисаро ба инженери навбатдор мефиристад.
Мо мекунем:
Мо мебинем:
- API
ҳамгироии HTTP. Дар асл, дар ин ҷо ҳеҷ чизи ҷолибе вуҷуд надорад, танҳо дархости POST бо бадан дар формати JSON. Масалан, чизи ҷолиб: мо онро барои мониторинги беруна истифода мебарем . Ин хидмат дастрасии сайтҳои моро аз гӯшаҳои гуногуни ҷаҳон тафтиш мекунад. Дар ҳолате, ки мо рамзи ҷавоби ғайри қобили қабул мегирем (масалан, 502), ҳодиса ба вуҷуд меояд ва ҳама чиз аз рӯи занҷири дар боло тавсифшуда мегузарад. Худи StatusCake қобилияти назорат кардани URL-ҳои дохилӣ, сертификати SSL ё ба охир расидани мӯҳлати доменро дорад.
- LibreNMS
Ин системаи дигари мониторинг аст, шумо метавонед дар бораи он бештар дар вебсайти худ хонед . Бо ёрии он мо интерфейсҳои шабакавӣ ва iDRAC-ро аз серверҳо назорат мекунем.
Интегратсияҳо ба монанди Datadog, CloudWatch низ буданд. Шумо метавонед бештар дар бораи он чизе, ки бо онҳо рӯй дод, бубинед .
Визуализатсия
Системаи асосии гузоришдиҳии ҳодисаҳо Slack мебошад. Ҳама ҳодисаҳое, ки ба PD меоянд, ба чати махсус навишта мешаванд ва агар ҳолати онҳо тағир ёбад, ин дар чат низ нишон дода мешавад.
Вақте ки имкони намоиш додани маълумоти муфид дар экранҳои мониторҳои аз шифт овезон пайдо шуд, мо ногаҳон фаҳмидем, ки мо (дар шӯъбаи девопҳо) дар онҳо чизе надорем. Графанаи олиҷаноб вуҷуд дорад, аммо он ҳама чизро дар бар намегирад ва кормандон ба огоҳиҳо вокуниш нишон медиҳанд, на диаграммаҳо.
Пас аз ҷустуҷӯи ҳамаҷониба, вале бемуваффақият дар GitHub барои "тахта"-и мухтасар ва иттилоотӣ барои PD, мо тасмим гирифтем, ки худамонро нависем - танҳо бо он чизе, ки ба мо лозим буд. Гарчанде ки дар аввал идеяи намоиши худи интерфейси PD вуҷуд дошт, он боз ҳам нороҳаттар менамуд.
Барои навиштани он танҳо ба шумо лозим аст, ки калидеро аз PD бо ҳуқуқи танҳо барои хондан гиред.
Ва ин аст он чизе ки мо ба даст овардем:
Дар экран ҳодисаҳои кушодаи ҷорӣ, номи муҳандиси ҳозираи навбатдор аз ҷадвали интихобшуда ва вақти бе ҳодисаи афзалиятнок нишон дода мешавад (панел бо ҳодисаи афзалиятнок бо ранги сурх нишон дода мешавад).
.
Дар натиҷа, мо барои дидани ҳама ҳодисаҳои мо панели қулай гирифтем. Агар баъзеи шумо таҷрибаи мо муфид бошанд, ман шод хоҳам шуд.
Манбаъ: will.com