Mar as iom-fhillte an siostam, is ann as motha a dh’ fhàsas e le gach seòrsa rabhadh. Agus feumar dèiligeadh ris na h-aon rabhaidhean sin, an cruinneachadh agus an sealladh. Tha mi a’ smaoineachadh gur e suidheachadh a tha seo air a bheil mòran eòlach gu ìre iomagaineach.
Chan e am fuasgladh a thèid a dheasbad an rud as ris nach robh dùil, ach cha till an rannsachadh artaigil làn-chuimseach air a’ chuspair seo.
Mar sin, chuir mi romham eòlas FunCorp a cho-roinn agus bruidhinn air mar a tha am pròiseas dleastanais air a structaradh, cò a chanas, carson agus ciamar as urrainn dhut coimhead air uile.
Dè a th' ann am PagerDuty?
Mar sin, gus fuasgladh fhaighinn air na duilgheadasan sin uile, thòisich sinn a 'coimhead airson inneal freagarrach. Às deidh beagan sgrùdaidh, thagh sinn PagerDuty. Bha e coltach dhuinne gu robh PD na fhuasgladh gu math coileanta agus pongail le àireamh mhòr de aonachadh agus suidheachaidhean. Cò ris a tha i coltach?
Ann an ùine ghoirid, tha PagerDuty na àrd-ùrlar giullachd tachartais as urrainn tachartasan a tha a’ tighinn a-steach a làimhseachadh tro dhiofar aonachadh, òrdughan dleastanais a stèidheachadh agus an uairsin rabhadh a thoirt don innleadair a tha air dleasdanas a rèir ìre an tachartais (aig ìre àrd - gairm, aig ìre ìosal - putadh bhon tagradh / SMS).
Cò an t-oifigear dleastanais?
Is dòcha gur e seo a’ chiad àite airson tòiseachadh air PD a stèidheachadh.
Aig FunCorp, mar chompanaidhean eile, tha dreuchd urramach mar oifigear dleastanais. Tha e air a ghluasad bho einnseanair gu innleadair uair san latha. Tha a’ chiad agus an dàrna loidhne de fhreagairtean ri rabhadh bho PagerDuty. Seach gun ruig rabhadh le prìomhachas àrd, agus ma tha 10 mionaidean às deidh a’ ghairm chun innleadair dleastanais bhon chiad loidhne chan eil freagairt sam bith ann (ie, chan eil e air a ghluasad chun inbhe aithneachaidh no fuasglaidh), thèid a’ ghairm chun dàrna fear. innleadair dleastanas. Tha seo air a rèiteachadh ann am PagerDuty fhèin tro Phoileasaidhean Àrdachadh.
Mura freagair an dàrna oifigear dleastanais, tillidh am fios air ais gu prìomh don oifigear dleastanais.
Mar sin, chan urrainn do rabhadh àrd-phrìomhachais sam bith a thig a-steach fuireach gun phròiseas.
A-nis chì sinn cò às a thig tachartasan.
Dè an aonachadh a bhios sinn a’ cleachdadh?
Bidh PD a’ faighinn iomadh tachartas eadar-dhealaichte bho dhiofar sheirbheisean. Tha timcheall air 25 seirbheis mar sin againn an-dràsta, agus airson an làimhseachadh bidh sinn a’ cleachdadh cuid de aonachadh deiseil.
- Prometheus
Is e am prìomh shiostam cruinneachaidh meatrach Prometheus. Chaidh tòrr a sgrìobhadh mu dheidhinn mar-thà air Habré, canaidh mi gu bheil grunn dhiubh againn airson diofar àrainneachdan: bidh aon a’ cruinneachadh metrics bho innealan brìgheil agus docairean, fear eile bho sheirbheisean Amazon, an treas fear bho innealan bathar-cruaidh. Tha Telegraf air a chleachdadh sa mhòr-chuid mar às-mhalairt metrics.
- Seòladh post-dealain
An seo cuideachd, tha mi a’ smaoineachadh, tha a h-uile dad soilleir bhon tiotal. Tha an aonachadh seo air a chleachdadh gus fiosan a chuir bho chuid de sgriobtaichean a chuir cron gu bàs. Bheir PD seòladh sònraichte dhut dhan cuir thu litrichean. Nuair a chruthaicheas tu seirbheis le leithid de aonachadh, faodaidh tu prìomhachasan a shuidheachadh, dè an òrdugh a thèid tachartasan a-steach a phròiseasadh, mar a chruthaicheas tu rabhadh (airson gach litir a thig a-steach, airson litir a thig a-steach + riaghailt sònraichte, msaa).
- Slack
Nam bheachd-sa, amalachadh gu math inntinneach. Bidh amannan ann nuair a thachras rudeigin ach nach eil e air a chòmhdach le tachartasan. Mar sin, chuir sinn amalachadh bho Slack ris gus tachartas a chruthachadh. Is e sin, faodaidh tu sgrìobhadh gu Slack corporra / callofduty tha a h-uile dad slaodach agus brisidh e a dh’ aithghearr agus pròiseasaidh am PD e agus cuiridh iad an tachartas chun an innleadair dleastanais.
Bidh sinn a 'dèanamh:
Chì sinn:
- API
Amalachadh HTTP. Gu dearbh, chan eil dad gu sònraichte inntinneach an seo, dìreach iarrtas POST le corp ann an cruth JSON. Mar eisimpleir, rudeigin inntinneach: bidh sinn ga chleachdadh airson sgrùdadh taobh a-muigh a 'cleachdadh . Bidh an t-seirbheis seo a’ sgrùdadh ruigsinneachd ar làraich bho dhiofar phàirtean den t-saoghal. Anns a 'chùis nuair a gheibh sinn còd freagairt neo-iomchaidh (mar eisimpleir, 502), thèid tachartas a chruthachadh agus an uairsin bidh a h-uile càil a' leantainn an t-sreath a tha air a mhìneachadh gu h-àrd. Tha comas aig StatusCake fhèin sùil a chumail air URLan a-staigh, teisteanas SSL no crìoch fearainn.
- LibreNMS
Is e siostam sgrùdaidh eile a tha seo, faodaidh tu barrachd a leughadh mu dheidhinn air an làrach-lìn aca . Le a chuideachadh, bidh sinn a’ cumail sùil air eadar-aghaidh lìonra agus iDRAC bho luchd-frithealaidh.
Bha aonachadh ann cuideachd leithid Datadog, CloudWatch. Chì thu barrachd mu na thachair dhaibh .
Ìomhaigh
Is e Slack am prìomh shiostam aithris tachartais. Tha a h-uile tachartas a thig gu PD air a sgrìobhadh gu còmhradh sònraichte, agus ma dh’ atharraicheas an inbhe aca, tha seo cuideachd air a thaisbeanadh sa chat.
Nuair a dh’ èirich an cothrom dàta feumail a thaisbeanadh air na scrionaichean de sgrùdairean crochte bhon mhullach, thuig sinn gu h-obann nach robh dad againn (ann an roinn devops) ri thaisbeanadh orra. Tha Grafana mìorbhaileach ann, ach chan eil e a 'còmhdach a h-uile càil, agus bidh luchd-obrach a' dèiligeadh ri rabhaidhean, chan e clàran.
Às deidh sgrùdadh mionaideach ach neo-shoirbheachail air GitHub airson “bòrd” pongail agus fiosrachail airson PD, chuir sinn romhainn ar cuid fhìn a sgrìobhadh - dìreach leis na bha a dhìth oirnn. Ged a bha beachd ann an-toiseach an eadar-aghaidh PD fhèin a thaisbeanadh, bha e a’ coimhead eadhon nas mì-ghoireasach.
Gus a sgrìobhadh, chan eil agad ach iuchair fhaighinn bho PD le còraichean leughaidh a-mhàin.
Agus seo na fhuair sinn:
Bidh an scrion a’ taisbeanadh na tachartasan fosgailte a th’ ann an-dràsta, ainm an innleadair gnàthach a tha air dleasdanas bhon chlàr taghte, agus an ùine às aonais tachartas le prìomhachas àrd (thèid am pannal le tachartas àrd-phrìomhachais a chomharrachadh ann an dearg).
.
Mar thoradh air an sin, fhuair sinn deas-bhòrd goireasach airson na tachartasan againn uile fhaicinn. Bidh mi toilichte ma bhios an t-eòlas againn feumail do chuid agaibh.
Source: www.habr.com