Beuki kompleks sistemna, beuki kakeueum ku sagala rupa panggeuing. Sareng aya kabutuhan pikeun ngaréaksikeun béwara anu sami ieu, agrégat sareng visualisasikeunana. Jigana ieu kaayaan nu geus wawuh ka loba nepi ka point of nervousness.
Solusi anu bakal dibahas sanés anu paling teu kaduga, tapi pamilarian henteu ngabalikeun tulisan lengkep ngeunaan topik ieu.
Ku alatan éta, kuring mutuskeun pikeun babagi pangalaman FunCorp sarta ngobrol ngeunaan kumaha prosés tugas ieu terstruktur, saha nelepon, naha jeung kumaha anjeun tiasa ningali eta sadayana.
Naon PagerDuty?
Janten, pikeun ngabéréskeun sadaya masalah ieu, urang ngamimitian milarian alat anu merenah. Saatos sababaraha milarian, kami milih PagerDuty. PD sigana urang janten solusi anu cukup lengkep sareng singket kalayan sajumlah integrasi sareng setélan. Kumaha manehna?
Pondokna, PagerDuty mangrupikeun platform pamrosesan kajadian anu tiasa ngolah kajadian anu datang ngaliwatan sababaraha integrasi, nyetél pesenan tugas teras ngageterkeun insinyur dina tugas gumantung kana tingkat kajadian (dina tingkat anu luhur - telepon, dina tingkat anu handap - push tina aplikasi / SMS).
Saha petugas tugasna?
Ieu sigana tempat munggaran pikeun ngamimitian nyetél PD.
Di FunCorp, sapertos perusahaan-perusahaan sanés, aya posisi honorer perwira tugas. Éta dikirimkeun ti insinyur ka insinyur sakali sapoé. Aya nu disebut baris kahiji jeung kadua respon kana ngageter ti PagerDuty. Anggap hiji ngageter-prioritas tinggi datang, sarta lamun 10 menit sanggeus nelepon ka perwira tugas ti garis kahiji euweuh réaksi pikeun eta (ie, eta teu dibikeun ka status ngaku atawa direngsekeun), nelepon ka kadua. tugas insinyur. Ieu dikonpigurasi dina PagerDuty sorangan ngaliwatan Kawijakan Escalation.
Lamun patugas tugas kadua teu ngabales, bewara balik deui ka utama ka patugas.
Ku kituna, sagala ngageter prioritas tinggi asup teu bisa tetep unprocessed.
Ayeuna hayu urang tingali dimana kajadian asalna.
integrasi naon anu kami anggo?
PD nampi seueur kajadian anu béda tina sababaraha jasa. Kami ayeuna gaduh sakitar 25 jasa sapertos kitu, sareng pikeun ngolahna kami nganggo sababaraha integrasi anu siap-siap.
- Prometheus
Sistem pangumpulan métrik utama nyaéta Prometheus. Seueur anu parantos ditulis ngeunaan éta dina Habré, kuring ngan ukur nyarios yén kami gaduh sababaraha di antarana pikeun lingkungan anu béda: hiji ngumpulkeun métrik tina mesin virtual sareng dockers, anu sanés ti jasa Amazon, anu katilu tina mesin hardware. Telegraf utamana dipaké salaku eksportir metrics.
- surélék
Di dieu oge, Jigana, sagalana jelas tina judul. Integrasi ieu dianggo pikeun ngirim béwara tina sababaraha naskah anu dieksekusi ku cron. PD masihan anjeun alamat anu tangtu dimana anjeun ngirim surat. Nalika nyiptakeun layanan kalayan integrasi sapertos kitu, anjeun tiasa nyetél prioritas, dina urutan naon kajadian anu datang bakal diolah, kumaha persisna nyiptakeun waspada (pikeun unggal surat anu asup, pikeun surat anu asup + aturan anu tangtu, jsb.).
- Slack
Dina pamanggih kuring, integrasi pisan metot. Aya waktos nalika aya kajadian tapi henteu katutupan ku kajadian. Kituna, urang ditambahkeun integrasi ti Slack nyieun hiji kajadian. Nyaéta, anjeun tiasa nyerat ka Slack perusahaan / callofduty sagalana slow sarta bakal megatkeun pas sareng PD bakal ngolah éta sareng ngirim kajadian éta ka insinyur tugas.
Urang ngalakukeun:
Urang nempo:
- API
integrasi HTTP. Nyatana, teu aya anu pikaresepeun pisan di dieu, ngan ukur pamundut POST kalayan badan dina format JSON. Contona, hiji hal metot: urang make eta pikeun ngawas éksternal maké . Ladenan ieu mariksa aksésibilitas situs urang ti sababaraha bagian di dunya. Dina kasus nalika urang nampi kodeu réspon anu teu tiasa ditampi (contona, 502), kajadian didamel teras sadayana nuturkeun ranté anu dijelaskeun di luhur. StatusCake sorangan gaduh kamampuan pikeun ngawas URL internal, sertipikat SSL atanapi kadaluwarsa domain.
- LibreNMS
Ieu sistem ngawaskeun sejen, Anjeun bisa maca leuwih lengkep tentang eta dina website maranéhanana . Kalayan pitulungna, urang ngawaskeun antarmuka jaringan sareng iDRAC tina server.
Aya ogé integrasi sapertos Datadog, CloudWatch. Anjeun tiasa ningali langkung seueur ngeunaan naon anu lumangsung ka aranjeunna .
Visualisasi
Sistem ngalaporkeun kajadian utama nyaéta Slack. Sadaya kajadian anu datang ka PD ditulis kana obrolan khusus, sareng upami statusna robih, ieu ogé ditampilkeun dina obrolan.
Nalika kasempetan muncul pikeun mintonkeun data mangpaat dina layar monitor ngagantung ti siling, urang ujug-ujug sadar yen urang (dina departemén devops) teu boga nanaon pikeun nembongkeun on aranjeunna. Aya Grafana éndah, tapi teu nutupan sagalana, jeung karyawan meta pikeun ngageter, teu grafik.
Saatos milarian anu lengkep tapi gagal dina GitHub pikeun "papan" singket sareng informatif pikeun PD, kami mutuskeun pikeun nyerat nyalira - ngan ukur anu diperyogikeun. Sanaos mimitina aya ide pikeun nampilkeun antarmuka PD sorangan, éta katingalina langkung pikaresepeun.
Pikeun nyeratna, anjeun kedah ngan ukur kéngingkeun konci ti PD anu gaduh hak baca wungkul.
Sareng ieu anu kami kéngingkeun:
Layar mintonkeun kajadian kabuka ayeuna, ngaran insinyur ayeuna on tugas ti jadwal nu dipilih, jeung waktu tanpa kajadian prioritas luhur (panel jeung kajadian prioritas luhur bakal disorot beureum).
.
Hasilna, kami nampi dasbor anu cocog pikeun ningali sadaya kajadian urang. Kuring bakal bungah lamun sababaraha anjeun manggihan pangalaman urang mangpaat.
sumber: www.habr.com