Métode KASUS: ngawaskeun manusa

Métode KASUS: ngawaskeun manusa
Dziiiiiin! Jam 3 isuk-isuk, anjeun gaduh impian anu saé, sareng ujug-ujug aya telepon. Anjeun nuju tugas minggu ieu, sarta sigana aya kajadian. Sistim otomatis nelepon pikeun manggihan naon salah. Ieu mangrupikeun aspék penting pikeun ngatur sistem komputer modéren, tapi hayu urang tingali kumaha carana ngajantenkeun béwara langkung saé pikeun jalma.

Kenalan sareng filosofi ngawaskeun, dilahirkeun salami sababaraha dasawarsa tugas kuring dina tim ngawaskeun anu béda. Manéhna sakitu legana dipangaruhan ku Alkitab nyata ti Rob Evashchuk Filosofi kuring dina Waspada (Filosofi Bewara Kuring) kaasup dina buku on Google SRE, jeung buku ku John Alspaugh Pertimbangan pikeun Desain Siaga (Catetan ngeunaan nyetél panggeuing).

Kelly Dunn, Arijit Mukheryi и Maxim Petazzoni - hatur nuhun pikeun pitulung anjeun dina ngédit pos.

Naon CASE?

Kuring mutuskeun pikeun datang nepi ka singketan geulis kawas Metode USE Brendan Gregg atawa Métode RED Tom Wilkie. Kuring nelepon deui Métode CASE. Anjeunna ngajelaskeun opat poin anu kedah diperhatoskeun nalika damel sareng ngawaskeun otomatis:

Upami anjeun nganggo CASE, anjeun ngarawat béwara kalayan teu acuh séhat sareng henteu ngahudangkeun jalma wengi. Pangimeutan kedah rutin ditaksir pikeun mangpaat sareng éféktivitas. Nalika hiji jalma nampi béwara, aranjeunna bakal ngagaduhan modél mental anu langkung saé sareng langkung percaya diri.

Pikeun ngagampangkeun émut, bayangkeun yén anjeun peryogi KASUS [nyaéta, kasus, alesan - catetan penerjemah] pikeun menerkeun unggal ngageter. :kacamata:

Sareng naha sadayana ieu?

Keur dina tugas bisa jadi nyeri. Pikeun loba alesan. Sareng CASE moal ngaleungitkeun sadayana. Tapi kalayan éta, anjeun bakal hudang wengi kanggo béwara anu langkung saé. Metoda ieu nyertakeun sababaraha prosés organisasi anu ogé bakal ngabantosan dina masalah ieu.

Kaéndahan metode RED sareng USE nyaéta kalayan bantosanna urang henteu ngan ukur terang kumaha damel, tapi ogé nyarios basa anu sami sareng anu sanés. Harepan kuring nyaéta yén metode CASE bakal ngagampangkeun ngabahas béwara anu ngajagi sistem kami tapi ngajaga kolega urang sibuk.

Intina nyaéta anjeun kedah nyiptakeun budaya dina organisasi anjeun dimana béwara dirawat kalayan teu paduli anu séhat. Bewara bisa dijieun pikeun tujuan husus, tapi teu kanyataan yén maranéhna moal leungit nilai engké. Naha urang nyetél béwara ieu? Sabaraha lami kritéria na parantos dirévisi? Kalayan CASE, patarosan ieu tiasa dijawab.

Konteks-Beurat - konteks mengikat

Jam 3 énjing sanés waktos anu pangsaéna pikeun maca pesen anu ngandung seueur kecap pinter. Pikeun ngaréspon sacara efektif, anjeun peryogi inpormasi. Ideally, ieu kudu informasi ngeunaan hiji masalah husus, nu konteks na jelas, sarta bewara kudu ngonpigurasi jadi ieu mungkin. Ieu "observasi" jeung "orientasi" ti loop OODA. Henteu éra nyéépkeun waktos dina setélan ieu, sabab terus-terusan ngaganggu jalma langkung mahal. Hayu urang silih hormat.

Métode KASUS: ngawaskeun manusa
Masalah gaduh seueur sumber. Utamana hantu.

Kumaha carana abdi tiasa ngabantu perwira tugas? Hal kahiji anu ditingali ku patugas tugas nyaéta béwara, ku kituna anjeunna ngawangun sadayana hipotesis dina dasarna. Lajeng anjeunna kasampak di parentah jeung dashboards, tapi aya salawasna data dina bewara husus, sarta teu ngan informasi umum? Alspaugh naroskeun "mikir ngeunaan kumaha anjeun tiasa napsirkeun atanapi ngabales béwara" (slide 29)1. Bewara anu saé difokuskeun ka jalma anu tugas, sanés ngan ukur dikonpigurasi ku bangbarung.

Janten ieu sababaraha ideu ngeunaan cara ningkatkeun kontéks béwara:

  • Témbongkeun pamaké hal mangpaat tur husus dijieun, sarta teu ngan parentah biasa atawa dasbor a. Saméméhna, guys jeung kuring dipaké dasbor investigative ngonpigurasi pikeun bewara husus. Ieu bakal nulungan lamun masalah dipikawanoh, tapi ngan bakal ngalieurkeun batur. Urang kedah milarian kasaimbangan di dieu.
  • Béjakeun ka kami ngeunaan sajarah béwara: naha éta énggal? Naha éta sering dianggo? Éta musiman?
  • Témbongkeun parobahan panganyarna kana kaayaan sistem. Aya nu robah anyar? (Contona, deployment atanapi ngaktipkeun / nganonaktipkeun fungsionalitas.)
  • Témbongkeun hubungan jeung nyadiakeun informasi pikeun modél mental: kagumantungan sistem kudu jelas katempo, preferably kalawan indikasi fungsionalitas.
  • Gancang nyambungkeun pangguna sareng tim: naha aranjeunna tiasa ningali kajadian anu lumangsung atanapi tiasa mendakan saha waé di perusahaan anu nampi béwara? Program manajemén kajadian diaktipkeun?

Ideally, program manajemén kajadian bakal nyadiakeun nasehat ngeunaan kumaha carana ngaronjatkeun konteks bewara tina investigations kajadian. Sok aya anu tiasa dianggo!

Actionable - nilai praktis

Naha patugas tugas ngalakukeun hal pikeun ngaréspon béwara? Upami anjeun henteu kedah ngalakukeun nanaon atanapi henteu écés naon anu kedah dilakukeun, naha anjeun ngahudangkeun anjeunna? Anjeun kedah ngahindarkeun béwara anu ngaganggu jalma anu tugas sareng henteu ngabutuhkeun tindakan.

Témbongkeun pos dina imgur.com

Naon anu kedah abdi lakukeun? Naon anu anjeun pikahoyong?

Baheula, nalika sistem saderhana sareng tim alit, urang nyetél ngawaskeun ngan ukur pikeun tetep di luhur. Bewara yén beban dina tumpukan parantos ningkat bakal masihan kami kontéks upami palayanan salajengna gagal. Dina skala anu ageung, béwara sapertos kitu ngan ukur bakal nyababkeun kabingungan sabab sistem kami salawasna beroperasi dina kaayaan degradasi anu béda-béda parah. Ieu gancang ngakibatkeun kacapean tina bewara jeung, tangtosna, leungitna sensitipitas. Ku alatan éta, patugas tugas teu malire atanapi malah nyaring béwara sapertos kitu sareng henteu salawasna ngabales upami diperyogikeun. Ulah digolongkeun kana bubu ieu! Entong nyetél sadaya béwara sakaligus teras kirimkeun ku email ka sababaraha polder anu ditinggalkeun.

Ieu mangrupikeun bewara anu gaduh nilai praktis:

  • Bewara butuh tindakan tinimbang ngan ukur ngalaporkeun warta.
  • Peta ieu hese atanapi picilakaeun pikeun ngajadikeun otomatis. Lamun hiji aksi bisa otomatis, lajeng ngajadikeun otomatis eta, eureun pestering jalma!
  • Bewara ngandung rekomendasi urgent dina formulir pasatujuan tingkat layanan (SLA) atawa target waktos recovery (RTO). Patugas tugas teras tiasa ngaktipkeun program manajemén insiden organisasi.

Abdi hoyong netelakeun: Kuring teu nyebutkeun yén bewara ngan kedah datangna pikeun SLOs pangpentingna (tujuan-tingkat jasa) pikeun API. SLO monitoring terus fragmented sarta dibagi sarta merlukeun pendekatan sarua ka sadaya jasa. Éta jelas yén anjeun bakal ngalacak SLO anu paling penting pikeun klien anu mayar anjeun. Tapi SLO infrastruktur, sapertos database, ogé kedah diawaskeun. Moal lami deui anjeun bakal kudu nungkulan konsumén internal tur ngarojong aranjeunna. Jeung saterusna ad infinitum.

Dumasar gejala - tekenan kana gejala

Naha anjeun resep atanapi henteu, anjeun damel dina sistem anu disebarkeun (Kavaj)2. Hasilna, anjeun nganggo taktik anu béda pikeun ngasingkeun jasa sareng ngajagi aranjeunna tina kagagalan (Trainor et al.)3. Sareng sanaos pangumpulan sampah anu ditunda atanapi pamundut pangkalan data anu macet nunjukkeun masalah, henteu kedah buru-buru ngalereskeunana upami pangguna henteu ngagaduhan masalah dina waktos anu caket.

Ieu mangrupikeun sinyal penting sareng tiasa gaduh nilai praktis, tapi upami aranjeunna henteu ngaganggu pangguna, maka éta henteu cukup urgent pikeun ngaganggu patugas. Bewara dumasar-sabab mangrupikeun gambar tina modél mental urang ngeunaan kagagalan sistem. Éta langkung saé pikeun ngalacak gejala anu penting tibatan nyobian daptar sadaya kamungkinan panyabab gagalna.

Pikeun nyieun bewara bermakna, fokus kana indikator kinerja, penting pikeun pamaké. Evashchuk nyauran ieu "ngawaskeun pangguna." Émut yén filsafat ieu kedah diterapkeun sapanjang organisasi. Upami palayanan ngagaduhan masalah anu penting dina tempat anu jero dina infrastruktur, tim anu pas bakal ngurusana. Ngajagi sistem tina kagagalan sapertos kitu mangrupikeun masalah anu misah (Trainer et al., Bagian ngeunaan strategi pikeun ngaminimalkeun kagumantungan kritis)3.

Gejala henteu sakumaha variabel

Richard Cook ngingetkeun urang yén sistem kompléks pinuh ku flaws, shortcomings jeung masalah4. Nyobian daptar sadaya alesan anu mungkin mangrupikeun tugas Sisyphean. Anjeun nyobian ngajelaskeun masalah, tapi maranéhna robah unggal waktu. Cindy Sridharan percaya yén "sistem henteu kedah dina kaayaan anu sampurna unggal detik" sareng langkung saé ngagunakeun pendekatan anu langkung manusa ("System Distributed Observability" (“Sistem Distribusi Ngawaskeun”), 7)5.

Hindarkeun béwara saatos kajadian

Biasana, béwara pikeun sabab dikonpigurasi pikeun ngabenerkeun kajadian. Sareng béwara kawates ieu ngeunaan kanyataan naon anu kajantenan nyiptakeun rasa kaamanan palsu, sabab sistem unggal waktos muncul sareng cara-cara énggal pikeun ngalanggar.

Ulah kabobodo ku bewara sabab. Leuwih alus pikir:

  • Naha bewara dumasar-gejala henteu perhatikeun masalahna?
  • Dupi éta mantuan pikeun ngaronjatkeun konteks pikeun pamaké?
  • Kumaha alat ngawaskeun tiasa ningkat pikeun ngadamel diagnosis langkung gancang, tinimbang ngumpulkeun béwara ngeunaan naon anu kajantenan?

Alat ngawaskeun pikeun diagnosis ngan bakal ngabantosan upami anjeun nganggap aranjeunna salaku cara pikeun ngalih tina gejala ka solusi. Tanpa eupan balik ieu, anjeun ngan saukur bakal dibombardir ku béwara telat sareng bagan ngeunaan kagagalan anu kapungkur - sanés kecap ngeunaan anu bakal datang. Ieu mangrupikeun kasempetan anu saé pikeun organisasi pikeun mindahkeun tina pertahanan ka serangan. Sareng pamekar sareng manajer produk bakal gaduh ekspektasi anu sami sareng tujuan anu jelas. Kasus - CASE (: wink :) - jelas pikeun tiap bewara.

Bewara dumasar-alesan lumayan lumayan

Kadang-kadang sistem kami masihan kami sakedik pilihan dina hal bewara dumasar-sebab. Sarta kadangkala maranéhanana dina tugas ngartos sampurna ogé yén gejala pasti bakal ngakibatkeun gagalna, sarta ku kituna ngandung nilai praktis. Panginten anjeun henteu yakin kana naon anu lumangsung sareng nuju nyetél béwara janten aman. Mudah-mudahan tindakan ieu samentawis dugi ka urang tiasa ngarobih sistem pikeun ngabéréskeun masalah kinerja.
Perhatikeun komponén séjén tina CASE nalika nyanghareupan kaayaan ieu. Ngan kusabab éta samentawis henteu hartosna anjeun tiasa ngeureunkeun mikir kalayan sirah anjeun.

Dievaluasi - evaluasi

Sagala parobahan sistem (kode anyar, infrastruktur anyar, nanaon anyar) dilegakeun rentang gagalna (Cook, 3).4 Naha béwara ieu masih jalan sakumaha anu diharapkeun? Model mental anu jelas sareng ayeuna tina sistem sareng pangalaman ngaréspon sababaraha béwara dukungan pendekatan preventif - ieu téh fitur konci organisasi learning-oriented. Cacat dina sistem terus-terusan mekar, sareng urang kedah nuturkeunana.

Anjeun kedah terus-terusan ngevaluasi kualitas unggal bewara pikeun mastikeun aranjeunna tiasa dianggo sapertos anu diharapkeun. Pamingpin anu dihormat! Éta bakal langkung gampang pikeun tim anjeun upami anjeun ngabantosan aranjeunna ngadamel prosés ieu! Ieu sababaraha ideu penilaian:

  • pamakean rékayasa rusuh, poé kaulinan atawa métode tés béwara séjén. Tim éta tiasa ngalakukeunana nyalira tanpa kedah ngandelkeun sistem manajemén kajadian anu beurat!
  • Lebetkeun koléksi sadaya béwara anu aya hubunganana sareng program manajemén kajadian anjeun. Cirian mangpaat, ngabahayakeun, teu pantes, teu jelas, jeung sajabana Pake eta salaku eupan balik.
  • Bewara anu leres jarang dipicu sareng diuji sacara saksama. Pastikeun sadaya tautan jalan, arahkeun kana kontéks anu leres, jsb.
  • Upami bewara henteu kantos hurung atanapi sering teuing hurung, aya anu lepat. Ngalereskeun atanapi cabut. Waspada kaleuleuwihan pasif atanapi kagiatan!
  • Setel cap waktu béwara sareng kaping béakna. Upami tanggal kadaluwarsa parantos kadaluwarsa, évaluasi béwara nganggo metode CASE sareng apdet timestamp. Sapertos tuangeun, pariksa tanggal béakna sacara teratur.
  • Sederhanakeun prosés ningkatkeun béwara. Anggo monitoring salaku kode sareng béwara toko dina gudang Git. Paménta tarik ngabantosan ngalibatkeun tim sareng masihan anjeun riwayat béwara katukang. Sareng anjeun moal deui sieun ngarobih béwara atanapi naroskeun idin ti anu nanggung jawabna.
  • Setel eupan balik pikeun bewara, sanajan éta basajan formulir Google, ku kituna patugas tugas nandaan bewara salaku gunana atawa intrusive. Lebetkeun tautan atanapi panggero pikeun aksi kana béwara éta sorangan sareng pariksa tanggapan anjeun sacara rutin.
  • Ngadegkeun aturan dina tim - hayu nu on tugas digawé pikeun simplify tugas lamun aya saeutik gawé. Muga-muga sadayana saatos anjeun janten langkung saé tibatan sateuacanna.

kacindekan

Kuring yakin métode CASE mantuan pamekar jeung organisasi ngabahas nyetel tur ngirim bewara otomatis. Hiji pamekar tiasa ngamimitian ngira-ngira béwara nganggo metode CASE, teras sakumna organisasi bakal ngagabung sareng pamekar, manajemén, sareng program manajemén kajadian anu sanés pikeun ngajaga béwara dina kaayaan anu saé. Ieu teu merlukeun sagala parabot husus atawa prosés kompléks.

Sakabeh industri kedah mikirkeun faktor manusa nalika ngalaksanakeun tugas tanpa ngorbankeun jasa palanggan anu paling luhur. Sadaya alat sareng prakték ieu tiasa sareng kedah dironjatkeun. Abdi ngarepkeun metode CASE bakal ngabantosan ieu.

Ngarasakeun bewara ningkat!
Métode KASUS: ngawaskeun manusa

sumber: www.habr.com

Tambahkeun komentar