Sengoli se sebetsang sa DevOps Ryn Daniels o arolelana maano ao mang kapa mang a ka a sebelisang ho theha lipotoloho tsa Oncall tse betere, tse sa ferekaneng le tse tšoarellang.
Ka ho fihla ha Devops, baenjiniere ba bangata matsatsing ana ba hlophisa lichifi ka tsela e 'ngoe kapa e' ngoe, eo pele e neng e le boikarabello ba li-sysadmins kapa lienjiniere tsa ts'ebetso. Ho ba mosebetsing, haholo-holo nakong eo e seng ea mosebetsi, hase mosebetsi oo batho ba bangata ba o thabelang. Mosebetsi oa oncall o ka sitisa boroko ba rona, oa kena-kenana le mosebetsi o tloaelehileng oo re lekang ho o etsa motšehare, 'me oa kena-kenana le bophelo ba rona ka kakaretso. Ha lihlopha tse ngata li ntse li kenya letsoho litebelong, re ile ra botsa potso, "Re ka etsa eng re le batho ka bomong, lihlopha le mekhatlo ho etsa hore tebelo e be ea botho le e tsitsitseng?"
Boloka boroko ba hao
Hangata ntho ea pele eo batho ba nahanang ka eona ha ba nahana ka ho ba mosebetsing ke hore ho tla ama boroko ba bona hampe; ha ho motho ea batlang tlhokomeliso ea ho ba tsosa har'a mpa ea bosiu. Haeba mokhatlo kapa sehlopha sa hau se hola ka ho lekana, u ka sebelisa lipotoloho tsa "late-the-sun", moo lihlopha tsa libaka tse nang le nako tse ngata li nkang karolo ka tatellano e le 'ngoe, ka nako e khuts'oane ea ho sebetsa. (kapa bonyane ho tsoha) lihora. Ho theha potoloho e joalo ho ka etsa mehlolo ho fokotsa mosebetsi oa bosiu oo mohlokomeli a o nkang.
Haeba ha u na lienjineri tse lekaneng le kabo ea libaka ho ts'ehetsa ho potoloha ha letsatsi, ho ntse ho na le lintho tseo u ka li etsang ho fokotsa monyetla oa hore batho ba tsosoe ho sa hlokahale har'a mp'a bosiu. Etsoe, ke ntho e le 'ngoe ho tsoha betheng ka 4 a.m. ho rarolla bothata bo hatellang, bo shebaneng le bareki; Ke ntho e 'ngoe e fapaneng hore u tsohe empa u fumane hore u tšoeroe ke mokhosi oa bohata. Ho ka u thusa ho hlahloba litlhokomeliso tsohle tseo u li thehileng le ho botsa sehlopha sa hau hore na ke life tse hlokahalang ho tsosa motho ka mor'a lihora, le hore na litlhokomeliso tseo li ka ema ho fihlela hoseng. Ho ka ba thata ho etsa hore batho ba lumellane ho tima litlhokomeliso tse ling tse sa sebetseng, haholo-holo haeba litaba tse fositseng li bakile mathata nakong e fetileng, empa ke habohlokoa ho hopola hore moenjiniere ea sa robaleng hase moenjiniere ea sebetsang ka ho fetisisa. Beha litlhokomeliso tsena nakong ea lihora tsa khoebo ha li hlile li bohlokoa. Lisebelisoa tse ngata tsa tlhokomeliso matsatsing ana li u lumella ho theha melao e fapaneng bakeng sa litsebiso tsa kamora lihora, ekaba linako tsa tsebiso ea Nagios kapa ho theha linako tse fapaneng ho PagerDuty.
Boroko, mosebetsi le setso sa sehlopha
Litharollo tse ling tsa tšitiso ea boroko li kenyelletsa liphetoho tse kholo tsa setso. Tsela e 'ngoe ea ho rarolla bothata bona ke ho beha litemoso leihlo, ho ela hloko ka ho khetheha hore na li fihla neng le hore na li ka sebetsa. ke sesebelisoa se entsoeng le ho hatisoa ke Etsy se lumellang lihlopha ho latela le ho arola litlhokomeliso tseo ba li fumanang ka lihlopha. E ka hlahisa li-graph tse bonts'ang hore na ke litemoso tse kae tse tsositseng batho (ho sebelisa data ea boroko ho tsoa ho li-trackers tsa boikoetliso), hammoho le hore na ke litemoso tse kae tse hlileng li hlokang ketso ea motho. Ka ho sebelisa mahlale ana, u ka tseba ho bona katleho ea ho potoloha ha mohala le phello ea eona borokong ba nako.
Sehlopha se ka bapala karolo ea ho netefatsa hore motho e mong le e mong ea mosebetsing o phomola ka ho lekaneng. Theha moetlo o khothaletsang batho ho itlhokomela: haeba u felloa ke boroko hobane u bitsitsoe bosiu, u ka robala nako e teletsana hoseng ho leka ho khutlisa nako e lahlehileng ea boroko. Litho tsa sehlopha li ka hlokomelana: Ha lihlopha li arolelana lintlha tsa tsona tsa boroko ka ntho e kang Opsweekly, ba ka ea ho basebetsi-'moho le bona ba mosebetsing 'me ba re, "Hei, ho bonahala eka u bile le bosiu bo boima le PagerDuty maobane bosiu." “Na o ka rata hore ke o kwahele bosiung bona hore o phomole?” Khothalletsa batho ho tšehetsana ka tsela ena le ho nyahamisa "setso sa mohale" moo batho ba tla iqobella ho fihlela moeling le ho qoba ho kopa thuso.
Ho fokotsa tšusumetso ea ho ba mosebetsing
Ha baenjiniere ba khathetse hobane ba tsositsoe ba le mosebetsing, ho hlakile hore ba ke ke ba sebetsa ka 100% ea letsatsi, empa le ntle le ho ikarabella bakeng sa ho hloka boroko, ho ba mosebetsing ho ka ba le liphello tse ling mosebetsing. E 'ngoe ea tahlehelo ea bohlokoa ka ho fetisisa nakong ea mosebetsi ke ka lebaka la tšitiso, phetoho ea moelelo: tšitiso e le' ngoe e ka fella ka tahlehelo ea bonyane metsotso ea 20 ka lebaka la tahlehelo ea ho tsepamisa maikutlo le ho fetoha ha maemo. Ho ka etsahala hore lihlopha tsa hau li be le mehloli e meng ea litšitiso, joalo ka litekete tse hlahisoang ke lihlopha tse ling, likopo kapa lipotso tse tlang ka moqoqo le/kapa lengolo-tsoibila. Ho ipapisitse le boholo ba litšitiso tsena tse ling, u ka nahana ho li kenyelletsa ho potoloha e teng ha u ntse u le mosebetsing kapa ho theha potoloho ea bobeli ho sebetsana le likopo tsena tse ling.
Ho bohlokoa ho ela sena hloko ha u rera mosebetsi oo sehlopha se tla o etsa, oa nako e telele le oa nakoana. Haeba sehlopha sa hau se atisa ho ba le liphetoho tse matla haholo tsa mosebetsi, 'nete ena e lokela ho nkoa ka moralo oa nako e telele, kaha u ka ba le boemo boo basebetsi bohle ba sebetsang ka katleho ka nako leha e le efe, ho e-na le ho etsa mosebetsi o mong. Ka moralo oa nako e khuts'oane, u ka fumana hore motho ea letsetsoang ha a khone ho fihlela linako tse behiloeng ka lebaka la boikarabelo ba hae ba ho letsetsa - sena se lokela ho lebelloa 'me sehlopha se seng kaofela se lokela ho ikemisetsa ho amohela le ho thusa ho netefatsa hore mosebetsi o teng. e etsoa 'me motho ea letetseng o tšehetsoa mesebetsing ea bona ea mosebetsi. Ho sa tsotelehe hore na motho ea letsetsoang o bitsitsoe, phetoho ea on-call e tla ama bokhoni ba motho ea letsetsoang ho etsa mosebetsi o mong-u se ke oa lebella hore motho ea letsetsoang a sebetse masiu ho phethela merero e reriloeng ntle le ho ba. mosebetsing ka mor'a lihora.
Lihlopha li tla tlameha ho fumana mokhoa oa ho sebetsana ka katleho le mosebetsi o eketsehileng o hlahisoang ha li le mosebetsing. Mosebetsi ona e ka 'na ea e-ba mosebetsi oa sebele oa ho lokisa mathata a sebele a fumanoeng ke litsamaiso tsa ho beha leihlo le ho hlokomelisa, kapa e ka ba mosebetsi oa ho lokisa le litemoso ho fokotsa palo ea litemoso tse fosahetseng. Ho sa tsotellehe mofuta oa mosebetsi o etsoang, ho bohlokoa ho aba mosebetsi oo ka toka le ka mokhoa o tsitsitseng ho pholletsa le sehlopha. Ha se lichifi tsohle tsa ho letsetsa li entsoe li lekana, 'me tse ling li rarahane ho feta tse ling, kahoo ho bolela hore motho ea amohelang tlhokomeliso ke motho ea nang le boikarabelo ba ho sebetsana le liphello tsohle tsa tlhokomeliso eo ho ka lebisa kabong e sa lekanang ea mosebetsi. E ka 'na ea e-ba ntho e utloahalang hore motho ea mosebetsing a be le boikarabelo ba ho hlophisa kapa ho aba mosebetsi, ka tebello ea hore sehlopha se seng se tla ikemisetsa ho thusa ho phetha mosebetsi o entsoeng.
Ho theha le ho boloka botsitso ba bophelo ba mosebetsi
Nahana ka phello ea ho ba mosebetsing ho na le bophelo ba hau kantle ho mosebetsi. Ha u le mosebetsing, u ka 'na ua ikutloa u tlameletsoe fonong ea hau le laptop, sena se bolela hore u lula u nkile laptop le router ea mohala (modem ea usb) kapa u se ke ua tloha lapeng/ofising. Ho letsa hangata ho bolela ho tela lintho tse kang ho bona metsoalle kapa ba lelapa nakong ea mosebetsi oa hau. Sena se bolela hore bolelele ba ts'ebetso e 'ngoe le e' ngoe bo itšetlehile ka palo ea batho sehlopheng sa hau, 'me makhetlo a mangata a lichifi a ka beha moroalo o sa lokelang ho batho. Ho ka 'na ha hlokahala hore u leke ka bolelele le nako ea lichifi ho fumana kemiso e sebetsang bonyane batho ba bangata ba amehang, kaha lihlopha tse fapaneng le batho ba tla ba le lintho tse tlang pele le likhetho tse fapaneng.
Ho bohlokoa ho hlokomela phello eo ho ba mosebetsing ho tla ba le eona bophelong ba batho, boemong ba tsamaiso le boemong ba motho ka mong. Hoa lokela ho hlokomeloa hore phello e tla utluoa ka tsela e sa lekanyetsoang ke batho ba nang le menyetla e fokolang. Ka mohlala, haeba u tlameha ho qeta nako u hlokomela bana kapa litho tse ling tsa lelapa, kapa haeba u fumana hore boholo ba mosebetsi oa lapeng o oela mahetleng a hao, u se u ntse u e-na le nako le matla a fokolang ho feta motho ea se nang boikarabelo. Mosebetsi oa mofuta ona oa "ts'ebetso ea bobeli" kapa oa "ts'ebetso ea boraro" o atisa ho ama batho ka mokhoa o sa lekanyetsoang, 'me haeba u theha lipotoloho tsa mehala ka kemiso kapa matla a nkang hore barupeluoa ha ba na bophelo ba bona kantle ho ofisi, u fokotsa batho bao o ka kenya letsoho sehlopheng sa hau.
Khothalletsa batho ho leka ho boloka kemiso ea bona ea kamehla. U lokela ho nahana ka ho fa sehlopha li-routers tsa mohala (modem tsa usb) e le hore batho ba ka tsoa ka tlung ka lilaptop tsa bona mme ba ntse ba e-na le sebopeho sa bophelo. Khothalletsa batho ho rekisa lihora tsa mohala le ba bang, haeba ho hlokahala, ka nako e khuts'oane e le hore batho ba ka ea boikoetlisong kapa ho bona ngaka ha ba le mosebetsing. Se ke oa theha moetlo moo ho ba mohala ho bolelang hore lienjiniere ha li etse letho haese ho ba mohala. Ho leka-lekana ha bophelo ba mosebetsi ke karolo ea bohlokoa ea mosebetsi ofe kapa ofe, empa haholo-holo ha u nahana ka lihora tse sa sebetseng, litho tse ngata tse phahameng tsa sehlopha sa hau li lokela ho beha mohlala ho ba bang mabapi le ho leka-lekanya bophelo ba mosebetsi, ka hohle kamoo ho ka khonehang ha ba ntse ba le mosebetsing.
Boemong ba motho ka mong, u seke oa lebala ho hlalosa hore na ho ba mosebetsing ho bolela eng ho metsoalle, lelapa, balekane, liphoofolo tse ruuoang lapeng, joalo-joalo (likatse tsa hau mohlomong li ke ke tsa tsotella kaha li se li tsohile ka 4 hoseng ha u fumana tlhokomeliso. , le hoja ho hang ba ke ke ba batla ho u thusa ho e rarolla). Etsa bonnete ba hore u lefella nako e lahlehileng ka mor'a hore mosebetsi oa hau o felile, ebang ke ho bona metsoalle, lelapa kapa ho robala, mohlala. Haeba u khona, nahana ka ho theha alamo e khutsitseng (joaloka oache e bohlale) e ka u tsosang ka ho phunya letsoho hore u se ke ua tsosa mang kapa mang ea haufi le uena. Fumana mekhoa ea ho itlhokomela ha u le bohareng ba nako ea hau ea ho letsetsa le ha e felile. U ka 'na ua batla ho bokella "on-call survival kit" e tla u thusa hore u phomole: mamela lenane la lipina tseo u li ratang, bala buka eo u e ratang haholo, kapa iphe nako ea ho bapala le phoofolo ea lapeng. Baokameli ba lokela ho khothaletsa ho itlhokomela ka ho fa batho letsatsi la phomolo ka mor'a beke mosebetsing le ho etsa bonnete ba hore batho ba kopa (le ho fumana) thuso ha ba e hloka.
Ho ntlafatsa boiphihlelo ba mosebetsi
Ka kakaretso, ho ba mosebetsing ha hoa lokela ho nkoa e le mosebetsi o mobe feela: u na le monyetla le boikarabelo joaloka motho ea sebetsang ho sebetsa ka mafolofolo ho ntlafatsa batho ba tlang ho sebetsa nakong e tlang, e leng se bolelang hore batho e tla fumana melaetsa e fokolang mme e tla nepahala haholoanyane. Hape, ho latela boleng ba litemoso tsa hau u sebelisa ntho e kang Opsweekly ho ka u thusa ho tseba hore na ke eng e etsang hore mohala oa hau o khopise le ho o lokisa. Bakeng sa litlhokomeliso tse sa sebetseng, ipotse hore na ho na le mekhoa ea ho tlosa litlhokomeliso tsena - mohlomong sena se bolela hore li tla tima feela nakong ea lihora tsa khoebo, hobane ho na le lintho tseo u sa hlokeng ho li araba har'a mpa ea bosiu. Se ke oa tšaba ho hlakola litlhokomeliso, ho li fetola, kapa ho fetola mokhoa oa ho romella ho tloha ho "send to phone le email" ho "imeile feela." Teko le ho pheta-pheta ke senotlolo sa ho ntlafatsa mosebetsi ka nako.
Bakeng sa litlhokomeliso tse hlileng li sebetsang, u lokela ho nahana hore na ho bonolo hakae hore moenjiniere a nke khato e hlokahalang. Tlhokomeliso e 'ngoe le e' ngoe e sebetsang e lokela ho ba le runbook e tsamaeang le eona - nahana ka ho sebelisa sesebelisoa se kang nagios-herald ho eketsa lihokelo tsa runbook ho litemoso tsa hau. Haeba tlhokomeliso e le bonolo hoo e sa hlokeng runbook, mohlomong e bonolo hoo o ka iketsetsang karabelo ka ho sebelisa ntho e kang batšoantšisi ba ketsahalo ea Nagios, e bolokang batho ba tlameha ho tsoha kapa ho kena-kenana le mesebetsi e itirisang habonolo. Ka bobeli li-runbook le nagios-herald li ka u thusa ho eketsa moelelo oa bohlokoa ho litemoso tsa hau, tse tla thusa batho ho li araba ka katleho. Bona hore na u ka khona ho araba lipotso tse tloaelehileng joalo ka: Temoso ee e qetetse neng ho tima? Ke mang ea e arabileng lekhetlo la ho qetela, ’me ke liketso life tseo ba ileng ba li nka qetellong (haeba li teng)? Ke litemoso life tse ling tse hlahang ka nako e le 'ngoe le ee mme li amana? Mofuta ona oa litaba tse amanang le maemo hangata o fella feela ka likelellong tsa batho, kahoo ho khothaletsa moetlo oa ho ngola le ho arolelana litaba tsa maemo ho ka fokotsa bongata bo hlokahalang ho arabela litlhokomeliso.
Karolo e kholo ea mokhathala o tlisoang ke mehala ke hore ha e fele - haeba sehlopha sa hau se na le mehala, ha ho na monyetla oa hore se tla fela neng kapa neng nakong e tlang e lebelletsoeng. Lichifi ha li fele, 'me re ka ikutloa eka li tla lula li le mpe. Ho hloka tšepo hona ke taba e kholo ea kelello e ka tlatsetsang khatellong ea maikutlo le mokhathala, kahoo ho sebetsana le maikutlo (ho phaella ho 'nete) hore mosebetsi o tla lula o le bobe ke sebaka se setle sa ho qala ho nahana ka mosebetsi oa hau ka nako e telele.
E le ho fa batho tšepo ea hore maemo a mosebetsing a tla ntlafala, hoa hlokahala hore ho be le tlhokomeliso ea tsamaiso (ho lateloa le ho arola mesebetsi e tšoanang le eo ke e boletseng pejana). Boloka tlaleho ea hore na u na le litemoso tse kae, ke liperesente life tsa tsona tse hlokang ho kenella ha mohlokomeli, hore na ke tse kae tsa tsona tse tsosang batho, ebe u sebetsa ho theha setso se khothalletsang batho ho etsa lintho hamolemo. Haeba u na le sehlopha se seholo, e ka ba teko, hang ha oache ea hau e fela, ho lahlela matsoho 'me u re "ke bothata ba ofisiri ea nako e tlang" ho e-na le ho cheka ho lokisa ntho e itseng - ea batlang ho sebelisa chelete e ngata. boiteko mosebetsing ho feta ho tloha ho bona bo hlokahalang? Mona ke moo setso sa kutloelo-bohloko se ka etsang phapang e kholo, hobane ha u shebe boiketlo ba hau mosebetsing feela, empa hape le basebetsi-'moho le uena.
Tsohle li mabapi le kutloelo-bohloko
Kutloelo-bohloko ke karolo ea bohlokoa ea se re lumellang ho khanna tshebetso e ntlafatsang phihlelo ea ho letsetsa. Joaloka mookameli kapa setho, u ka hlahloba kapa ua putsa batho ka boitšoaro bo etsang hore phetoho e be betere. Ts'ehetso ea ts'ebetso ke e 'ngoe ea libaka tseo hangata baenjiniere ba ikutloang eka batho ba ba ela hloko feela ha ho e-na le ntho e sa tsamaeeng hantle: batho ba tla ba teng ho ba hoeletsa ha setša se senyeha, empa ke ka seoelo ba ithutang ka boiteko ba morao-rao bo sebetsang. baenjiniere ba kentse ho boloka sebaka sa marang-rang se sebetsa nako eohle. Ho lemoha mosebetsi ho ka tsoela pele haholo, ebang ke ho leboha motho sebokeng kapa ka lengolo-tsoibila ka kakaretso bakeng sa ho ntlafatsa tlhokomeliso e itseng, karolo ea botekgeniki ea ho ba mosebetsing, kapa ho fa motho nako ea ho koahela moenjiniere e mong ka nako e itseng.
Khothalletsa batho ho sebelisa nako le boiteko ho ntlafatsa boemo ba bona ba ho letsetsa nako e telele. Haeba sehlopha sa hau se na le mehala, u lokela ho rera le ho beha mosebetsi ona pele ka tsela e tšoanang le eo u neng u ka etsa mosebetsi o mong 'mapeng oa hau oa litsela. Li-call ke 90% entropy, 'me ntle le haeba u sebetsa ka mafolofolo ho li ntlafatsa, li tla mpefala le ho feta ha nako e ntse e ea. Sebetsa le sehlopha sa hau ho fumana hore na ke eng e susumetsang batho le ho ba putsa ka ho fetisisa, 'me u sebelise seo ho khothaletsa batho ho fokotsa lerata le falimehileng, ho ngola li-runbook, le ho etsa lisebelisoa tse rarollang mathata a bona ha ba letsetsa. Eng kapa eng eo u e etsang, u se ke ua inehela bakeng sa mosebetsi o tšabehang joaloka karolo ea ka ho sa feleng ea boemo ba litaba.
Source: www.habr.com