Menm pandan yon dezas toujou gen tan pou yon tas te
DRP (plan rekiperasyon dezas) se yon bagay ki depreferans pap janm bezwen. Men, si toudenkou kastò k ap emigre pandan sezon kwazman an ronge nan fib optik zo rèl do a oswa yon admin jinyò gout baz pwodiktif la, ou definitivman vle asire w ke ou pral gen yon plan pre-fè pou sa yo dwe fè ak tout wont sa a.
Pandan ke kliyan nan panik kòmanse koupe telefòn sipò teknik, jinyò a ap chèche pou cyanide, ou avèk sajès louvri anvlòp wouj la epi kòmanse mete tout bagay an lòd.
Nan pòs sa a mwen vle pataje rekòmandasyon sou kòman yo ekri yon DRP ak sa li ta dwe genyen. Nou pral gade tou nan bagay sa yo:
- Ann aprann panse tankou yon mechan.
- Ann gade nan benefis ki genyen nan yon tas te pandan Apocalypse la.
- Ann reflechi sou yon estrikti DRP pratik
- Ann wè ki jan yo teste li
Ki konpayi sa ka itil pou?
Li trè difisil pou trase liy lan lè depatman IT kòmanse bezwen bagay sa yo. Mwen ta di ke ou definitivman bezwen DRP si:
- Sispann yon sèvè, aplikasyon oswa pèdi kèk baz done ap mennen nan pèt enpòtan pou biznis la kòm yon antye.
- Ou gen yon depatman IT konplè. Nan sans nan yon depatman nan fòm lan nan yon inite plen véritable nan konpayi an, ak bidjè pwòp li yo, epi yo pa jis yon kèk anplwaye fatige tap mete yon rezo, netwaye viris ak ranplir enprimant.
- Ou gen yon bidjè reyalis pou omwen yon pati nan èkse nan ka ta gen yon ijans.
Lè depatman IT a ap mande pou mwa pou omwen yon koup HDD nan yon sèvè ansyen pou sovgad, ou pa gen anpil chans pou w ka òganize yon mouvman konplè nan yon sèvis echwe pou rezève kapasite. Malgre ke isit la dokiman an pa pral initil.
Dokimantasyon enpòtan
Kòmanse ak dokiman. Ann di ke sèvis ou a kouri sou yon script Perl ki te ekri twa jenerasyon de sa pa admin, men pèsonn pa konnen ki jan li fonksyone. Akimile dèt teknik la ak mank de dokiman pral inevitableman tire ou pa sèlman nan jenou an, men tou, nan lòt manm, li la plis yon kesyon de tan.
Yon fwa ou gen yon bon deskripsyon konpozan sèvis yo, gade estatistik aksidan. Yo pral prèske sètènman konplètman tipik. Pou egzanp, disk ou a vin plen de tan zan tan, ki lakòz ne a echwe jiskaske li manyèlman netwaye. Oswa sèvis kliyan an vin pa disponib akòz lefèt ke yon moun ankò bliye renouvle sètifika a, epi Let's Encrypt pa t 'kapab oswa pa vle konfigirasyon.
Panse tankou yon sabotè
Pati ki pi difisil se nan predi aksidan sa yo ki pa janm rive anvan, men ki ta ka potansyèlman aksidan sèvis ou nèt. Isit la, kòlèg mwen yo ak mwen anjeneral jwe mechan. Pran anpil kafe ak yon bagay bon gou epi fèmen tèt ou nan yon sal reyinyon. Jis asire w ke nan menm negosyasyon yo ou fèmen nan enjenyè sa yo ki tèt yo devlope sèvis la sib oswa regilyèman travay avèk li. Lè sa a, swa sou tablo a oswa sou papye, ou kòmanse trase tout laterè posib ki ta ka rive nan sèvis ou a. Li pa nesesè pou antre nan detay sou yon dam netwayaj espesifik ak rale câbles; li ase pou konsidere senaryo a nan "Vyolasyon entegrite rezo lokal la."
Tipikman, sitiyasyon ijans ki pi tipik yo tonbe nan kalite sa yo:
- Echèk rezo a
- Echèk sèvis OS yo
- Echèk aplikasyon an
- Echèk fè
- Echèk Virtualization
Jis ale nan chak kalite epi wè sa ki aplike nan sèvis ou a. Pou egzanp, demon Nginx ka tonbe epi li pa leve - sa vle di echèk sou pati nan OS la. Yon sitiyasyon ki ra ki lakòz aplikasyon entènèt ou a echwe se yon echèk lojisyèl. Pandan w ap travay nan etap sa a, li enpòtan pou detèmine dyagnostik pwoblèm nan. Ki jan yo fè distenksyon ant yon koòdone nan frizè sou Virtualization soti nan yon kondwi cis tonbe ak yon aksidan rezo, pou egzanp. Sa a enpòtan pou byen vit jwenn moun ki responsab epi kòmanse rale ke yo jiskaske aksidan an rezoud.
Apre pwoblèm tipik yo ekri, nou vide plis kafe epi kòmanse konsidere senaryo ki pi etranj yo, lè kèk paramèt kòmanse ale pi lwen pase nòmal la. Pa egzanp:
- Kisa k ap pase si tan an sou ne aktif la deplase tounen yon minit parapò ak lòt moun nan gwoup la?
- E si tan ap avanse, e si pa 10 ane?
- Kisa k ap pase si yon ne grap toudenkou pèdi rezo li pandan senkronizasyon?
- Kisa ki pral rive si de nœuds pa pataje lidèchip akòz izolasyon tanporè youn ak lòt sou rezo a?
Nan etap sa a, apwòch ranvèse a trè itil. Ou pran manm ki pi fè tèt di nan ekip la ak yon imajinasyon malad epi ba li travay la nan òganize yon sabotaj nan tan ki pi kout posib ki pral fè desann sèvis la. Si li difisil pou fè dyagnostik, menm pi bon. Ou p'ap kwè sa etranj Et frais ide enjenyè vin ak si ou ba yo yon lide pou kraze yon bagay. Men, si ou pwomèt yo yon ban tès pou sa a, sa a absoliman amann.
Ki sa ki DRP sa a pou ou?!
Se konsa, ou te defini modèl menas ou a. Yo menm tou yo te pran an kont rezidan lokal yo ki koupe kab fib optik pou chèche kwiv, ak yon rada militè ki lage yon liy relè radyo estrikteman vandredi a 16:46. Koulye a, nou bezwen konprann sa pou nou fè ak tout bagay sa yo.
Travay ou se ekri sa yo anvlòp trè wouj ki pral louvri nan yon ijans. Imedyatman atann ke lè (pa si!) Tout bagay rive nan yon fen, sèlman entèn ki pi san eksperyans yo pral toupre, ki gen men yo pral souke vyolanman nan laterè nan sa k ap pase. Gade kijan siy ijans yo aplike nan biwo medikal yo. Pou egzanp, sa yo dwe fè nan ka chòk anafilaktik. Anplwaye medikal la konnen tout pwotokòl yo pa kè, men lè yon moun ki tou pre kòmanse mouri, trè souvan tout moun ap kenbe san fòs nan tout bagay nan je. Pou fè sa, gen enstriksyon klè sou miray la ak atik tankou "louvri pake a nan sa yo ak sa yo" ak "administre anpil inite nan dwòg la nan venn."
Li difisil pou panse nan yon ijans! Ta dwe gen enstriksyon senp pou parsing mwal epinyè.
Yon bon DRP konsiste de plizyè blòk senp:
- Ki moun ki pou notifye sou kòmansman yon aksidan. Sa a se enpòtan yo nan lòd yo paralelize pwosesis la eliminasyon otank posib.
- Ki jan yo fè dyagnostik kòrèkteman - fè yon tras, gade nan systemctl estati servicename ak sou sa.
- Konbyen tan ou ka pase nan chak etap? Si ou pa gen tan ranje li manyèlman nan tan SLA a, machin vityèl la touye epi woule tounen soti nan backup yè a.
- Ki jan yo asire w ke aksidan an fini.
Sonje ke DRP kòmanse lè sèvis la konplètman echwe epi li fini lè sèvis la retabli, menm ak efikasite redwi. Senpleman pèdi yon rezèvasyon pa ta dwe deklanche DRP. Ou ka ekri tou yon tas te nan DRP la. Seryezman. Dapre estatistik, anpil aksidan vire soti nan dezagreyab nan katastwofik akòz lefèt ke anplwaye nan yon prese panik yo ranje yon bagay, ansanm touye sèl la k ap viv ne ak done oswa finalman fini nan gwoup la. Kòm yon règ, 5 minit ak yon tas te pral ba ou kèk tan kalme epi analize sa k ap pase.
Pa konfonn DRP ak paspò sistèm! Pa twò chaje li ak done ki pa nesesè. Jis fè li posib byen vit ak fasilman itilize hyperlinks pou ale nan seksyon an vle nan dokiman an epi li nan yon fòma elaji sou seksyon ki nesesè nan achitekti sèvis la. Ak nan DRP nan tèt li gen sèlman enstriksyon dirèk sou ki kote ak ki jan yo konekte ak kòmandman espesifik pou kopye-kole.
Ki jan yo teste kòrèkteman
Asire w ke nenpòt anplwaye responsab kapab ranpli tout atik yo. Nan moman ki pi enpòtan an, li ka parèt ke enjenyè a pa gen dwa pou jwenn aksè nan sistèm obligatwa a, pa gen okenn modpas pou kont obligatwa a, oswa li pa gen okenn lide ki sa "Konekte ak konsole jesyon sèvis la atravè yon prokurasyon nan la. biwo santral” vle di. Chak pwen ta dwe trè senp.
Mal - "Ale nan Virtualization ak rdemare ne ki mouri a"
Kòrèkteman - "Konekte atravè koòdone entènèt la ak virt.example.com, nan seksyon nœuds yo, rdemare ne ki lakòz erè a."
Evite anbigwite. Sonje entèn la pè.
Asire w ou teste DRP. Sa a se pa sèlman yon plan pou montre - li se yon bagay ki pral pèmèt ou menm ak kliyan ou yo byen vit soti nan yon sitiyasyon kritik. Li pi bon pou fè sa plizyè fwa:
- Yon ekspè ak plizyè stagiaires travay sou yon ban tès ki simulation yon sèvis reyèl otank posib. Ekspè a kraze sèvis la nan plizyè fason epi li pèmèt stajye yo retabli li dapre DRP la. Tout pwoblèm, anbigwite dokiman ak erè yo anrejistre. Apre fòmasyon fòmasyon yo, DRP a elaji ak senplifye nan zòn ki pa klè.
- Tès sou yon sèvis reyèl. An reyalite, ou pa janm ka kreye yon kopi pafè nan yon sèvis reyèl. Se poutèt sa, yon koup de fwa nan yon ane li nesesè regilyèman fèmen kèk nan serveurs yo, koupe koneksyon ak lakòz lòt dezas nan lis la nan menas yo nan lòd yo evalye pwosedi rekiperasyon an. Yon echèk planifye pou 10 minit nan mitan lannwit lan pi bon pase yon echèk toudenkou pandan plizyè èdtan pandan chaj pik ak pèt done.
- Depanaj reyèl. Wi, sa a se tou yon pati nan tès la. Si yon aksidan rive ki pa t sou lis menas la, li nesesè pou konplete ak finalize DRP a ki baze sou rezilta ankèt li a.
Pwen kle yo
- Si kaka ka rive, li pa pral sèlman rive, men li pral fè sa nan senaryo ki pi katastwofik posib.
- Asire w ou genyen resous pou transfè chaj ijans.
- Asire w ke ou gen sovgad, yo otomatikman kreye ak regilyèman tcheke pou konsistans.
- Panse nan senaryo menas tipik.
- Bay enjenyè yo opòtinite pou yo vini ak opsyon ki pa estanda pou bay sèvis la.
- DRP ta dwe yon ansèyman senp ak brit. Tout dyagnostik konplèks yo fèt sèlman apre yo fin retabli sèvis kliyan yo. Menm si nan kapasite rezèv.
- Bay nimewo telefòn kle ak kontak nan DRP la.
- Teste konpreyansyon anplwaye yo sou DRP regilyèman.
- Fè aranjman pou aksidan planifye nan sit pwodiksyon an. Stands pa ka ranplase tout bagay.
Sous: www.habr.com