Bisan sa panahon sa katalagman adunay kanunay nga panahon alang sa usa ka tasa sa tsa
DRP (plano sa pagbawi sa katalagman) usa ka butang nga dili gyud kinahanglan. Apan kung kalit nga ang mga beaver nga milalin sa panahon sa pag-upa nga nag-agi sa backbone nga optical fiber o ang usa ka junior admin naghulog sa produktibo nga base, siguradong gusto nimo nga makasiguro nga adunay usa ka daan nga plano kung unsa ang buhaton sa tanan nga kini nga kaulaw.
Samtang ang mga kustomer sa kalisang nagsugod sa pagputol sa teknikal nga suporta nga mga telepono, ang junior nangita alang sa cyanide, maalamon nga imong giablihan ang pula nga sobre ug gisugdan ang pagbutang sa tanan sa kahusay.
Sa kini nga post gusto nakong ipaambit ang mga rekomendasyon kung giunsa pagsulat ang usa ka DRP ug kung unsa ang kinahanglan nga sulud niini. Atong tan-awon usab ang mosunod nga mga butang:
- Magkat-on ta sa paghunahuna sama sa usa ka kontrabida.
- Atong tan-awon ang mga benepisyo sa usa ka tasa sa tsa sa panahon sa apokalipsis.
- Atong hunahunaon ang usa ka kombenyente nga istruktura sa DRP
- Atong tan-awon kung giunsa kini pagsulay
Unsang mga kompanya ang mahimong mapuslanon alang niini?
Lisud kaayo ang pag-drawing sa linya kung ang departamento sa IT nagsugod sa panginahanglan sa ingon nga mga butang. Moingon ko nga kinahanglan nimo ang DRP kung:
- Ang paghunong sa usa ka server, aplikasyon o pagkawala sa pipila nga database mosangput sa daghang mga pagkawala sa negosyo sa kinatibuk-an.
- Ikaw adunay usa ka bug-os nga departamento sa IT. Buot ipasabot, usa ka departamento isip usa ka bug-os nga yunit sa kompanya, nga adunay kaugalingong budget, ug dili lang sa pipila ka gikapoy nga mga empleyado nga nagbutang og network, naglimpyo sa mga virus ug nag-refill sa mga tig-imprinta.
- Ikaw adunay usa ka realistiko nga badyet alang sa labing menos partial redundancy sa kaso sa usa ka emerhensya.
Kung ang departamento sa IT nagpakilimos sulod sa mga bulan sulod sa labing menos usa ka magtiayon nga mga HDD ngadto sa usa ka karaan nga server alang sa pag-backup, lagmit dili ka makahimo sa pag-organisar sa usa ka hingpit nga paglihok sa usa ka napakyas nga serbisyo sa pagreserba sa kapasidad. Bisan kung dinhi ang dokumentasyon dili mahimong sobra.
Importante ang dokumentasyon
Pagsugod sa dokumentasyon. Ingnon ta nga ang imong serbisyo nagdagan sa usa ka Perl script nga gisulat tulo ka henerasyon ang milabay sa mga admin, apan wala’y nahibal-an kung giunsa kini molihok. Ang natipon nga teknikal nga utang ug kakulang sa dokumentasyon dili kalikayan nga mopusil kanimo dili lamang sa tuhod, kondili usab sa ubang mga bukton, kini mas usa ka butang sa panahon.
Sa higayon nga ikaw adunay maayo nga paghulagway sa mga sangkap sa serbisyo, pangitaa ang mga istatistika sa aksidente. Sila hapit sa pagkatinuod mahimong hingpit nga tipikal. Pananglitan, ang imong disk mahimong puno matag karon ug unya, nga hinungdan nga ang node mapakyas hangtod nga kini gilimpyohan sa mano-mano. O ang serbisyo sa kliyente mahimong dili magamit tungod sa kamatuoran nga adunay usa nga nakalimot pag-usab sa sertipiko, ug ang Let's Encrypt dili makahimo o dili gusto nga ma-configure.
Ang mga hunahuna sama sa usa ka saboteur
Ang labing lisud nga bahin mao ang pagtagna sa mga aksidente nga wala pa mahitabo kaniadto, apan mahimo’g makaguba sa imong serbisyo sa hingpit. Dinhi ang akong mga kauban ug ako kasagarang magduwa og kontrabida. Pag-inom og daghang kape ug usa ka butang nga lami ug i-lock ang imong kaugalingon sa usa ka meeting room. Siguruha lang nga sa parehas nga negosasyon imong gi-lock ang mga inhenyero nga sila mismo ang nagpalambo sa target nga serbisyo o kanunay nga nagtrabaho niini. Dayon, sa pisara man o sa papel, magsugod ka sa pagdrowing sa tanang posibleng kalisang nga mahimong mahitabo sa imong serbisyo. Dili kinahanglan nga i-detalye ang usa ka espesipikong tiglimpyo nga babaye ug ibira ang mga kable; igo na nga ikonsiderar ang senaryo sa "Paglapas sa integridad sa lokal nga network."
Kasagaran, kadaghanan sa kasagaran nga mga sitwasyon sa emerhensya nahulog sa mosunod nga mga tipo:
- Pagkapakyas sa network
- Pagkapakyas sa mga serbisyo sa OS
- Pagkapakyas sa aplikasyon
- Pagkapakyas sa puthaw
- Pagkapakyas sa virtualization
Pag-adto lang sa matag tipo ug tan-awa kung unsa ang magamit sa imong serbisyo. Pananglitan, ang Nginx daemon mahimong mahulog ug dili mobangon - kini nagpasabut nga mga kapakyasan sa bahin sa OS. Usa ka talagsaon nga sitwasyon nga hinungdan sa pagkapakyas sa imong web application mao ang pagkapakyas sa software. Samtang nagtrabaho sa kini nga yugto, hinungdanon nga buhaton ang pagdayagnos sa problema. Giunsa ang pag-ila sa usa ka frozen nga interface sa virtualization gikan sa nahulog nga cis drive ug usa ka pagkapakyas sa network, pananglitan. Importante kini aron dali nga makit-an ang mga responsable ug magsugod sa pagbira sa ilang ikog hangtod nga masulbad ang aksidente.
Human masulat ang kasagaran nga mga problema, magbubo kami og dugang nga kape ug magsugod sa pagkonsiderar sa mga katingad-an nga mga sitwasyon, kung ang pipila ka mga parameter nagsugod nga molapas sa naandan. Pananglitan:
- Unsa man ang mahitabo kung ang oras sa aktibo nga node mobalik usa ka minuto nga paryente sa uban sa cluster?
- Unsa kaha kung ang panahon nagpadayon, unsa man kung sa 10 ka tuig?
- Unsa ang mahitabo kung ang usa ka cluster node kalit nga mawad-an sa iyang network sa panahon sa pag-synchronize?
- Unsa ang mahitabo kung ang duha ka mga node dili mag-ambit sa pagpangulo tungod sa temporaryo nga pag-inusara sa usag usa sa network?
Niini nga yugto, ang reverse approach makatabang kaayo. Gikuha nimo ang labing gahi nga miyembro sa team nga adunay sakit nga imahinasyon ug gihatagan siya sa tahas sa pag-organisar sa usa ka pagsabotahe sa labing kadali nga posible nga oras nga makapaubos sa serbisyo. Kung lisud ang pagdayagnos, mas maayo pa. Dili ka makatuo kung unsa ang katingad-an ug cool nga mga ideya nga gihimo sa mga inhenyero kung hatagan nimo sila usa ka ideya sa pagbungkag sa usa ka butang. Ug kung mosaad ka kanila nga usa ka test bench alang niini, maayo ra kana.
Unsa man ning imong DRP?!
Busa imong gihubit ang imong modelo sa hulga. Giisip usab nila ang lokal nga mga residente nga nagputol sa mga fiber optic nga mga kable sa pagpangita sa tumbaga, ug usa ka radar sa militar nga naghulog sa usa ka linya sa relay sa radyo nga higpit sa Biyernes sa 16:46. Karon kinahanglan natong masabtan kung unsa ang buhaton niining tanan.
Ang imong tahas mao ang pagsulat niadtong pula kaayo nga mga sobre nga ablihan sa usa ka emerhensya. Paabuta dayon nga kung (dili kung!) ang tanan matapos, ang labing wala’y kasinatian nga intern ra ang naa sa duol, kansang mga kamot kusog nga mangurog tungod sa kalisang sa nahitabo. Tan-awa kung giunsa pagpatuman ang mga timailhan sa emerhensya sa mga opisina sa medikal. Pananglitan, unsa ang buhaton sa kaso sa anaphylactic shock. Nahibal-an sa mga kawani sa medikal ang tanan nga mga protocol sa kasingkasing, apan kung ang usa ka tawo sa duol nagsugod sa pagkamatay, kanunay nga ang tanan wala’y mahimo nga nagkupot sa tanan nga makita. Aron mahimo kini, adunay klaro nga mga panudlo sa dingding nga adunay mga butang sama sa "ablihi ang pakete sa ingon ug ingon niana" ug "pagdumala sa daghang mga yunit sa tambal nga intravenously."
Lisod maghuna-huna sa emergency! Kinahanglan adunay yano nga mga panudlo alang sa pag-parse sa spinal cord.
Ang maayo nga DRP naglangkob sa pipila ka yano nga mga bloke:
- Kinsa ang ipahibalo bahin sa pagsugod sa usa ka aksidente. Importante kini aron maparallelize ang proseso sa elimination kutob sa mahimo.
- Giunsa ang pag-diagnose sa husto - paghimo usa ka pagsubay, tan-awa ang servicename sa status sa systemctl ug uban pa.
- Pila ka oras ang imong mahimo sa matag yugto? Kung wala ka'y oras sa pag-ayo niini nga mano-mano sa sulod sa oras sa SLA, ang virtual nga makina gipatay ug gibalik gikan sa backup sa kagahapon.
- Sa unsa nga paagi sa pagsiguro nga ang aksidente matapos.
Hinumdumi nga ang DRP magsugod kung ang serbisyo hingpit nga napakyas ug matapos kung ang serbisyo gipahiuli, bisan kung adunay pagkunhod sa kahusayan. Ang pagkawala sa usa ka reserbasyon kinahanglan dili magpahinabog DRP. Mahimo usab nimo isulat ang usa ka tasa sa tsa sa DRP. Seryoso. Sumala sa statistics, daghang mga aksidente turns gikan sa unpleasant ngadto sa katalagman tungod sa kamatuoran nga ang mga kawani sa usa ka kalisang nagdali sa pag-ayo sa usa ka butang, dungan nga pagpatay sa bugtong buhi nga node uban sa data o sa katapusan sa pagtapos sa cluster. Ingon sa usa ka lagda, ang 5 ka minuto nga adunay usa ka tasa sa tsa maghatag kanimo pipila ka oras aron kalmado ug analisahon kung unsa ang nanghitabo.
Ayaw paglibog ang DRP ug ang sistema sa pasaporte! Ayaw pag-overload kini sa wala kinahanglana nga datos. Himoa lang nga posible nga dali ug dali nga magamit ang mga hyperlink aron makaadto sa gusto nga seksyon sa dokumentasyon ug basaha sa usa ka gipalapdan nga pormat bahin sa kinahanglan nga mga seksyon sa arkitektura sa serbisyo. Ug sa DRP mismo adunay direkta nga mga panudlo kung asa ug kung giunsa ang pagkonektar sa piho nga mga mando alang sa pagkopya-paste.
Sa unsa nga paagi sa pagsulay sa husto
Siguroha nga ang bisan kinsa nga responsable nga empleyado makahimo sa pagkompleto sa tanan nga mga butang. Sa labing hinungdanon nga higayon, mahimo’g mogawas nga ang inhenyero wala’y katungod sa pag-access sa gikinahanglan nga sistema, wala’y mga password alang sa gikinahanglan nga account, o wala siya’y ideya kung unsa ang “Koneksyon sa service management console pinaagi sa proxy sa punoang buhatan” nagpasabot. Ang matag punto kinahanglan nga hilabihan ka yano.
Sayop - "Adto sa virtualization ug i-reboot ang patay nga node"
Kanang - "Pagkonektar pinaagi sa web interface sa virt.example.com, sa seksyon sa mga node, i-reboot ang node nga hinungdan sa sayup."
Likayi ang dili klaro. Hinumdomi ang nahadlok nga intern.
Siguroha nga sulayan ang DRP. Dili lang kini usa ka plano alang sa pagpakita - kini usa ka butang nga magtugot kanimo ug sa imong mga kliyente nga dali nga makagawas sa usa ka kritikal nga kahimtang. Labing maayo nga buhaton kini sa daghang mga higayon:
- Usa ka eksperto ug daghang mga trainees nagtrabaho sa usa ka test bench nga nagsundog sa usa ka tinuod nga serbisyo kutob sa mahimo. Gibungkag sa eksperto ang serbisyo sa lainlaing mga paagi ug gitugotan ang mga trainees nga ibalik kini sumala sa DRP. Ang tanan nga mga problema, dokumentasyon ambiguities ug mga kasaypanan natala. Human mabansay ang mga trainees, ang DRP gipalapdan ug gipasimple sa dili klaro nga mga lugar.
- Pagsulay sa tinuod nga serbisyo. Sa tinuud, dili ka makahimo usa ka hingpit nga kopya sa usa ka tinuud nga serbisyo. Busa, sa usa ka magtiayon nga sa mga panahon sa usa ka tuig nga kini mao ang gikinahanglan nga sa kanunay nga pagpalong sa pipila sa mga server, pagputol koneksyon ug pagpahinabo sa uban nga mga katalagman gikan sa listahan sa mga hulga aron sa pagtimbang-timbang sa recovery order. Ang usa ka giplano nga kapakyasan sa 10 minuto sa tungang gabii mas maayo kaysa usa ka kalit nga kapakyasan sa daghang oras sa peak load nga adunay pagkawala sa datos.
- Tinuod nga troubleshooting. Oo, bahin usab kini sa pagsulay. Kung adunay mahitabo nga aksidente nga wala sa listahan sa mga hulga, gikinahanglan nga madugangan ug tapuson ang DRP base sa resulta sa imbestigasyon niini.
Pangunang mga punto
- Kung mahitabo ang tae, dili lang kini mahitabo, apan buhaton kini sa labing katalagman nga senaryo nga posible.
- Siguroha nga ikaw adunay mga kapanguhaan alang sa emergency load transfer.
- Siguruha nga adunay ka mga backup, awtomatiko kini nga gihimo ug kanunay nga gisusi alang sa pagkamakanunayon.
- Hunahunaa pinaagi sa tipikal nga mga sitwasyon sa hulga.
- Hatagi ang mga inhenyero sa higayon nga makahimo og dili standard nga mga kapilian sa paghatud sa serbisyo.
- Ang DRP kinahanglan usa ka yano ug prangka nga panudlo. Ang tanan nga komplikado nga pagdayagnos gihimo lamang pagkahuman sa serbisyo sa mga kliyente nga gipahiuli. Bisan kung sa reserba nga kapasidad.
- Ihatag ang yawe nga mga numero sa telepono ug mga kontak sa DRP.
- Sulayi kanunay ang pagsabot sa mga empleyado sa DRP.
- Paghan-ay sa giplano nga mga aksidente sa mga lugar sa produksiyon. Ang mga baruganan dili makapuli sa tanan.
Source: www.habr.com