Jafnvel í hamförum er alltaf tími fyrir tebolla
DRP (hamfaraáætlun) er hlutur sem helst mun aldrei vera þörf. En ef bófar sem flytja skyndilega á mökunartímabilinu naga í gegnum ljósleiðarann eða yngri stjórnandi sleppir afkastamiklum grunni, viltu örugglega vera viss um að þú sért með fyrirfram gerða áætlun um hvað á að gera við alla þessa svívirðingu.
Á meðan viðskiptavinir í læti byrja að slökkva á tækniaðstoðarsímum, yngri er að leita að blásýru, þú opnar skynsamlega rauða umslagið og byrjar að koma öllu í röð.
Í þessari færslu vil ég deila ráðleggingum um hvernig á að skrifa DRP og hvað það ætti að innihalda. Við munum einnig skoða eftirfarandi atriði:
- Við skulum læra að hugsa eins og illmenni.
- Við skulum skoða ávinninginn af tebolla á heimsendanum.
- Við skulum hugsa um þægilega DRP uppbyggingu
- Við skulum sjá hvernig á að prófa það
Hvaða fyrirtæki gæti þetta verið gagnlegt fyrir?
Það er mjög erfitt að draga mörkin þegar upplýsingatæknideildin fer að þurfa á slíku að halda. Ég myndi segja að þú þurfir örugglega DRP ef:
- Að stöðva netþjón, forrit eða tapa einhverjum gagnagrunni mun leiða til verulegs taps fyrir fyrirtækið í heild.
- Þú ert með fullgilda upplýsingatæknideild. Í merkingunni deild í formi fullgildrar einingar fyrirtækisins, með eigin fjárhagsáætlun, en ekki bara örfáir þreyttir starfsmenn sem leggja netkerfi, þrífa vírusa og fylla á prentara.
- Þú hefur raunhæft fjárhagsáætlun fyrir að minnsta kosti hluta uppsagnar í neyðartilvikum.
Þegar upplýsingatæknideildin hefur beðið um að minnsta kosti nokkra HDD í marga mánuði til að setja á gamlan netþjón fyrir öryggisafrit, er ólíklegt að þú getir skipulagt fullgilda flutning á misheppnuðu þjónustunni til að panta getu. Þó að hér verði skjölin ekki óþörf.
Skjöl eru mikilvæg
Byrjaðu á skjölum. Segjum að þjónustan þín keyri á Perl handriti sem var skrifað fyrir þremur kynslóðum af stjórnendum, en enginn veit hvernig það virkar. Uppsöfnuð tækniskuld og skortur á skjölum mun óhjákvæmilega skjóta þig ekki aðeins í hnéð, heldur einnig í öðrum útlimum, það er meira spurning um tíma.
Þegar þú hefur góða lýsingu á þjónustuþáttunum skaltu fletta upp slysatölfræði. Þeir verða næstum örugglega alveg dæmigerðir. Til dæmis verður diskurinn þinn fullur af og til, sem veldur því að hnúturinn bilar þar til hann er hreinsaður handvirkt. Eða viðskiptavinaþjónustan verður ekki tiltæk vegna þess að einhver gleymdi aftur að endurnýja vottorðið og Let's Encrypt gat ekki eða vildi ekki stilla.
Hugsar eins og skemmdarverkamaður
Erfiðasti hlutinn er að spá fyrir um þau slys sem aldrei hafa gerst áður, en sem gætu hugsanlega hrunið þjónustu þína algjörlega. Hér leikum við félagarnir yfirleitt illmenni. Taktu mikið kaffi og eitthvað bragðgott og læstu þig inni í fundarherbergi. Gakktu úr skugga um að í sömu samningaviðræðum læsir þú þá verkfræðinga sem sjálfir þróuðu markþjónustuna eða vinna reglulega með hana. Síðan, annaðhvort á töflunni eða á blaði, byrjar þú að teikna upp allar mögulegar hryllingar sem gætu komið fyrir þjónustu þína. Það er ekki nauðsynlegt að fara í smáatriði niður til ákveðinnar ræstingakonu og draga út snúrur; það er nóg að íhuga atburðarásina „Brot á heilleika staðarnetsins“.
Venjulega falla flest dæmigerð neyðartilvik í eftirfarandi gerðir:
- Netbilun
- Bilun í stýrikerfisþjónustu
- Forritsbilun
- Járnbilun
- Bilun í sýndarvæðingu
Farðu bara í gegnum hverja tegund og sjáðu hvað á við um þjónustu þína. Til dæmis getur Nginx púkinn fallið og ekki risið - þetta þýðir bilanir af hálfu stýrikerfisins. Sjaldgæft ástand sem veldur því að vefforritið þitt bilar er hugbúnaðarbilun. Á meðan unnið er í gegnum þetta stig er mikilvægt að vinna úr greiningu vandans. Hvernig á að greina frosið viðmót við sýndarvæðingu frá fallnu cis drifi og netslysi, til dæmis. Þetta er mikilvægt til að finna fljótt þá sem bera ábyrgð og byrja að draga í skottið á þeim þar til slysið er leyst.
Eftir að dæmigerð vandamál hafa verið skráð niður hellum við meira kaffi og byrjum að íhuga undarlegustu aðstæður, þegar sumar breytur fara að fara langt út fyrir normið. Til dæmis:
- Hvað gerist ef tíminn á virka hnút færist eina mínútu aftur í tímann miðað við aðra í þyrpingunni?
- Hvað ef tíminn þokast áfram, hvað ef um 10 ár?
- Hvað gerist ef klasahnút missir skyndilega netið sitt við samstillingu?
- Hvað mun gerast ef tveir hnútar deila ekki forystu vegna tímabundinnar einangrunar hvors annars á netinu?
Á þessu stigi er öfug nálgun mjög gagnleg. Þú tekur þrjóskasta liðsmanninn með sjúku hugmyndaflugi og gefur honum það verkefni að skipuleggja skemmdarverk á sem skemmstum tíma sem mun draga úr þjónustunni. Ef það er erfitt að greina, jafnvel betra. Þú munt ekki trúa því hvaða skrítnar og flottar hugmyndir verkfræðingar fá ef þú gefur þeim hugmynd um að brjóta eitthvað. Og ef þú lofar þeim prófunarbekk fyrir þetta, þá er það alveg í lagi.
Hvað er þetta DRP þitt?!
Svo þú hefur skilgreint ógnarlíkanið þitt. Þeir tóku einnig tillit til íbúa á staðnum sem klipptu ljósleiðara í leit að kopar og herradar sem sleppir útvarpsboðlínu stranglega á föstudögum klukkan 16:46. Nú þurfum við að skilja hvað við eigum að gera við þetta allt.
Verkefni þitt er að skrifa þessi mjög rauðu umslög sem verða opnuð í neyðartilvikum. Búast strax við því að þegar (ekki ef!) allt tekur enda, þá verði aðeins óreyndasti neminn nálægt, en hendur hans munu hristast harkalega af skelfingu þess sem er að gerast. Sjáðu hvernig neyðarmerki eru útfærð á læknastofum. Til dæmis, hvað á að gera við bráðaofnæmislost. Læknastarfsfólkið kann allar samskiptareglur utanbókar, en þegar nálægur maður byrjar að deyja eru mjög oft allir hjálparlausir að grípa í allt sem fyrir augu ber. Til að gera þetta eru skýrar leiðbeiningar á veggnum með hlutum eins og „opnaðu pakkann af slíku og slíku“ og „gefa svo margar einingar af lyfinu í bláæð.
Það er erfitt að hugsa í neyðartilvikum! Það ættu að vera einfaldar leiðbeiningar um greiningu á mænu.
Gott DRP samanstendur af nokkrum einföldum kubbum:
- Hverjum á að tilkynna um upphaf slyss. Þetta er mikilvægt til að samhliða brotthvarfsferlinu eins mikið og mögulegt er.
- Hvernig á að greina rétt - framkvæma rakningu, skoða í systemctl status servicename og svo framvegis.
- Hversu miklum tíma geturðu eytt í hvert stig? Ef þú hefur ekki tíma til að laga það handvirkt innan SLA tímans er sýndarvélin drepin og snúið til baka úr öryggisafriti gærdagsins.
- Hvernig á að ganga úr skugga um að slysið sé búið.
Mundu að DRP byrjar þegar þjónustan hefur algjörlega bilað og lýkur þegar þjónustan er endurheimt, jafnvel með minni skilvirkni. Það að tapa bókun ætti ekki að kalla fram DRP. Þú getur líka skrifað bolla af te inn í DRP. Í alvöru. Samkvæmt tölfræði breytast mörg slys úr óþægilegum í hörmulegar vegna þess að starfsfólk í læti flýtir sér að laga eitthvað, drepur samtímis eina lifandi hnútinn með gögnum eða klárar loksins þyrpinguna. Að jafnaði gefa 5 mínútur með tebolla þér smá tíma til að róa þig niður og greina hvað er að gerast.
Ekki rugla saman DRP og kerfisvegabréfi! Ekki ofhlaða það með óþarfa gögnum. Gerðu það bara mögulegt að nota tengla á fljótlegan og þægilegan hátt til að fara í viðkomandi hluta skjala og lesa á stækkað formi um nauðsynlega hluta þjónustuarkitektúrsins. Og í DRP sjálfu eru aðeins beinar leiðbeiningar um hvar og hvernig á að tengjast sérstökum skipunum fyrir copy-paste.
Hvernig á að prófa rétt
Gakktu úr skugga um að ábyrgur starfsmaður geti klárað öll atriði. Á mikilvægasta augnablikinu getur komið í ljós að verkfræðingur hefur ekki aðgangsrétt að tilskildu kerfi, það eru engin lykilorð fyrir nauðsynlegan reikning eða hann hefur ekki hugmynd um hvað "Tengdu við þjónustustjórnunarborðið í gegnum umboð á aðalskrifstofa“ þýðir. Hvert atriði ætti að vera mjög einfalt.
Rangt - "Farðu í sýndarvæðingu og endurræstu dauða hnútinn"
Rétt - "Tengdu í gegnum vefviðmótið við virt.example.com, í hnútahlutanum, endurræstu hnútinn sem veldur villunni."
Forðastu tvíræðni. Mundu eftir hrædda lærlingnum.
Vertu viss um að prófa DRP. Þetta er ekki bara sýningaráætlun - það er eitthvað sem gerir þér og viðskiptavinum þínum kleift að komast fljótt út úr mikilvægum aðstæðum. Það er best að gera þetta nokkrum sinnum:
- Einn sérfræðingur og nokkrir nemar vinna á prófunarbekk sem líkir eftir raunverulegri þjónustu eins og hægt er. Sérfræðingurinn brýtur þjónustuna á ýmsan hátt og gerir nemendum kleift að endurheimta hana samkvæmt DRP. Öll vandamál, óljós skjöl og villur eru skráðar. Eftir að nemar hafa fengið þjálfun er DRP stækkað og einfaldað á óljósum svæðum.
- Próf á alvöru þjónustu. Reyndar geturðu aldrei búið til fullkomið eintak af alvöru þjónustu. Þess vegna er nauðsynlegt nokkrum sinnum á ári að slökkva reglulega á sumum netþjónum, rjúfa tengingar og valda öðrum hörmungum af listanum yfir ógnir til að meta endurheimtarferlið. Fyrirhuguð bilun í 10 mínútur um miðja nótt er betri en skyndileg bilun í nokkrar klukkustundir á hámarksálagi með gagnatapi.
- Raunveruleg bilanaleit. Já, þetta er líka hluti af prófunum. Ef slys verður sem ekki var á lista yfir ógnir er nauðsynlegt að bæta við og ganga frá DRP byggt á niðurstöðum rannsóknar þess.
Lykil atriði
- Ef skítur getur gerst, mun það ekki bara gerast, heldur mun það gera það í hörmulegustu atburðarás sem mögulegt er.
- Gakktu úr skugga um að þú hafir úrræði til að flytja neyðarálag.
- Gakktu úr skugga um að þú hafir öryggisafrit, þau eru sjálfkrafa búin til og reglulega athugað með tilliti til samræmis.
- Hugsaðu um dæmigerða ógnunaratburðarás.
- Gefðu verkfræðingum tækifæri til að koma upp óstöðluðum valkostum til að veita þjónustuna.
- DRP ætti að vera einföld og bitlaus kennsla. Allar flóknar greiningar eru framkvæmdar aðeins eftir að þjónusta viðskiptavina hefur verið endurheimt. Jafnvel þó við varagetu.
- Gefðu upp lykilsímanúmer og tengiliði í DRP.
- Prófaðu skilning starfsmanna á DRP reglulega.
- Skipuleggja fyrirhuguð slys á framleiðslustöðum. Standar geta ekki komið í stað alls.
Heimild: www.habr.com