Hatto ofat paytida ham bir piyola choy ichishga vaqt topiladi
DRP (falokatni tiklash rejasi) - bu hech qachon kerak bo'lmaydigan narsa. Ammo agar juftlash mavsumida ko'chib yurgan qunduzlar to'satdan magistral optik tolani kemirsa yoki kichik administrator samarali bazani tashlab qo'ysa, siz bu sharmandalik bilan nima qilish kerakligi haqida oldindan tuzilgan rejaga ega bo'lishingizga ishonch hosil qilishni xohlaysiz.
Xaridorlar vahima ichida texnik yordam telefonlarini uzishni boshlaganlarida, o'quvchi siyanid qidirmoqda, siz donolik bilan qizil konvertni ochib, hamma narsani tartibga keltira boshlaysiz.
Ushbu postda men DRPni qanday yozish va unda nima bo'lishi kerakligi haqida tavsiyalar bilan bo'lishmoqchiman. Shuningdek, biz quyidagi narsalarni ko'rib chiqamiz:
- Keling, yovuz odam kabi fikrlashni o'rganaylik.
- Apokalipsis paytida bir piyola choyning foydalarini ko'rib chiqaylik.
- Keling, qulay DRP tuzilishi haqida o'ylab ko'raylik
- Keling, buni qanday sinab ko'rishni ko'rib chiqaylik
Bu qaysi kompaniyalar uchun foydali bo'lishi mumkin?
IT bo'limiga bunday narsalar kerak bo'lganda, chiziq chizish juda qiyin. Aytmoqchimanki, sizga DRP kerak, agar:
- Serverni, dasturni to'xtatish yoki ba'zi ma'lumotlar bazasini yo'qotish butun biznes uchun katta yo'qotishlarga olib keladi.
- Sizda to'liq IT bo'limi mavjud. Tarmoqni yotqizish, viruslarni tozalash va printerlarni to'ldirish bilan shug'ullanadigan bir nechta charchagan xodimlar emas, balki o'z byudjetiga ega bo'lgan kompaniyaning to'liq huquqli birligi shaklidagi bo'lim ma'nosida.
- Favqulodda vaziyatda hech bo'lmaganda qisman ishdan bo'shatish uchun real byudjetingiz bor.
Agar AT bo'limi bir necha oy davomida kamida bir necha HDD-ni zaxiralash uchun eski serverga so'ragan bo'lsa, siz quvvatni zaxiralash uchun muvaffaqiyatsiz xizmatni to'liq o'tkazishni tashkil qila olmaysiz. Garchi bu erda hujjatlar ortiqcha bo'lmaydi.
Hujjatlar muhim ahamiyatga ega
Hujjatlar bilan boshlang. Aytaylik, sizning xizmatingiz administratorlar tomonidan uch avlod oldin yozilgan Perl skriptida ishlaydi, lekin uning qanday ishlashini hech kim bilmaydi. To'plangan texnik qarz va hujjatlarning etishmasligi muqarrar ravishda sizni nafaqat tizzangizga, balki boshqa oyoq-qo'llarga ham otib tashlaydi, bu ko'proq vaqt masalasidir.
Xizmat komponentlarini yaxshi tavsiflaganingizdan so'ng, baxtsiz hodisalar statistikasini qidiring. Ular deyarli mutlaqo odatiy bo'ladi. Misol uchun, sizning diskingiz vaqti-vaqti bilan to'la bo'ladi, bu esa tugunni qo'lda tozalanmaguncha ishlamay qolishiga olib keladi. Yoki kimdir sertifikatni yangilashni unutib qo'ygani va Let's Encrypt sozlay olmagani yoki sozlashni istamaganligi sababli mijoz xizmati ishlamay qoladi.
Sabotajchi kabi fikrlar
Eng qiyin qismi bu hech qachon sodir bo'lmagan baxtsiz hodisalarni bashorat qilishdir, lekin ular sizning xizmatingizni butunlay buzishi mumkin. Bu erda hamkasblarim va men odatda yomon odamlarni o'ynaymiz. Ko'p qahva va mazali narsa oling va yig'ilish xonasida o'zingizni qulflang. Xuddi shu muzokaralarda siz maqsadli xizmatni o'zlari ishlab chiqqan yoki u bilan muntazam ishlagan muhandislarni o'z ichiga olganingizga ishonch hosil qiling. Keyin, doskada yoki qog'ozda siz xizmatingizda yuz berishi mumkin bo'lgan barcha dahshatlarni chizishni boshlaysiz. Muayyan tozalovchi va kabellarni tortib olish uchun batafsil ma'lumotga ega bo'lish shart emas, "Mahalliy tarmoqning yaxlitligini buzish" stsenariysini ko'rib chiqish kifoya.
Odatda, eng tipik favqulodda vaziyatlar quyidagi turlarga bo'linadi:
- Tarmoq xatosi
- OS xizmatlarining ishlamay qolishi
- Ilova xatosi
- Temir etishmovchiligi
- Virtualizatsiya xatosi
Faqat har bir turni ko'rib chiqing va xizmatingizga nima tegishli ekanligini ko'ring. Misol uchun, Nginx demoni tushishi va ko'tarilmasligi mumkin - bu OT tomonidan nosozliklarni anglatadi. Veb-ilovangiz ishlamay qolishiga olib keladigan kamdan-kam holatlar bu dasturiy ta'minotning ishdan chiqishidir. Ushbu bosqichda ishlayotganda, muammoning tashxisini ishlab chiqish muhimdir. Masalan, virtualizatsiya bo'yicha muzlatilgan interfeysni yiqilgan cis diskidan va tarmoqdagi avariyadan qanday ajratish mumkin. Bu avariya hal qilinmaguncha javobgarlarni tezda topish va dumini tortib olishni boshlash uchun muhimdir.
Odatiy muammolar yozib bo'lingandan so'ng, biz ko'proq qahva quyamiz va ba'zi parametrlar normadan uzoqroqqa chiqa boshlaganda, eng g'alati stsenariylarni ko'rib chiqa boshlaymiz. Masalan:
- Agar faol tugundagi vaqt klasterdagi boshqalarga nisbatan bir daqiqa orqaga ketsa nima bo'ladi?
- Vaqt oldinga siljisa-chi, 10 yildan keyin-chi?
- Sinxronizatsiya paytida klaster tuguni to'satdan tarmog'ini yo'qotsa nima bo'ladi?
- Agar ikkita tugun tarmoqda bir-birining vaqtinchalik izolyatsiyasi tufayli etakchilikni baham ko'rmasa nima bo'ladi?
Ushbu bosqichda teskari yondashuv juda foydali. Siz jamoaning eng o'jar a'zosini kasal tasavvurga ega bo'lasiz va unga qisqa vaqt ichida xizmatni buzadigan sabotajni tashkil qilish vazifasini berasiz. Agar tashxis qo'yish qiyin bo'lsa, undan ham yaxshiroq. Agar siz ularga biror narsani buzish g‘oyasini bersangiz, muhandislar qanday g‘alati va ajoyib g‘oyalarni o‘ylab topishiga ishonmaysiz. Va agar siz ularga buning uchun sinov stolini va'da qilsangiz, bu juda yaxshi.
Bu sizning DRP nima?!
Shunday qilib, siz tahdid modelingizni aniqladingiz. Ular, shuningdek, mis qidirish uchun optik tolali kabellarni kesib tashlagan mahalliy aholini va juma kunlari soat 16:46 da radiorele chizig'ini qat'iy ravishda tushiradigan harbiy radarni hisobga olishdi. Endi bularning barchasi bilan nima qilish kerakligini tushunishimiz kerak.
Sizning vazifangiz favqulodda vaziyatda ochiladigan qizil konvertlarni yozishdir. Darhol kuting, qachonki (agar bo'lmasa!) hamma narsa tugaydi, faqat eng tajribasiz stajyor yaqin atrofda bo'ladi, uning qo'llari sodir bo'layotgan dahshatdan qattiq titraydi. Tibbiy idoralarda favqulodda vaziyatlar belgilari qanday qo'llanilishini ko'ring. Masalan, anafilaktik shok holatida nima qilish kerak. Tibbiyot xodimlari barcha protokollarni yoddan bilishadi, lekin yaqin atrofdagi odam o'lishni boshlaganda, ko'pincha hamma ko'rinadigan hamma narsani ilojsiz ushlab turadi. Buni amalga oshirish uchun devorga aniq ko'rsatmalar yozilgan bo'lib, unda "falonning o'ramini oching" va "preparatning juda ko'p birliklarini tomir ichiga yuboring".
Favqulodda vaziyatda o'ylash qiyin! Orqa miya tahlili uchun oddiy ko'rsatmalar bo'lishi kerak.
Yaxshi DRP bir nechta oddiy bloklardan iborat:
- Baxtsiz hodisaning boshlanishi haqida kimga xabar berish kerak. Bu yo'q qilish jarayonini iloji boricha parallellashtirish uchun muhimdir.
- Qanday qilib to'g'ri tashxis qo'yish kerak - kuzatuvni amalga oshiring, systemctl holatiga qarang xizmat nomi va hokazo.
- Har bir bosqichga qancha vaqt sarflashingiz mumkin? Agar SLA vaqtida uni qo'lda tuzatishga vaqtingiz bo'lmasa, virtual mashina o'chiriladi va kechagi zahiradan qaytariladi.
- Baxtsiz hodisa tugaganiga qanday ishonch hosil qilish kerak.
Esda tutingki, DRP xizmat to'liq ishlamay qolganda boshlanadi va xizmat tiklanganda, hatto samaradorlik pasayganda ham tugaydi. Rezervasyonni shunchaki yo'qotish DRPni ishga tushirmasligi kerak. DRP ga bir piyola choy ham yozishingiz mumkin. Jiddiy. Statistik ma'lumotlarga ko'ra, ko'plab baxtsiz hodisalar noxushlikdan falokatga aylanadi, chunki xodimlar vahima ichida biror narsani tuzatishga shoshilishadi, bir vaqtning o'zida ma'lumotlar bilan yagona tirik tugunni o'ldiradilar yoki nihoyat klasterni tugatadilar. Qoidaga ko'ra, bir chashka choy bilan 5 daqiqa sizni tinchlantirish va nima bo'layotganini tahlil qilish uchun bir oz vaqt beradi.
DRP va tizim pasportini chalkashtirmang! Uni keraksiz ma'lumotlar bilan ortiqcha yuklamang. Hujjatlarning kerakli bo'limiga o'tish va xizmat arxitekturasining zarur bo'limlari haqida kengaytirilgan formatda o'qish uchun giperhavolalardan tez va qulay foydalanish imkonini yarating. Va DRP-ning o'zida faqat nusxa ko'chirish va joylashtirish uchun maxsus buyruqlar bilan qayerda va qanday ulanish bo'yicha to'g'ridan-to'g'ri ko'rsatmalar mavjud.
Qanday qilib to'g'ri test qilish kerak
Har qanday mas'ul xodim barcha narsalarni bajarishga qodir ekanligiga ishonch hosil qiling. Eng muhim daqiqada muhandisning kerakli tizimga kirish huquqi yo'qligi, kerakli hisob qaydnomasi uchun parollar yo'qligi yoki u nima ekanligini bilmasligi mumkin "Xizmatlarni boshqarish konsoliga proksi-server orqali ulanish. bosh ofis” degan ma’noni anglatadi. Har bir nuqta juda oddiy bo'lishi kerak.
Noto'g'ri - "Virtualizatsiyaga o'ting va o'lik tugunni qayta yoqing"
To'g'ri - "Veb-interfeys orqali virt.example.com saytiga ulaning, tugunlar bo'limida xatolikka sabab bo'lgan tugunni qayta ishga tushiring."
Noaniqlikdan saqlaning. Qo'rqib ketgan stajyorni eslang.
DRPni sinab ko'ring. Bu shunchaki namoyish rejasi emas - bu sizga va sizning mijozlaringizga qiyin vaziyatdan tezda chiqib ketish imkonini beradigan narsa. Buni bir necha marta qilish yaxshidir:
- Bir mutaxassis va bir nechta tinglovchilar imkon qadar real xizmatni taqlid qiluvchi test skameykasida ishlaydi. Mutaxassis xizmatni turli yo'llar bilan buzadi va tinglovchilarga uni DRP bo'yicha qayta tiklashga imkon beradi. Barcha muammolar, hujjatlardagi noaniqliklar va xatolar qayd etiladi. Stajyorlar o'qitilgandan so'ng, DRP aniq bo'lmagan joylarda kengaytiriladi va soddalashtiriladi.
- Haqiqiy xizmatda sinov. Aslida, siz hech qachon haqiqiy xizmatning mukammal nusxasini yarata olmaysiz. Shu sababli, qayta tiklash jarayonini baholash uchun yiliga bir necha marta muntazam ravishda ba'zi serverlarni o'chirish, ulanishlarni uzish va tahdidlar ro'yxatidan boshqa falokatlarni keltirib chiqarish kerak. Yarim tunda 10 daqiqa davomida rejalashtirilgan muvaffaqiyatsizlik, ma'lumotlar yo'qolishi bilan eng yuqori yuk paytida bir necha soat davomida to'satdan muvaffaqiyatsizlikka uchraganidan yaxshiroqdir.
- Haqiqiy muammolarni bartaraf etish. Ha, bu ham sinovning bir qismi. Agar tahdidlar ro'yxatida bo'lmagan baxtsiz hodisa ro'y bersa, uni tekshirish natijalariga ko'ra DRPni to'ldirish va yakunlash kerak.
Asosiy fikrlar
- Agar axlat sodir bo'lishi mumkin bo'lsa, bu nafaqat sodir bo'ladi, balki eng halokatli stsenariyda ham shunday bo'ladi.
- Favqulodda yukni uzatish uchun resurslaringiz borligiga ishonch hosil qiling.
- Zaxira nusxalari borligiga ishonch hosil qiling, ular avtomatik ravishda yaratiladi va muntazam ravishda mustahkamlik tekshiriladi.
- Oddiy tahdid stsenariylarini o'ylab ko'ring.
- Muhandislarga xizmat ko'rsatishning nostandart variantlarini taklif qilish imkoniyatini bering.
- DRP oddiy va aniq ko'rsatma bo'lishi kerak. Barcha murakkab diagnostika faqat mijozlarga xizmat ko'rsatish tiklangandan keyin amalga oshiriladi. Zaxira quvvatiga ega bo'lsa ham.
- DRPda asosiy telefon raqamlari va kontaktlarni ko'rsating.
- Xodimlarning DRPni tushunishlarini muntazam ravishda sinab ko'ring.
- Ishlab chiqarish maydonlarida rejalashtirilgan baxtsiz hodisalarni tashkil qilish. Stendlar hamma narsani almashtira olmaydi.
Manba: www.habr.com