Hammaga salom! Ushbu maqola bilan AERODISK Habré-da blog ochadi. Xayr, oʻrtoqlar!
Habré haqidagi oldingi maqolalarda saqlash tizimlarining arxitekturasi va asosiy konfiguratsiyasi haqidagi savollar muhokama qilingan. Ushbu maqolada biz ilgari ko'rib chiqilmagan, lekin tez-tez so'raladigan savolni ko'rib chiqamiz - AERODISK ENGINE saqlash tizimlarining nosozliklarga chidamliligi haqida. Bizning jamoamiz AERODISK saqlash tizimining ishlamay qolishi uchun hamma narsani qiladi, ya'ni. uni buz.
Habré-da kompaniyamiz tarixi, mahsulotlarimiz haqidagi maqolalar, shuningdek, muvaffaqiyatli amalga oshirish misollari allaqachon osib qo'yilgan. Hamkorlarimiz - TS Solution va Softline kompaniyalariga katta rahmat.
Shuning uchun, men bu erda nusxa ko'chirish va joylashtirishni boshqarish ko'nikmalarini o'rgatmayman, faqat ushbu maqolalarning asl nusxalariga havolalarni taqdim etaman:
Men ham yaxshi yangilik bilan bo'lishmoqchiman. Lekin men, albatta, muammodan boshlayman. Biz, yosh sotuvchi sifatida, boshqa xarajatlar qatorida, ko'plab muhandislar va ma'murlar bizning saqlash tizimimizni qanday qilib to'g'ri ishlatishni bilmasliklari bilan doimo duch kelamiz.
Ko'pgina saqlash tizimlarini boshqarish administrator nuqtai nazaridan taxminan bir xil ko'rinishi aniq, ammo har bir ishlab chiqaruvchi o'ziga xos xususiyatlarga ega. Va biz bu erda istisno emasmiz.
Shu sababli, IT-mutaxassislarini tayyorlash vazifasini soddalashtirish uchun biz bu yilni bepul ta'limga bag'ishlashga qaror qildik. Buning uchun Rossiyaning koʻplab yirik shaharlarida biz AERODISK kompetentlik markazlari tarmogʻini ochmoqdamiz, unda har qanday qiziqqan texnik mutaxassis mutlaqo bepul kursdan oʻtishi va AERODISK ENGINE saqlash tizimlarini boshqarish boʻyicha sertifikat olishi mumkin.
Har bir Kompetentlik markazida biz AERODISK saqlash tizimidan to'liq demo stend va jismoniy serverni o'rnatamiz, unda o'qituvchimiz yuzma-yuz mashg'ulotlar olib boradi. Biz vakolat markazlarining ish jadvalini ular paydo bo'lishi bilan e'lon qilamiz, ammo biz allaqachon Nijniy Novgorodda markaz ochganmiz va keyingi o'rinda Krasnodar shahri joylashgan. Quyidagi havolalar orqali treningga yozilishingiz mumkin. Bu erda shaharlar va sanalar haqida hozirda ma'lum bo'lgan ma'lumotlar:
- Nijniy Novgorod (Allaqachon OCHIQ – bu yerda roʻyxatdan oʻtishingiz mumkin );
16-yilning 2019-apreliga qadar markazga istalgan ish vaqtida tashrif buyurishingiz mumkin, 16-yil 2019-aprelda esa katta o‘quv kursi tashkil etiladi. - Krasnodar (TEZ OCHILADI - bu yerda roʻyxatdan oʻtishingiz mumkin );
9-yilning 25-aprelidan 2019-apreliga qadar istalgan ish vaqtida markazga tashrif buyurishingiz mumkin, 25-yilning 2019-aprelida esa katta o‘quv kursi tashkil etiladi. - Екатеринбург (Yaqinda ochiladi, bizning veb-saytimizda yoki Habré-dagi ma'lumotlarni kuzatib boring);
2019 yil may-iyun. - Новосибирск (bizning veb-saytimizda yoki Habré-dagi ma'lumotlarni kuzatib boring);
2019 yil oktyabr. - Красноярск (bizning veb-saytimizda yoki Habré-dagi ma'lumotlarni kuzatib boring);
2019 yil noyabr
Va, albatta, agar Moskva sizdan uzoq bo'lmasa, istalgan vaqtda Moskvadagi ofisimizga tashrif buyurib, shunga o'xshash treningdan o'tishingiz mumkin.
Hammasi. Marketingni tugatdik, keling texnologiyaga o'tamiz!
Habré-da biz muntazam ravishda mahsulotlarimiz, yuk sinovlari, taqqoslashlar, foydalanish xususiyatlari va qiziqarli ilovalar haqida texnik maqolalarni nashr etib boramiz.
AERODISK ENGINE N2 saqlash tizimining avariya sinovlari, kuch sinovi
OGOHLANTIRISH! Maqolani o'qib chiqqandan so'ng, siz aytishingiz mumkin: yaxshi, albatta, sotuvchi o'zini tekshiradi, shunda hamma narsa "portlash bilan", issiqxona sharoitlari va boshqalar ishlaydi. Men javob beraman: shunga o'xshash narsa yo'q! Chet ellik raqobatchilarimizdan farqli o'laroq, biz bu erda, sizga yaqin joyda joylashganmiz va siz har doim bizga (Moskva yoki istalgan Markaziy Qo'mitaga) kelishingiz va saqlash tizimimizni har qanday usulda sinab ko'rishingiz mumkin. Shunday qilib, natijalarni dunyoning ideal rasmiga moslashtirish biz uchun juda mantiqiy emas, chunki Bizni tekshirish juda oson. Ketishga dangasa va vaqti bo'lmaganlar uchun masofaviy test tashkil qilishimiz mumkin. Buning uchun bizda maxsus laboratoriya mavjud. Biz bilan bog'lanish.
ACHTUNG-2! Bu test yuk test emas, chunki bu erda biz faqat xatolarga chidamlilik haqida qayg'uramiz. Bir necha hafta ichida biz yanada kuchli stend tayyorlaymiz va saqlash tizimining yuk sinovini o'tkazamiz, natijalarni shu erda e'lon qilamiz (darvoqe, testlar uchun so'rovlar qabul qilinadi).
Xo'sh, keling, uni buzaylik.
Sinov stend
Bizning stendimiz quyidagi jihozlardan iborat:
- 1 x Aerodisk Engine N2 saqlash tizimi (2 ta kontroller, 64 GB kesh, 8xFC portlari 8Gb/s, 4xEthernet portlari 10Gb/s SFP+, 4xEthernet portlari 1Gb/s); Saqlash tizimiga quyidagi disklar o'rnatilgan:
- 4 x SAS SSD disklari 900 GB;
- 12 x SAS 10k disklari 1,2 TB;
- Windows Server 1 bilan 2016 x jismoniy server (2xXeon E5 2667 v3, 96GB RAM, 2xFC portlari 8Gb/s, 2xEthernet portlari 10Gb/s SFP+);
- 2 x SAN 8G kaliti;
- 2 x LAN 10G kaliti;
Biz serverni saqlash tizimiga FC va 10G Ethernet orqali kalitlar orqali uladik. Stend diagrammasi quyida keltirilgan.
MPIO va iSCSI tashabbuskori kabi bizga kerak bo'lgan komponentlar Windows Serverda o'rnatilgan.
Hududlar FC kalitlarida sozlangan, tegishli VLAN-lar LAN kalitlarida va MTU 9000 saqlash portlari, kalitlari va xostlarida o'rnatilgan (bularning barchasini qanday qilish bizning hujjatlarimizda tasvirlangan, shuning uchun biz tasvirlamaymiz. bu jarayon bu erda).
Test metodologiyasi
Avariya sinovi rejasi quyidagicha:
- FC va Ethernet portlarining nosozligini tekshirish.
- Elektr uzilishlarini tekshirish.
- Tekshirish moslamasining nosozligini tekshirish.
- Guruh/hovuzda diskdagi nosozlikni tekshirish.
Barcha sinovlar biz IOMETER dasturi tomonidan yaratiladigan sintetik yuk sharoitida amalga oshiriladi. Bunga parallel ravishda biz bir xil testlarni amalga oshiramiz, lekin katta fayllarni saqlash tizimiga nusxalash sharoitida.
IOmeter konfiguratsiyasi quyidagicha:
- O'qish/Yozish - 70/30
- Blok - 128k (biz katta bloklarda saqlash tizimlarini yuvishga qaror qildik)
- Iplar soni - 128 (bu unumdor yukga juda o'xshash)
- To'liq tasodifiy
- Ishchilar soni - 4 (FC uchun 2, iSCSI uchun 2)
Sinov quyidagi maqsadlarga ega:
- Sintetik yuklash va nusxa ko'chirish jarayoni turli xil nosozlik stsenariylarida to'xtatilmasligi yoki xatolarga olib kelmasligiga ishonch hosil qiling.
- Portlarni, kontrollerlarni va hokazolarni almashtirish jarayoni etarlicha avtomatlashtirilganligiga va nosozliklar yuzaga kelganda administratorning harakatlarini talab qilmasligiga ishonch hosil qiling (ya'ni, uzilishlar paytida, albatta, muvaffaqiyatsizliklar haqida gapirmayapmiz).
- Jurnallardagi ma'lumotlar to'g'ri ko'rsatilganligiga ishonch hosil qiling.
Xost va saqlash tizimini tayyorlash
Biz FC va Ethernet portlari (mos ravishda FC va iSCSI) yordamida saqlash tizimida blokirovkaga kirishni sozladik. TS Solution kompaniyasining yigitlari buni qanday qilishni avvalgi maqolada batafsil tasvirlab berishgan (). Va, albatta, hech kim qo'llanmalar va kurslarni bekor qilmadi.
Bizda mavjud bo'lgan barcha drayverlardan foydalangan holda gibrid guruh tashkil etdik. Keshga 2 ta SSD disk qo'shildi, qo'shimcha saqlash darajasi (Onlayn daraja) sifatida 2 SSD disk qo'shildi. Guruhdagi uchta drayverning bir vaqtning o'zida ishlamay qolganligini tekshirish uchun biz 12 ta SAS10k drayverlarini RAID-60P (uchlik paritet) ga guruhladik. Avtomatik almashtirish uchun bitta disk qoldi.
Biz ikkita LUNni (biri FC orqali, biri iSCSI orqali) uladik.
Ikkala LUNning egasi Dvigatel-0 boshqaruvchisidir
Testni boshlaylik
Yuqoridagi konfiguratsiya bilan IOMETER-ni yoqamiz.
Biz 1.8 Gb/s o‘tkazish qobiliyatini va 3 millisekundlik kechikish vaqtini qayd etamiz. Hech qanday xatolik yo'q (Jami xatolar soni).
Shu bilan birga, bizning xostimizning mahalliy "C" diskidan biz boshqa interfeyslardan foydalangan holda parallel ravishda ikkita katta 100 Gb faylni FC va iSCSI xotira LUN-lariga (Windows-da E va G drayvlari) nusxalashni boshlaymiz.
Yuqorida LUN FC-ga, pastda iSCSI-ga nusxalash jarayoni.
Sinov №1: I/U portlarini o'chirish
Biz saqlash tizimiga orqa tomondan yaqinlashamiz))) va qo'lning engil harakati bilan biz Dvigatel-10 boshqaruvchisidan barcha FC va Ethernet 0G kabellarini chiqaramiz. Go'yo shvavli tozalovchi ayol o'tib ketib, snot yotgan va kabellar yotgan joyda polni yuvishga qaror qilgandek bo'ladi (ya'ni kontroller hali ham ishlaydi, lekin kiritish-chiqarish portlari o'lik).
Keling, IOMETER va fayllarni nusxalashni ko'rib chiqaylik. O'tkazish qobiliyati 0,5 Gb / s ga tushdi, lekin tezda avvalgi darajasiga qaytdi (taxminan 4-5 soniyada). Hech qanday xatolik yo'q.
Fayllarni nusxalash to'xtamadi, tezlikda pasayish bor, lekin u umuman muhim emas (840 MB / s dan 720 MB / s gacha tushib ketdi). Nusxa ko‘chirish to‘xtagani yo‘q.
Biz saqlash tizimining jurnallarini ko'rib chiqamiz va portlarning mavjud emasligi va guruhning avtomatik ravishda ko'chirilishi haqida xabarni ko'ramiz.
Ma'lumot paneli, shuningdek, FC portlari bilan hamma narsa unchalik yaxshi emasligini aytadi.
Saqlash tizimi kirish/chiqarish portlarining ishdan chiqishidan omon qoldi muvaffaqiyatli.
Sinov № 2. Saqlash boshqaruvchisini o'chirish
Deyarli darhol (kabellarni saqlash tizimiga qayta ulaganimizdan so'ng) biz boshqaruvchini shassisdan chiqarib, saqlash tizimini tugatishga qaror qildik.
Biz yana saqlash tizimiga orqadan yaqinlashamiz (bu bizga yoqdi))) va bu safar biz RDG (guruh ko'chib o'tgan) egasi bo'lgan Dvigatel-1 boshqaruvchisini tortib oldik.
IOmeterda vaziyat quyidagicha. I/U taxminan 5 soniya to'xtadi. Xatolar yig'ilmaydi.
5 soniyadan so'ng, kiritish/chiqarish taxminan bir xil o'tkazuvchanlik bilan, lekin 35 millisekundlik kechikishlar bilan davom etdi (kechikishlar taxminan bir necha daqiqadan so'ng tuzatiladi). Skrinshotlardan ko'rinib turibdiki, Jami xatolar soni qiymati 0 ga teng, ya'ni yozish yoki o'qishda xatoliklar bo'lmagan.
Keling, fayllarimizni nusxalashni ko'rib chiqaylik. Ko'rib turganingizdek, u to'xtatilmadi, unumdorlik biroz pasaydi, lekin umuman olganda hamma narsa bir xil ~ 800 MB/s ga qaytdi.
Biz saqlash tizimiga boramiz va ma'lumot panelida Dvigatel-1 boshqaruvchisi mavjud emasligi haqidagi la'natni ko'ramiz (albatta, biz uni o'ldirganmiz).
Jurnallarda ham shunga o'xshash yozuvni ko'ramiz.
Saqlash boshqaruvchisi ham nosozlikdan omon qoldi muvaffaqiyatli.
Sinov № 3: Elektr ta'minotini uzish.
Har holda, biz yana fayllarni nusxalashni boshladik, lekin IOMETERni to'xtatmadik.
Biz quvvat manbai blokini tortamiz.
Axborot panelidagi saqlash tizimiga yana bir ogohlantirish qo'shildi.
Shuningdek, datchiklar menyusida biz uzilgan quvvat manbai bilan bog'liq sensorlar qizil rangga aylanganini ko'ramiz.
Saqlash tizimi ishlashda davom etmoqda. Elektr ta'minoti blokining ishdan chiqishi saqlash tizimining ishlashiga hech qanday ta'sir ko'rsatmaydi, xost nuqtai nazaridan nusxa olish tezligi va IOMETER ko'rsatkichlari o'zgarishsiz qoldi.
Elektr uzilish sinovidan o'tdi muvaffaqiyatli.
Yakuniy sinovdan oldin biz saqlash tizimini biroz jonlantirishga qaror qildik, boshqaruvchi va quvvat manbai blokini joyiga qo'ying, shuningdek, saqlash tizimi sog'liqni saqlash panelidagi yashil piktogramma bilan bizga mamnuniyat bilan xabar bergan kabellarni tartibga soldi. .
Sinov No 4. Guruhdagi uchta diskning ishdan chiqishi
Ushbu sinovdan oldin biz qo'shimcha tayyorgarlik bosqichini amalga oshirdik. Gap shundaki, ENGINE saqlash tizimi juda foydali narsani - turli xil qayta qurish siyosatlarini taqdim etadi. TS Solution bu xususiyat haqida avvalroq yozgan edi, ammo uning mohiyatini eslaylik. Saqlash administratori qayta qurish vaqtida resurslarni taqsimlash uchun ustuvorlikni belgilashi mumkin. Yoki I/U ishlash yo'nalishi bo'yicha, ya'ni qayta qurish ko'proq vaqt talab etadi, lekin unumdorlik kamaymaydi. Yoki qayta qurish tezligi yo'nalishi bo'yicha, lekin unumdorlik kamayadi. Yoki muvozanatli variant. Disk guruhini qayta tiklashda saqlash unumdorligi har doim administratorning bosh og'rig'i bo'lganligi sababli, biz kiritish/chiqarish samaradorligiga nisbatan moyillik bilan va qayta qurish tezligi hisobiga siyosatni sinab ko'ramiz.
Endi diskdagi nosozlikni tekshiramiz. Shuningdek, biz LUN-larga (fayllar va IOMETER) yozishni yoqamiz. Bizda uch karra paritetli (RAID-60P) guruh mavjud bo'lganligi sababli, bu tizim uchta diskning ishdan chiqishiga bardosh berishi kerakligini anglatadi va nosozlikdan keyin avtomatik almashtirish ishlashi kerak, bitta disk muvaffaqiyatsiz disklardan birining o'rnini egallashi kerak. RDGda va qayta qurish undan boshlanishi kerak.
Boshlanishi. Birinchidan, saqlash interfeysi orqali biz chiqarmoqchi bo'lgan disklarni ajratib ko'rsatamiz (avtomatik almashtirish diskini o'tkazib yubormaslik va tortib olmaslik uchun).
Uskunadagi ko'rsatkichni tekshiramiz. Hammasi yaxshi, biz uchta ajratilgan diskni ko'ramiz.
Va biz bu uchta diskni chiqaramiz.
Keling, uy egasida nima borligini ko'rib chiqaylik. Va u erda ... hech qanday maxsus narsa sodir bo'lmadi.
Nusxa ko'chirish ko'rsatkichlari (ular boshidan yuqori, chunki kesh qizib ketgan) va IOMETER disklarni olib tashlash va qayta tiklashni boshlashda unchalik o'zgarmaydi (5-10% ichida).
Keling, saqlash tizimida nima borligini ko'rib chiqaylik.
Guruh maqomida biz qayta qurish jarayoni boshlanganini va u yakunlanish arafasida ekanligini ko‘ramiz.
RDG skeletida siz 2 ta disk qizil holatda ekanligini va bittasi allaqachon almashtirilganligini ko'rishingiz mumkin. Avtomatik almashtirish diski endi yo'q, u uchinchi muvaffaqiyatsiz diskni almashtirdi. Qayta qurish bir necha daqiqa davom etdi, 3 disk ishlamay qolganda fayllarni yozish to'xtatilmadi va kiritish/chiqarish ko'rsatkichlari unchalik o'zgarmadi.
Diskdagi nosozlik testi albatta o'tdi muvaffaqiyatli.
xulosa
Shu nuqtada biz saqlash tizimlariga nisbatan zo'ravonlikni to'xtatishga qaror qildik. Keling, xulosa qilaylik:
- FC port xatosi tekshirildi - muvaffaqiyatli
- Ethernet portining xatosi tekshirildi - muvaffaqiyatli
- Tekshirish moslamasining nosozligini tekshirish - muvaffaqiyatli
- Quvvat etishmovchiligi sinovi - muvaffaqiyatli
- Grouppool-da disk xatosi tekshirilmoqda - muvaffaqiyatli
Muvaffaqiyatsizliklarning hech biri yozishni to'xtatmadi yoki sintetik yuklashda xatolarga olib kelmadi; Albatta, unumdorlik ko'tarildi (va biz buni qanday engish kerakligini bilamiz, buni tez orada qilamiz), ammo bu soniyalar ekanligini hisobga olsak, bu juda maqbuldir. Xulosa: AERODISK saqlash tizimining barcha tarkibiy qismlarining nosozliklarga chidamliligi darajasida ishladi, nosozlik nuqtalari yo'q edi.
Shubhasiz, bitta maqolada biz barcha muvaffaqiyatsizlik stsenariylarini sinab ko'ra olmaymiz, lekin biz eng mashhurlarini yoritishga harakat qildik. Shuning uchun, o'z fikr-mulohazalaringizni, kelgusi nashrlar uchun takliflaringizni va, albatta, adekvat tanqidni yuboring. Biz muhokama qilishdan xursand bo'lamiz (yaxshisi, treningga keling, men har qanday holatda jadvalni takrorlayman)! Yangi sinovlargacha!
- Nijniy Novgorod (Allaqachon OCHIQ – bu yerda roʻyxatdan oʻtishingiz mumkin );
16-yilning 2019-apreliga qadar markazga istalgan ish vaqtida tashrif buyurishingiz mumkin, 16-yil 2019-aprelda esa katta o‘quv kursi tashkil etiladi. - Krasnodar (TEZ OCHILADI - bu yerda roʻyxatdan oʻtishingiz mumkin );
9-yilning 25-aprelidan 2019-apreliga qadar istalgan ish vaqtida markazga tashrif buyurishingiz mumkin, 25-yilning 2019-aprelida esa katta o‘quv kursi tashkil etiladi. - Екатеринбург (Yaqinda ochiladi, bizning veb-saytimizda yoki Habré-dagi ma'lumotlarni kuzatib boring);
2019 yil may-iyun. - Новосибирск (bizning veb-saytimizda yoki Habré-dagi ma'lumotlarni kuzatib boring);
2019 yil oktyabr. - Красноярск (bizning veb-saytimizda yoki Habré-dagi ma'lumotlarni kuzatib boring);
2019 yil noyabr
Manba: www.habr.com