Сайн уу! Энэхүү нийтлэлээр AERODISK Habré дээр блог нээдэг. Яваарай, нөхдүүд!
Хабрегийн өмнөх нийтлэлүүд нь хадгалах системийн архитектур, үндсэн тохиргооны талаархи асуултуудыг авч үзсэн. Энэ нийтлэлд бид өмнө нь авч үзээгүй боловч ихэвчлэн асуудаг асуултыг авч үзэх болно - AERODISK ENGINE хадгалах системийн алдааг тэсвэрлэх чадвар. Манай баг AERODISK хадгалах систем ажиллахаа болихын тулд бүх зүйлийг хийх болно. эвдэх.
Хабре дээр манай компанийн түүх, бүтээгдэхүүний талаархи нийтлэлүүд, амжилттай хэрэгжсэн жишээнүүд аль хэдийн өлгөөтэй болсон. Манай түншүүд болох TS Solution болон Softline компаниудад маш их баярлалаа.
Тиймээс би энд хуулж буулгах менежментийн ур чадварыг сургахгүй, харин эдгээр нийтлэлийн эх сурвалжийн холбоосыг өгөх болно.
Би бас сайхан мэдээ хуваалцах гэсэн юм. Гэхдээ би мэдээж асуудлаас эхэлнэ. Бид залуу борлуулагчийн хувьд бусад зардлаас гадна олон инженер, администраторууд манай хадгалах системийг хэрхэн зөв ажиллуулахаа мэддэггүйтэй байнга тулгардаг.
Ихэнх хадгалах системийг удирдах нь администраторын үүднээс ижил төстэй харагддаг нь ойлгомжтой боловч үйлдвэрлэгч бүр өөрийн гэсэн онцлогтой байдаг. Мөн бид энд үл хамаарах зүйл биш юм.
Тиймээс мэдээллийн технологийн мэргэжилтнүүдийг бэлтгэх ажлыг хялбарчлахын тулд бид энэ жилийг үнэ төлбөргүй боловсролд зориулахаар шийдсэн. Үүнийг хийхийн тулд ОХУ-ын олон томоохон хотуудад бид AERODISK чадамжийн төвүүдийн сүлжээг нээж байгаа бөгөөд үүнд ямар ч сонирхолтой техникийн мэргэжилтэн үнэ төлбөргүй хамрагдаж, AERODISK ENGINE хадгалах системийг удирдах гэрчилгээ авах боломжтой.
Чадамжийн төв болгонд бид AERODISK хадгалах систем болон физик серверээс бүрэн хэмжээний үзүүлэн суулгах ба түүн дээр багш маань нүүр тулсан сургалт явуулах болно. Бид Чадамжийн төвүүдийн ажлын хуваарийг гарч ирэхэд нь нийтлэх болно, гэхдээ бид Нижний Новгород хотод төвөө аль хэдийн нээсэн бөгөөд дараагийнх нь Краснодар хот юм. Та доорх линкээр орж сургалтанд хамрагдах боломжтой. Хот, огнооны талаарх одоогоор мэдэгдэж байгаа мэдээлэл энд байна:
- Нижний Новгород (НЭЭЛТТЭЙ - энд бүртгүүлж болно );
16 оны 2019 сарын 16-ныг дуустал хүссэн цагтаа тус төвд ирж үйлчлүүлэх боломжтой бөгөөд 2019 оны XNUMX сарын XNUMX-ны өдөр томоохон хэмжээний сургалт зохион байгуулна. - Краснодар (УДАХГҮЙ НЭЭХ - энд бүртгүүлж болно );
9 оны 25 дүгээр сарын 2019-нөөс 25 дүгээр сарын 2019-ныг дуустал ажлын цагаар хүссэн үедээ ирж үйлчлүүлэх боломжтой бөгөөд XNUMX оны XNUMX дүгээр сарын XNUMX-ны өдөр томоохон хэмжээний сургалт зохион байгуулна. - Екатеринбург (УДАХГҮЙ НЭЭЛТТЭЙ, манай вэбсайт эсвэл Habré дээрх мэдээллийг дагана уу);
2019 оны XNUMX-XNUMX сар. - Новосибирск (манай вэб сайт эсвэл Habré дээрх мэдээллийг дагана уу);
2019 оны аравдугаар сар. - Красноярск (манай вэб сайт эсвэл Habré дээрх мэдээллийг дагана уу);
2019 оны арваннэгдүгээр сар.
Мэдээжийн хэрэг, хэрэв Москва танаас холгүй бол та хүссэн үедээ Москва дахь манай оффис дээр очиж, ижил төстэй сургалтанд хамрагдах боломжтой.
Бүгд. Маркетингаа дуусгалаа, технологи руугаа орцгооё!
Habré дээр бид бүтээгдэхүүнийхээ тухай техникийн нийтлэл, ачааллын туршилт, харьцуулалт, ашиглалтын онцлог, сонирхолтой хэрэгжилтийн талаар тогтмол нийтлэх болно.
AERODISK ENGINE N2 хадгалах системийн ослын туршилт, бат бэхийн туршилт
АНХААРУУЛГА! Өгүүллийг уншсаны дараа та хэлж болно: мэдээжийн хэрэг, худалдагч нь бүх зүйл "цохилттой" ажиллаж байгаа эсэхийг шалгах болно, хүлэмжийн нөхцөл гэх мэт. Би хариулах болно: ийм зүйл байхгүй! Манай гадаадын өрсөлдөгчдөөс ялгаатай нь бид энд, тантай ойрхон байрладаг бөгөөд та үргэлж бидэн дээр (Москва эсвэл аль ч Төв хороонд) ирж, манай хадгалах системийг ямар ч аргаар туршиж үзэх боломжтой. Тиймээс бид үр дүнг дэлхийн хамгийн тохиромжтой дүр төрхөөр тохируулах нь утгагүй юм Бид шалгахад маш хялбар байдаг. Залхуу, зав муутай хүмүүст зориулж зайны шалгалтыг зохион байгуулж болно. Үүний тулд бид тусгай лабораторитой. Бидэнтэй холбоо барина уу.
ACHTUNG-2! Энэ туршилт нь ачааллын тест биш, учир нь энд бид зөвхөн алдааг тэсвэрлэх чадварыг чухалчилдаг. Хэдэн долоо хоногийн дараа бид илүү хүчирхэг стенд бэлтгэж, хадгалах системийн ачааллын туршилтыг хийж, үр дүнг энд нийтлэх болно (дашрамд хэлэхэд туршилтын хүсэлтийг хүлээн авна).
За ингээд эвдчихье.
Туршилтын тавиур
Манай стенд дараах тоног төхөөрөмжөөс бүрдэнэ.
- 1 x Aerodisk Engine N2 хадгалах систем (2 хянагч, 64GB кэш, 8xFC порт 8Gb/s, 4xEthernet порт 10Gb/s SFP+, 4xEthernet порт 1Gb/s); Хадгалах системд дараах дискүүдийг суулгасан болно.
- 4 x SAS SSD диск 900 ГБ;
- 12 x SAS 10k диск 1,2 TB;
- Windows Server 1-тай 2016 x физик сервер (2xXeon E5 2667 v3, 96GB RAM, 2xFC порт 8Gb/s, 2xEthernet порт 10Gb/s SFP+);
- 2 х SAN 8G шилжүүлэгч;
- 2 x LAN 10G шилжүүлэгч;
Бид серверийг хадгалах системд FC болон 10G Ethernet-ээр дамжуулан шилжүүлэгчээр холбосон. Стенд диаграмыг доор харуулав.
MPIO болон iSCSI санаачлагч зэрэг бидэнд хэрэгтэй бүрэлдэхүүн хэсгүүдийг Windows Server дээр суулгасан.
Бүсүүдийг FC шилжүүлэгч дээр тохируулсан, харгалзах VLAN-уудыг LAN шилжүүлэгч дээр тохируулсан, MTU 9000 нь хадгалах порт, свич, хост дээр суулгасан (энэ бүгдийг хэрхэн хийх талаар манай баримт бичигт тайлбарласан тул бид тайлбарлахгүй. энэ үйл явц энд байна).
Туршилтын арга зүй
Сүйрлийн туршилтын төлөвлөгөө дараах байдалтай байна.
- FC болон Ethernet портуудын эвдрэлийг шалгаж байна.
- Цахилгааны тасалдлыг шалгах.
- Хянагчийн эвдрэлийг шалгах.
- Бүлэг/цөөрөм дэх дискний эвдрэлийг шалгаж байна.
Бүх туршилтыг синтетик ачааллын нөхцөлд хийх бөгөөд бид үүнийг IOMETER програмаар бий болгоно. Үүний зэрэгцээ бид ижил туршилтуудыг хийх болно, гэхдээ том файлуудыг хадгалах системд хуулах нөхцөлд.
IOmeter-ийн тохиргоо дараах байдалтай байна.
- Унших/бичих – 70/30
- Блок - 128к (бид агуулахын системийг том блокоор угаахаар шийдсэн)
- Утасны тоо - 128 (энэ нь бүтээмжийн ачаалалтай маш төстэй)
- Бүрэн санамсаргүй
- Ажилчдын тоо – 4 (FC-д 2, iSCSI-д 2)
Туршилт нь дараахь зорилготой.
- Синтетик ачаалах, хуулбарлах процесс нь янз бүрийн бүтэлгүйтлийн хувилбаруудын дагуу тасалдахгүй эсвэл алдаа гаргахгүй байхыг анхаарна уу.
- Портууд, хянагчууд гэх мэтийг солих үйл явц нь хангалттай автоматжуулсан бөгөөд алдаа гарсан тохиолдолд администраторын үйлдэл шаарддаггүй эсэхийг шалгаарай (өөрөөр хэлбэл бүтэлгүйтлийн үед бид бүтэлгүйтлийн тухай яриагүй нь мэдээж).
- Бүртгэлд байгаа мэдээлэл зөв харагдаж байгаа эсэхийг шалгаарай.
Хост болон хадгалах системийг бэлтгэх
Бид FC болон Ethernet портуудыг (FC болон iSCSI тус тус) ашиглан хадгалах систем дээрх блок хандалтыг тохируулсан. TS Solution-ийн залуус үүнийг хэрхэн хийх талаар өмнөх нийтлэлдээ дэлгэрэнгүй тайлбарласан (). Мэдээжийн хэрэг, гарын авлага, хичээлийг хэн ч цуцалсангүй.
Бид өөрт байгаа бүх хөтчөө ашиглан эрлийз групп байгуулсан. 2 SSD дискийг кэшэд нэмж, 2 SSD дискийг нэмэлт хадгалах давхарга болгон (Онлайн түвшний) нэмсэн. Бид 12 SAS10k хөтчийг RAID-60P (гурвалсан паритет) бүлэгт бүлэгт гурван дискний эвдрэлийг нэг дор шалгахын тулд бүлэглэсэн. Автоматаар солиход нэг диск үлдсэн.
Бид хоёр LUN-г холбосон (нэг нь FC, нэг нь iSCSI-ээр).
Хоёр LUN-ийн эзэмшигч нь Engine-0 хянагч юм
Туршилтаа эхэлцгээе
Бид дээрх тохиргоогоор IOMETER-г идэвхжүүлдэг.
Бид 1.8 ГБ/с дамжуулах хурд, 3 миллисекундын хоцролтыг бүртгэдэг. Алдаа байхгүй (Нийт алдааны тоо).
Үүний зэрэгцээ, манай хостын локал "C" дискнээс бид 100 ГБ хэмжээтэй хоёр том файлыг FC болон iSCSI санах ойн LUN-д (Windows дахь E ба G хөтчүүд) бусад интерфэйсүүдийг ашиглан зэрэг хуулж эхэлдэг.
Дээр нь LUN FC руу, доор нь iSCSI руу хуулах процесс байна.
Тест №1: I/O портуудыг идэвхгүй болгох
Бид хадгалах систем рүү араас нь ойртож байгаа))) гараа бага зэрэг хөдөлгөөнөөр бүх FC болон Ethernet 10G кабелийг Engine-0 хянагчаас гаргаж авдаг. Хажуугаар нь шүүртэй цэвэрлэгч эмэгтэй өнгөрч, хонгио, утаснууд нь хэвтэж байсан газарт шалаа угаахаар шийдсэн юм шиг (жишээ нь хянагч ажиллаж байгаа боловч оролт гаралтын портууд нь дуусчихсан).
IOMETER болон файл хуулах талаар харцгаая. Дамжуулах чадвар 0,5 ГБ/сек хүртэл буурсан боловч өмнөх түвшиндээ хурдан буцаж ирэв (ойролцоогоор 4-5 секундын дотор). Алдаа байхгүй.
Файл хуулах нь зогссонгүй, хурд буурсан, гэхдээ энэ нь тийм ч чухал биш (840 МБ/сек-ээс 720 МБ/сек хүртэл буурсан). Хуулбар зогссонгүй.
Бид санах ойн системийн бүртгэлийг үзэж, портууд байхгүй, бүлгийг автоматаар нүүлгэн шилжүүлэх тухай мессежийг хардаг.
Мэдээллийн самбар нь FC портуудын хувьд бүх зүйл тийм ч сайн биш байгааг бидэнд хэлдэг.
Хадгалах систем нь оролт гаралтын портуудын эвдрэлийг даван туулсан амжилттай.
Туршилтын дугаар 2. Хадгалах хянагчийг идэвхгүй болгох
Бараг тэр даруй (кабелийг хадгалах системд буцааж залгасны дараа) бид хянагчийг явах эд ангиас нь сугалж, хадгалах системийг дуусгахаар шийдсэн.
Бид дахин хадгалах систем рүү араас нь ойртож байна (бид таалагдсан))) энэ удаад бид RDG-ийн эзэн (бүлэг нүүсэн) болсон Engine-1 хянагчийг гаргаж авав.
IOmeter-ийн нөхцөл байдал дараах байдалтай байна. Оролт гаралт 5 секунд орчим зогссон. Алдаа хуримтлагддаггүй.
5 секундын дараа оролт/гаралт нь ижил хүчин чадалтай боловч 35 миллисекунд хоцрогдолтойгоор (хоёр минутын дараа хоцролтыг зассан) дахин эхэлсэн. Дэлгэцийн зургуудаас харахад нийт алдааны тоо 0 байна, өөрөөр хэлбэл бичих, уншихад алдаа гараагүй байна.
Файлуудаа хуулбарлахыг харцгаая. Таны харж байгаагаар энэ нь тасалдсангүй, гүйцэтгэл бага зэрэг буурсан боловч ерөнхийдөө бүх зүйл ижил ~ 800 MB / сек болж хувирав.
Бид хадгалах систем рүү очоод мэдээллийн самбар дээр Engine-1 хянагч байхгүй гэсэн хараалыг хардаг (мэдээжийн хэрэг, бид үүнийг устгасан).
Бид мөн логонд ижил төстэй оруулгыг харж байна.
Хадгалах хянагч мөн бүтэлгүйтлийг даван туулсан амжилттай.
Туршилтын дугаар 3: Цахилгаан тэжээлийг салгах.
Бид дахин файл хуулж эхэлсэн ч IOMETER-г зогсоосонгүй.
Бид цахилгаан тэжээлийн нэгжийг татдаг.
Мэдээллийн самбар дахь хадгалах системд өөр нэг анхааруулга нэмэгдэв.
Мөн мэдрэгчийн цэсэнд цахилгаан тасарсантай холбоотой мэдрэгчүүд улаан болж хувирсныг бид харж байна.
Хадгалах систем үргэлжлүүлэн ажиллаж байна. Цахилгаан хангамжийн эвдрэл нь хадгалах системийн ажиллагаанд ямар ч байдлаар нөлөөлөхгүй бөгөөд хостын үүднээс хуулбарлах хурд болон IOMETER үзүүлэлтүүд өөрчлөгдөөгүй хэвээр байна.
Цахилгаан таслах туршилтыг давлаа амжилттай.
Эцсийн туршилтын өмнө бид хадгалах системийг бага зэрэг сэргээж, хянагч болон тэжээлийн нэгжийг буцааж тавих, мөн кабелийг цэгцлэх шийдвэр гаргасан бөгөөд энэ талаар хадгалах систем нь эрүүл мэндийн самбар дээрх ногоон дүрс бүхий баяртайгаар мэдэгдэв. .
Туршилтын дугаар 4. Бүлгийн гурван дискний эвдрэл
Энэ туршилтын өмнө бид нэмэлт бэлтгэлийн үе шатыг хийсэн. Баримт нь ENGINE хадгалах систем нь маш хэрэгтэй зүйлийг өгдөг - өөр өөр сэргээн босгох бодлого. TS Solution өмнө нь энэ функцийн талаар бичсэн боловч түүний мөн чанарыг эргэн санацгаая. Хадгалах админ нь дахин бүтээх явцад нөөцийн хуваарилалтын тэргүүлэх чиглэлийг тодорхойлж болно. Оролт/гаралтын гүйцэтгэлийн чиглэлд, өөрөөр хэлбэл дахин бүтээхэд илүү их хугацаа шаардагдах боловч гүйцэтгэлийн бууралт байхгүй. Эсвэл дахин бүтээх хурдны чиглэлд, гэхдээ бүтээмж буурах болно. Эсвэл тэнцвэртэй сонголт. Дискний бүлгийг дахин бүтээх явцад хадгалалтын гүйцэтгэл үргэлж админы толгойны өвчин болдог тул бид оролт/гаралтын гүйцэтгэлд хэт хазайсан бодлогыг дахин бүтээх хурдыг зардлаар туршиж үзэх болно.
Одоо дискний эвдрэл байгаа эсэхийг шалгацгаая. Бид мөн LUN-д (файл болон IOMETER) бичлэг хийхийг идэвхжүүлдэг. Бид гурвалсан париттай (RAID-60P) бүлэгтэй тул энэ нь систем нь гурван дискний эвдрэлийг тэсвэрлэх ёстой гэсэн үг бөгөөд бүтэлгүйтлийн дараа автоматаар солих нь ажиллах ёстой бөгөөд нэг диск нь бүтэлгүйтлийн аль нэгнийх нь оронд байх ёстой гэсэн үг юм. RDG-д байгаа бөгөөд үүн дээр сэргээн босголт эхлэх ёстой.
Эхлэх. Эхлээд санах ойн интерфейсээр дамжуулан татаж авахыг хүсч буй дискээ тодруулцгаая (автоматаар солих дискийг алдахгүйн тулд).
Бид техник хангамж дээрх заалтыг шалгана. Бүх зүйл хэвийн, бид гурван тодруулсан дискийг харж байна.
Тэгээд бид эдгээр гурван дискийг гаргаж авдаг.
Хост дээр юу байгааг харцгаая. Тэгээд тэнд... онцгой зүйл болоогүй.
Хуулбарлах үзүүлэлтүүд (тэдгээр нь кэш дулаарсан тул эхнээсээ өндөр байна) болон IOMETER нь дискийг салгаж, дахин бүтээх ажлыг эхлүүлэхэд тийм ч их өөрчлөгддөггүй (5-10% дотор).
Хадгалах систем дээр юу байгааг харцгаая.
Бүлгийн статусаас харахад бүтцийн өөрчлөлтийн ажил эхэлж, дуусах дөхөж байна.
RDG араг ясанд 2 диск улаан төлөвт байгаа бөгөөд нэгийг нь аль хэдийн сольсон байгааг харж болно. Автоматаар солих диск байхгүй болсон бөгөөд энэ нь бүтэлгүйтсэн 3 дахь дискийг сольсон. Дахин бүтээхэд хэдэн минут зарцуулагдсан бөгөөд 3 диск амжилтгүй болсон үед файл бичих нь тасалдаагүй, оролт гаралтын гүйцэтгэл төдийлөн өөрчлөгдөөгүй.
Дискний эвдрэлийн тестийг давсан нь гарцаагүй амжилттай.
дүгнэлт
Энэ үед бид хадгалах системийн эсрэг хүчирхийллийг зогсоохоор шийдсэн. Дүгнэж хэлье:
- FC портын алдаа шалгах - амжилттай
- Ethernet портын алдаа шалгах - амжилттай
- Хянагчийн эвдрэлийг шалгах - амжилттай
- Цахилгаан дутагдлын туршилт - Амжилттай
- Grouppool дахь дискний эвдрэлийг шалгаж байна - амжилттай
Алдаа дутагдлын аль нь ч бичлэг хийхээ больсон эсвэл синтетик ачаалалд алдаа гаргаагүй; мэдээжийн хэрэг гүйцэтгэлийн цохилт байсан (мөн бид үүнийг хэрхэн даван туулахаа мэдэж байгаа, бид удахгүй хийх болно), гэхдээ эдгээр нь хэдхэн секунд байгаа тул үүнийг хүлээн зөвшөөрөх боломжтой. Дүгнэлт: AERODISK хадгалах системийн бүх бүрэлдэхүүн хэсгүүдийн эвдрэлийг тэсвэрлэх чадвар нь түвшинд ажиллаж, эвдрэлийн цэгүүд гараагүй.
Мэдээжийн хэрэг, нэг нийтлэлд бид бүтэлгүйтлийн бүх хувилбаруудыг туршиж үзэх боломжгүй, гэхдээ бид хамгийн алдартай хувилбаруудыг авч үзэхийг хичээсэн. Иймд та бүхэн санал хүсэлтээ, цаашдын хэвлэлд өгөх санал, мэдээж хангалттай шүүмжлэлээ илгээнэ үү. Бид ярилцахдаа баяртай байх болно (эсвэл илүү дээр бол сургалтанд ирээрэй, би хуваарийг хуваарьтай байсан бол дахин давтана)! Шинэ туршилтууд хүртэл!
- Нижний Новгород (НЭЭЛТТЭЙ - энд бүртгүүлж болно );
16 оны 2019 сарын 16-ныг дуустал хүссэн цагтаа тус төвд ирж үйлчлүүлэх боломжтой бөгөөд 2019 оны XNUMX сарын XNUMX-ны өдөр томоохон хэмжээний сургалт зохион байгуулна. - Краснодар (УДАХГҮЙ НЭЭХ - энд бүртгүүлж болно );
9 оны 25 дүгээр сарын 2019-нөөс 25 дүгээр сарын 2019-ныг дуустал ажлын цагаар хүссэн үедээ ирж үйлчлүүлэх боломжтой бөгөөд XNUMX оны XNUMX дүгээр сарын XNUMX-ны өдөр томоохон хэмжээний сургалт зохион байгуулна. - Екатеринбург (УДАХГҮЙ НЭЭЛТТЭЙ, манай вэбсайт эсвэл Habré дээрх мэдээллийг дагана уу);
2019 оны XNUMX-XNUMX сар. - Новосибирск (манай вэб сайт эсвэл Habré дээрх мэдээллийг дагана уу);
2019 оны аравдугаар сар. - Красноярск (манай вэб сайт эсвэл Habré дээрх мэдээллийг дагана уу);
2019 оны арваннэгдүгээр сар.
Эх сурвалж: www.habr.com