Hamıya salam! Bu məqalə ilə AERODISK Habré-də bloq açır. Yayın, yoldaşlar!
Habré haqqında əvvəlki məqalələrdə saxlama sistemlərinin arxitekturası və əsas konfiqurasiyası ilə bağlı suallar müzakirə olunurdu. Bu yazıda əvvəllər əhatə olunmayan, lakin tez-tez verilən bir sualı nəzərdən keçirəcəyik - AERODISK ENGINE saxlama sistemlərinin nasazlıqlara qarşı dözümlülüyü haqqında. Komandamız AERODISK saxlama sisteminin işləməyi dayandırmasını təmin etmək üçün hər şeyi edəcək, yəni. sındır.
Elə oldu ki, şirkətimizin tarixi, məhsullarımız haqqında məqalələr, eləcə də uğurlu tətbiq nümunələri artıq Habré-də asılır. Tərəfdaşlarımıza - TS Solution və Softline şirkətlərinə dərin təşəkkürlər.
Buna görə də, burada kopyala-yapışdırmağı idarə etmə bacarıqlarını öyrətməyəcəyəm, sadəcə olaraq bu məqalələrin orijinallarına keçidlər təqdim edəcəyəm:
Mən də xoş xəbəri bölüşmək istəyirəm. Amma mən, əlbəttə, problemdən başlayacağam. Biz, gənc bir satıcı olaraq, digər xərclərlə yanaşı, bir çox mühəndis və idarəçinin sadəcə olaraq saxlama sistemimizi necə düzgün idarə edəcəyini bilməmələri ilə üzləşirik.
Aydındır ki, əksər saxlama sistemlərini idarə etmək administrator baxımından təxminən eyni görünür, lakin hər bir istehsalçının öz xüsusiyyətləri var. Və biz burada istisna deyilik.
Buna görə də, İT mütəxəssislərinin hazırlanması vəzifəsini sadələşdirmək üçün bu ili pulsuz təhsilə həsr etmək qərarına gəldik. Bunun üçün Rusiyanın bir çox böyük şəhərlərində biz AERODISK Kompetentlik Mərkəzləri şəbəkəsini açırıq ki, burada hər hansı bir maraqlanan texniki mütəxəssis tamamilə pulsuz kurs keçə və AERODISK ENGINE saxlama sistemlərinin idarə edilməsi üzrə sertifikat ala bilər.
Hər bir Kompetensiya Mərkəzində biz AERODISK saxlama sistemindən tam hüquqlu demo stend və müəllimimizin üzbəüz təlim keçəcəyi fiziki server quraşdıracağıq. Biz Səlahiyyət Mərkəzlərinin iş cədvəlini onlar göründükdən sonra dərc edəcəyik, lakin biz artıq Nijni Novqorodda mərkəz açmışıq və növbəti yerdə Krasnodar şəhəridir. Aşağıdakı linklərdən istifadə edərək təlimlərə yazıla bilərsiniz. Şəhərlər və tarixlər haqqında hazırda məlum olan məlumatları təqdim edirik:
- Nijni Novgorod (ARTIQ AÇIQ - burada qeydiyyatdan keçə bilərsiniz );
16 aprel 2019-cu il tarixinədək istənilən iş vaxtı mərkəzə baş çəkə bilərsiniz, 16 aprel 2019-cu il tarixində isə geniş təlim kursu təşkil olunacaq. - Krasnodar (TEZLİKLƏ AÇILACAQ - burada qeydiyyatdan keçə bilərsiniz );
9 aprel - 25 aprel 2019-cu il tarixləri arasında istənilən iş saatında mərkəzə müraciət edə bilərsiniz və 25 aprel 2019-cu il tarixində böyük təlim kursu təşkil olunacaq. - Ekaterinburg (TEZLİKLƏ AÇILACAQ, vebsaytımızdakı və ya Habré-dəki məlumatları izləyin);
May-iyun 2019. - Novosibirsk (web saytımızda və ya Habré-də məlumatı izləyin);
Oktyabr 2019. - Krasnoyarsk (web saytımızda və ya Habré-də məlumatı izləyin);
Noyabr 2019
Və təbii ki, əgər Moskva sizdən uzaqda deyilsə, istənilən vaxt Moskvadakı ofisimizə baş çəkə və oxşar təlim keçə bilərsiniz.
Hamısı. Marketinqi bitirdik, texnologiyaya keçək!
Habré-də biz müntəzəm olaraq məhsullarımız, yükləmə testləri, müqayisələr, istifadə xüsusiyyətləri və maraqlı tətbiqlər haqqında texniki məqalələr dərc edəcəyik.
AERODISK ENGINE N2 saxlama sisteminin qəza testləri, güc testi
XƏBƏRDARLIQ! Məqaləni oxuduqdan sonra deyə bilərsiniz: yaxşı, əlbəttə ki, satıcı özünü yoxlayacaq ki, hər şey "bang ilə" işləyir, istixana şəraiti və s. Cavab verəcəyəm: belə bir şey yoxdur! Xarici rəqiblərimizdən fərqli olaraq, biz burada, sizə yaxın yerləşmişik və siz hər zaman bizə (Moskvada və ya hər hansı Mərkəzi Komitədə) gəlib yaddaş sistemimizi istənilən yolla sınaqdan keçirə bilərsiniz. Beləliklə, nəticələri dünyanın ideal mənzərəsinə uyğunlaşdırmaq bizim üçün çox məna kəsb etmir, çünki Bizi yoxlamaq çox asandır. Getməyə çox tənbəl olan və vaxtı olmayanlar üçün uzaqdan sınaq təşkil edə bilərik. Bunun üçün xüsusi laboratoriyamız var. Bizimlə əlaqə saxlayın.
ACHTUNG-2! Bu test bir yük testi deyil, çünki burada biz yalnız səhvlərə dözümlülüklə maraqlanırıq. Bir neçə həftədən sonra biz daha güclü stend hazırlayacağıq və saxlama sisteminin yük testini aparacağıq, nəticələri burada dərc edəcəyik (yeri gəlmişkən, testlər üçün müraciətlər qəbul edilir).
Beləliklə, gedək onu pozaq.
Test stendi
Stendimiz aşağıdakı avadanlıqlardan ibarətdir:
- 1 x Aerodisk Engine N2 saxlama sistemi (2 nəzarətçi, 64 GB keş, 8xFC port 8Gb/s, 4xEthernet portu 10Gb/s SFP+, 4xEthernet portu 1Gb/s); Yaddaş sistemində aşağıdakı disklər quraşdırılmışdır:
- 4 x SAS SSD diskləri 900 GB;
- 12 x SAS 10k disklər 1,2 TB;
- Windows Server 1 ilə 2016 x Fiziki server (2xXeon E5 2667 v3, 96GB RAM, 2xFC portu 8Gb/s, 2xEthernet portu 10Gb/s SFP+);
- 2 x SAN 8G açarı;
- 2 x LAN 10G açarı;
Biz serveri həm FC, həm də 10G Ethernet vasitəsilə açarlar vasitəsilə yaddaş sisteminə qoşduq. Stend diaqramı aşağıdadır.
MPIO və iSCSI təşəbbüskarı kimi bizə lazım olan komponentlər Windows Serverdə quraşdırılıb.
Zonalar FC açarlarında konfiqurasiya edilir, müvafiq VLAN-lar LAN açarlarında konfiqurasiya edilir və MTU 9000 saxlama portlarında, açarlarda və hostda quraşdırılır (bütün bunları necə etmək sənədlərimizdə təsvir edilmişdir, ona görə də təsvir etməyəcəyik. bu proses burada).
Test metodologiyası
Qəza test planı aşağıdakı kimidir:
- FC və Ethernet portlarının nasazlığının yoxlanılması.
- Elektrik kəsilməsinin yoxlanılması.
- Nəzarətçinin nasazlığının yoxlanılması.
- Qrupda/hovuzda disk nasazlığının yoxlanılması.
Bütün sınaqlar IOMETER proqramı tərəfindən yaradılan sintetik yük şəraitində həyata keçiriləcək. Paralel olaraq, biz eyni testləri həyata keçirəcəyik, lakin böyük faylların saxlama sisteminə kopyalanması şərtləri altında.
IOmeter konfiqurasiyası aşağıdakı kimidir:
- Oxu/Yaz - 70/30
- Blok – 128k (biz saxlama sistemlərini böyük bloklarda yumağa qərar verdik)
- İplərin sayı - 128 (məhsuldar yükə çox oxşardır)
- Tam təsadüfi
- İşçilərin sayı – 4 (FC üçün 2, iSCSI üçün 2)
Test aşağıdakı məqsədlərə malikdir:
- Sintetik yükləmə və nüsxələmə prosesinin müxtəlif uğursuzluq ssenariləri altında kəsilməyəcəyinə və ya səhvlərə səbəb olmadığına əmin olun.
- Portların, kontrollerlərin və s.-nin dəyişdirilməsi prosesinin kifayət qədər avtomatlaşdırıldığına və nasazlıqlar zamanı administratorun hərəkətlərini tələb etmədiyinə əmin olun (yəni uğursuzluqlar zamanı, əlbəttə ki, uğursuzluqlardan danışmırıq).
- Qeydlərdəki məlumatların düzgün göstərildiyinə əmin olun.
Host və saxlama sisteminin hazırlanması
Biz FC və Ethernet portlarından (müvafiq olaraq FC və iSCSI) istifadə edərək yaddaş sistemində blok girişini konfiqurasiya etdik. TS Solution-dan olan uşaqlar bunu necə edəcəyini əvvəlki məqalədə ətraflı təsvir etdilər (). Və əlbəttə ki, heç kim dərslikləri və kursları ləğv etmədi.
Əlimizdə olan bütün disklərdən istifadə edərək hibrid qrup yaratdıq. Keş yaddaşa 2 SSD disk əlavə edildi, əlavə yaddaş səviyyəsi (Onlayn səviyyə) olaraq 2 SSD disk əlavə edildi. Qrupdakı üç sürücünün uğursuzluğunu bir anda yoxlamaq üçün 12 SAS10k sürücüsünü RAID-60P (üçlü paritet) şəklində qruplaşdırdıq. Avtomatik dəyişdirmə üçün bir disk qaldı.
İki LUN-u birləşdirdik (biri FC, biri iSCSI vasitəsilə).
Hər iki LUN-un sahibi Mühərrik-0 nəzarətçisidir
Testə başlayaq
Yuxarıdakı konfiqurasiya ilə IOMETER-i işə salırıq.
Biz 1.8 GB/s ötürmə qabiliyyətini və 3 millisaniyəlik gecikməni qeyd edirik. Heç bir xəta yoxdur (Total Error Count).
Eyni zamanda, hostumuzun yerli “C” diskindən digər interfeyslərdən istifadə edərək paralel olaraq iki böyük 100GB faylı FC və iSCSI yaddaş LUN-larına (Windows-da E və G diskləri) köçürməyə başlayırıq.
Yuxarıda LUN FC-yə, aşağıda iSCSI-yə kopyalama prosesi var.
Test №1: Giriş/Çıxış portlarının söndürülməsi
Saxlama sisteminə arxadan yaxınlaşırıq))) və əlin bir az hərəkəti ilə bütün FC və Ethernet 10G kabellərini Mühərrik-0 nəzarətçisindən çıxarırıq. Sanki, süpürgəsi olan təmizlikçi xanım keçdi və sümüyün yatdığı və kabellərin yatdığı yerdə döşəməni yumaq qərarına gəldi (yəni nəzarətçi hələ də işləyir, lakin giriş/çıxış portları ölüdür).
Gəlin IOMETER-ə və faylların surətinin çıxarılmasına baxaq. Ötürmə qabiliyyəti 0,5 GB/s-ə düşdü, lakin tez əvvəlki səviyyəsinə qayıtdı (təxminən 4-5 saniyə ərzində). Heç bir səhv yoxdur.
Faylların kopyalanması dayanmayıb, sürətdə azalma var, lakin heç də kritik deyil (840 MB/s-dən 720 MB/s-ə düşüb). Kopyalama dayanmayıb.
Saxlama sistemi qeydlərinə baxırıq və portların əlçatmazlığı və qrupun avtomatik yerdəyişməsi haqqında bir mesaj görürük.
Məlumat paneli də bizə FC portlarında hər şeyin çox yaxşı olmadığını bildirir.
Saxlama sistemi I/O portlarının nasazlığından xilas oldu uğurla.
Test № 2. Yaddaş nəzarətçisinin söndürülməsi
Demək olar ki, dərhal (kabelləri saxlama sisteminə qoşduqdan sonra) nəzarətçini şassidən çıxararaq saxlama sistemini bitirmək qərarına gəldik.
Yenə saxlama sisteminə arxadan yaxınlaşırıq (bunu bəyəndik))) və bu dəfə RDG-nin (qrupun köçdüyü) sahibi olan Mühərrik-1 nəzarətçisini çıxarırıq.
IOmeter-də vəziyyət aşağıdakı kimidir. I/O təxminən 5 saniyə dayandı. Səhvlər yığılmır.
5 saniyədən sonra I/O təxminən eyni ötürmə qabiliyyəti ilə, lakin 35 millisaniyəlik gecikmələrlə davam etdi (gecikmələr təxminən bir neçə dəqiqədən sonra düzəldildi). Ekran görüntülərindən göründüyü kimi, Total error count dəyəri 0-dır, yəni heç bir yazı və ya oxuma xətası olmayıb.
Fayllarımızı kopyalamağa baxaq. Gördüyünüz kimi, kəsilmədi, performansda bir qədər azalma oldu, lakin ümumilikdə hər şey eyni ~ 800 MB/s-ə qayıtdı.
Saxlama sisteminə gedirik və məlumat panelində Mühərrik-1 nəzarətçisinin əlçatmaz olduğuna dair bir lənət görürük (əlbəttə ki, biz onu öldürdük).
Günlüklərdə də oxşar bir giriş görürük.
Yaddaş nəzarətçisi də uğursuzluqdan xilas oldu uğurla.
Test № 3: Enerji təchizatının ayrılması.
Hər halda, biz faylları yenidən kopyalamağa başladıq, lakin IOMETER-i dayandırmadıq.
Enerji təchizatı blokunu çəkirik.
Məlumat panelində saxlama sisteminə daha bir xəbərdarlıq əlavə edilib.
Həmçinin sensorlar menyusunda çəkilmiş enerji təchizatı ilə əlaqəli sensorların qırmızı rəngə çevrildiyini görürük.
Saxlama sistemi işləməyə davam edir. Enerji təchizatı blokunun nasazlığı heç bir şəkildə saxlama sisteminin işinə təsir göstərmir, ev sahibinin nöqteyi-nəzərindən surət sürəti və IOMETER göstəriciləri dəyişməz qaldı.
Elektrik kəsilməsi testindən keçdi uğurla.
Son sınaqdan əvvəl saxlama sistemini bir az canlandırmaq, nəzarətçi və enerji təchizatı blokunu geri qoymaq, həmçinin saxlama sisteminin sağlamlıq panelindəki yaşıl nişanlar ilə bizə məmnuniyyətlə məlumat verdiyi kabelləri qaydaya salmaq qərarına gəldik. .
Test No 4. Qrupda üç diskin uğursuzluğu
Bu sınaqdan əvvəl biz əlavə hazırlıq mərhələsini həyata keçirdik. Fakt budur ki, ENGINE saxlama sistemi çox faydalı bir şey təmin edir - fərqli yenidənqurma siyasətləri. TS Solution əvvəllər bu xüsusiyyət haqqında yazdı, amma onun mahiyyətini xatırlayaq. Saxlama inzibatçısı yenidənqurma zamanı resurs bölgüsü üçün prioritet təyin edə bilər. Ya I/O performansı istiqamətində, yəni yenidən qurma daha uzun çəkir, lakin performans azalması yoxdur. Və ya yenidən qurma sürəti istiqamətində, lakin məhsuldarlıq azalacaq. Və ya balanslaşdırılmış seçim. Disk qrupunun yenidən qurulması zamanı yaddaş performansı həmişə admin baş ağrısı olduğundan, biz I/O performansına qarşı qərəzli siyasəti və yenidən qurma sürəti hesabına sınaqdan keçirəcəyik.
İndi disk nasazlığını yoxlayaq. Biz həmçinin LUN-lara (fayllar və IOMETER) qeyd etməyə imkan veririk. Üçlü paritetli (RAID-60P) bir qrupumuz olduğundan, bu o deməkdir ki, sistem üç diskin uğursuzluğuna tab gətirməlidir və uğursuzluqdan sonra avtomatik dəyişdirmə işləməlidir, bir disk uğursuz olanlardan birinin yerini almalıdır. RDG-də və onun üzərində yenidənqurma başlamalıdır.
Başlayın. Əvvəlcə yaddaş interfeysi vasitəsilə çıxarmaq istədiyimiz diskləri vurğulayaq (avtomatik dəyişdirmə diskini qaçırmamaq və çəkməmək üçün).
Aparatdakı göstəricini yoxlayırıq. Hər şey qaydasındadır, üç vurğulanmış disk görürük.
Və bu üç diski çıxarırıq.
Ev sahibinin nə olduğuna baxaq. Və orada... xüsusi bir şey olmadı.
Diskləri çıxararkən və yenidən qurmağa başladıqda kopyalama göstəriciləri (öncəkindən daha yüksəkdir, çünki önbellek istiləşmişdir) və IOMETER çox dəyişmir (5-10% daxilində).
Saxlama sistemində nə olduğuna baxaq.
Qrupun statusunda restrukturizasiya prosesinin başlandığını və başa çatmaq üzrə olduğunu görürük.
RDG skeletində 2 diskin qırmızı vəziyyətdə olduğunu və birinin artıq dəyişdirildiyini görə bilərsiniz. Avtomatik dəyişdirmə diski artıq yoxdur, o, 3-cü uğursuz diski əvəz etdi. Yenidən qurma bir neçə dəqiqə çəkdi, 3 disk uğursuz olduqda faylların yazılması kəsilmədi və I/O performansı çox dəyişmədi.
Disk nasazlığı testi mütləq keçdi uğurla.
Nəticə
Bu nöqtədə biz saxlama sistemlərinə qarşı zorakılığı dayandırmağa qərar verdik. Ümumiləşdirək:
- FC port nasazlığının yoxlanılması - uğurlu
- Ethernet portunun nasazlığının yoxlanılması - uğurludur
- Nəzarətçinin nasazlığının yoxlanılması - uğurludur
- Elektrik kəsilməsi testi - Uğurlu
- Grouppool-da disk nasazlığının yoxlanılması - uğurludur
Uğursuzluqların heç biri qeydi dayandırmadı və ya sintetik yüklənmədə səhvlərə səbəb olmadı; əlbəttə ki, bir performans hiti oldu (və biz bunun öhdəsindən necə gələcəyimizi bilirik, bunu tezliklə edəcəyik), lakin bunların saniyələr olduğunu nəzərə alsaq, bu olduqca məqbuldur. Nəticə: AERODISK saxlama sisteminin bütün komponentlərinin nasazlıqlara qarşı dözümlülüyü səviyyədə işləmişdir, uğursuzluq nöqtələri yox idi.
Aydındır ki, bir məqalədə bütün uğursuzluq ssenarilərini sınaqdan keçirə bilmərik, lakin ən populyar olanları əhatə etməyə çalışdıq. Odur ki, zəhmət olmasa öz şərhinizi, gələcək nəşrlər üçün təkliflərinizi və təbii ki, adekvat tənqidlərinizi göndərin. Müzakirə etməkdən şad olarıq (ya da daha yaxşısı, təlimə gəlin, hər ehtimala qarşı cədvəli təkrar edirəm)! Yeni sınaqlara qədər!
- Nijni Novgorod (ARTIQ AÇIQ - burada qeydiyyatdan keçə bilərsiniz );
16 aprel 2019-cu il tarixinədək istənilən iş vaxtı mərkəzə baş çəkə bilərsiniz, 16 aprel 2019-cu il tarixində isə geniş təlim kursu təşkil olunacaq. - Krasnodar (TEZLİKLƏ AÇILACAQ - burada qeydiyyatdan keçə bilərsiniz );
9 aprel - 25 aprel 2019-cu il tarixləri arasında istənilən iş saatında mərkəzə müraciət edə bilərsiniz və 25 aprel 2019-cu il tarixində böyük təlim kursu təşkil olunacaq. - Ekaterinburg (TEZLİKLƏ AÇILACAQ, vebsaytımızdakı və ya Habré-dəki məlumatları izləyin);
May-iyun 2019. - Novosibirsk (web saytımızda və ya Habré-də məlumatı izləyin);
Oktyabr 2019. - Krasnoyarsk (web saytımızda və ya Habré-də məlumatı izləyin);
Noyabr 2019
Mənbə: www.habr.com