Herkese selam! AERODISK bu makaleyle Habré hakkında bir blog açıyor. Yaşasın yoldaşlar!
Habré ile ilgili önceki makalelerde depolama sistemlerinin mimarisi ve temel konfigürasyonu hakkındaki sorular tartışılıyordu. Bu makalede, daha önce ele alınmamış ancak sıklıkla sorulan bir soruyu ele alacağız: AERODISK ENGINE depolama sistemlerinin hata toleransı hakkında. Ekibimiz AERODISK depolama sisteminin çalışmayı durdurmasını sağlamak için her şeyi yapacaktır; kır.
Öyle oldu ki, şirketimizin geçmişi, ürünlerimiz hakkında makaleler ve başarılı bir uygulama örneği zaten Habré'de asılı duruyor. Ortaklarımız TS Solution ve Softline şirketlerine çok teşekkür ederiz.
Bu nedenle, burada kopyala-yapıştır yönetimi becerilerini geliştirmeyeceğim, sadece bu makalelerin orijinallerine bağlantılar sunacağım:
Ben de güzel bir haber paylaşmak istiyorum. Ama elbette sorunla başlayacağım. Genç bir satıcı olarak biz, diğer maliyetlerin yanı sıra, birçok mühendis ve yöneticinin depolama sistemimizi nasıl düzgün şekilde çalıştıracağını bilmediği gerçeğiyle sürekli olarak karşı karşıya kalıyoruz.
Çoğu depolama sistemini yönetmenin yönetici açısından yaklaşık olarak aynı göründüğü açıktır, ancak her üreticinin kendine has özellikleri vardır. Ve biz burada bir istisna değiliz.
Bu nedenle BT uzmanlarını yetiştirme görevini basitleştirmek için bu yılı ücretsiz eğitime ayırmaya karar verdik. Bunu yapmak için, Rusya'nın birçok büyük şehrinde, ilgilenen herhangi bir teknik uzmanın tamamen ücretsiz olarak kurs alabileceği ve AERODISK ENGINE depolama sistemlerinin yönetimi konusunda sertifika alabileceği bir AERODISK Yeterlilik Merkezleri ağı açıyoruz.
Her Yetkinlik Merkezimizde AERODISK depolama sisteminden tam teşekküllü bir demo standı ve öğretmenimizin yüz yüze eğitim vereceği fiziksel bir sunucu kuracağız. Yeterlilik Merkezlerinin çalışma programını, ortaya çıktıklarında yayınlayacağız, ancak Nizhny Novgorod'da zaten bir merkez açtık ve sırada Krasnodar şehri var. Aşağıdaki linklerden eğitime kayıt olabilirsiniz. İşte şehirler ve tarihler hakkında şu anda bilinen bilgiler:
- Nizhny Novgorod (ZATEN AÇIK – buradan kayıt olabilirsiniz );
16 Nisan 2019 tarihine kadar dilediğiniz çalışma saatinde merkezi ziyaret edebilirsiniz, 16 Nisan 2019 tarihinde ise geniş bir eğitim kursu düzenlenecektir. - Krasnodar (YAKINDA AÇILIYOR - buradan kayıt olabilirsiniz );
9 Nisan - 25 Nisan 2019 tarihleri arasında dilediğiniz çalışma saatinde merkezi ziyaret edebilirsiniz, 25 Nisan 2019 tarihinde ise geniş bir eğitim kursu düzenlenecektir. - Yekaterinburg (YAKINDA AÇILIYOR, web sitemizdeki veya Habré'deki bilgileri takip edin);
Mayıs-Haziran 2019. - Novosibirsk (web sitemizdeki veya Habré'deki bilgileri takip edin);
Ekim 2019 - Krasnoyarsk (web sitemizdeki veya Habré'deki bilgileri takip edin);
Kasım 2019.
Ve elbette, Moskova sizden uzak değilse, istediğiniz zaman Moskova'daki ofisimizi ziyaret edebilir ve benzer eğitimlerden geçebilirsiniz.
Tüm. Pazarlamayı bitirdik, teknolojiye geçelim!
Habré'de ürünlerimiz, yük testleri, karşılaştırmalar, kullanım özellikleri ve ilginç uygulamalar hakkında düzenli olarak teknik makaleler yayınlayacağız.
AERODISK ENGINE N2 depolama sisteminin çarpışma testleri, dayanıklılık testi
UYARI! Makaleyi okuduktan sonra şunu söyleyebilirsiniz: elbette, satıcı her şeyin "patlamayla", sera koşulları vb. Cevap vereceğim: öyle bir şey yok! Yabancı rakiplerimizin aksine, biz burada, size yakın bir yerde bulunuyoruz ve her zaman bize (Moskova'da veya herhangi bir Merkez Komite'de) gelebilir ve depolama sistemimizi istediğiniz şekilde test edebilirsiniz. Dolayısıyla sonuçları ideal bir dünya resmine göre ayarlamamızın pek bir anlamı yok çünkü Kontrol etmemiz çok kolay. Gitmeye üşenenler ve vakti olmayanlar için uzaktan test organize edebiliriz. Bunun için özel bir laboratuvarımız var. Bize Ulaşın.
ACHTUNG-2! Bu test bir yük testi değildir çünkü burada sadece hata toleransını önemsiyoruz. Birkaç hafta içinde daha güçlü bir stand hazırlayacağız ve depolama sisteminin yük testlerini gerçekleştireceğiz ve sonuçları burada yayınlayacağız (bu arada, test talepleri kabul edilmektedir).
Öyleyse gidip onu kıralım.
deneme standı
Standımız aşağıdaki donanımlardan oluşmaktadır:
- 1 x Aerodisk Engine N2 depolama sistemi (2 denetleyici, 64 GB önbellek, 8xFC bağlantı noktası 8 Gb/s, 4xEthernet bağlantı noktası 10 Gb/s SFP+, 4xEthernet bağlantı noktası 1 Gb/s); Depolama sistemine aşağıdaki diskler takılıdır:
- 4 x SAS SSD diskleri 900 GB;
- 12 x SAS 10k disk 1,2 TB;
- 1 x Windows Server 2016'ya sahip fiziksel sunucu (2xXeon E5 2667 v3, 96 GB RAM, 2xFC bağlantı noktası 8 Gb/s, 2xEthernet bağlantı noktası 10 Gb/s SFP+);
- 2 x SAN 8G anahtarı;
- 2 x LAN 10G anahtarı;
Sunucuyu hem FC hem de 10G Ethernet üzerinden switchler aracılığıyla depolama sistemine bağladık. Stand şeması aşağıdadır.
MPIO ve iSCSI başlatıcı gibi ihtiyacımız olan bileşenler Windows Server'a kuruludur.
Bölgeler FC anahtarlarında yapılandırılır, karşılık gelen VLAN'lar LAN anahtarlarında yapılandırılır ve depolama bağlantı noktalarına, anahtarlara ve ana bilgisayara MTU 9000 kurulur (tüm bunların nasıl yapılacağı belgelerimizde açıklanmıştır, bu nedenle açıklamayacağız) bu süreç burada).
Test Metodolojisi
Çarpışma testi planı aşağıdaki gibidir:
- FC ve Ethernet bağlantı noktalarının arızasının kontrol edilmesi.
- Elektrik kesintisi kontrolü.
- Denetleyici arıza kontrolü.
- Bir grupta/havuzda disk arızası kontrol ediliyor.
Tüm testler IOMETER programı tarafından oluşturulacak sentetik yük koşulları altında gerçekleştirilecektir. Paralel olarak aynı testleri gerçekleştireceğiz, ancak büyük dosyaların depolama sistemine kopyalanması koşulları altında.
IOmeter yapılandırması aşağıdaki gibidir:
- Okuma/Yazma – 70/30
- Blok – 128k (depolama sistemlerini büyük bloklar halinde yıkamaya karar verdik)
- İş parçacığı sayısı – 128 (bu, üretken yüke çok benzer)
- Tam Rastgele
- Çalışan Sayısı – 4 (FC için 2, iSCSI için 2)
Testin aşağıdaki hedefleri vardır:
- Sentetik yükleme ve kopyalama işleminin çeşitli arıza senaryolarında kesintiye uğramayacağından veya hatalara neden olmayacağından emin olun.
- Bağlantı noktaları, denetleyiciler vb. arasında geçiş yapma işleminin yeterince otomatik olduğundan ve arıza durumunda yönetici eylemi gerektirmediğinden emin olun (yani, yük devretme sırasında, elbette yeniden çalışmalardan bahsetmiyoruz).
- Günlüklerdeki bilgilerin doğru görüntülendiğinden emin olun.
Ana bilgisayarı ve depolama sistemini hazırlama
FC ve Ethernet bağlantı noktalarını (sırasıyla FC ve iSCSI) kullanarak depolama sistemindeki blok erişimini yapılandırdık. TS Solution'daki adamlar bunun nasıl yapılacağını önceki bir makalede ayrıntılı olarak anlattılar (). Ve elbette kimse kılavuzları ve kursları iptal etmedi.
Elimizdeki tüm sürücüleri kullanarak hibrit bir grup kurduk. Önbelleğe 2 adet SSD disk eklendi, ek depolama katmanı (Çevrimiçi katman) olarak 2 adet SSD disk eklendi. Gruptaki üç sürücünün arızasını aynı anda kontrol etmek için 12 SAS10k sürücüyü RAID-60P (üçlü eşlik) halinde grupladık. Otomatik değiştirme için bir disk kaldı.
İki LUN'u bağladık (biri FC aracılığıyla, biri iSCSI aracılığıyla).
Her iki LUN'un da sahibi Engine-0 denetleyicisidir
Teste başlayalım
Yukarıdaki konfigürasyon ile IOMETER'ı aktif hale getiriyoruz.
1.8 GB/sn'lik bir aktarım hızı ve 3 milisaniyelik bir gecikme kaydediyoruz. Hiçbir hata yok (Toplam Hata Sayısı).
Aynı zamanda, ana makinemizin yerel "C" sürücüsünden, diğer arayüzleri kullanarak iki büyük 100 GB dosyayı FC ve iSCSI depolama LUN'larına (Windows'ta E ve G sürücüleri) paralel olarak kopyalamaya başlıyoruz.
Yukarıda LUN FC'ye, aşağıda iSCSI'ye kopyalama işlemi gösterilmektedir.
Test #1: G/Ç bağlantı noktalarını devre dışı bırakma
Depolama sistemine arkadan yaklaşıyoruz))) ve hafif bir el hareketiyle tüm FC ve Ethernet 10G kablolarını Engine-0 kontrol cihazından çekiyoruz. Sanki paspaslı bir temizlikçi kadının yanından geçip sümüğün ve kabloların bulunduğu yeri yıkamaya karar vermesi gibi (yani kontrol cihazı hala çalışıyor, ancak G/Ç bağlantı noktaları ölü).
IOMETER'a ve dosyaları kopyalamaya bakalım. Verim 0,5 GB/s'ye düştü, ancak hızlı bir şekilde önceki seviyesine geri döndü (yaklaşık 4-5 saniye içinde). Hiçbir hata yok.
Dosyaların kopyalanması durmadı, hızda bir düşüş var, ancak hiç de kritik değil (840 MB/s'den 720 MB/s'ye düştü). Kopyalama durmadı.
Depolama sistemi günlüklerine bakıyoruz ve bağlantı noktalarının kullanılamaması ve grubun otomatik olarak yeniden konumlandırılması hakkında bir mesaj görüyoruz.
Bilgi paneli ayrıca bize FC bağlantı noktalarında her şeyin pek iyi olmadığını söylüyor.
Depolama sistemi, G/Ç bağlantı noktalarındaki bir arızadan kurtuldu başarılı bir şekilde.
Test No. 2. Depolama denetleyicisinin devre dışı bırakılması
Neredeyse hemen (kabloları depolama sistemine tekrar taktıktan sonra), denetleyiciyi kasadan çekerek depolama sisteminin işini bitirmeye karar verdik.
Yine depolama sistemine arkadan yaklaşıyoruz (beğendik))) ve bu sefer şu anda RDG'nin sahibi olan (grubun taşındığı) Motor-1 kontrol cihazını çıkarıyoruz.
IOmeter’da durum aşağıdaki gibidir. G/Ç yaklaşık 5 saniye durdu. Hatalar birikmez.
5 saniye sonra G/Ç yaklaşık olarak aynı aktarım hızıyla ancak 35 milisaniyelik gecikmelerle devam etti (gecikmeler yaklaşık birkaç dakika sonra düzeltildi). Ekran görüntülerinden de görülebileceği gibi Toplam hata sayısı değeri 0'dır yani herhangi bir yazma veya okuma hatası yaşanmamıştır.
Dosyalarımızı kopyalamaya bakalım. Gördüğünüz gibi kesinti olmadı, performansta hafif bir düşüş oldu, ancak genel olarak her şey aynı ~ 800 MB/s'ye geri döndü.
Depolama sistemine gidiyoruz ve bilgi panelinde Motor-1 denetleyicisinin kullanılamadığına dair bir lanet görüyoruz (tabii ki onu öldürdük).
Günlüklerde de benzer bir giriş görüyoruz.
Depolama denetleyicisi de bir arızadan kurtuldu başarılı bir şekilde.
Test No. 3: Güç kaynağının kesilmesi.
Her ihtimale karşı dosyaları tekrar kopyalamaya başladık ama IOMETER'ı durdurmadık.
Güç kaynağı ünitesini çekiyoruz.
Bilgi panelindeki depolama sistemine bir uyarı daha eklendi.
Ayrıca sensörler menüsünde, çekilen güç kaynağıyla ilgili sensörlerin kırmızıya döndüğünü görüyoruz.
Depolama sistemi çalışmaya devam ediyor. Güç kaynağı ünitesinin arızası, depolama sisteminin çalışmasını hiçbir şekilde etkilemez; ana bilgisayarın bakış açısından kopyalama hızı ve IOMETER göstergeleri değişmeden kalmıştır.
Elektrik kesintisi testi geçildi başarılı bir şekilde.
Son testten önce depolama sistemini biraz hayata döndürmeye, denetleyiciyi ve güç kaynağı ünitesini geri koymaya ve ayrıca depolama sisteminin sağlık panelindeki yeşil simgelerle bizi mutlu bir şekilde bilgilendirdiği kabloları düzene koymaya karar verdik. .
Test No. 4. Bir gruptaki üç diskin arızası
Bu testten önce ek bir hazırlık aşaması gerçekleştirdik. Gerçek şu ki, ENGINE depolama sistemi çok faydalı bir şey sağlıyor - farklı yeniden inşa politikaları. TS Solution bu özellikten daha önce bahsetmişti ama özünü hatırlayalım. Depolama yöneticisi, yeniden oluşturma sırasında kaynak tahsisine ilişkin önceliği belirleyebilir. G/Ç performansı yönünde, yani yeniden oluşturma işlemi daha uzun sürüyor ancak performansta herhangi bir düşüş olmuyor. Veya yeniden inşa hızı yönünde, ancak üretkenlik azalacaktır. Veya dengeli bir seçenek. Disk grubunun yeniden oluşturulması sırasındaki depolama performansı her zaman yöneticinin baş ağrısı olduğundan, G/Ç performansına yönelik bir önyargıyla ve yeniden oluşturma hızı pahasına bir politikayı test edeceğiz.
Şimdi disk arızasını kontrol edelim. Ayrıca LUN'lara (dosyalar ve IOMETER) kaydetmeyi de etkinleştiriyoruz. Üçlü eşlikli (RAID-60P) bir grubumuz olduğundan, bu, sistemin üç diskin arızasına dayanması gerektiği ve arızadan sonra otomatik değiştirmenin çalışması gerektiği, arızalı olanlardan birinin yerini bir diskin alması gerektiği anlamına gelir RDG'de ve yeniden inşanın üzerinde başlaması gerekiyor.
Başlamak. Öncelikle depolama arayüzü üzerinden çıkarmak istediğimiz diskleri vurgulayalım (otomatik değiştirme diskini kaçırıp çekmemek için).
Donanımdaki göstergeyi kontrol ediyoruz. Her şey yolunda, vurgulanan üç disk görüyoruz.
Ve bu üç diski çıkarıyoruz.
Gelin hostta neler olduğuna bakalım. Ve orada... özel bir şey olmadı.
Kopyalama göstergeleri (önbellek ısındığı için başlangıçtan daha yüksektir) ve IOMETER, diskleri çıkarırken ve yeniden oluşturmaya başlarken pek değişmez (%5-10 dahilinde).
Şimdi depolama sisteminde neler olduğuna bakalım.
Grubun statüsünde ise yeniden yapılanma sürecinin başladığını ve tamamlanmaya yaklaştığını görüyoruz.
RDG iskeletinde 2 diskin kırmızı durumda olduğunu ve birinin zaten değiştirildiğini görebilirsiniz. Otomatik değiştirme diski artık orada değil; arızalanan 3. diskin yerini aldı. Yeniden oluşturma işlemi birkaç dakika sürdü; 3 disk arızalandığında dosyaların yazılması kesintiye uğramadı ve G/Ç performansı pek değişmedi.
Disk arızası testi kesinlikle geçti başarılı bir şekilde.
Sonuç
Bu noktada depolama sistemlerine yönelik şiddeti durdurmaya karar verdik. Özetleyelim:
- FC bağlantı noktası hatası kontrolü - başarılı
- Ethernet bağlantı noktası arıza kontrolü - başarılı
- Denetleyici arıza kontrolü - başarılı
- Elektrik Kesintisi Testi - Başarılı
- Grup havuzunda disk hatası kontrol ediliyor - başarılı
Arızaların hiçbiri kaydı durdurmadı veya sentetik yükte hatalara neden olmadı; elbette performansta bir düşüş oldu (ve bunun üstesinden nasıl geleceğimizi biliyoruz, bunu yakında yapacağız), ancak bunların saniyeler olduğu göz önüne alındığında oldukça kabul edilebilir. Sonuç: AERODISK depolama sisteminin tüm bileşenlerinin hata toleransı aynı seviyede çalıştı, hiçbir arıza noktası yoktu.
Açıkçası tek bir makalede tüm başarısızlık senaryolarını test edemeyiz ancak en popüler olanları ele almaya çalıştık. Bu nedenle lütfen yorumlarınızı, gelecekteki yayınlar için önerilerinizi ve elbette yeterli eleştirinizi gönderin. Tartışmaktan memnuniyet duyarız (veya daha iyisi, eğitime gelin, her ihtimale karşı programı kopyalarım)! Yeni testlere kadar!
- Nizhny Novgorod (ZATEN AÇIK – buradan kayıt olabilirsiniz );
16 Nisan 2019 tarihine kadar dilediğiniz çalışma saatinde merkezi ziyaret edebilirsiniz, 16 Nisan 2019 tarihinde ise geniş bir eğitim kursu düzenlenecektir. - Krasnodar (YAKINDA AÇILIYOR - buradan kayıt olabilirsiniz );
9 Nisan - 25 Nisan 2019 tarihleri arasında dilediğiniz çalışma saatinde merkezi ziyaret edebilirsiniz, 25 Nisan 2019 tarihinde ise geniş bir eğitim kursu düzenlenecektir. - Yekaterinburg (YAKINDA AÇILIYOR, web sitemizdeki veya Habré'deki bilgileri takip edin);
Mayıs-Haziran 2019. - Novosibirsk (web sitemizdeki veya Habré'deki bilgileri takip edin);
Ekim 2019 - Krasnoyarsk (web sitemizdeki veya Habré'deki bilgileri takip edin);
Kasım 2019.
Kaynak: habr.com