Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Moien alleguer! Mat dësem Artikel mécht AERODISK e Blog op Habré op. Hurra, Komeroden!

Virdrun Artikelen iwwer Habré diskutéiert Froen iwwer d'Architektur an d'Basiskonfiguratioun vu Späichersystemer. An dësem Artikel wäerte mir eng Fro betruecht déi net virdru ofgedeckt gouf, awer dacks gefrot gëtt - iwwer d'Feeltoleranz vun AERODISK ENGINE Späichersystemer. Eist Team wäert alles maachen fir datt den AERODISK Späichersystem ophält ze schaffen, d.h. briechen et.

Et ass geschitt datt Artikelen iwwer d'Geschicht vun eiser Firma, iwwer eis Produkter, wéi och e Beispill vun enger erfollegräicher Ëmsetzung schonn op Habré hänken, fir déi Vill Merci un eis Partner - TS Solution a Softline Firmen.

Dofir wäert ech hei keng Copy-Paste Management Fäegkeeten trainéieren, awer einfach Linken op d'Originaler vun dësen Artikelen ubidden:

Ech wëll och gutt Neiegkeeten deelen. Mee ech fänken, natierlech, mam Problem. Mir, als jonke Verkeefer, ënner anerem Käschten, sinn dauernd konfrontéiert mat der Tatsaach, datt vill Ingenieuren an Administrateuren einfach net wëssen, wéi eise Stockage System richteg ze bedreiwen.
Et ass kloer datt d'Gestioun vun de meeschte Späichersystemer ongeféier d'selwecht aus der Siicht vum Administrateur ausgesäit, awer all Hiersteller huet seng eege Charakteristiken. A mir si keng Ausnahm hei.

Dofir, fir d'Aufgab vun der Ausbildung vun IT Spezialisten ze vereinfachen, hu mir décidéiert dëst Joer gratis Ausbildung ze widmen. Fir dëst ze maachen, a ville grousse Stied vu Russland öffnen mir en Netz vun AERODISK Kompetenzzentren, an deem all interesséiert technesch Spezialist e Cours kann absolut gratis maachen an e Certificat an der Verwaltung vun AERODISK ENGINE Späichersystemer kréien.

An all Kompetenzzenter wäerte mir e vollwäertege Demo-Stand vum AERODISK-Späichersystem an e kierperleche Server installéieren, op deem eisen Enseignant e Gesiicht-zu-Gesiicht Training mécht. Mir publizéieren den Aarbechtsplang vun de Kompetenzzentren no hirer Erscheinung, awer mir hu schonn en Zentrum zu Nizhny Novgorod opgemaach an d'Stad Krasnodar ass nächst. Dir kënnt Iech fir Training umellen mat de Linken hei ënnen. Hei ass déi aktuell bekannt Informatioun iwwer Stied an Datumen:

  • Nizhny Novgorod (SCHON OPEN - Dir kënnt Iech hei umellen https://aerodisk.promo/nn/);
    Bis de 16. Abrëll 2019 kënnt Dir zu all Aarbechtszäit den Zentrum besichen, an de 16. Abrëll 2019 gëtt e grousse Formatiounscours organiséiert.
  • Krasnodar (ËFFEN GESCHWEN - Dir kënnt Iech hei umellen https://aerodisk.promo/krsnd/ );
    Vum 9. Abrëll bis de 25. Abrëll 2019 kënnt Dir den Zentrum zu all Aarbechtszäit besichen, an de 25. Abrëll 2019 gëtt e grousse Formatiounscours organiséiert.
  • Екатеринбург (OPÉIERT GESCHAFFT, befollegt d'Informatiounen op eiser Websäit oder op Habré);
    Mee-Juni 2019.
  • Новосибирск (folgt d'Informatiounen op eiser Websäit oder op Habré);
    Oktober 2019.
  • Красноярск (folgt d'Informatiounen op eiser Websäit oder op Habré);
    November 2019.

An, natierlech, wann Moskau net wäit vun Iech ass, da kënnt Dir zu all Moment eise Büro zu Moskau besichen an eng ähnlech Ausbildung maachen.

All. Mir si fäerdeg mam Marketing, loosst eis op d'Technologie goen!

Op Habré publizéieren mir regelméisseg technesch Artikelen iwwer eis Produkter, Laaschtester, Vergläicher, Benotzungsfeatures an interessant Implementatiounen.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

OPGEPASST! Nodeems Dir den Artikel gelies hutt, kënnt Dir soen: gutt, selbstverständlech wäert de Verkeefer sech selwer kontrolléieren fir datt alles "mat engem Knall" funktionnéiert, Treibhausbedingungen, etc. Ech wäert äntweren: näischt wéi dat! Am Géigesaz zu eisen auslännesche Konkurrenten si mir hei, no bei Iech, an Dir kënnt ëmmer bei eis kommen (zu Moskau oder all Zentralcomité) an eis Späichersystem op iergendeng Manéier testen. Also mécht et net vill Sënn fir eis d'Resultater un en idealt Bild vun der Welt unzepassen, well Mir si ganz einfach ze kontrolléieren. Fir déi, déi ze faul sinn fir ze goen an keng Zäit hunn, kënne mir Ferntesten organiséieren. Mir hunn e spezielle Labo fir dëst. Kontaktéiert eis.

ACHTUNG-2! Dësen Test ass net e Laaschttest, well hei këmmere mir eis nëmmen ëm Feeler Toleranz. An e puer Woche wäerte mir e méi mächtege Stand virbereeden an d'Laaschtprüfung vum Späichersystem maachen, d'Resultater hei publizéieren (iwwregens, Ufroe fir Tester ginn ugeholl).

Also, loosst eis et briechen.

Teststand

Eise Stand besteet aus folgenden Hardware:

  • 1 x Aerodisk Engine N2 Späichersystem (2 Controller, 64GB Cache, 8xFC Ports 8Gb/s, 4xEthernet Ports 10Gb/s SFP+, 4xEthernet Ports 1Gb/s); Déi folgend Disken sinn am Späichersystem installéiert:
  • 4 x SAS SSD Placke 900 GB;
  • 12 x SAS 10k Scheiwen 1,2 TB;
  • 1 x Kierperlech Server mat Windows Server 2016 (2xXeon E5 2667 v3, 96GB RAM, 2xFC Häfen 8Gb/s, 2xEthernet Häfen 10Gb/s SFP+);
  • 2 x SAN 8G Schalter;
  • 2 x LAN 10G Schalter;

Mir hunn de Server mam Späichersystem iwwer Schalter iwwer FC an 10G Ethernet verbonnen. De Standdiagramm ass hei ënnen.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

D'Komponenten déi mir brauchen, wéi MPIO an iSCSI Initiator, sinn op Windows Server installéiert.
Zonen sinn op den FC Schalter konfiguréiert, déi entspriechend VLANs sinn op de LAN Schalter konfiguréiert, an MTU 9000 ass op de Späicherhäfen, Schalter an Host installéiert (wéi dat alles ze maachen ass an eiser Dokumentatioun beschriwwen, also wäerte mir net beschreiwen dëse Prozess hei).

Test Methodik

De Crash Test Plang ass wéi follegt:

  • Iwwerpréift den Echec vun FC an Ethernet Häfen.
  • Stroumausfall kontrolléieren.
  • Controller Feeler kontrolléieren.
  • Iwwerpréift fir Scheiffehler an engem Grupp / Pool.

All Tester ginn ënner syntheteschen Laaschtbedéngungen duerchgefouert, déi mir vum IOMETER Programm generéieren. Parallel wäerte mir déiselwecht Tester ausféieren, awer ënner Bedéngungen fir grouss Dateien an de Späichersystem ze kopéieren.

D'IOmeter Configuratioun ass wéi follegt:

  • Liesen / Schreiwen - 70/30
  • Block - 128k (mir hu beschloss d'Späichersystemer a grousse Block ze wäschen)
  • Zuel vun thread - 128 (wat ganz ähnlech zu der produktiv Laascht ass)
  • Voll Zoufall
  • Zuel vun den Aarbechter - 4 (2 fir FC, 2 fir iSCSI)

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test
Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Den Test huet déi folgend Ziler:

  1. Vergewëssert Iech datt de syntheteschen Laascht- a Kopieprozess net ënnerbriechen oder Feeler verursaachen ënner verschiddene Feelerszenarien.
  2. Vergewëssert Iech datt de Prozess fir Ports, Controller, etc.
  3. Vergewëssert Iech datt d'Informatioun an de Logbicher richteg ugewise gëtt.

Virbereedung vum Host a Späichersystem

Mir konfiguréiert Spär Zougang op de Stockage System benotzt FC an Ethernet Häfen (FC an iSCSI, respektiv). D'Kärelen vun TS Solution hunn am Detail beschriwwen wéi een dat an engem fréieren Artikel mécht (https://habr.com/ru/company/tssolution/blog/432876/). An natierlech huet keen d'Handbucher a Coursen annuléiert.

Mir hunn eng Hybridgrupp opgeriicht mat all de Drive déi mir haten. 2 SSD Disks goufen an de Cache bäigefüügt, 2 SSD Disks goufen als zousätzlech Späicherniveau (Online-Tier) bäigefüügt. Mir gruppéiere 12 SAS10k Drive an RAID-60P (Triple Paritéit) fir den Ausfall vun dräi Drive an der Grupp gläichzäiteg ze kontrolléieren. Ee Scheif gouf fir Autoreplacement verlooss.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Mir verbonne zwee LUNs (eent iwwer FC, eent iwwer iSCSI).

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

De Besëtzer vu béide LUNs ass de Engine-0 Controller

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Loosst eis den Test ufänken

Mir aktivéieren IOMETER mat der Configuratioun hei uewen.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Mir notéieren en Duerchgang vun 1.8 GB / s an eng latency vun 3 Millisekonnen. Et gi keng Feeler (Total Feeler Count).

Zur selwechter Zäit, vum lokalen Drive "C" vun eisem Host, fänken mir parallel zwee grouss 100GB Dateien op FC an iSCSI-Speicher-LUNs ze kopéieren (fuert E a G a Windows), mat anere Schnëttplazen.

Uewen ass de Kopieprozess op LUN FC, ënnen op iSCSI.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Test #1: I/O Ports auszeschalten

Mir kommen op de Späichersystem vun hannen))) a mat enger liicht Beweegung vun der Hand zéie mir all FC an Ethernet 10G Kabelen aus dem Engine-0 Controller. Et ass wéi wann eng Botzfra mat enger Mop laanscht gaang ass an decidéiert huet de Buedem direkt ze wäschen wou de Schnéi louch an d'Kabele leien (dh de Controller funktionnéiert nach ëmmer, awer d'I/O Ports sinn dout).

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Loosst eis IOMETER kucken a Dateien kopéieren. Den Duerchgang ass op 0,5 GB / s gefall, awer ass séier op säi fréiere Niveau zréckgaang (an ongeféier 4-5 Sekonnen). Et gi keng Feeler.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

D'Kopie vun Dateien ass net opgehalen, et gëtt e Réckgang vun der Geschwindegkeet, awer et ass guer net kritesch (vun 840 MB / s ass et op 720 MB / s erofgaang). D'Kopie ass net opgehalen.

Mir kucken op d'Späichersystem Logbicher a gesinn e Message iwwer d'Onverfügbarkeet vu Ports an d'automatesch Verlagerung vum Grupp.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

D'Informatiounspanel seet eis och datt alles net ganz gutt ass mat den FC Ports.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

De Stockage System iwwerlieft engem Echec vun I / O Häfen erfollegräich.

Test Nr 2. Desaktivéiere vum Späicherkontroller

Bal direkt (nodeems mer d'Kabelen zréck an de Späichersystem gesteckt hunn) hu mir beschloss de Späichersystem ofzeschléissen andeems de Controller aus dem Chassis zitt.

Erëm kommen mir de Späichersystem vun hannen (mir hunn et gär))) an dës Kéier zéie mir de Engine-1 Controller eraus, deen zu dësem Moment de Besëtzer vun der RDG ass (an déi de Grupp geplënnert ass).

D'Situatioun am IOmeter ass wéi follegt. I/O gestoppt fir ongeféier 5 Sekonnen. Feeler accumuléieren net.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

No 5 Sekonnen ass d'I/O mat ongeféier deeselwechten Duerchgang zréckgaang, awer mat Latenz vun 35 Millisekonnen (Latenzen korrigéiert no ongeféier e puer Minutten). Wéi aus de Screenshots gesi ka ginn, ass den Total Feelerzuelwäert 0, dat heescht, et goufe keng Schreif- oder Liesfehler.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Loosst eis eis Dateien kopéieren. Wéi Dir gesitt, gouf et net ënnerbrach, et war e liichte Réckgang an der Leeschtung, awer insgesamt ass alles zréck op déiselwecht ~ 800 MB / s.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Mir ginn an de Späichersystem a gesinn e Fluch am Informatiounspanel datt de Engine-1 Controller net verfügbar ass (natierlech hu mir et ëmbruecht).

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Mir gesinn och eng ähnlech Entrée an de Logbicher.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

De Späicherkontroller huet och e Feeler iwwerlieft erfollegräich.

Test Nr 3: Trennung vun der Energieversuergung.

Just am Fall, hu mir ugefaang Dateien erëm ze kopéieren, awer hunn den IOMETER net gestoppt.
Mir zéien d'Energieversuergung Eenheet.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Eng aner Alarm gouf an de Späichersystem am Informatiounspanel bäigefüügt.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Och am Sensormenü gesi mir datt d'Sensoren, déi mat der erausgezunner Energieversuergung verbonne sinn, rout ginn.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

De Späichersystem funktionnéiert weider. Den Ausfall vun der Energieversuergungseenheet beaflosst op kee Fall d'Operatioun vum Späichersystem; aus der Siicht vum Host sinn d'Kopiegeschwindegkeet an d'IOMETER Indikatoren onverännert bliwwen.

Power Echec Test passéiert erfollegräich.

Virum leschten Test hu mir décidéiert de Späichersystem e bëssen erëm an d'Liewen ze bréngen, de Controller an d'Energieversuergung zréckzebréngen, an och d'Kabelen an Uerdnung ze setzen, wat de Späichersystem eis glécklech mat grénge Symboler a sengem Gesondheetspanel informéiert huet. .

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Test Nr 4. Ausgefall vun dräi Scheiwen an engem Grupp

Virun dësem Test hu mir en zousätzleche Virbereedungsschrëtt gemaach. De Fakt ass datt de ENGINE Späichersystem eng ganz nëtzlech Saach ubitt - verschidde Rekonstruktiounspolitik. TS Solution huet virdru iwwer dës Feature geschriwwen, awer loosst eis seng Essenz erënneren. De Späicheradministrator kann d'Prioritéit fir d'Ressourceallokatioun während dem Neibau spezifizéieren. Entweder an d'Richtung vun der I / O Leeschtung, dat heescht, d'Rekonstruktioun dauert méi laang, awer et gëtt keng Performance-Downdown. Oder a Richtung Rekonstruktioun Vitesse, mä Produktivitéit wäert reduzéiert ginn. Oder eng equilibréiert Optioun. Zënter datt d'Späicherleistung beim Opbau vun der Diskgrupp ëmmer e Kappwéi vun engem Administrateur ass, wäerte mir eng Politik mat enger Viraussetzung fir d'I / O-Performance testen an op Käschte vun der Opbaugeschwindegkeet.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Loosst eis elo fir Scheiffehler kucken. Mir erméiglechen och Opnam op LUNs (Dateien an IOMETER). Well mir e Grupp mat Triple Parity (RAID-60P) hunn, heescht dat, datt de System den Ausfall vun dräi Disken widderstoen muss, an no dem Echec muss den Auto-Ersatz funktionnéieren, eng Disk muss d'Plaz vun engem vun de gescheitertenen huelen. an der RDG, an et muss mam Opbau ufänken.

Fänken un. Als éischt, duerch d'Späicherinterface, loosst eis d'Disks markéieren, déi mir wëllen erauszéien (fir den Autochange-Disk net ze verpassen an ze zéien).

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Mir kontrolléieren d'Indikatioun op der Hardware. Alles ass OK, mir gesinn dräi markéiert Disken.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

A mir zéien dës dräi Scheiwen eraus.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Loosst eis kucken wat um Host ass. An do ... näischt Besonnesches geschitt.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test
Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

D'Kopie Indikatoren (si si méi héich wéi am Ufank, well de Cache opgewiermt ass) an IOMETER änneren net vill wann Dir d'Disken erofhuelen an d'Wiederbau starten (bannent 5-10%).

Loosst eis kucken wat op de Späichersystem ass.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Am Status vun der Grupp gesi mir datt de Prozess vun der Restrukturéierung ugefaang huet an et ass no der Fäerdegstellung.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Am RDG Skelett kënnt Dir gesinn, datt 2 Scheiwen am roude Status sinn, an ee schonn ersat. Den Autoreplacement Disk ass net méi do; et huet den 3. gescheiterten Disk ersat. D'Rekonstruktioun huet e puer Minutten gedauert, Dateien schreiwen wann 3 Scheiwen ausgefall sinn net ënnerbrach, an ech / O Leeschtung huet net vill geännert.

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Crash Tester vun AERODISK ENGINE N2 Stockage System, Kraaft Test

Den Diskfehlertest ass definitiv passéiert erfollegräich.

Konklusioun

Zu dësem Zäitpunkt hu mir beschloss Gewalt géint Späichersystemer ze stoppen. Loosst eis zesummefaassen:

  • FC port Echec kontrolléieren - erfollegräich
  • Ethernet port Echec kontrolléieren - erfollegräich
  • Controller Feeler Check - erfollegräich
  • Power Failure Test - Erfolleg
  • Scheiffehler iwwerpréiwen am Grouppool - erfollegräich

Keen vun de Feeler huet gestoppt opzehuelen oder verursaacht Fehler an der synthetescher Belaaschtung; Natierlech gouf et e Performance Hit (a mir wësse wéi et ze iwwerwannen, wat mir geschwënn wäerte maachen), awer well dës Sekonnen sinn, ass et ganz akzeptabel. Fazit: d'Fehlertoleranz vun all Komponenten vum AERODISK-Späichersystem huet um Niveau geschafft, et waren keng Punkte vum Echec.

Natierlech kënne mir an engem Artikel net all Ausfallszenarie testen, awer mir hu probéiert déi populärste ze decken. Dofir, schéckt weg Är Kommentaren, Virschléi fir zukünfteg Publikatiounen an, natierlech, adäquate Kritik. Mir wäerte frou diskutéieren (oder besser nach, kommt op d'Formatioun, ech duplizéieren den Zäitplang just am Fall)! Bis nei Tester!

  • Nizhny Novgorod (SCHON OPEN - Dir kënnt Iech hei umellen https://aerodisk.promo/nn/);
    Bis de 16. Abrëll 2019 kënnt Dir zu all Aarbechtszäit den Zentrum besichen, an de 16. Abrëll 2019 gëtt e grousse Formatiounscours organiséiert.
  • Krasnodar (ËFFEN GESCHWEN - Dir kënnt Iech hei umellen https://aerodisk.promo/krsnd/ );
    Vum 9. Abrëll bis de 25. Abrëll 2019 kënnt Dir den Zentrum zu all Aarbechtszäit besichen, an de 25. Abrëll 2019 gëtt e grousse Formatiounscours organiséiert.
  • Екатеринбург (OPÉIERT GESCHAFFT, befollegt d'Informatiounen op eiser Websäit oder op Habré);
    Mee-Juni 2019.
  • Новосибирск (folgt d'Informatiounen op eiser Websäit oder op Habré);
    Oktober 2019.
  • Красноярск (folgt d'Informatiounen op eiser Websäit oder op Habré);
    November 2019.

Source: will.com

Setzt e Commentaire