Úvod
Je čas kúpiť úložisko. Ktorý si vziať, koho počúvať? Predajca A hovorí o predajcovi B a potom je tu integrátor C, ktorý hovorí opak a radí predajcovi D. V takejto situácii sa aj skúsenému skladovému architektovi zatočí hlava, najmä pri všetkých nových predajcoch a SDS a hyperkonvergenciách, ktoré sú v móde dnes.
Ako to teda celé vyriešiť a neskončiť ako hlupák? my ( Anton Žbankov a Evgeniy Elizarov) skúsme o tom hovoriť v ruštine.
Článok má veľa podobností a je vlastne rozšírením „” z hľadiska výberu úložných systémov a preskúmania úložných technológií. Stručne sa pozrieme na všeobecnú teóriu, ale odporúčame vám prečítať si aj tento článok.
Čo pre
Často sa môžete stretnúť so situáciou, keď nový človek príde na fórum alebo na špecializovaný chat, ako je napríklad Diskusia o úložisku, a spýta sa: „Tu mi ponúkajú dve možnosti úložiska - ABC SuperStorage S600 a XYZ HyperOcean 666v4, čo odporúčate ?"
A začína zmätok o tom, kto má aké vlastnosti implementácie hrozných a nepochopiteľných vlastností, ktoré sú pre nepripraveného človeka úplne čínske.
Kľúčovou a úplne prvou otázkou, ktorú si musíte položiť dlho pred porovnávaním špecifikácií v komerčných návrhoch, je teda PREČO? Prečo je tento úložný systém potrebný?
Odpoveď bude neočakávaná, a to v štýle Tonyho Robbinsa – na ukladanie dát. Ďakujem, kapitán! A predsa sa niekedy dostaneme tak hlboko do porovnávania detailov, že zabudneme, prečo to všetko vlastne robíme.
Úlohou systému na ukladanie údajov je teda ukladať a poskytovať prístup k ÚDAJOM s daným výkonom. Začneme údajmi.
Dáta
Typ údajov
Aký druh údajov plánujeme uchovávať? Veľmi dôležitá otázka, ktorá môže eliminovať mnohé úložné systémy. Napríklad plánujete ukladať videá a fotografie. Okamžite môžete vyškrtnúť systémy navrhnuté pre náhodný prístup v malých blokoch alebo systémy s proprietárnymi funkciami v kompresii / deduplikácii. Môžu to byť jednoducho vynikajúce systémy, nechceme povedať nič zlé. Ale v tomto prípade ich silné stránky buď zoslabnú (video a fotografie nie sú komprimované), alebo jednoducho výrazne zvýšia náklady na systém.
Naopak, ak je zamýšľané použitie rušné transakčné DBMS, potom vynikajúce multimediálne streamovacie systémy schopné dodávať gigabajty za sekundu budú zlou voľbou.
Objem dát
Koľko údajov plánujeme uložiť? Z kvantity sa vždy vyvinie kvalita, na to by sa nemalo zabúdať, najmä v našej dobe exponenciálneho rastu objemu dát. Systémy triedy petabajtov už nie sú nezvyčajné, ale čím väčšia je kapacita petabajtov, tým špecifickejší bude systém, tým menej budú dostupné bežné funkcie malých a stredne veľkých systémov s náhodným prístupom. Je to triviálne, pretože samotné štatistické tabuľky blokového prístupu sú väčšie ako dostupné množstvo pamäte RAM na ovládačoch. Nehovoriac o kompresii/tieringu. Povedzme, že chceme prepnúť kompresný algoritmus na výkonnejší a komprimovať 20 petabajtov dát. Ako dlho to bude trvať: šesť mesiacov, rok?
Na druhej strane, prečo sa obťažovať, ak potrebujete uložiť a spracovať 500 GB dát? Len 500. SSD pre domácnosť (s nízkym DWPD) tejto veľkosti nič nestoja. Prečo stavať továreň Fibre Channel a kupovať špičkové externé úložné systémy, ktoré stoja ekvivalent liatinového mosta?
Aké percento z celkového počtu sú horúce údaje? Aké nerovnomerné je zaťaženie z hľadiska objemu dát? Tu môže byť technológia vrstveného úložiska alebo Flash Cache veľmi užitočná, ak je množstvo horúcich dát v porovnaní s celkovým množstvom malé. Alebo naopak, pri rovnomernom zaťažení v celom objeme, čo sa často vyskytuje v streamovacích systémoch (video dohľad, niektoré analytické systémy), takéto technológie nič neposkytnú a len zvýšia cenu/zložitosť systému.
IC
Druhou stranou dát je informačný systém, ktorý dáta využíva. IS má súbor požiadaviek, ktoré dedia údaje. Ďalšie informácie o IS nájdete v časti „Návrh virtualizovaného dátového centra“.
Požiadavky na odolnosť/dostupnosť
Požiadavky na odolnosť voči chybám/dostupnosť dát sa dedia z IS pomocou nich a sú vyjadrené v troch číslach - RPO, RTO, dostupnosť.
dostupnosť — podiel za dané časové obdobie, počas ktorého sú dostupné údaje na prácu s nimi. Zvyčajne sa vyjadruje ako číslo 9. Napríklad dve deviatky za rok znamenajú, že dostupnosť je 99 %, inak je povolených 95 hodín nedostupnosti za rok. Tri deviatky – 9,5 hodiny ročne.
RPO/RTO nie sú celkové ukazovatele, ale pre každý incident (nehodu), na rozdiel od dostupnosti.
RPO — množstvo údajov stratených počas nehody (v hodinách). Napríklad, ak sa zálohy vykonávajú raz denne, potom RPO = 24 hodín. Tie. V prípade havárie a úplnej straty úložného systému môže dôjsť k strate dát až 24 hodín (od okamihu zálohy). Na základe RPO špecifikovaného pre IS sú napríklad spísané záložné predpisy. Na základe RPO môžete tiež pochopiť, koľko synchrónnej/asynchrónnej replikácie údajov je potrebné.
RTO — čas na obnovenie služby (prístup k údajom) po katastrofe. Na základe danej hodnoty RTO vieme pochopiť, či je potrebný klaster metra, alebo či stačí jednosmerná replikácia. Potrebujete špičkový úložný systém s viacerými ovládačmi?
Požiadavky na výkon
Hoci je to veľmi zrejmá otázka, práve tu vzniká väčšina ťažkostí. V závislosti od toho, či už nejakú infraštruktúru máte alebo nie, sa vybudujú spôsoby zhromažďovania potrebných štatistík.
Úložný systém už máte a hľadáte náhradu alebo si chcete kúpiť ďalší na rozšírenie. Všetko je tu jednoduché. Rozumiete, aké služby už máte a ktoré plánujete implementovať v blízkej budúcnosti. Na základe aktuálnych služieb máte možnosť zbierať štatistiky výkonnosti. Rozhodnite sa podľa aktuálneho počtu IOPS a aktuálnej latencie – aké sú tieto ukazovatele a stačia na vaše úlohy? Dá sa to urobiť na samotnom systéme na ukladanie údajov, ako aj na hostiteľoch, ktorí sú k nemu pripojení.
Okrem toho sa musíte pozerať nielen na aktuálnu záťaž, ale aj za určité obdobie (najlepšie mesiac). Pozrite sa, aké sú maximálne špičky počas dňa, akú záťaž vytvára záloha atď. Ak vám váš úložný systém alebo jeho softvér neposkytuje kompletnú sadu týchto údajov, môžete použiť bezplatný nástroj RRDtool, ktorý dokáže spolupracovať s väčšinou najpopulárnejších úložných systémov a prepínačov a môže vám poskytnúť podrobné štatistiky výkonu. Tiež stojí za to pozrieť sa na zaťaženie hostiteľov, ktorí pracujú s týmto úložným systémom, pre konkrétne virtuálne stroje alebo čo presne na tomto hostiteľovi beží.
Samostatne stojí za zmienku, že ak sa oneskorenia na zväzku a dátovom úložisku, ktoré sa nachádza na tomto zväzku, značne líšia, mali by ste venovať pozornosť svojej sieti SAN, je vysoká pravdepodobnosť, že s ňou budú problémy a pred zakúpením nového systém, stojí za to pozrieť sa na túto otázku, pretože existuje veľmi vysoká pravdepodobnosť zvýšenia výkonu súčasného systému.
Budujete infraštruktúru od nuly alebo si kupujete systém pre nejakú novú službu, ktorej množstvo si ani neuvedomujete. Existuje niekoľko možností: komunikujte s kolegami na špecializovaných zdrojoch, aby ste sa pokúsili zistiť a predpovedať zaťaženie, obráťte sa na integrátora, ktorý má skúsenosti s implementáciou podobných služieb a ktorý vám môže vypočítať zaťaženie. A tretia možnosť (zvyčajne najťažšia, najmä ak ide o podomácky písané alebo zriedkavé aplikácie) je pokúsiť sa zistiť požiadavky na výkon od vývojárov systému.
A upozorňujeme, že najsprávnejšou možnosťou z hľadiska praktickej aplikácie je pilotná prevádzka na súčasnom zariadení, prípadne na zariadení poskytnutom na testovanie predajcom/integrátorom.
Špeciálne požiadavky
Špeciálne požiadavky sú všetko, čo nespadá pod požiadavky na výkon, chybovosť a funkčnosť pre priame spracovanie a poskytovanie dát.
Jedna z najjednoduchších špeciálnych požiadaviek na systém ukladania údajov sa môže nazývať „odcudziteľné pamäťové médium“. A okamžite je jasné, že tento systém na ukladanie údajov musí obsahovať páskovú knižnicu alebo jednoducho páskovú jednotku, na ktorú sa uloží záložná kópia. Potom špeciálne vyškolená osoba podpíše pásku a hrdo ju odnesie do špeciálneho trezoru.
Ďalším príkladom špeciálnej požiadavky je chránený dizajn odolný voči nárazom.
kde
Druhým hlavným komponentom pri výbere konkrétneho úložného systému je informácia o tom, KDE bude tento úložný systém umiestnený. Počnúc geografiou alebo klimatickými podmienkami a končiac personálom.
zákazník
Pre koho je tento úložný systém určený? Otázka má nasledujúce dôvody:
Vládny zákazník/obchodník.
Komerčný zákazník nemá žiadne obmedzenia a nie je ani povinný konať výberové konania, s výnimkou podľa vlastných interných predpisov.
Vládny zákazník je iná vec. 44 Federálny zákon a iné pôžitky s výberovými konaniami a technickými špecifikáciami, ktoré možno napadnúť.
Zákazník je pod sankciami
Otázka je tu veľmi jednoduchá – výber je obmedzený len ponukami, ktoré má daný zákazník k dispozícii.
Interné predpisy / predajcovia / modely povolené na nákup
Otázka je tiež veľmi jednoduchá, ale musíte si ju zapamätať.
Kde fyzicky
V tejto časti sa zaoberáme všetkými otázkami geografie, komunikačných kanálov a mikroklímy v ubytovacích priestoroch.
zamestnanci
Kto bude pracovať s týmto úložným systémom? To nie je o nič menej dôležité ako to, čo dokáže samotný úložný systém.
Bez ohľadu na to, aký sľubný, chladný a úžasný je úložný systém od dodávateľa A, pravdepodobne nemá zmysel ho inštalovať, ak personál vie, ako pracovať len s dodávateľom B, a neexistujú žiadne plány na ďalšie nákupy a pokračujúcu spoluprácu s A.
A samozrejme, druhá strana otázky je, nakoľko je dostupný vyškolený personál v danej geografickej lokalite priamo vo firme a potenciálne na trhu práce. Pre regióny môže mať veľký zmysel výber úložných systémov s jednoduchými rozhraniami alebo schopnosťou vzdialene centralizovať správu. V opačnom prípade to môže byť v určitom okamihu neznesiteľne bolestivé. Internet je plný príbehov o tom, ako nový zamestnanec, ktorý prišiel, včerajší študent, nakonfiguroval takú vec, že bola zabitá celá kancelária.
okolia
A samozrejme, dôležitá otázka je, v akom prostredí bude tento úložný systém fungovať.
- A čo napájanie/chladenie?
- Aké spojenie
- Kde sa to nainštaluje?
- A tak ďalej.
Často sú tieto otázky považované za samozrejmé a nie sú zvlášť zvažované, ale niekedy sú to práve ony, ktoré môžu všetko zvrátiť.
Že
Predajca
K dnešnému dňu (polovica roku 2019) možno ruský trh s úložiskami rozdeliť do 5 kategórií:
- Najvyššou divíziou sú zavedené spoločnosti so širokou škálou diskových políc od najjednoduchších až po hi-end (HPE, DellEMC, Hitachi, NetApp, IBM / Lenovo)
- Druhá divízia - spoločnosti s obmedzenou líniou, špecializovaní hráči, seriózni predajcovia SDS alebo rastúci nováčikovia (Fujitsu, Datacore, Infinidat, Huawei, Pure atď.)
- Tretia divízia - špecializované riešenia v nižšej kategórii, lacné SDS, pokročilé produkty založené na ceph a iných otvorených projektoch (Infortrend, Starwind atď.)
- Segment SOHO - malé a ultramalé úložné systémy na úrovni domácnosti/malej kancelárie (Synology, QNAP atď.)
- Úložné systémy substituované importom - sem patrí hardvér prvej divízie s preznačenými štítkami, aj vzácni zástupcovia druhej (RAIDIX, druhú dáme vopred), ale hlavne ide o tretiu divíziu (Aerodisk, Baum, Depo atď.)
Rozdelenie je dosť ľubovoľné a vôbec neznamená, že tretí alebo SOHO segment je zlý a nedá sa použiť. V špecifických projektoch s jasne definovaným dátovým súborom a profilom záťaže môžu fungovať veľmi dobre, pričom pomerom cena/kvalita ďaleko prevyšujú prvú divíziu. Najprv je dôležité rozhodnúť o svojich cieľoch, vyhliadkach rastu a požadovanej funkčnosti – a potom vám bude Synology verne slúžiť a vaše vlasy budú jemné a hodvábne.
Jedným z dôležitých faktorov pri výbere predajcu je aktuálne prostredie. Koľko úložných systémov už máte a s akými úložnými systémami môžu vaši inžinieri pracovať. Potrebujete iného dodávateľa, ďalší kontaktný bod, budete postupne migrovať celý náklad od dodávateľa A k predajcovi B?
Človek by nemal produkovať entity nad rámec toho, čo je nevyhnutné.
iSCSI/FC/súbor
V otázke prístupových protokolov medzi inžiniermi neexistuje konsenzus a debata pripomína skôr teologické diskusie ako tie inžinierske. Vo všeobecnosti však možno poznamenať nasledujúce body:
FCoE viac mŕtvych ako živých.
FC vs iSCSI. Jedna z kľúčových výhod FC v roku 2019 oproti úložisku IP, vyhradenej továrni na prístup k údajom, je kompenzovaná vyhradenou sieťou IP. FC nemá žiadne globálne výhody oproti IP sieťam a IP možno použiť na budovanie úložných systémov akejkoľvek úrovne zaťaženia, až po systémy pre ťažké DBMS pre hlavný bankový systém veľkej banky. Na druhej strane, smrť FC sa prorokuje už niekoľko rokov, no neustále tomu niečo bráni. Dnes napríklad niektorí hráči na trhu s úložiskami aktívne vyvíjajú štandard NVMEoF. Či bude zdieľať osud FCoE - čas ukáže.
Prístup k súborom tiež nie je niečím nehodným pozornosti. NFS/CIFS funguje dobre v produktívnych prostrediach a ak je správne navrhnutý, nemá viac sťažností ako blokové protokoly.
Hybridné / All Flash Array
Klasické úložné systémy sa dodávajú v 2 typoch:
- AFA (All Flash Array) - systémy optimalizované pre použitie SSD.
- Hybridný – umožňuje používať HDD aj SSD alebo ich kombináciu.
Ich hlavným rozdielom sú podporované technológie efektívnosti ukladania a maximálna úroveň výkonu (vysoké IOPS a nízka latencia). Oba systémy (vo väčšine ich modelov, nepočítajúc segment nižšej kategórie) môžu fungovať ako blokové aj súborové zariadenia. Podporovaná funkcionalita závisí od úrovne systému a pri mladších modeloch je najčastejšie znížená na minimálnu úroveň. Toto stojí za to venovať pozornosť, keď študujete vlastnosti konkrétneho modelu, a nielen schopnosti celej rady ako celku. Od úrovne systému samozrejme závisia aj jeho technické vlastnosti, ako je procesor, množstvo pamäte, vyrovnávacia pamäť, počet a typy portov atď. Z pohľadu manažmentu sa AFA líšia od hybridných (diskových) systémov iba implementáciou mechanizmov pre prácu s SSD diskami a aj keď použijete SSD v hybridnom systéme, vôbec to neznamená, že budete môcť dosiahnuť úroveň výkonnosti na úrovni systému AFA. Vo väčšine prípadov sú na hybridných systémoch deaktivované aj inline efektívne skladovacie mechanizmy a ich zahrnutie vedie k strate výkonu.
Špeciálne skladovacie systémy
Okrem univerzálnych úložných systémov, zameraných predovšetkým na prevádzkové spracovanie dát, existujú špeciálne úložné systémy s kľúčovými princípmi, ktoré sa zásadne líšia od bežných (nízka latencia, vysoké IOPS):
Médiá.
Tieto systémy sú určené na ukladanie a spracovanie veľkých mediálnych súborov. Resp. oneskorenie sa stáva prakticky nepodstatným a do popredia sa dostáva možnosť odosielať a prijímať dáta v širokom pásme v mnohých paralelných tokoch.
Deduplikácia úložných systémov pre zálohy.
Keďže záložné kópie sa vyznačujú vzájomnou podobnosťou, ktorá je za normálnych podmienok zriedkavá (priemerná záložná kópia sa líši od včerajšej kópie o 1 – 2 %), táto trieda systémov mimoriadne efektívne zbalí údaje, ktoré sú na nich zaznamenané, v pomerne malom rozsahu. počet fyzických médií. Napríklad v niektorých prípadoch môže pomer kompresie údajov dosiahnuť 200 ku 1.
Systémy na ukladanie objektov.
Tieto úložné systémy nemajú obvyklé zväzky s blokovým prístupom a zdieľania súborov a zo všetkého najviac pripomínajú obrovskú databázu. Prístup k objektu uloženému v takomto systéme sa vykonáva pomocou jedinečného identifikátora alebo metadát (napríklad všetky objekty formátu JPEG s dátumom vytvorenia medzi XX-XX-XXXX a YY-YY-YYYY).
Systém súladu.
Dnes už v Rusku nie sú také bežné, no stoja za zmienku. Účelom takýchto úložných systémov je zaručené ukladanie údajov v súlade s bezpečnostnými zásadami alebo regulačnými požiadavkami. Niektoré systémy (napríklad EMC Centera) majú implementovanú funkciu na zákaz vymazania údajov – akonáhle otočíte kľúčom a systém prejde do tohto režimu, nemôže správca ani nikto iný fyzicky vymazať už zaznamenané údaje.
Proprietárne technológie
Flash cache
Flash Cache je všeobecný názov pre všetky proprietárne technológie na používanie flash pamäte ako vyrovnávacej pamäte druhej úrovne. Pri použití flash vyrovnávacej pamäte je úložný systém zvyčajne vypočítaný tak, aby poskytoval stabilné zaťaženie z magnetických diskov, zatiaľ čo špičku obsluhuje vyrovnávacia pamäť.
V tomto prípade je potrebné pochopiť profil zaťaženia a stupeň lokalizácie prístupu k blokom úložných objemov. Flash cache je technológia pre pracovné zaťaženia s vysoko lokalizovanými dotazmi a je prakticky nepoužiteľná pre rovnomerne načítané zväzky (napríklad pre analytické systémy).
Na trhu sú k dispozícii dve implementácie flash cache:
- Iba na čítanie. V tomto prípade sa do vyrovnávacej pamäte ukladajú iba načítané údaje a zápis ide priamo na disky. Niektorí výrobcovia, ako napríklad NetApp, sa domnievajú, že zapisovanie do ich úložných systémov je už optimálne a vyrovnávacia pamäť vôbec nepomôže.
- Čítaj píš. Do vyrovnávacej pamäte sa ukladá nielen čítanie, ale aj zápis, čo vám umožňuje ukladať stream do vyrovnávacej pamäte a znižovať vplyv penalizácie RAID a v dôsledku toho zvýšiť celkový výkon úložných systémov s menej optimálnym mechanizmom zápisu.
Vrstvenie
Viacúrovňové úložisko (únavné) je technológia na kombinovanie úrovní s rôznymi úrovňami výkonu, ako sú SSD a HDD, do jedného diskového fondu. V prípade výraznej nerovnomernosti prístupu k dátovým blokom dokáže systém automaticky vyrovnávať dátové bloky tak, že načítané presunie na výkonnú úroveň a studené, naopak, na pomalšiu.
Hybridné systémy nižšej a strednej triedy využívajú viacúrovňové úložisko s presúvaním údajov medzi úrovňami podľa plánu. Zároveň je veľkosť viacúrovňového úložného bloku pre najlepšie modely 256 MB. Tieto vlastnosti nám neumožňujú považovať technológiu vrstveného úložiska za technológiu na zvýšenie produktivity, ako sa mnohí mylne domnievajú. Viacúrovňové úložisko v systémoch nízkej a strednej triedy je technológia na optimalizáciu nákladov na úložisko pre systémy s výraznou nerovnomernosťou zaťaženia.
Momentka
Bez ohľadu na to, koľko hovoríme o spoľahlivosti úložných systémov, existuje veľa príležitostí na stratu údajov, ktoré nezávisia od problémov s hardvérom. Môžu to byť vírusy, hackeri alebo akékoľvek iné neúmyselné vymazanie/poškodenie údajov. Z tohto dôvodu je zálohovanie výrobných údajov neoddeliteľnou súčasťou práce inžiniera.
Snímka je snímka zväzku v určitom časovom bode. Pri práci s väčšinou systémov, ako je virtualizácia, databázy atď. potrebujeme urobiť takú snímku, z ktorej skopírujeme dáta do záložnej kópie, pričom náš IS bude môcť s týmto zväzkom bezpečne ďalej pracovať. Je však potrebné pripomenúť, že nie všetky snímky sú rovnako užitočné. Rôzni predajcovia majú rôzne prístupy k vytváraniu snímok súvisiacich s ich architektúrou.
CoW (Copy-On-Write). Keď sa pokúsite zapísať dátový blok, jeho pôvodný obsah sa skopíruje do špeciálnej oblasti, po ktorej zápis pokračuje normálne. Tým sa zabráni poškodeniu údajov vo vnútri snímky. Prirodzene, všetky tieto „parazitné“ manipulácie s údajmi spôsobujú dodatočné zaťaženie úložného systému a z tohto dôvodu predajcovia s podobnými implementáciami neodporúčajú používať viac ako tucet snímok a vôbec ich nepoužívať na vysoko zaťažených zväzkoch.
RoW (Redirect-on-Write). V tomto prípade pôvodný zväzok prirodzene zamrzne a pri pokuse o zápis bloku údajov úložný systém zapíše údaje do špeciálnej oblasti vo voľnom priestore, čím sa zmení umiestnenie tohto bloku v tabuľke metadát. To umožňuje znížiť počet operácií prepisovania, čo v konečnom dôsledku eliminuje pokles výkonu a odstraňuje obmedzenia týkajúce sa snímok a ich počtu.
Snímky sú tiež dvoch typov vo vzťahu k aplikáciám:
Konzistencia aplikácie. V momente vytvorenia snímky úložný systém stiahne agenta v operačnom systéme spotrebiteľa, ktorý násilne vyprázdni vyrovnávaciu pamäť disku z pamäte na disk a prinúti aplikáciu, aby to urobila. V tomto prípade pri obnove zo snímky budú údaje konzistentné.
Zrážky konzistentné. V tomto prípade sa nič také nestane a snímka sa vytvorí tak, ako je. V prípade obnovy z takejto snímky je obraz identický s tým, čo by sa stalo, keby sa náhle vyplo napájanie a je možná strata dát, uviaznutých vo vyrovnávacej pamäti a nikdy sa nedostanú na disk. Takéto snímky sa ľahšie implementujú a nespôsobujú zníženie výkonu v aplikáciách, sú však menej spoľahlivé.
Prečo sú na úložných systémoch potrebné snímky?
- Zálohovanie bez agentov priamo z úložného systému
- Vytvárajte testovacie prostredia založené na skutočných údajoch
- V prípade súborových úložných systémov ho možno použiť na vytváranie prostredí VDI pomocou snímok úložného systému namiesto hypervízora.
- Zabezpečte nízke RPO vytváraním naplánovaných snímok s frekvenciou výrazne vyššou, ako je frekvencia zálohovania
Klonovanie
Klonovanie zväzkov – funguje na podobnom princípe ako snímky, ale nepoužíva sa len na čítanie údajov, ale na plnohodnotnú prácu s nimi. Sme schopní získať presnú kópiu nášho zväzku so všetkými údajmi na ňom bez toho, aby sme museli vytvárať fyzickú kópiu, čo ušetrí miesto. Klonovanie objemu sa zvyčajne používa buď v Test&Dev, alebo ak chcete skontrolovať funkčnosť niektorých aktualizácií na vašom IS. Klonovanie vám to umožní čo najrýchlejšie a najhospodárnejšie z hľadiska diskových prostriedkov, pretože Zapíšu sa len zmenené dátové bloky.
Replikácia / žurnálovanie
Replikácia je mechanizmus na vytvorenie kópie údajov na inom fyzickom úložnom systéme. Každý predajca má zvyčajne vlastnú technológiu, ktorá funguje iba v rámci svojej vlastnej línie. Existujú však aj riešenia tretích strán vrátane tých, ktoré fungujú na úrovni hypervízora, ako napríklad VMware vSphere Replication.
Funkcionalita proprietárnych technológií a jednoduchosť ich používania sú zvyčajne oveľa lepšie ako univerzálne, ale ukážu sa ako nepoužiteľné, keď je napríklad potrebné vytvoriť repliku z NetApp na HP MSA.
Replikácia je rozdelená do dvoch podtypov:
Synchrónne. V prípade synchrónnej replikácie sa operácia zápisu okamžite odošle do druhého úložného systému a vykonanie sa nepotvrdí, kým vzdialený úložný systém nepotvrdí. Vďaka tomu sa zvyšuje oneskorenie prístupu, ale máme presnú zrkadlovú kópiu údajov. Tie. RPO = 0 v prípade straty hlavného úložného systému.
asynchrónne. Operácie zápisu sa vykonávajú iba na hlavnom úložnom systéme a sú okamžite potvrdené, pričom sa súčasne akumulujú vo vyrovnávacej pamäti na dávkový prenos do vzdialeného úložného systému. Tento typ replikácie je relevantný pre menej hodnotné dáta alebo pre kanály s nízkou šírkou pásma alebo vysokou latenciou (typické pre vzdialenosti nad 100 km). V súlade s tým RPO = frekvencia odosielania paketov.
Často spolu s replikáciou existuje mechanizmus ťažba dreva diskové operácie. V tomto prípade je vyčlenená špeciálna oblasť na zaznamenávanie a zaznamenávanie operácií určitej hĺbky v čase alebo obmedzenej objemom protokolu. Pre určité proprietárne technológie, ako napríklad EMC RecoverPoint, existuje integrácia so systémovým softvérom, ktorá vám umožňuje prepojiť určité záložky s konkrétnym záznamom denníka. Vďaka tomu je možné vrátiť stav zväzku (alebo vytvoriť klon) nielen na 23. apríl, 11 hodín 59 sekúnd 13 milisekúnd, ale aj do momentu pred „DROP ALL TABLES; ZAMESTNAŤ SA.”
Klaster metra
Metro cluster je technológia, ktorá umožňuje vytvárať obojsmernú synchrónnu replikáciu medzi dvoma úložnými systémami tak, že zvonku táto dvojica vyzerá ako jeden úložný systém. Používa sa na vytváranie zhlukov s geograficky oddelenými ramenami vo vzdialenostiach metra (menej ako 100 km).
Na príklade použitia vo virtualizačnom prostredí vám metrocluster umožňuje vytvárať dátové úložisko s virtuálnymi strojmi, dostupné pre záznam z dvoch dátových centier naraz. V tomto prípade sa vytvorí klaster na úrovni hypervízora, ktorý pozostáva z hostiteľov v rôznych fyzických dátových centrách pripojených k tomuto dátovému skladu. Čo vám umožňuje robiť nasledovné:
- Plná automatizácia procesu obnovy po smrti jedného z dátových centier. Bez akýchkoľvek dodatočných prostriedkov sa všetky VM bežiace v zosnulom dátovom centre automaticky reštartujú v tom zostávajúcom. RTO = časový limit klastra vysokej dostupnosti (15 sekúnd pre VMware) + čas na načítanie operačného systému a spustenie služieb.
- Vyhýbanie sa katastrofám alebo v ruštine vyhýbanie sa katastrofám. Ak sú práce na napájaní plánované v dátovom centre 1, potom máme možnosť migrovať celú dôležitú záťaž do dátového centra 2 nonstop vopred, ešte pred začatím prác.
Virtualizácia
Virtualizácia úložiska je technicky použitie zväzkov z iného úložného systému ako diskov. Virtualizátor úložiska môže jednoducho preniesť zväzok niekoho iného k spotrebiteľovi ako svoj vlastný, súčasne ho zrkadliť do iného úložného systému alebo dokonca vytvoriť RAID z externých zväzkov.
Klasickými zástupcami v triede virtualizácie úložísk sú EMC VPLEX a IBM SVC. A samozrejme úložné systémy s funkcionalitou virtualizácie - NetApp, Hitachi, IBM / Lenovo Storwize.
Prečo by to mohlo byť potrebné?
- Redundancia na úrovni úložného systému. Medzi zväzkami sa vytvorí zrkadlo a jedna polovica môže byť na HP 3Par a druhá na NetApp. A virtualizér je od EMC.
- Presúvajte dáta s minimálnymi prestojmi medzi úložnými systémami od rôznych výrobcov. Predpokladajme, že dáta je potrebné migrovať zo starého 3Par, ktorý bude odpísaný, do nového Dellu. V tomto prípade sú spotrebitelia odpojení od 3Par, objemy sú prevedené pod VPLEX a sú opäť prezentované spotrebiteľom. Keďže sa na hlasitosti nezmenilo nič, práca pokračuje. Proces zrkadlenia zväzku do nového Dell sa spustí na pozadí a po dokončení sa zrkadlo pokazí a 3Par sa deaktivuje.
- Organizácia metroklastrov.
Kompresia/deduplikácia
Kompresia a deduplikácia sú technológie, ktoré vám umožňujú šetriť miesto na disku vo vašom úložnom systéme. Okamžite stojí za zmienku, že nie všetky údaje v zásade podliehajú kompresii a/alebo deduplikácii, pričom niektoré typy údajov sú komprimované a deduplikované lepšie a niektoré naopak.
Existujú 2 typy kompresie a deduplikácie:
V rade — pred zápisom týchto údajov na disk dochádza ku kompresii a deduplikácii blokov údajov. Systém teda len vypočíta hash bloku a porovná ho v tabuľke s existujúcimi. Po prvé je to rýchlejšie ako len zápis na disk a po druhé neplytváme priestorom na disku navyše.
pošta - keď sa tieto operácie vykonávajú na už zaznamenaných údajoch umiestnených na diskoch. V súlade s tým sa údaje najskôr zapíšu na disk a až potom sa vypočíta hash a nepotrebné bloky sa odstránia a uvoľnia sa prostriedky na disku.
Stojí za zmienku, že väčšina predajcov používa oba typy, čo im umožňuje optimalizovať tieto procesy a tým zvýšiť ich efektivitu. Väčšina predajcov úložísk má nástroje, ktoré vám umožňujú analyzovať súbory údajov. Tieto nástroje fungujú podľa rovnakej logiky, ktorá je implementovaná v úložnom systéme, takže odhadovaná úroveň účinnosti bude rovnaká. Majte tiež na pamäti, že mnohí predajcovia majú programy na garanciu výkonu, ktoré sľubujú minimálne rovnako dobrý výkon pre určité (alebo všetky) typy údajov. A tento program by ste nemali zanedbávať, pretože výpočtom systému pre vaše úlohy, berúc do úvahy koeficient účinnosti konkrétneho systému, môžete ušetriť na objeme. Za zváženie tiež stojí, že tieto programy sú určené pre AFA systémy, no vďaka nákupu menšieho objemu SSD ako HDD v klasických systémoch sa tým zníži ich cena, a ak sa nerovná cene diskového systému, tak dostať sa k tomu celkom blízko.
Model
A tu sa dostávame k správnej otázke.
"Ponúkajú mi dve možnosti úložiska - ABC SuperStorage S600 a XYZ HyperOcean 666v4, čo odporúčate?"
Zmení sa na „Tu mi ponúkajú dve možnosti úložiska – ABC SuperStorage S600 a XYZ HyperOcean 666v4, čo odporúčate?
Cieľovou záťažou sú zmiešané virtuálne stroje VMware s produkčnými/testovacími/vývojovými slučkami. Test = produktívny. 150 TB každý so špičkovým výkonom 80 000 IOPS 8 kb blok 50 % náhodný prístup 80/20 čítanie a zápis. 300 TB na vývoj, 50 000 IOPS stačí, 80 náhodných, 80 zápis.
Produktivita pravdepodobne v metroklastri RPO = 15 minút RTO = 1 hodina, vývoj v asynchrónnej replikácii RPO = 3 hodiny, test na jednom mieste.
Bude tam 50TB DBMS, logovanie by sa im hodilo.
Všade máme servery Dell, staré úložné systémy Hitachi, ktoré si sotva poradia, plánujeme zvýšiť záťaž o 50 % z hľadiska objemu a výkonu.“
Ako sa hovorí, správne formulovaná otázka obsahuje 80% odpovedí.
doplňujúce informácie
Čo by ste si podľa autorov mali prečítať dodatočne
knihy
- Olifer a Olifer „Počítačové siete“. Kniha pomôže systematizovať a možno aj lepšie pochopiť, ako funguje prenosové médium pre úložné systémy IP / Ethernet
- "EMC Information Storage and Management." Vynikajúca kniha o základoch úložných systémov, prečo, ako a prečo.
Fóra a chaty
Všeobecné odporúčania
Ceny
Teraz k cenám - vo všeobecnosti, ak existujú ceny za úložné systémy, sú to zvyčajne Cenníkové ceny, z ktorých každý zákazník dostane individuálnu zľavu. Veľkosť zľavy sa skladá z veľkého množstva parametrov, preto je jednoducho nemožné predpovedať, akú konečnú cenu dostane vaša spoločnosť bez toho, aby ste sa spýtali distribútora. No zároveň sa v poslednom čase začínajú v bežných počítačových obchodoch objavovať aj low-end modely, ako napr alebo . Tu si môžete ihneď zakúpiť systém, o ktorý máte záujem, za pevnú cenu, ako všetky počítačové komponenty.
Chcel by som však hneď poznamenať, že priame porovnanie podľa TB/$ nie je správne. Ak k tomu pristúpime z tohto pohľadu, tak najlacnejším riešením bude jednoduchý server JBOD +, ktorý nezabezpečí flexibilitu ani spoľahlivosť, akú poskytuje plnohodnotný úložný systém s dvomi radičmi. To vôbec neznamená, že JBOD je nechutný a škaredý špinavý trik, musíte znova veľmi jasne pochopiť, ako a na aké účely budete toto riešenie používať. Často môžete počuť, že v JBOD nie je čo zlomiť, je tam len jedna backplane. Zadné dosky však tiež niekedy zlyhajú. Všetko sa skôr či neskôr zlomí.
Celkom
Systémy je potrebné porovnávať medzi sebou nielen cenou, alebo nielen výkonom, ale súhrnom všetkých ukazovateľov.
HDD kupujte, len ak ste si istí, že HDD potrebujete. V prípade nízkej záťaže a nekomprimovateľných dátových typov sa v opačnom prípade oplatí obrátiť sa na programy garancie efektivity úložiska SSD, ktoré teraz väčšina predajcov má (a skutočne fungujú, dokonca aj v Rusku), ale všetko závisí od aplikácií a údajov, ktoré budú umiestnené. na tomto úložnom systéme.
Nechoďte na lacné. Niekedy sa v nich skrýva veľa nepríjemných momentov, z ktorých jeden opísal Evgeniy Elizarov vo svojich článkoch . A že v konečnom dôsledku sa táto lacnosť môže obrátiť proti vám. Nezabudnite - "chudák platí dvakrát."
Zdroj: www.habr.com