🥇Cum să alegi un sistem de stocare fără să te împuști în picior

Introducere

Este timpul să cumpărați spațiu de stocare. Pe care să iau, pe cine să ascult? Vânzătorul A vorbește despre furnizorul B, iar apoi există integratorul C, care spune contrariul și îl sfătuiește pe vânzătorul D. Într-o astfel de situație, chiar și capul unui arhitect de depozitare cu experiență se va învârti, mai ales cu toți furnizorii noi și SDS și hiperconvergența care sunt la modă astăzi.

Deci, cum să-ți dai seama de toate și să nu ajungi să fii prost? Noi (AntonVirtual Anton Zhbankov și corp Evgeniy Elizarov) să încercăm să vorbim despre asta în rusă simplă.
Articolul are multe asemănări și este de fapt o extensie a „Design de centru de date virtualizat” în ceea ce privește alegerea sistemelor de stocare și revizuirea tehnologiilor de stocare. Ne vom uita pe scurt la teoria generală, dar vă recomandăm să citiți și acest articol.

Pentru ce

Puteți vedea adesea o situație în care o persoană nouă vine la un forum sau un chat specializat, cum ar fi Discuții de stocare, și pune întrebarea: „aici îmi oferă două opțiuni de stocare - ABC SuperStorage S600 și XYZ HyperOcean 666v4, ce recomandati ?”

Și începe confuzia despre cine are ce caracteristici ale implementării unor caracteristici teribile și de neînțeles, care pentru o persoană nepregătită sunt complet chinezești.

Deci, cheia și prima întrebare pe care trebuie să ți-o pui cu mult înainte de a compara specificațiile din propunerile comerciale este DE CE? De ce este necesar acest sistem de stocare?

Răspunsul va fi neașteptat și foarte stil Tony Robbins - pentru a stoca date. Mulțumesc, căpitane! Și totuși, uneori ajungem atât de adânc în compararea detaliilor încât uităm de ce facem toate acestea în primul rând.

Deci, sarcina unui sistem de stocare a datelor este să stocheze și să ofere acces la DATE cu o performanță dată. Vom începe cu datele.

De date

Tipul de date

Ce fel de date intenționăm să stocăm? O întrebare foarte importantă care poate elimina multe sisteme de stocare din considerație. De exemplu, intenționați să stocați videoclipuri și fotografii. Puteți elimina imediat sistemele concepute pentru acces aleatoriu în blocuri mici sau sistemele cu caracteristici proprietare în compresie/deduplicare. Acestea pot fi pur și simplu sisteme excelente, nu vrem să spunem nimic rău. Dar, în acest caz, punctele lor forte fie vor deveni slabe (videoclipul și fotografiile nu sunt comprimate), fie pur și simplu vor crește semnificativ costul sistemului.

În schimb, dacă utilizarea intenționată este un SGBD tranzacțional ocupat, atunci sistemele excelente de streaming multimedia capabile să livreze gigaocteți pe secundă vor fi o alegere proastă.

Volumul datelor

Câte date intenționăm să stocăm? Cantitatea se dezvoltă întotdeauna în calitate; acest lucru nu trebuie uitat niciodată, mai ales în timpul nostru de creștere exponențială a volumului de date. Sistemele din clasa Petabyte nu mai sunt neobișnuite, dar cu cât capacitatea petabyte este mai mare, cu atât sistemul devine mai specific, cu atât funcționalitatea obișnuită a sistemelor de acces aleatoriu de dimensiuni mici și mijlocii va fi mai puțin accesibilă. Este banal, deoarece tabelele cu statistici de acces la blocuri devin singure mai mari decât cantitatea disponibilă de RAM pe controlere. Ca să nu mai vorbim de compresie/tiering. Să presupunem că vrem să comutăm algoritmul de compresie la unul mai puternic și să comprimăm 20 de petaocteți de date. Cât va dura: șase luni, un an?

Pe de altă parte, de ce să vă deranjați dacă trebuie să stocați și să procesați 500 GB de date? Doar 500. SSD-urile de uz casnic (cu DWPD scăzut) de această dimensiune nu costă nimic. De ce să construiți o fabrică Fibre Channel și să cumpărați sisteme de stocare externe de ultimă generație care costă echivalentul unui pod de fontă?

Ce procent din total sunt date fierbinți? Cât de neuniformă este încărcarea în ceea ce privește volumul de date? Aici tehnologia de stocare pe niveluri sau Flash Cache poate fi de mare ajutor dacă cantitatea de date fierbinți este mică în comparație cu totalul. Sau invers, cu o încărcare uniformă pe întreg volumul, care se găsește adesea în sistemele de streaming (supraveghere video, unele sisteme de analiză), astfel de tehnologii nu vor oferi nimic și nu vor face decât să crească costul/complexitatea sistemului.

IC

Cealaltă parte a datelor este sistemul informațional care utilizează datele. Un IS are un set de cerințe care moștenesc datele. Pentru mai multe informații despre IS, consultați „Proiectarea centrului de date virtualizat”.

Cerințe de rezistență/Disponibilitate

Cerințele pentru toleranța la erori / disponibilitatea datelor sunt moștenite de la IS care le utilizează și sunt exprimate în trei numere - RPO, RTO, disponibilitate.

disponibilitate — cota pentru o anumită perioadă de timp în care datele sunt disponibile pentru lucrul cu aceștia. De obicei, exprimat ca un număr de 9. De exemplu, doi nouă pe an înseamnă că disponibilitatea este de 99%, sau altfel sunt permise 95 de ore de indisponibilitate pe an. Trei nouă - 9,5 ore pe an.

RPO/RTO nu sunt indicatori totali, ci pentru fiecare incident (accident), în contrast cu disponibilitatea.

RPO — cantitatea de date pierdută în timpul unui accident (în ore). De exemplu, dacă backup-urile au loc o dată pe zi, atunci RPO = 24 de ore. Acestea. În cazul unui dezastru și al pierderii complete a sistemului de stocare, se pot pierde date de până la 24 de ore (din momentul efectuării backupului). Pe baza RPO-ului specificat pentru IS, de exemplu, sunt scrise reglementări de rezervă. De asemenea, pe baza RPO, puteți înțelege cât de mult este necesară replicarea datelor sincrone/asincrone.

RTO — timpul pentru restabilirea serviciului (accesul la date) după un dezastru. Pe baza valorii RTO date, putem înțelege dacă este nevoie de un cluster de metrou sau dacă replicarea unidirecțională este suficientă. Aveți nevoie de un sistem de stocare cu mai multe controlere de ultimă generație?

Cerinte de performanta

Deși aceasta este o întrebare foarte evidentă, aici apar majoritatea dificultăților. În funcție de faptul că aveți deja sau nu un fel de infrastructură, se vor construi modalități de colectare a statisticilor necesare.

Aveți deja un sistem de stocare și căutați un înlocuitor sau doriți să cumpărați altul pentru extindere. Totul este simplu aici. Înțelegeți ce servicii aveți deja și pe care plănuiți să le implementați în viitorul apropiat. Pe baza serviciilor actuale, aveți posibilitatea de a colecta statistici de performanță. Decideți numărul actual de IOPS și latența actuală - care sunt acești indicatori și sunt suficienti pentru sarcinile dvs.? Acest lucru se poate face atât pe sistemul de stocare a datelor în sine, cât și de la gazdele care sunt conectate la acesta.

Mai mult, trebuie să vă uitați nu doar la sarcina actuală, ci și pe o anumită perioadă (de preferință o lună). Vedeți care sunt vârfurile maxime în timpul zilei, ce încărcare creează backup-ul etc. Dacă sistemul dvs. de stocare sau software-ul său nu vă furnizează un set complet al acestor date, puteți utiliza instrumentul gratuit RRD, care poate funcționa cu cele mai populare sisteme de stocare și comutatoare și vă poate oferi statistici detaliate de performanță. De asemenea, merită să vă uitați la încărcarea gazdelor care funcționează cu acest sistem de stocare, pentru anumite mașini virtuale sau ce anume rulează pe această gazdă.

Este demn de remarcat separat faptul că, dacă întârzierile asupra volumului și depozitul de date care se află pe acest volum diferă destul de semnificativ, ar trebui să acordați atenție rețelei dvs. SAN, există o probabilitate mare să apară probleme cu aceasta și înainte de a cumpăra un nou sistem, merită analizat această problemă, deoarece există o probabilitate foarte mare de creștere a performanței sistemului actual.

Construiți o infrastructură de la zero sau cumpărați un sistem pentru un serviciu nou, a cărui încărcătură nu le cunoașteți. Există mai multe opțiuni: comunicați cu colegii pe resurse specializate pentru a încerca să aflați și să preziceți sarcina, contactați un integrator care are experiență în implementarea unor servicii similare și care poate calcula sarcina pentru dvs. Iar a treia opțiune (de obicei cea mai dificilă, mai ales dacă este vorba de aplicații scrise acasă sau rare) este să încerci să afli cerințele de performanță de la dezvoltatorii de sistem.

Și, vă rugăm să rețineți, cea mai corectă opțiune din punct de vedere al aplicării practice este un pilot pe echipamentul actual, sau echipamentul furnizat pentru testare de către un furnizor/integrator.

Cerinte speciale

Cerințele speciale sunt tot ceea ce nu se încadrează în cerințele de performanță, toleranță la erori și funcționalitate pentru prelucrarea și furnizarea directă a datelor.

Una dintre cele mai simple cerințe speciale pentru un sistem de stocare a datelor poate fi numită „medii de stocare alienabile”. Și devine imediat clar că acest sistem de stocare a datelor trebuie să includă o bibliotecă de benzi sau pur și simplu o unitate de bandă pe care copia de rezervă este descărcată. După care o persoană special instruită semnează banda și o poartă cu mândrie într-un seif special.
Un alt exemplu de cerință specială este un design protejat rezistent la șocuri.

unde

A doua componentă principală în alegerea unui anumit sistem de stocare este informațiile despre UNDE va fi amplasat acest sistem de stocare. Pornind de la geografie sau condițiile climatice și terminând cu personalul.

Client

Pentru cine este proiectat acest sistem de stocare? Întrebarea are următoarele motive:

Client guvernamental/comercial.
Clientul comercial nu are restricții și nici măcar nu este obligat să organizeze licitații, decât în conformitate cu propriile reglementări interne.

Un client guvernamental este o problemă diferită. 44 Legea federală și alte delicii cu licitații și specificații tehnice care pot fi contestate.

Clientul este sancționat
Ei bine, întrebarea aici este foarte simplă - alegerea este limitată doar de ofertele disponibile unui anumit client.

Reglementări interne / vânzători / modele permise pentru cumpărare
Întrebarea este, de asemenea, extrem de simplă, dar trebuie să o amintiți.

Unde din punct de vedere fizic

În această parte luăm în considerare toate problemele legate de geografie, canalele de comunicare și microclimatul din spațiile de cazare.

personal

Cine va lucra cu acest sistem de stocare? Acest lucru nu este mai puțin important decât ceea ce poate face sistemul de stocare în sine.
Indiferent cât de promițător, cool și minunat este sistemul de stocare de la furnizorul A, probabil că nu are rost să-l instalezi dacă personalul știe doar să lucreze cu furnizorul B și nu există planuri pentru achiziții ulterioare și cooperare continuă cu A.

Și, desigur, cealaltă parte a întrebării este cât de disponibil este personalul pregătit într-o anumită locație geografică direct în companie și, potențial, pe piața muncii. Pentru regiuni, alegerea sistemelor de stocare cu interfețe simple sau capacitatea de a centraliza de la distanță managementul poate avea foarte mult sens. În caz contrar, la un moment dat poate deveni extrem de dureros. Internetul este plin de povești despre cum un nou angajat sosit, studentul de ieri, a configurat așa ceva încât întregul birou a fost distrus.

împrejurimi

Și, desigur, o întrebare importantă este în ce mediu va funcționa acest sistem de stocare.

Ce zici de alimentare/răcire?
Ce legătură
Unde va fi instalat?
etc.

Adesea, aceste întrebări sunt luate de la sine înțeles și nu sunt luate în considerare în mod deosebit, dar uneori sunt cele care pot întoarce totul.

Ce

Furnizor

Începând de astăzi (jumătatea anului 2019), piața de depozitare din Rusia poate fi împărțită în 5 categorii:

Cea mai înaltă divizie o reprezintă companiile bine stabilite, cu o gamă largă de rafturi de discuri, de la cele mai simple la cele mai performante (HPE, DellEMC, Hitachi, NetApp, IBM / Lenovo)
Divizia a doua - companii cu o linie limitată, jucători de nișă, furnizori serioși de SDS sau noi veniți în ascensiune (Fujitsu, Datacore, Infinidat, Huawei, Pure etc.)
Divizia a treia - soluții de nișă în rangul inferior, SDS ieftine, produse avansate bazate pe ceph și alte proiecte deschise (Infortrend, Starwind etc.)
Segmentul SOHO - sisteme de stocare mici și ultra-mici la nivel de casă/birou mic (Synology, QNAP etc.)
Sisteme de stocare substituite de import - aceasta include atât hardware-ul primei divizii cu etichete reetichetate, cât și reprezentanți rari ai celei de-a doua (RAIDIX, le vom oferi pe al doilea în avans), dar în principal aceasta este a treia divizie (Aerodisk, Baum, Depo etc.)

Împărțirea este destul de arbitrară și nu înseamnă deloc că al treilea segment sau SOHO este rău și nu poate fi folosit. În proiecte specifice cu un set de date și un profil de încărcare clar definite, acestea pot funcționa foarte bine, depășind cu mult prima divizie în ceea ce privește raportul preț/calitate. Este important să vă decideți mai întâi obiectivele, perspectivele de creștere și funcționalitatea necesară - și apoi Synology vă va servi cu fidelitate, iar părul dvs. va deveni moale și mătăsos.

Unul dintre factorii importanți atunci când alegeți un furnizor este mediul actual. Câte sisteme de stocare aveți deja și cu ce sisteme de stocare pot lucra inginerii dvs. Aveți nevoie de alt furnizor, alt punct de contact, veți migra treptat întreaga încărcătură de la furnizorul A la furnizorul B?

Nu ar trebui să se producă entități dincolo de ceea ce este necesar.

iSCSI/FC/Fișier

Nu există un consens între ingineri cu privire la problema protocoalelor de acces, iar dezbaterea seamănă mai mult cu discuțiile teologice decât cu cele de inginerie. Dar, în general, pot fi remarcate următoarele puncte:

FCoE mai mult mort decât viu.

FC vs iSCSI. Unul dintre avantajele cheie ale FC în 2019 față de stocarea IP, o fabrică dedicată pentru accesul la date, este compensat de o rețea IP dedicată. FC nu are avantaje globale față de rețelele IP, iar IP poate fi folosit pentru a construi sisteme de stocare de orice nivel de încărcare, până la sisteme pentru DBMS grele pentru sistemul bancar de bază al unei bănci mari. Pe de altă parte, moartea lui FC este profețită de câțiva ani, dar ceva o împiedică constant. Astăzi, de exemplu, unii jucători de pe piața de stocare dezvoltă în mod activ standardul NVMEoF. Dacă va împărtăși soarta FCoE - timpul va spune.

Acces la fișiere de asemenea, nu este ceva nedemn de atenție. NFS/CIFS funcționează bine în mediile de productivitate și, dacă este proiectat corect, nu are mai multe plângeri decât blocarea protocoalelor.

Matrice hibridă / All Flash

Sistemele clasice de stocare vin în 2 tipuri:

AFA (All Flash Array) - sisteme optimizate pentru utilizarea SSD.
Hybrid - permițându-vă să utilizați atât HDD, cât și SSD sau o combinație a acestora.

Principala lor diferență este tehnologiile de eficiență a stocării acceptate și nivelul maxim de performanță (IOPS ridicat și latență scăzută). Ambele sisteme (în majoritatea modelelor lor, fără a lua în calcul segmentul low-end) pot funcționa atât ca dispozitive bloc, cât și ca dispozitive de fișiere. Funcționalitatea suportată depinde de nivelul sistemului, iar pentru modelele mai tinere este cel mai adesea redusă la un nivel minim. Acest lucru merită să acordați atenție atunci când studiați caracteristicile unui anumit model și nu doar capacitățile întregii linii în ansamblu. De asemenea, desigur, caracteristicile sale tehnice, precum procesorul, cantitatea de memorie, cache-ul, numărul și tipurile de porturi etc., depind și de nivelul sistemului. Din punct de vedere al managementului, AFA-urile diferă de sistemele hibride (disc) doar prin implementarea mecanismelor de lucru cu unități SSD și chiar dacă utilizați un SSD într-un sistem hibrid, asta nu înseamnă deloc că veți putea pentru a atinge nivelul de performanţă la nivelul unui sistem AFA . De asemenea, în majoritatea cazurilor, mecanismele de stocare eficiente în linie sunt dezactivate pe sistemele hibride, iar includerea lor duce la o pierdere a performanței.

Sisteme speciale de depozitare

Pe lângă sistemele de stocare de uz general, axate în primul rând pe prelucrarea operațională a datelor, există sisteme speciale de stocare cu principii cheie care sunt fundamental diferite de cele obișnuite (latență scăzută, IOPS ridicate):

Mass-media.

Aceste sisteme sunt concepute pentru stocarea și procesarea fișierelor media mari. Resp. întârzierea devine practic neimportantă, iar capacitatea de a trimite și primi date într-o bandă largă în multe fluxuri paralele iese în prim-plan.

Deduplicarea sistemelor de stocare pentru backup.

Deoarece copiile de rezervă se disting prin asemănarea lor între ele, ceea ce este rar în condiții normale (copia de rezervă medie diferă de copia de ieri cu 1-2%), această clasă de sisteme ambalează extrem de eficient datele înregistrate pe ele într-un interval destul de mic. numărul de medii fizice. De exemplu, în unele cazuri, rapoartele de compresie a datelor pot ajunge la 200 la 1.

Sisteme de stocare a obiectelor.

Aceste sisteme de stocare nu au volume obișnuite de blocare și partajări de fișiere și, mai ales, seamănă cu o bază de date uriașă. Accesul la un obiect stocat într-un astfel de sistem se realizează printr-un identificator unic sau prin metadate (de exemplu, toate obiectele în format JPEG cu o dată de creare între XX-XX-XXXX și YY-YY-YYYY).

Sistem de conformitate.

Ele nu sunt atât de comune în Rusia astăzi, dar merită menționate. Scopul acestor sisteme de stocare este garantarea stocării datelor pentru a respecta politicile de securitate sau cerințele de reglementare. Unele sisteme (de exemplu EMC Centera) au implementat o funcție de interzicere a ștergerii datelor - de îndată ce cheia este rotită și sistemul intră în acest mod, nici administratorul și nici altcineva nu poate șterge fizic datele care au fost deja înregistrate.

Tehnologii proprietare

Flash cache

Flash Cache este un nume comun pentru toate tehnologiile proprietare pentru utilizarea memoriei flash ca cache de nivel al doilea. Când se folosește un cache flash, sistemul de stocare este de obicei calculat pentru a oferi o încărcare constantă de pe discurile magnetice, în timp ce vârful este servit de cache.

În acest caz, este necesar să înțelegeți profilul de încărcare și gradul de localizare a accesului la blocurile de volume de stocare. Flash cache este o tehnologie pentru încărcături de lucru cu interogări foarte localizate și este practic inaplicabilă pentru volume încărcate uniform (cum ar fi pentru sistemele de analiză).

Există două implementări flash cache disponibile pe piață:

Numai citire. În acest caz, doar datele citite sunt stocate în cache, iar scrierea merge direct pe discuri. Unii producători, precum NetApp, cred că scrierea în sistemele lor de stocare este deja optimă, iar cache-ul nu va ajuta deloc.
Citeste, scrie. Nu numai citirea, ci și scrierea sunt stocate în cache, ceea ce vă permite să salvați fluxul și să reduceți impactul Penalty-ului RAID și, ca urmare, să creșteți performanța generală pentru sistemele de stocare cu un mecanism de scriere mai puțin optim.

Nivelare

Stocarea pe mai multe niveluri (obositoare) este o tehnologie pentru combinarea nivelurilor cu diferite niveluri de performanță, cum ar fi SSD și HDD, într-un singur pool de discuri. În cazul unor denivelări pronunțate de acces la blocurile de date, sistemul va putea echilibra automat blocurile de date, mutându-le pe cele încărcate la un nivel performant, iar pe cele reci, dimpotrivă, la unul mai lent.

Sistemele hibride ale claselor inferioare și mijlocii folosesc stocarea pe mai multe niveluri cu datele care se deplasează între niveluri într-un program. În același timp, dimensiunea blocului de stocare pe mai multe niveluri pentru cele mai bune modele este de 256 MB. Aceste caracteristici nu ne permit să considerăm tehnologia de stocare pe niveluri o tehnologie pentru creșterea productivității, așa cum cred în mod eronat mulți oameni. Stocarea pe mai multe niveluri în sistemele de clasă joasă și mijlocie este o tehnologie pentru optimizarea costurilor de stocare pentru sistemele cu denivelări pronunțate ale sarcinii.

Instantaneu

Indiferent cât de mult vorbim despre fiabilitatea sistemelor de stocare, există multe oportunități de a pierde date care nu depind de problemele hardware. Acesta ar putea fi viruși, hackeri sau orice altă ștergere/corupție neintenționată a datelor. Din acest motiv, copierea de rezervă a datelor de producție este o parte integrantă a muncii unui inginer.

Un instantaneu este un instantaneu al unui volum la un moment dat. Când lucrați cu majoritatea sistemelor, cum ar fi virtualizarea, bazele de date etc. trebuie să facem un astfel de instantaneu din care vom copia datele într-o copie de rezervă, în timp ce IS-ul nostru va putea continua să lucreze în siguranță cu acest volum. Dar merită să ne amintim că nu toate instantaneele sunt la fel de utile. Diferiți furnizori au abordări diferite pentru a crea instantanee legate de arhitectura lor.

CoW (Copy-On-Write). Când încercați să scrieți un bloc de date, conținutul său original este copiat într-o zonă specială, după care scrierea se desfășoară în mod normal. Acest lucru previne coruperea datelor din interiorul instantaneului. Desigur, toate aceste manipulări de date „parazitare” provoacă încărcare suplimentară asupra sistemului de stocare și, din acest motiv, furnizorii cu implementări similare nu recomandă utilizarea a mai mult de o duzină de instantanee și să nu le folosească deloc pe volume foarte încărcate.

Rând (redirecționare la scriere). În acest caz, volumul original îngheață în mod natural, iar atunci când încearcă să scrie un bloc de date, sistemul de stocare scrie date într-o zonă specială din spațiul liber, schimbând locația acestui bloc în tabelul de metadate. Acest lucru vă permite să reduceți numărul de operațiuni de rescriere, ceea ce în cele din urmă elimină scăderea performanței și elimină restricțiile privind instantaneele și numărul acestora.

Instantaneele sunt, de asemenea, de două tipuri în raport cu aplicații:

Consecvența aplicației. În momentul creării unui instantaneu, sistemul de stocare trage un agent în sistemul de operare al consumatorului, care șterge forțat cache-urile de pe disc din memorie pe disc și obligă aplicația să facă acest lucru. În acest caz, la restaurarea dintr-un instantaneu, datele vor fi consistente.

Crash consistent. În acest caz, nu se întâmplă nimic de genul acesta și instantaneul este creat așa cum este. În cazul recuperării dintr-un astfel de instantaneu, imaginea este identică cu ceea ce s-ar întâmpla dacă alimentarea ar fi oprită brusc și este posibilă o anumită pierdere de date, blocate în cache și nu ajung niciodată pe disc. Astfel de instantanee sunt mai ușor de implementat și nu provoacă degradarea performanței în aplicații, dar sunt mai puțin fiabile.

De ce sunt necesare instantanee pe sistemele de stocare?

Backup fără agent direct din sistemul de stocare
Creați medii de testare bazate pe date reale
În cazul sistemelor de stocare a fișierelor, acesta poate fi utilizat pentru a crea medii VDI prin utilizarea instantaneelor sistemului de stocare în locul unui hypervisor.
Asigurați RPO scăzute prin crearea de instantanee programate la o frecvență semnificativ mai mare decât frecvența de rezervă

clonarea

Clonarea volumului - funcționează pe un principiu similar ca instantaneele, dar este folosită nu doar pentru citirea datelor, ci și pentru a lucra pe deplin cu acestea. Putem obține o copie exactă a volumului nostru, cu toate datele de pe el, fără a face o copie fizică, ceea ce va economisi spațiu. De obicei, clonarea volumului este utilizată fie în Test&Dev, fie dacă doriți să verificați funcționalitatea unor actualizări ale IS-ului dvs. Clonarea vă va permite să faceți acest lucru cât mai rapid și cât mai economic posibil în ceea ce privește resursele de disc, deoarece Vor fi scrise doar blocurile de date modificate.

Replicare / Jurnalizare

Replicarea este un mecanism pentru crearea unei copii a datelor pe un alt sistem de stocare fizic. De obicei, fiecare furnizor are o tehnologie proprie care funcționează numai în cadrul propriei linii. Dar există și soluții de la terți, inclusiv cele care funcționează la nivel de hypervisor, cum ar fi VMware vSphere Replication.

Funcționalitatea tehnologiilor proprietare și ușurința de utilizare a acestora sunt de obicei mult superioare celor universale, dar se dovedesc a fi inaplicabile atunci când, de exemplu, este necesar să se facă o replică de la NetApp la HP MSA.

Replicarea este împărțită în două subtipuri:

Sincron. În cazul replicării sincrone, operația de scriere este trimisă imediat la al doilea sistem de stocare și execuția nu este confirmată până când sistemul de stocare la distanță nu confirmă. Din această cauză, întârzierea accesului crește, dar avem o copie exactă în oglindă a datelor. Acestea. RPO = 0 în cazul pierderii sistemului principal de stocare.

asincron. Operațiile de scriere sunt executate numai pe sistemul de stocare principal și sunt confirmate imediat, în timp ce se acumulează simultan într-un buffer pentru transmiterea în lot către sistemul de stocare la distanță. Acest tip de replicare este relevant pentru date mai puțin valoroase sau pentru canale cu lățime de bandă redusă sau latență mare (tipic pentru distanțe peste 100 km). În consecință, RPO = frecvența de trimitere a pachetelor.

Adesea, împreună cu replicarea, există un mecanism Logare operații pe disc. În acest caz, o zonă specială este alocată pentru înregistrarea și operațiunile de înregistrare cu o anumită adâncime în timp, sau limitate de volumul jurnalului, sunt stocate. Pentru anumite tehnologii proprietare, cum ar fi EMC RecoverPoint, există integrare cu software-ul de sistem care vă permite să legați anumite marcaje la o anumită intrare de jurnal. Datorită acestui fapt, este posibil să derulați înapoi starea unui volum (sau să creați o clonă) nu doar la 23 aprilie, 11 ore 59 secunde 13 milisecunde, ci până la momentul înainte de „DROP ALL TABLES; COMMIT.”

Cluster de metrou

Clusterul Metro este o tehnologie care vă permite să creați o replicare sincronă bidirecțională între două sisteme de stocare, astfel încât din exterior această pereche să arate ca un sistem de stocare. Este folosit pentru a crea clustere cu brațe separate geografic la distanțe de metrou (mai puțin de 100 km).

Pe baza exemplului de utilizare într-un mediu de virtualizare, metroclusterul vă permite să creați un depozit de date cu mașini virtuale, accesibil pentru înregistrarea din două centre de date simultan. În acest caz, la nivel de hypervisor este creat un cluster, format din gazde în diferite centre de date fizice, conectate la acest depozit de date. Ceea ce vă permite să faceți următoarele:

Automatizarea completă a procesului de recuperare după moartea unuia dintre centrele de date. Fără fonduri suplimentare, toate VM-urile care rulează în centrul de date decedat vor fi repornite automat în cel rămas. RTO = timeout cluster de înaltă disponibilitate (15 secunde pentru VMware) + timp pentru încărcarea sistemului de operare și pornirea serviciilor.
Evitarea dezastrelor sau, în rusă, evitarea dezastrelor. Dacă lucrările de alimentare sunt planificate în centrul de date 1, atunci avem posibilitatea de a migra întreaga sarcină importantă către centrul de date 2 fără oprire în avans, înainte de începerea lucrărilor.

Virtualizare

Virtualizarea stocării este din punct de vedere tehnic utilizarea volumelor dintr-un alt sistem de stocare ca discuri. Un virtualizator de stocare poate transfera pur și simplu volumul altcuiva către consumator ca al său, oglindindu-l simultan într-un alt sistem de stocare sau chiar poate crea un RAID din volume externe.
Reprezentanții clasici în clasa de virtualizare a stocării sunt EMC VPLEX și IBM SVC. Și, bineînțeles, sisteme de stocare cu funcționalitate de virtualizare - NetApp, Hitachi, IBM / Lenovo Storwize.

De ce ar putea fi nevoie?

Redundanță la nivelul sistemului de stocare. Se creează o oglindă între volume, iar o jumătate poate fi pe HP 3Par, iar cealaltă pe NetApp. Iar virtualizatorul este de la EMC.
Mutați datele cu timp de nefuncționare minim între sistemele de stocare de la diferiți producători. Să presupunem că datele trebuie migrate de la vechiul 3Par, care va fi anulat, la noul Dell. În acest caz, consumatorii sunt deconectați de la 3Par, volumele sunt transferate sub VPLEX și sunt prezentate din nou consumatorilor. Deoarece nu s-a schimbat puțin volumul, munca continuă. Procesul de oglindire a volumului pe noul Dell începe în fundal, iar la finalizare, oglinda este ruptă și 3Par este dezactivat.
Organizarea metroclusterelor.

Compresie/deduplicare

Comprimarea și deduplicarea sunt tehnologii care vă permit să economisiți spațiu pe disc pe sistemul dvs. de stocare. Merită menționat imediat că nu toate datele sunt supuse comprimarii și/sau deduplicarii în principiu, în timp ce unele tipuri de date sunt comprimate și deduplicate mai bine, iar altele - invers.

Există 2 tipuri de compresie și deduplicare:

In linie — compresia și deduplicarea blocurilor de date au loc înainte de scrierea acestor date pe disc. Astfel, sistemul calculează doar hash-ul blocului și îl compară în tabel cu cele existente. În primul rând, este mai rapid decât doar scrierea pe disc și, în al doilea rând, nu pierdem spațiu suplimentar pe disc.

Post - când aceste operațiuni sunt efectuate pe date deja înregistrate aflate pe discuri. În consecință, datele sunt scrise mai întâi pe disc și abia apoi hash-ul este calculat și blocurile inutile sunt șterse și resursele de disc sunt eliberate.

Merită spus că majoritatea vânzătorilor folosesc ambele tipuri, ceea ce le permite să optimizeze aceste procese și, prin urmare, să le sporească eficiența. Majoritatea furnizorilor de stocare au utilitare care vă permit să vă analizați seturile de date. Aceste utilitati functioneaza dupa aceeasi logica care este implementata in sistemul de stocare, deci nivelul estimat de eficienta va fi acelasi. De asemenea, rețineți că mulți furnizori au programe de garantare a performanței care promit performanțe cel puțin la fel de bune pentru anumite (sau toate) tipuri de date. Și nu trebuie să neglijați acest program, deoarece calculând sistemul pentru sarcinile dvs., ținând cont de coeficientul de eficiență al unui anumit sistem, puteți economisi volum. De asemenea, merită luat în considerare faptul că aceste programe sunt concepute pentru sistemele AFA, dar datorită achiziționării unui volum mai mic de SSD-uri decât HDD-urile în sistemele clasice, acest lucru va reduce costul acestora și, dacă nu este egal cu costul unui sistem de discuri, atunci apropie destul de mult de ea.

Model

Și aici ajungem la întrebarea corectă.

„Îmi oferă două opțiuni de stocare - ABC SuperStorage S600 și XYZ HyperOcean 666v4, ce recomandați?”

Se transformă în „Aici îmi oferă două opțiuni de stocare - ABC SuperStorage S600 și XYZ HyperOcean 666v4, ce îmi recomandați?

Sarcina țintă este combinată de mașini virtuale VMware cu bucle de producție/test/dezvoltare. Test = productiv. 150 TB fiecare cu o performanță de vârf de 80 IOPS 000 kb bloc 8% acces aleatoriu 50/80 citire-scriere. 20 TB pentru dezvoltare, 300 IOPS sunt suficiente, 50 aleatoriu, 000 scriere.

Productivitatea probabil în metrocluster RPO = 15 minute RTO = 1 oră, dezvoltare în replicare asincronă RPO = 3 ore, testare pe un singur loc.

Va exista un DBMS de 50TB, înregistrarea ar fi bine pentru ei.

Avem servere Dell peste tot, sisteme vechi de stocare Hitachi, abia se descurcă, intenționăm să creștem încărcarea cu 50% în ceea ce privește volumul și performanța.”

După cum se spune, o întrebare corect formulată conține 80% din răspuns.

informaţii suplimentare

Ce ar trebui să citiți în plus conform autorilor

cărți

Olifer și Olifer „Rețele de calculatoare”. Cartea va ajuta la sistematizarea și poate înțelege mai bine modul în care funcționează mediul de transmitere a datelor pentru sistemele de stocare IP/Ethernet
„Depozitarea și gestionarea informațiilor EMC”. O carte excelentă despre elementele de bază ale sistemelor de stocare, de ce, cum și de ce.

Forumuri și chat-uri

recomandări generale

Preturi

Acum, în ceea ce privește prețurile - în general, dacă există prețuri pentru sistemele de stocare, acestea sunt de obicei prețuri de listă, de la care fiecare client primește o reducere individuală. Mărimea reducerii constă dintr-un număr mare de parametri, așa că este pur și simplu imposibil să preziceți ce preț final va primi compania dumneavoastră fără să întrebați distribuitorul. Dar, în același timp, recent modele low-end au început să apară în magazinele obișnuite de calculatoare, cum ar fi, de exemplu nix.ru sau xcom-shop.ru. Aici puteți achiziționa imediat sistemul care vă interesează la un preț fix, ca orice componente de calculator.

Dar aș dori să observ imediat că o comparație directă prin TB/$ nu este corectă. Dacă o abordăm din acest punct de vedere, atunci cea mai ieftină soluție va fi un simplu server JBOD +, care nu va oferi nici flexibilitatea, nici fiabilitatea pe care o oferă un sistem de stocare complet, cu dual-controller. Acest lucru nu înseamnă deloc că JBOD este dezgustător și un truc murdar urât, trebuie doar să înțelegeți din nou foarte clar cum și în ce scopuri veți folosi această soluție. Puteți auzi adesea că nu există nimic de spart în JBOD, există doar un singur backplane. Cu toate acestea, și backplanele eșuează uneori. Totul se sparge mai devreme sau mai târziu.

În total

Este necesar să se compare sistemele între ele nu numai în funcție de preț sau nu numai de performanță, ci de totalitatea tuturor indicatorilor.

Cumpărați HDD numai dacă sunteți sigur că aveți nevoie de HDD. Pentru încărcături mici și tipuri de date incompresibile, în caz contrar, merită să apelați la programele de garantare a eficienței stocării SSD, pe care majoritatea vânzătorilor le au acum (și chiar funcționează, chiar și în Rusia), dar totul depinde de aplicațiile și datele care vor fi localizate. pe acest sistem de stocare.

Nu merge pe ieftin. Uneori, acestea ascund o mulțime de momente neplăcute, dintre care Evghenii Elizarov l-a descris în articolele sale despre Infortrend. Și că, în cele din urmă, această ieftinitate se poate întoarce împotriva ta. Nu uita - „avarul plătește de două ori”.

Sursa: www.habr.com

Cum să alegi spațiul de depozitare fără a te împușca în picior