În postările anterioare, am împărtășit instrucțiuni pentru configurarea și bazate pe Veeam. Astăzi dorim să vorbim despre backup-ul realizat cu ajutorul Commvault. Nu vor fi instrucțiuni, dar vă vom spune ce și cum deja backup-ează clienții noștri.
Sistemele de stocare pentru backup-ul bazat pe Commvault în centrul de date OST-2.
Cum funcționează?
Commvault este o platformă pentru backup-ul aplicațiilor, bazelor de date, sistemelor de fișiere, mașinilor virtuale și serverelor fizice. Datele originale pot fi în orice locație: la noi, la client, într-un alt centru de date comercial sau în cloud.
Clientul instalează un agent pe obiectele de backup - iData Agent – și îl configurează conform politicilor de backup necesare. iData Agent colectează datele necesare, le comprimă, deduplică, criptează și le transmite către sistemul de backup DataLine.
Serverele proxy asigură conectivitatea între rețeaua clientului și rețeaua noastră, izolează canalele prin care sunt transmise datele.
Pe partea DataLine, datele de la iData Agent sunt primite de Media Agent Server și sunt trimise pentru stocare pe SĦD, biblioteci de benzi etc. Toate acestea sunt gestionate de CommServe. În configurația noastră, serverul principal de gestionare se află în locația OST, iar cel de rezervă în locația NORD.
În mod implicit, datele clientului sunt stocate într-o singură locație, dar se poate organiza backup-ul simultan pe două locații sau configura un program pentru transferul backup-urilor către a doua locație. Această opțiune se numește „copie auxiliară de date" (auxiliary copy). De exemplu, toate backup-urile complete de la sfârșitul lunii vor fi duplicate sau mutate automat pe a doua locație.
Schema de funcționare a sistemului de backup Commvault.
Sistemul de backup funcționează predominant pe virtualizarea VMware: pe mașinile virtuale sunt desfășurate serverele CommServe, Media Agent și serverele Proxy. Dacă clientul utilizează echipamentul nostru, atunci backup-urile sunt plăsmuite pe SĦD Huawei OceanStor 5500 V3. Pentru backup-ul SĦD-urilor clienților, stocarea backup-urilor pe biblioteci de benzi utilizează Media Agent separate pe servere fizice.
Ce este important pentru clienți?
Din experiența noastră, clienții care aleg Commvault pentru backup acordă atenție următoarelor aspecte.
Consola. Clienții doresc să gestioneze backup-ul singuri. Toate operațiunile de bază sunt disponibile în consola Commvault:
- adăugarea și eliminarea serverelor pentru backup;
- configurarea iData Agent;
- crearea și pornirea manuală a sarcinilor;
- restaurarea singură a copiilor de rezervă;
- configurarea notificărilor despre statusul sarcinilor de backup;
- împărțirea accesului la consolă în funcție de rol și grupul de utilizatori.
Deduplicarea. Deduplicarea permite identificarea și eliminarea blocurilor de date duplicate în procesul de backup. Astfel, ajută la economisirea spațiului pe sistemele de stocare și reduce volumul datelor transmise, diminuează cerințele de viteză a canalului. Fără deduplicare, copiile de rezervă ar ocupa de două sau trei ori mai mult decât volumul de date originale.
În cazul Commvault, deduplicarea poate fi configurată fie pe partea clientului, fie pe partea Media Agent. În primul caz, blocurile de date non-uniques nu vor fi deloc transmise pe serverul Media Agent. În al doilea caz, blocul repetat este respins și nu este scris pe sistemul de stocare.
Această deduplicare pe blocuri se bazează pe funcții hash. Fiecare bloc primește un hash care este stocat într-o tabelă hash, un fel de bază de date (Deduplication Database, DDB). La transmiterea datelor, hash-ul este verificat în această bază. Dacă un astfel de hash există deja în bază, blocul este marcat ca non-unique și nu este transmis pe serverul Media Agent (în primul caz) sau nu este scris pe sistemul de stocare (în al doilea).
Datorită deduplicării, reușim să economisim până la 78% din spațiul pe sistemul de stocare. În prezent, pe sistemul de stocare sunt 166,4 TB. Fără deduplicare, ar fi trebuit să stocăm 744 TB.
Posibilitatea de a restricționa drepturile. În Commvault există posibilitatea de a stabili diferite niveluri de acces pentru gestionarea backup-ului. Așa-numitele „roluri” definesc ce acțiuni sunt utilizatorului în raport cu obiectele de backup. De exemplu, dezvoltatorii vor putea doar să restaureze serverul cu baza de date într-un loc specific, iar administratorul va putea iniția un backup de urgență pentru același server, adăuga utilizatori noi.
Criptarea. Datele pot fi criptate în timpul backup-ului prin Commvault în următoarele moduri:
- pe partea agentului clientului: datele vor fi transmise în sistemul de backup deja în formă criptată;
- pe partea Media Agent;
- la nivelul canalului: datele sunt criptate pe partea agentului clientului și decriptate pe serverul Media Agent.
Algoritmii de criptare disponibili: Blowfish, GOST, Serpent, Twofish, 3-DES, AES (recomandat Commvault).
Câteva statistici
În mijlocul lunii decembrie, folosind Commvault, avem backup pentru 27 de clienți. Majoritatea dintre ei sunt retaileri și organizații financiare. Volumul total al datelor de origine ale copiei ocupă 65 TB.
Se efectuează aproximativ 4400 de sarcini pe zi. Mai jos statisticile pentru sarcinile finalizate în ultimele 16 zile.
Cel mai adesea, prin Commvault se realizează backup pentru Windows File System, SQL Server și bazele de date Exchange.
Iar acum, cazurile promise. Deși anonimizate (NDA transmite saluturi :)), ele oferă o idee despre cum și de ce clienții folosesc backup-ul bazat pe Commvault. Mai jos sunt prezentate cazurile clienților care utilizează un singur sistem de backup, adică software comun, servere Media Agent și sisteme de stocare.
Cazul 1
Client. Companie comercială și de producție din piața de cofetărie din Rusia, cu o rețea distribuită de filiale în toată Rusia.
Sarcina.Organizarea backup-ului pentru bazele de date Microsoft SQL, serverele de fișiere, serverele de aplicații, căsuțele poștale Exchange Online.
Datele de origine sunt dispuse în birouri din întreaga Rusie (mai mult de 10 orașe). Backup-ul trebuie realizat pe platforma DataLine, cu o restaurare ulterioară a datelor în oricare dintre birourile companiei.
Clientul dorea un control complet independent, cu restricționarea accesului.
Adâncimea stocării – un an. Pentru Exchange Online – 3 luni pentru copii operaționale și un an pentru arhive.
Soluție. Pentru bazele de date a fost configurat un backup suplimentar pe a doua platformă: ultimul backup complet al lunii este transferat pe o altă platformă și stocat acolo timp de un an.
Calitatea canalelor din birourile îndepărtate ale clientului nu permitea întotdeauna efectuarea backup-ului și restaurarea în timpi optimi. Pentru a reduce volumul de trafic transferat, pe partea clientului a fost configurată deduplicarea. Datorită acesteia, timpul necesar pentru backup-ul complet a devenit acceptabil având în vedere distanța birourilor. De exemplu, un backup complet al unei baze de date de 131 GB din Sankt Petersburg se finalizează în 16 minute. Din Ekaterinburg, baza de date de 340 GB este backup-ată în 1 oră și 45 de minute.
Prin intermediul rolurilor, clientul a configurat pentru dezvoltatorii săi diferite permisiuni: doar pentru backup sau restaurare.
Caz 2
Client. Rețeaua rusă de magazine de produse pentru copii.
Sarcina. Organizarea backup-ului pentru:
clusterul MS SQL de mare încărcare pe baza a 4 servere fizice;
mașini virtuale cu site-uri, servere de aplicații, 1C, Exchange și servere de fișiere.
Toată infrastructura specificată a clientului este distribuită între site-urile OST și NORD.
RPO pentru serverele SQL – 30 de minute, pentru celelalte – 1 zi.
Adâncimea stocării – de la 2 săptămâni la 30 de zile, în funcție de tipul de date.
Soluție. Au ales o combinație de soluții bazate pe Veeam și Commvault. Pentru backup-ul fișierelor din cloud-ul nostru se folosește Veeam. Serverele de baze de date, Active Directory, serverele de e-mail și serverele fizice sunt backup-uite prin Commvault.
Pentru a atinge o viteză mare de backup, clientul a alocat un adaptor de rețea separat pe serverele fizice cu MS SQL pentru sarcinile de backup. Backup-ul complet al bazei de date cu o capacitate de 3,4 TB durează 2 ore și 20 de minute, iar restaurarea completă – 5 ore și 5 minute.
Clientul a avut un volum mare de date inițiale (aproape 18 TB). Dacă datele ar fi fost salvate pe o bibliotecă de benzi, așa cum a făcut clientul anterior, ar fi fost necesare câteva zeci de cartușe. Acest lucru ar fi complicat managementul întregului sistem de backup al clientului. De aceea, în implementarea finală, biblioteca de benzi a fost înlocuită cu un sistem de stocare.
Caz 3
Client. Rețea de supermarketuri din CSI
Sarcina. Clientul a dorit să organizeze backup și restaurare pentru sistemele SAP, care erau găzduite în cloud-ul nostru. Pentru bazele de date SAP HANA, RPO=15 minute, pentru mașinile virtuale cu servere de aplicații, RPO=24 ore. Adâncimea stocării – 30 de zile. În caz de urgență, RTO=1 oră, pentru restaurarea unei copii la cerere, RTO=4 ore.
Soluție. Pentru bazele de date HANA, a fost configurat backup-ul fișierelor DATA și al fișierelor Log cu o periodicitate stabilită. Fișierele Log erau arhivate la fiecare 15 minute sau la atingerea unei dimensiuni specifice.
Pentru a reduce timpul de restaurare a bazelor de date, am configurat stocarea backup-urilor la două niveluri, pe baza sistemului de stocare și a bibliotecii de benzi. Copiile operative sunt stocate pe discuri, cu posibilitatea restaurării în orice moment în decursul unei săptămâni. Când backup-ul devine mai vechi de 1 săptămână, acesta este mutat în arhivă, pe biblioteca de benzi, unde este păstrat încă 30 de zile.
O copie completă a uneia dintre bazele de date, de 181 GB, se face în 1 oră și 54 de minute.
În configurarea copiilor de rezervă a fost folosit interfața backint SAP, care permite integrarea sistemelor de backup de la terți cu SAP HANA Studio. Astfel, gestionarea copiilor de rezervă poate fi făcută direct din consola SAP. Aceasta le simplifică viața administratorilor SAP, care nu trebuie să se obișnuiască cu o nouă interfață.
Gestionarea copiilor de rezervă este, de asemenea, disponibilă clientului prin consola client standard Commvault.
Asta este tot pentru astăzi. Puteți pune întrebări în comentarii.
Sursa: habr.com
