DublÄ“Å”ana ar Commvault: daži statistikas dati un gadÄ«jumi

IepriekŔējās ziņās mēs kopÄ«gojām norādÄ«jumus par iestatÄ«Å”anu Rezerves kopija Šø replikācija pamatojoties uz Veeam. Å odien mēs vēlamies runāt par dublÄ“Å”anu, izmantojot Commvault. NorādÄ«jumu nebÅ«s, bet pastāstÄ«sim, ko un kā mÅ«su klienti jau dublē.

DublÄ“Å”ana ar Commvault: daži statistikas dati un gadÄ«jumi
Uz Commvault balstÄ«tas rezerves sistēmas uzglabāŔanas sistēma OST-2 datu centrā.

Kā tas strādā?

Commvault ir rezerves platforma lietojumprogrammām, datu bāzēm, failu sistēmām, virtuālajām maŔīnām un fiziskiem serveriem. Å ajā gadÄ«jumā sākotnējie dati var bÅ«t jebkurā vietnē: pie mums - klienta pusē, citā komerciālā datu centrā vai mākonÄ«.

Klients instalē aÄ£entu rezerves objektos - iData aÄ£ents - un konfigurē to saskaņā ar nepiecieÅ”amajām dublÄ“Å”anas politikām. iData Agent apkopo nepiecieÅ”amos datus, saspiež, dedublikē, Å”ifrē un pārsÅ«ta tos uz DataLine dublÄ“Å”anas sistēmu.

Starpniekserveri nodroŔināt klientu tīkla un mūsu tīkla savienojamību, kanālu izolāciju, pa kuriem tiek pārraidīti dati.

Datu lÄ«nijas pusē tiek saņemti dati no iData Agent Multivides aÄ£enta serveris un nosÅ«ta to uz krātuvi uzglabāŔanas sistēmās, lentes bibliotēkās utt. To visu pārvalda Commserve. MÅ«su konfigurācijā galvenais vadÄ«bas serveris atrodas OST vietnē, un rezerves serveris atrodas NORD vietnē.

Pēc noklusējuma klienta dati tiek glabāti vienā vietnē, taču varat organizēt dublējumus divās vietās vienlaikus vai iestatÄ«t grafiku dublējumu pārsÅ«tÄ«Å”anai uz otru vietni. Å o opciju sauc par ā€œpalÄ«gkopijuā€. Piemēram, visas pilnās dublējumkopijas mēneÅ”a beigās tiks automātiski dublētas vai pārvietotas uz otru vietni.

DublÄ“Å”ana ar Commvault: daži statistikas dati un gadÄ«jumi
Commvault rezerves sistēmas darbības shēma.

Rezerves sistēma galvenokārt darbojas VMware virtualizācijā: CommServe, Media Agent un Proxy serveri tiek izvietoti virtuālajās maŔīnās. Ja klients izmanto mÅ«su aprÄ«kojumu, tad rezerves kopijas tiek ievietotas Huawei OceanStor 5500 V3 uzglabāŔanas sistēmā. Lai dublētu klientu krātuves sistēmas, glabātu dublējumkopijas lentes bibliotēkās, tiek izmantoti atseviŔķi multivides aÄ£enti fiziskajos serveros.

Kas ir svarīgi klientiem?

MÅ«su pieredze liecina, ka klienti, kuri dublÄ“Å”anai izvēlas Commvault, pievērÅ” uzmanÄ«bu Ŕādiem punktiem.

Konsole. Klienti vēlas paÅ”i pārvaldÄ«t dublējumus. Visas pamatdarbÄ«bas ir pieejamas Commvault konsolē:

  • serveru pievienoÅ”ana un noņemÅ”ana dublÄ“Å”anai;
  • iData aÄ£enta iestatÄ«Å”ana;
  • uzdevumu izveide un manuāla sākÅ”ana;
  • dublējumu paÅ”atjaunoÅ”ana;
  • paziņojumu iestatÄ«Å”ana par dublÄ“Å”anas uzdevumu statusu;
  • piekļuves konsolei diferencÄ“Å”ana atkarÄ«bā no lietotāju lomas un grupas.

DublÄ“Å”ana ar Commvault: daži statistikas dati un gadÄ«jumi

Deduplikācija. Dedublikācija ļauj atrast un noņemt dublētus datu blokus dublÄ“Å”anas procesa laikā. Tādējādi tas palÄ«dz ietaupÄ«t vietu uzglabāŔanas sistēmā un samazina pārsÅ«tÄ«to datu apjomu, samazinot prasÄ«bas attiecÄ«bā uz joslas platumu. Bez dublÄ“Å”anas dublējumkopijas aizņemtu divas lÄ«dz trÄ«s reizes lielāku izmēru nekā sākotnējie dati.

Commvault gadÄ«jumā dublÄ“Å”anu var konfigurēt klienta pusē vai Media Agent pusē. Pirmajā gadÄ«jumā neunikālie datu bloki pat netiks pārsÅ«tÄ«ti uz Media Agent Server. Otrajā gadÄ«jumā atkārtojoÅ”ais bloks tiek izmests un netiek ierakstÄ«ts uzglabāŔanas sistēmā.

Šādas bloku deduplikācijas pamatā ir jaucējfunkcijas. Katram blokam tiek pieŔķirts hash, kas tiek saglabāts hash tabulā, sava veida datu bāzē (Deduplication Database, DDB). PārsÅ«tot datus, jaucējkods tiek ā€œizdurtsā€ caur Å”o bāzi. Ja Ŕāds hash jau ir datu bāzē, tad bloks tiek atzÄ«mēts kā neunikāls un netiek pārsÅ«tÄ«ts uz Media Agent Server (pirmajā gadÄ«jumā) vai ierakstÄ«ts datu glabāŔanas sistēmā (otrajā).

Pateicoties dedublikācijai, mēs varam ietaupÄ«t lÄ«dz pat 78% no krātuves vietas. Tagad krātuvē ir 166,4 TB. Bez dublÄ“Å”anas mums bÅ«tu jāuzglabā 744 TB.

Iespēja diferencēt tiesÄ«bas. Commvault ir iespēja iestatÄ«t dažādus piekļuves lÄ«meņus dublējuma pārvaldÄ«bai. Tā sauktās ā€œlomasā€ nosaka, kādas darbÄ«bas bÅ«s atļauts lietotājam saistÄ«bā ar rezerves objektiem. Piemēram, izstrādātāji varēs atjaunot serveri ar datu bāzi tikai noteiktā vietā, savukārt administrators tam paÅ”am serverim varēs palaist ārpuskārtas dublējumu un pievienot jaunus lietotājus.

Å ifrÄ“Å”ana. Dublējot datus, izmantojot Commvault, varat Å”ifrēt datus Ŕādos veidos:

  • klienta aÄ£enta pusē: Å”ajā gadÄ«jumā dati tiks pārsÅ«tÄ«ti uz rezerves sistēmu jau Å”ifrētā veidā;
  • Media Agent pusē;
  • kanāla lÄ«menÄ«: dati tiek Å”ifrēti klienta aÄ£enta pusē un atÅ”ifrēti Media Agent Server.

Pieejamie ŔifrēŔanas algoritmi: Blowfish, GOST, Serpent, Twofish, 3-DES, AES (ieteicis Commvault).

Daži statistikas dati

LÄ«dz decembra vidum ar Commvault palÄ«dzÄ«bu mums ir dublējuÅ”i 27 klienti. Lielākā daļa no tiem ir mazumtirgotāji un finanÅ”u iestādes. Kopējais oriÄ£inālo kopiju datu apjoms ir 65 TB.

DublÄ“Å”ana ar Commvault: daži statistikas dati un gadÄ«jumi

Dienā tiek veikti aptuveni 4400 uzdevumi. Tālāk ir sniegta statistika par veiktajiem uzdevumiem pēdējo 16 dienu laikā.

DublÄ“Å”ana ar Commvault: daži statistikas dati un gadÄ«jumi

Galvenokārt Windows failu sistēmas, SQL Server un Exchange datu bāzes tiek dublētas, izmantojot Commvault.

DublÄ“Å”ana ar Commvault: daži statistikas dati un gadÄ«jumi

Un tagad solÄ«tie gadÄ«jumi. Lai arÄ« tie ir bezpersoniski (NDA saka sveiki :)), tie sniedz priekÅ”statu par to, ko un kā klienti izmanto Commvault balstÄ«tu dublējumu. Tālāk ir sniegti gadÄ«jumu pētÄ«jumi klientiem, kuri izmanto vienu rezerves sistēmu, t.i., koplietotu programmatÅ«ru, multivides aÄ£entu serverus un uzglabāŔanas sistēmas.

1. gadÄ«jums

Klients. Krievijas konditorejas izstrādājumu tirgus tirdzniecÄ«bas un ražoÅ”anas uzņēmums ar izplatÄ«tu filiāļu tÄ«klu visā Krievijā.

Uzdevums.Microsoft SQL datu bāzu, failu serveru, lietojumprogrammu serveru, Exchange Online pastkastÄ«Å”u dublÄ“Å”anas organizÄ“Å”ana.

Sākotnējie dati atrodas birojos visā Krievijā (vairāk nekā 10 pilsētās). Jums ir jāveic dublējums DataLine vietnē ar sekojoÅ”u datu atkopÅ”anu jebkurā uzņēmuma birojā.
Tajā paŔā laikā klients vēlējās pilnÄ«gu paÅ”pārvaldi ar piekļuves kontroli.
UzglabāŔanas dziļums - gads. Exchange Online ā€” 3 mēneÅ”i tieÅ”saistes kopijām un gads arhÄ«viem.

Risinājums. Otrās vietnes datu bāzēm tika izveidota papildu kopija: mēneÅ”a pēdējā pilnā dublējumkopija tiek pārsÅ«tÄ«ta uz citu vietni un glabāta tur gadu.

Klienta attālo biroju kanālu kvalitāte ne vienmēr ļāva veikt rezerves kopiju un atjaunot optimālā laika posmā. Lai samazinātu pārsÅ«tÄ«tās trafika apjomu, klienta pusē tika konfigurēta dublÄ“Å”anās. Pateicoties viņai, pilnas dublÄ“Å”anas laiks kļuva pieņemams, ņemot vērā biroju attālumu. Piemēram, pilna datu bāzes dublÄ“Å”ana 131 GB apmērā no Sanktpēterburgas tiek veikta 16 minÅ«tēs. No Jekaterinburgas 340 GB datubāze tiek dublēta 1 stundu 45 minÅ«tes.

Izmantojot lomas, klients saviem izstrādātājiem ir konfigurējis dažādas atļaujas: tikai dublÄ“Å”anu vai atjaunoÅ”anu.

DublÄ“Å”ana ar Commvault: daži statistikas dati un gadÄ«jumi

2. gadÄ«jums

Klients. Krievijas bērnu preču veikalu tīkls.
Uzdevums. DublēŔanas organizēŔana:
ļoti noslogots MS SQL klasteris, kura pamatā ir 4 fiziski serveri;
virtuālās maŔīnas ar vietni, lietojumprogrammu serveri, 1C, Exchange un failu serveri.
Visa norādītā klienta infrastruktūra ir izvietota starp OST un NORD vietnēm.
RPO SQL serveriem - 30 minūtes, pārējiem - 1 diena.
UzglabāŔanas dziļums - no 2 nedēļām lÄ«dz 30 dienām, atkarÄ«bā no datu veida.

Risinājums. Mēs izvēlējāmies risinājumu kombināciju, kuras pamatā ir Veeam un Commvault. Veeam tiek izmantots failu dublÄ“Å”anai no mÅ«su mākoņa. Datu bāzes serveri, Active Directory, pasta un fiziskie serveri tiek dublēti, izmantojot Commvault.

Lai sasniegtu lielu dublÄ“Å”anas ātrumu, klients pieŔķīra atseviŔķu tÄ«kla adapteri fiziskajos serveros ar MS SQL dublÄ“Å”anas uzdevumiem. Pilna 3,4 TB datu bāzes dublÄ“Å”ana aizņem 2 stundas 20 minÅ«tes, un pilnÄ«ga atjaunoÅ”ana ilgst 5 stundas 5 minÅ«tes.

Klientam bija liels sākotnējo datu apjoms (gandrÄ«z 18 TB). Ja dati bÅ«tu jāsaglabā lentu bibliotēkā, kā to darÄ«ja klients iepriekÅ”, tad bÅ«tu nepiecieÅ”ami vairāki desmiti kasetņu. Tas sarežģīs visas klienta rezerves sistēmas pārvaldÄ«bu. Tāpēc galÄ«gajā realizācijā lentu bibliotēka tika aizstāta ar uzglabāŔanas sistēmu.

DublÄ“Å”ana ar Commvault: daži statistikas dati un gadÄ«jumi

3. gadÄ«jums

Klients. Lielveikalu ķēde NVS valstīs
Uzdevums. Klients vēlējās dublēt un atjaunot mÅ«su mākonÄ« mitinātās SAP sistēmas. SAP HANA datu bāzēm RPO=15 minÅ«tes, virtuālajām maŔīnām ar lietojumprogrammu serveriem RPO=24 stundas. UzglabāŔanas dziļums - 30 dienas. NegadÄ«juma gadÄ«jumā RTO=1 stunda, pēc pieprasÄ«juma atjaunot kopiju RTO=4 stundas.

Risinājums. HANA datu bāzei DATA failu un žurnālfailu dublējumkopijas tika konfigurētas noteiktos intervālos. Žurnāla faili tika arhivēti ik pēc 15 minÅ«tēm vai tad, kad tie sasniedza noteiktu izmēru.

Lai samazinātu datu bāzes atkopÅ”anas laiku, mēs izveidojām divu lÄ«meņu dublējumu glabāŔanu, pamatojoties uz uzglabāŔanas sistēmu un lentes bibliotēku. TieÅ”saistes kopijas tiek pievienotas diskiem ar atkopÅ”anas iespēju jebkurā nedēļas laikā. Kad dublējums kļūst vecāks par 1 nedēļu, tas tiek pārvietots uz arhÄ«vu, uz lentu bibliotēku, kur glabājas vēl 30 dienas.

Pilna dublÄ“Å”ana vienai no 181 GB datubāzēm tiek veikta 1 stundā 54 minÅ«tēs.

Uzstādot dublējumu, tika izmantots SAP backint interfeiss, kas ļauj integrēt treŔās puses dublÄ“Å”anas sistēmas ar SAP HANA Studio. Tāpēc dublējumus var pārvaldÄ«t tieÅ”i no SAP konsoles. Tas atvieglo dzÄ«vi SAP administratoriem, kuriem nav jāpierod pie jaunās saskarnes.

Dublējuma pārvaldība ir pieejama arī klientam, izmantojot standarta Commvault klienta konsoli.

DublÄ“Å”ana ar Commvault: daži statistikas dati un gadÄ«jumi

Tas Ŕodienai viss. Uzdodiet jautājumus komentāros.

Avots: www.habr.com

Pievieno komentāru