V predchádzajúcich príspevkoch sme zdieľali návody na nastavenie a na báze Veeam. Dnes chceme hovoriť o zálohovaní pomocou Commvault. Inštrukcie nebudú, ale povieme si, čo a ako už zálohujú naši klienti.
Systémy na zálohovanie na báze Commvault v dátovom centre OST-2.
Ako to funguje?
Commvault je platforma na zálohovanie aplikácií, databáz, súborových systémov, virtuálnych strojov a fyzických serverov. Zdrojové dáta môžu byť na akomkoľvek mieste: u nás, na strane klienta, v inom komerčnom dátovom centre alebo v cloude.
Klient inštalujе na objekty zálohovania agenta – iData Agent – a nastavuje ho v súlade s požiadavkami na zálohovanie. iData Agent zbiera potrebné dáta, komprimuje ich, deduplikuje, šifruje a odosiela ich do systému zálohovania DataLine.
Proxy servery zabezpečujú konektivitu klientskej siete a našej siete, izoláciu kanálov, ktorými sa prenášajú dáta.
Na strane DataLine dáta prijíma od iData Agenta Media Agent Server a posiela na uloženie na SÚHD, páskové knižnice atď. Celým týmto procesom riadi CommServe. V našej konfigurácii sa hlavný riadiaci server nachádza na mieste OST, záložný – na mieste NORD.
Podľa predvoleného nastavenia sa dáta klienta ukladajú na jedno miesto, ale je možné organizovať zálohovanie ihneď na dve lokácie alebo nastaviť harmonogram na presun záloh na druhé miesto. Táto voľba sa nazýva „dodatočná kópia dát“ (auxiliary copy). Napríklad všetky úplné zálohy na konci mesiaca sa automaticky duplikujú alebo presúvajú na druhé miesto.
Schéma fungovania systému zálohovania Commvault.
Systém zálohovania funguje prevažne na virtualizácii VMware: na virtuálnych strojoch sú nasadené servery CommServe, Media Agent a Proxy servery. Ak klient používa našu technológiu, zálohy sa ukladajú na SÚHD Huawei OceanStor 5500 V3. Na zálohovanie klientskych SÚHD, uchovávanie záloh na páskových knižniciach sa používajú samostatné Media Agenty na fyzických serveroch.
Čo je dôležité pre klientov?
Z našich skúseností si klienti, ktorí si pre zálohovanie vyberajú Commvault, všimnú nasledujúce aspekty.
Konzola. Zákazníci chcú spravovať zálohovanie samostatne. V konzole Commvault sú dostupné všetky základné operácie:
- pridanie a odstránenie serverov na zálohovanie;
- nastavenie iData Agenta;
- vytváranie a manuálne spúšťanie úloh;
- samostatné obnovenie záloh;
- nastavenie upozornení o stave úloh zálohovania;
- rozdelenie prístupu do konzoly podľa úlohy a skupiny používateľov.
Deduplicitácia. Deduplicitácia umožňuje nachádzať a odstraňovať duplicitné bloky dát počas zálohovania. Týmto spôsobom pomáha šetriť miesto na úložisku a znižuje objem prenášaných dát, čím znižuje požiadavky na rýchlosť prenosu. Bez deduplicitácie by zálohy zaberali objem dva až tri razy väčší ako objem pôvodných dát.
V prípade Commvault je možné deduplicitáciu nastaviť na strane klienta alebo na strane Media Agenta. V prvom prípade sa neopakujúce bloky dát ani neprenášajú na Media Agent Server. V druhom prípade sa opakujúci blok vyraďuje a nezapisuje na úložisko.
Takáto bloková deduplicitácia je založená na hash-funkciách. Každému bloku je priradený hash, ktorý sa ukladá do hash tabuľky, akéhosi databázy (Deduplication Database, DDB). Pri prenose dát sa hash „overuje“ v tejto databáze. Ak taký hash už v databáze existuje, blok je označený ako neopakujúci a neprenáša sa na Media Agent Server (v prvom prípade) alebo sa nezapisuje na systém úložiska (v druhom).
Vďaka deduplicitácii dokážeme ušetriť až 78% miesta v systéme úložiska. V súčasnosti je na úložisku uložených 166,4 TB. Bez deduplicitácie by sme museli uložiť 744 TB.
Možnosť rozdeľovať práva. V Commvault je možnosť nastavovať rôzne úrovne prístupu k správe zálohovania. Takzvané “úlohy” určujú, aké akcie môžu používatelia vykonávať vo vzťahu k objektom zálohovania. Napríklad, vývojári budú môcť iba obnoviť server s databázou do určitej lokality, zatiaľ čo administrátor bude môcť spustiť mimoriadne zálohovanie pre tento server a pridávať nových používateľov.
Šifrovanie. Šifrovať dáta počas zálohovania cez Commvault je možné nasledujúcimi spôsobmi:
- na strane klientského agenta: údaje budú v tomto prípade prenášané do zálohovacieho systému už v zašifrovanej podobe;
- na strane Media Agenta;
- na úrovni kanála: údaje sú šifrované na strane klientského agenta a dešifrované na serveri Media Agenta.
Dostupné šifrovacie algoritmy: Blowfish, GOST, Serpent, Twofish, 3-DES, AES (odporúčané Commvault).
Trochu štatistiky
K polovici decembra máme prostredníctvom Commvault zálohovaných 27 klientov. Väčšinu z nich tvoria maloobchodníci a finančné organizácie. Celkový objem pôvodných dát zálohy je 65 TB.
Denne sa vykonáva približne 4400 úloh. Nižšie je štatistika vykonaných úloh za posledných 16 dní.
Najviac sa prostredníctvom Commvault zálohujú Windows File System, SQL Server a databázy Exchange.
A teraz sľúbené prípady. Hoci aj anonymizované (NDA posiela pozdrav :)), poskytujú predstavu o tom, prečo a ako klienti používajú zálohu na báze Commvault. Nižšie sú uvedené prípady klientov, ktorí používajú jednotný zálohovací systém, t. j. spoločný softvér, servery Media Agenta a úložné systémy.
Prípad 1
Zákazník. Ruská obchodno-výrobná spoločnosť na cukrárenskom trhu s rozdelenou sieťou pobočiek po Rusku.
Úloha.Organizácia zálohovania pre databázy Microsoft SQL, súborové servery, aplikačné servery, poštové schránky Exchange Online.
Pôvodné dáta sú umiestnené v kanceláriách po celom Rusku (viac ako 10 miest). Zálohovať je potrebné na plochu DataLine s následným obnovením údajov do ktorejkoľvek zo stránok spoločnosti.
Zákazník pritom požadoval úplné samostatné riadenie s obmedzením prístupu.
Hĺbka uchovávania – rok. Pre Exchange Online – 3 mesiace pre operatívne kópie a rok pre archívy.
Riešenie. Pre databázy bola nastavená dodatočná kópia na druhú plochu: posledná úplná záloha mesiaca sa prenáša na inú plochu a uchováva sa tam rok.
Kvalita kanálov z odľahlých kancelárií klienta nie vždy umožnila vykonávať zálohovanie a obnovu v optimálnych termínoch. Aby sa znížil objem prenášaného trafiku, na strane klienta bola nastavená deduplikačná technológia. Vďaka nej sa čas úplného zálohovania stal prijateľným s ohľadom na vzdialenosť kancelárií. Napríklad, úplná záloha databázy s objemom 131 GB z Petrohradu sa vykonáva za 16 minút. Z Jekaterinburgu sa databáza s objemom 340 GB zálohuje 1 hodinu a 45 minút.
Pomocou rolí klient nastavil pre svojich vývojárov rôzne povolenia: len na zálohovanie alebo obnovu.
Prípad 2
Zákazník. Ruská sieť obchodov s detským tovarom.
Úloha. Organizácia zálohovania pre:
vysoko zaťažený klaster MS SQL na báze 4 fyzických serverov;
virtuálne stroje s webovými stránkami, servermi aplikácií, 1C, Exchange a súborovými servermi.
Celá uvedená infraštruktúra klienta je rozložená medzi lokalitami OST a NORD.
RPO pre SQL servery – 30 minút, pre ostatné – 1 deň.
Hĺbka uchovávania – od 2 týždňov do 30 dní v závislosti od typu dát.
Riešenie. Zvolili sme kombináciu riešení na báze Veeam a Commvault. Na súborové zálohovanie z nášho cloudu sa používa Veeam. Servery databáz, Active Directory, poštové a fyzické servery sa zálohujú cez Commvault.
Na dosiahnutie vysokej rýchlosti zálohovania klient vyčlenil na fyzických serveroch s MS SQL zvláštny sieťový adaptér pre úlohy zálohovania. Úplná záloha databázy s objemom 3,4 TB trvá 2 hodiny a 20 minút, zatiaľ čo úplné obnovenie – 5 hodín a 5 minút.
Klient mal veľký objem vstupných dát (takmer 18 TB). Ak by sa údaje ukladali na páskovú knižnicu, ako to klient robil predtým, vyžadovalo by to niekoľko desiatok kaziet. To by skomplikovalo manažment celého systému zálohovania klienta. Preto bola v konečnej realizácii pásková knižnica nahradená SAN.
Prípad 3
Zákazník. Sieť supermarketov v SNŠ
Úloha. Objednávateľ chcel organizovať zálohovanie a obnovu systémov SAP, ktoré boli umiestnené v našom cloude. Pre databázy SAP HANA je RPO=15 minút, pre virtuálne stroje so servermi aplikácií je RPO=24 hodín. Hĺbka uchovávania – 30 dní. V prípade havárie je RTO=1 hodina, pre obnovenie kópie na požiadanie je RTO=4 hodiny.
Riešenie. Pre vyžaduje HANA databáza bolo nastavené zálohovanie DATA súborov a Log súborov s určenou periódou. Log súbory sa archivovali každých 15 minút alebo po dosiahnutí určitej veľkosti.
Aby sme znížili čas obnovenia databázy, nastavili sme dvojúrovňové uchovávanie záloh na báze SČD a pásekovej knižnice. Na disky sa ukladajú aktuálne kópie s možnosťou obnovenia na akýkoľvek moment v priebehu týždňa. Keď záloha dosiahne viac ako 1 týždeň, presúva sa do archívu, do pásekovej knižnice, kde sa uchováva ďalších 30 dní.
Úplná záloha jednej z databáz s objemom 181 GB sa vykonáva za 1 hodinu 54 minút.
Pri nastavovaní zálohovania sa použil backint rozhranie SAP, ktoré umožňuje integrovať zálohovacie systémy tretích strán so SAP HANA Studio. Preto je možné spravovať zálohovanie priamo z konzoly SAP. To uľahčuje život SAP administrátorom, ktorí sa nemusia prispôsobovať novému rozhraniu.
Správa zálohovania je tiež dostupná klientovi cez štandardnú klientsku konzolu Commvault.
Na dnes je to všetko. Pokladajte otázky v komentároch.
Zdroj: habr.com
