Ako znížiť ukladanie záloh v objektovom úložisku o 90%

Naši tureckí klienti nás požiadali, aby sme správne nastavili zálohu pre dátové centrum. Takéto projekty realizujeme aj v Rusku, ale tento prípad bol viac o výskume toho, ako to najlepšie spraviť.

Dane: máme lokálne S3 úložisko, máme Veritas NetBackup, ktorý získal novú rozšírenú funkciu na presúvanie dát do objektových úložísk s podporou deduplikácie, a máme problém so voľným miestom v tomto lokálnom úložisku.

Úloha: urobiť všetko tak, aby proces zálohovania bol rýchly a ekonomický.

Predtým sa všetko do S3 ukladal jednoduchými súbormi, pričom to boli úplné kópie kritických strojov dátového centra. To znamená, že to nebolo veľmi optimalizované, ale fungovalo to od začiatku. Teraz nastal čas to vyriešiť a urobiť to správne.

Na obrázku je to, k čomu sme dospeli:

Ako znížiť ukladanie záloh v objektovom úložisku o 90%

Ako vidno, prvá záloha sa robila pomaly (70 MB/s), ale následné zálohy tých istých systémov boli výrazne rýchlejšie.

V skutočnosti, ďalej sú trochu viac podrobností o tom, aké si tam existujú zvláštnosti.

Zápisy záloh pre tých, ktorí sú pripravení čítať pol strany výpisuFull with rescan
Dec 18, 2018 12:09:43 PM — Info bpbkar (pid=4452) akcelerátor poslal 14883996160 bajtov z 14883994624 bajtov na server, optimalizácia 0.0%
Dec 18, 2018 12:10:07 PM — Info NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Stats (multi-threaded stream used) pre (NBCC): skenované: 14570817 KB, CR poslali: 1760761 KB, CR poslali cez FC: 0 KB, deduplikácia: 87.9%, cache vypnuté

Full
Dec 18, 2018 12:13:18 PM — Info bpbkar (pid=2864) akcelerátor poslal 181675008 bajtov z 14884060160 bajtov na server, optimalizácia 98.8%
Dec 18, 2018 12:13:40 PM — Info NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Stats pre (NBCC): skenované: 14569706 KB, CR poslali: 45145 KB, CR poslali cez FC: 0 KB, deduplikácia: 99.7%, cache vypnuté

Incremental
Dec 18, 2018 12:15:32 PM — Info bpbkar (pid=792) akcelerátor poslal 9970688 bajtov z 14726108160 bajtov na server, optimalizácia 99.9%
Dec 18, 2018 12:15:53 PM — Info NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Stats pre (NBCC): skenované: 14383788 KB, CR poslali: 15700 KB, CR poslali cez FC: 0 KB, deduplikácia: 99.9%, cache vypnuté

Full
Dec 18, 2018 12:18:02 PM — Info bpbkar (pid=3496) akcelerátor poslal 171746816 bajtov z 14884093952 bajtov na server, optimalizácia 98.8%
Dec 18, 2018 12:18:24 PM — Info NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Stats pre (NBCC): skenované: 14569739 KB, CR poslali: 34120 KB, CR poslali cez FC: 0 KB, deduplikácia: 99.8%, cache vypnuté

V čom je problém

Zákazníci chcú robiť zálohy čo najčastejšie a uchovávať ich čo najlacnejšie. Najlepšie je uchovávať ich v objektoch typu S3, pretože ponúkajú najlacnejšiu cenu za údržbu na Megabyte, odkiaľ je možné obnoviť zálohu v rozumných časových rámcoch. Keď je záloh veľa, stáva sa to už nie veľmi lacným, pretože väčšinu úložiska zaberajú kópie tých istých dát. V prípade HaaS tureckých kolegov je možné zredukovať úložný priestor približne o 80-90 %. Je jasné, že to sa týka ich špecifických podmienok, ale minimálne 50% de-duplica by bola určite reálna.

Na vyriešenie problému hlavní dodávatelia už dávno vytvorili brány na S3 Amazonu. Všetky ich metódy sú kompatibilné s lokálnymi S3, ak podporujú API Amazonu. V tureckom dátovom centre sa záloha robí na našu S3, rovnako ako v T-III 'Kompresore' v Rusku, keďže takáto pracovná schéma sa nám dobre osvedčila.

Naša S3 je úplne kompatibilná s metódami zálohovania na Amazon S3. To znamená, že všetky prostriedky na zálohovanie, ktoré podporujú tieto metódy, umožňujú kopírovať všetko do podobného úložiska 'z krabice'.

Vo Veritas NetBackup vytvorili funkciu CloudCatalyst:

Ako znížiť ukladanie záloh v objektovom úložisku o 90%

To znamená, že medzi strojmi, ktoré je potrebné zálohovať, a bránou sa nachádza medzizásobníkový Linux server, cez ktorý prechádza zálohovací prenos z agentov SRK a vykonáva sa ich de-duplica 'za behu' pred prenášaním do S3. Ak predtým boli 30 záloh po 20 GB s kompresiou, teraz (vďaka podobnosti strojov) ich objem klesol o 90 %. Používa sa ten istý motor de-duplice, ktorý sa využíva pri uložení na bežných diskoch pomocou NetBackup.

Tu je, čo sa deje pred medzizásobníkovým serverom:

Ako znížiť ukladanie záloh v objektovom úložisku o 90%

Otestovali sme a dospeli sme k záveru, že nasadenie v našich dátových centrách poskytuje úsporu miesta v úložiskách S3 pre nás aj pre zákazníkov. Ako vlastník komerčných dátových centier, samozrejme, účtujeme za obsadený objem, ale aj tak je to veľmi výhodné pre nás — pretože začíname zarábať na rozšíriteľnejších miestach v softvéri, nie na prenájme hardvéru. No a to tiež znižuje naše interné náklady.

Logy228 úloh (0 v poradí, 0 aktívnych, 0 čakajúcich na opakovanú snahu, 0 pozastavených, 0 nedokončených, 228 hotových — 13 vybraných)
(Aplikovaný filter [13])

ID úlohy Typ Stavu Detaily stavu Stav Politika úlohy Rozvrh úlohy Klient Média Server Čas začatia Čas uplynulý Čas skončenia Úložná jednotka Pokus Operácia Kilobajty Súbory Cesta % Dokončené (odhadované) PID úlohy Vlastník Kópia ID nadriadeného úlohy KB/s Aktívne Začiatok Aktívne Uplynulo Robot Profil trezoru ID relácie Média na vysunutie Pohyb dát Mimo hostiteľa Typ Hlavný Priorita Miera deduplikácie Transportný akcelerátor Optimalizačná instancia alebo databáza Zdieľaný hostiteľ
— 1358 Vytvorenie snímky Hotovo 0 VMware — NGNCloudADC NBCC 18. decembra 2018 12:16:19 PM 00:02:18 18. decembra 2018 12:18:37 PM STU_DP_S3_****záloha 1 100% root 1358 18. decembra 2018 12:16:27 PM 00:02:10 Okamžité obnovenie Disk Štandard WIN-*********** 0
1360 Zálohovanie Hotovo 0 VMware Úplný NGNCloudADC NBCC 18. decembra 2018 12:16:48 PM 00:01:39 18. decembra 2018 12:18:27 PM STU_DP_S3_****záloha 1 14,535,248 149654 100% 23858 root 1358 335,098 18. decembra 2018 12:16:48 PM 00:01:39 Okamžité obnovenie Disk Štandard WIN-*********** 0 99,8% 99%
1352 Vytvorenie snímky Hotovo 0 VMware — NGNCloudADC NBCC 18. decembra 2018 12:14:04 PM 00:02:01 18. decembra 2018 12:16:05 PM STU_DP_S3_****záloha 1 100% root 1352 18. decembra 2018 12:14:14 PM 00:01:51 Okamžité obnovenie Disk Štandard WIN-*********** 0
1354 Zálohovanie Hotovo 0 VMware Inkrementálne NGNCloudADC NBCC 18. decembra 2018 12:14:34 PM 00:01:21 18. decembra 2018 12:15:55 PM STU_DP_S3_****záloha 1 14,380,965 147 100% 23617 root 1352 500,817 18. decembra 2018 12:14:34 PM 00:01:21 Okamžité obnovenie Disk Štandard WIN-*********** 0 99,9% 100%
1347 Vytvorenie snímky Hotovo 0 VMware — NGNCloudADC NBCC 18. decembra 2018 12:11:45 PM 00:02:08 18. decembra 2018 12:13:53 PM STU_DP_S3_****záloha 1 100% root 1347 18. decembra 2018 12:11:45 PM 00:02:08 Okamžité obnovenie Disk Štandard WIN-*********** 0
1349 Zálohovanie Hotovo 0 VMware Úplný NGNCloudADC NBCC 18. decembra 2018 12:12:02 PM 00:01:41 18. decembra 2018 12:13:43 PM STU_DP_S3_****záloha 1 14,535,215 149653 100% 23508 root 1347 316,319 18. decembra 2018 12:12:02 PM 00:01:41 Okamžité obnovenie Disk Štandard WIN-*********** 0 99,7% 99%
1341 Vytvorenie snímky Hotovo 0 VMware — NGNCloudADC NBCC 18. decembra 2018 12:05:28 PM 00:04:53 18. decembra 2018 12:10:21 PM STU_DP_S3_****záloha 1 100% root 1341 18. decembra 2018 12:05:28 PM 00:04:53 Okamžité obnovenie Disk Štandard WIN-*********** 0
1342 Zálohovanie Hotovo 0 VMware Úplné_znova skenovanie NGNCloudADC NBCC 18. decembra 2018 12:05:47 PM 00:04:24 18. decembra 2018 12:10:11 PM STU_DP_S3_****záloha 1 14,535,151 149653 100% 22999 root 1341 70,380 18. decembra 2018 12:05:47 PM 00:04:24 Okamžité obnovenie Disk Štandard WIN-*********** 0 87,9% 0%

1339 Vytvorenie snímky Hotovo 150 VMware — NGNCloudADC NBCC 18. decembra 2018 11:05:46 AM 00:00:53 18. decembra 2018 11:06:39 AM STU_DP_S3_****záloha 1 100% root 1339 18. decembra 2018 11:05:46 AM 00:00:53 Okamžité obnovenie Disk Štandard WIN-*********** 0
1327 Vytvorenie snímky Hotovo 0 VMware — *******.********.cloud NBCC 17. decembra 2018 12:54:42 PM 05:51:38 17. decembra 2018 6:46:20 PM STU_DP_S3_****záloha 1 100% root 1327 17. decembra 2018 12:54:42 PM 05:51:38 Okamžité obnovenie Disk Štandard WIN-*********** 0
1328 Zálohovanie Hotovo 0 VMware Úplný *******.********.cloud NBCC 17. decembra 2018 12:55:10 PM 05:29:21 17. decembra 2018 6:24:31 PM STU_DP_S3_****záloha 1 222,602,719 258932 100% 12856 root 1327 11,326 17. decembra 2018 12:55:10 PM 05:29:21 Okamžité obnovenie Disk Štandard WIN-*********** 0 87,9% 0%
1136 Vytvorenie snímky Hotovo 0 VMware — *******.********.cloud NBCC 14. decembra 2018 4:48:22 PM 04:05:16 14. decembra 2018 8:53:38 PM STU_DP_S3_****záloha 1 100% root 1136 14. decembra 2018 4:48:22 PM 04:05:16 Okamžité obnovenie Disk Štandard WIN-*********** 0
1140 Zálohovanie Hotovo 0 VMware Úplné_skenovanie *******.********.cloud NBCC 14. decembra 2018 4:49:14 PM 03:49:58 14. decembra 2018 8:39:12 PM STU_DP_S3_****záloha 1 217,631,332 255465 100% 26438 root 1136 15,963 14. decembra 2018 4:49:14 PM 03:49:58 Okamžité obnovenie Disk Štandard WIN-*********** 0 45,2% 0%

Akcelerátor umožňuje znížiť prenos dát z agentov, pretože sa prenášajú len zmeny údajov, teda aj úplné zálohy sa neprenášajú celé, pretože mediálny server zbiera nasledujúce kompletné zálohy z inkrementálnych záloh.

Medziserver má svoje úložisko, kam zapisuje «cache» údajov a uchováva databázu pre deduplikáciu.

Vo svojej plnej architektúre to vyzerá takto:

  1. Hlavný server riadi konfiguráciu, aktualizácie a iné, a nachádza sa v cloude.
  2. Mediálny server (medziserver *nix stroj) by mal byť čo najbližšie k zálohovaným systémom z hľadiska sieťovej dostupnosti. Tu sa vykonáva deduplikácia záloh zo všetkých zálohovaných strojov.
  3. Na zálohovaných strojoch sú agenti, ktorí vo všeobecnosti posielajú na mediálny server iba to, čo nie je v jeho úložisku.

Všetko začína úplným skenovaním — ide o plnohodnotnú kompletnú zálohu. V tomto čase mediálny server preberá všetko, vykonáva deduplikáciu a prenáša do S3. Rýchlosť do mediálneho servera je nízka, od neho je vyššia. Hlavné obmedzenie je výpočtová sila servera.

Nasledujúce zálohy sa robia z pohľadu všetkých systémov kompletné, ale v skutočnosti ide o niečo ako syntetické kompletné zálohy. Teda skutočný prenos a záznam na mediálny server prebieha len tých blokov údajov, ktoré sa ešte v zálohách VM predtým nevyskytli. A prenos a záznam do S3 prebieha len tých blokov údajov, ktorých hash nie je v databáze deduplikácie mediálneho servera. Ak máme jednoduchší jazyk — išlo o to, čo sa predtým nevyskytlo v žiadnej zálohe žiadnej VM.

Pri obnove mediálny server požaduje potrebné deduplikované objekty z S3, rehydruje ich a odovzdáva agentom SRK, teda je potrebné zohľadniť objem prenosu pri obnove, ktorý bude zodpovedať skutočnému objemu obnovovaných údajov.

Takto to vyzerá:

Ako znížiť ukladanie záloh v objektovom úložisku o 90%

A tu je ešte kúsok logov169 Jobs (0 Queued 0 Active 0 Waiting for Retry 0 Suspended 0 Incomplete 169 Done — 1 selected)

ID úlohy Typ Stavu Detaily stavu Stav Politika úlohy Rozvrh úlohy Klient Média Server Čas začatia Čas uplynulý Čas skončenia Úložná jednotka Pokus Operácia Kilobajty Súbory Cesta % Dokončené (odhadované) PID úlohy Vlastník Kópia ID nadriadeného úlohy KB/s Aktívne Začiatok Aktívne Uplynulo Robot Profil trezoru ID relácie Média na vysunutie Pohyb dát Mimo hostiteľa Typ Hlavný Priorita Miera deduplikácie Transportný akcelerátor Optimalizačná instancia alebo databáza Zdieľaný hostiteľ
— 1372 Restore Done 0 nbpr01 NBCC Dec 19, 2018 1:05:58 PM 00:04:32 Dec 19, 2018 1:10:30 PM 1 14,380,577 1 100% 8548 root 1372 70,567 Dec 19, 2018 1:06:00 PM 00:04:30 WIN-*********** 90000

Integrita údajov je zabezpečená ochranou samotného S3 — tam je dobrá redundancia na ochranu pred hardvérovými poruchami, ako je zlyhanie disku.

Mediálny-serveru potrebujeme 4 TB cache — to je odporúčanie Veritasu k minimálnemu objemu. Lepšie viac, ale robili sme to presne takto.

Záver

Keď partner nahral do nášho S3 20 GB, uskladnili sme 60 GB, pretože zabezpečujeme trojitú georezerváciu dát. Teraz je prevádzka oveľa nižšia, čo je dobré ako pre kanál, tak aj pre účtovanie za úložisko.

V tomto prípade sú trasy uzavreté mimo "veľkého internetu", ale je možné posielať prevádzku aj cez VPN L2 cez internet, ale médiový server je lepšie umiestniť pred vstupom od poskytovateľa.

Ak máte záujem dozvedieť sa viac o týchto funkciách v našich ruských dátových centrách alebo máte otázky o realizácii u seba – pýtajte sa v komentároch alebo na e-mail ekorotkikh@croc.ru.

Zdroj: habr.com

Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery 🔥 Kúpte si spoľahlivý hosting pre webové stránky s ochranou proti DDoS, VPS VDS servery | ProHoster