Naši turečtí klienti nás požádali o správné nastavení zálohování pro datové centrum. Takové projekty provádíme v Rusku, ale zde šlo především o to, jak to udělat co nejlépe.
Dáno: máme místní S3 úložiště, máme Veritas NetBackup, který získal nový rozšířený funkční modul pro přesun dat do objektových úložišť s podporou deduplikace, a máme problém s volným místem v tomto místním úložišti.
Úkol: zajistit, aby proces zálohování byl rychlý a levný.
Dříve se do S3 ukládaly pouze soubory, a to byly plné otisky kritických serverů datového centra. To nevyžadovalo přílišnou optimalizaci, ale fungovalo to od začátku. Nyní však nastal čas se s tím vypořádat a udělat to správně.
Na obrázku je to, k čemu jsme dospěli:
Jak je vidět, první záloha probíhala pomalu (70 MB/s), zatímco následující zálohy stejných systémů byly značně rychlejší.
Zde je několik podrobností o tom, jaké jsou tam specifické rysy.
Záznamy záloh pro ty, kdo jsou ochotni číst haldy výpisůFull with rescan
18. prosince 2018 12:09:43 — Informace bpbkar (pid=4452) akcelerátor poslal 14883996160 bytů z 14883994624 bytů na server, optimalizace 0.0%
18. prosince 2018 12:10:07 — Informace NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Zpráva=PDDO Stats (v rámci vícevláknového streamu) pro (NBCC): naskenováno: 14570817 KB, CR posláno: 1760761 KB, CR posláno přes FC: 0 KB, deduplikace: 87.9%, vyrovnávací paměť deaktivována
Full
18. prosince 2018 12:13:18 — Informace bpbkar (pid=2864) akcelerátor poslal 181675008 bytů z 14884060160 bytů na server, optimalizace 98.8%
18. prosince 2018 12:13:40 — Informace NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Zpráva=PDDO Stats pro (NBCC): naskenováno: 14569706 KB, CR posláno: 45145 KB, CR posláno přes FC: 0 KB, deduplikace: 99.7%, vyrovnávací paměť deaktivována
Inkrementální
18. prosince 2018 12:15:32 — Informace bpbkar (pid=792) akcelerátor poslal 9970688 bytů z 14726108160 bytů na server, optimalizace 99.9%
18. prosince 2018 12:15:53 — Informace NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Zpráva=PDDO Stats pro (NBCC): naskenováno: 14383788 KB, CR posláno: 15700 KB, CR posláno přes FC: 0 KB, deduplikace: 99.9%, vyrovnávací paměť deaktivována
Full
18. prosince 2018 12:18:02 — Informace bpbkar (pid=3496) akcelerátor poslal 171746816 bytů z 14884093952 bytů na server, optimalizace 98.8%
18. prosince 2018 12:18:24 — Informace NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Zpráva=PDDO Stats pro (NBCC): naskenováno: 14569739 KB, CR posláno: 34120 KB, CR posláno přes FC: 0 KB, deduplikace: 99.8%, vyrovnávací paměť deaktivována
V čem je problém
Zákazníci chtějí provádět zálohy co nejčastěji a uchovávat je co nejlevněji. Nejlépe se levně ukládají do objektových úložišť jako S3, protože mají nejnižší náklady na údržbu na Megabajt, odkud lze zálohu rychle obnovit. Když je záloh hodně, stává se to trochu dražší, protože většinu úložného prostoru zabírají kopie stejných dat. V případě HaaS tureckých kolegů lze uložená data zhuštit asi o 80-90%. Je jasné, že se to vztahuje na jejich specifika, ale minimálně 50% deduplikace bych určitě očekával.
Pro vyřešení problému již hlavní dodavatelé vytvořili brány na Amazon S3. Všechny jejich metody jsou kompatibilní s místními S3, pokud podporují API Amazonu. V tureckém datovém centru se záloha provádí do našeho S3, stejně jako v T-III „Kompresoru“ v Rusku, protože tento způsob práce se u nás osvědčil.
Naše S3 je plně kompatibilní s metodami zálohování na Amazon S3. To znamená, že všechny prostředky pro zálohování, které tyto metody podporují, umožňují kopírovat vše do podobného úložiště "bez problémů".
Ve Veritas NetBackup zavedli funkci CloudCatalyst:
Mezi stroji, které je třeba zálohovat, a bránou se umístil mezičlánek – Linux server, kterým prochází zálohovací provoz od agentů SRK a provádí se jejich deduplikace "na letě" před odesláním do S3. Pokud bylo dříve 30 záloh po 20 GB s kompresí, nyní (kvůli podobnosti strojů) jich je objemově o 90% méně. Deduplikační engine je stejný jako při ukládání na běžné disky pomocí Netbackup.
Toto se děje před mezičlánkovým serverem:
Testovali jsme to a dospěli jsme k závěru, že při implementaci v našich datových centrech to přináší úsporu místa v úložištích S3 jak pro nás, tak pro zákazníky. Jako majitel komerčních datových center samozřejmě účtujeme podle obsazeného objemu, ale i tak je to pro nás velmi výhodné — protože začínáme vydělávat na více škálovatelných místech v softwaru, nikoli na pronájmu hardwaru. No, a také to snižuje naše vnitřní náklady.
Logy228 Jobs (0 Čekajících 0 Aktivních 0 Čekajících na Opakování 0 Pozastaveno 0 Neúplných 228 Hotovo — 13 vybráno)
(Aplikovaný filtr [13])
ID úlohy Typ Stavu Stavové podrobnosti Stav Politika úlohy Plán úlohy Klient Média Server Čas zahájení Uplynulý čas Čas ukončení Úložná jednotka Pokus Operace Kilobajty Soubory Cesta % Dokončeno (odhad) PID úlohy Vlastník Kopie Rodičovské ID úlohy KB/Sec Aktivní Zahájení Aktivní Uplynulý čas Robot Vault Profil ID relace Média k vysunutí Datový pohyb Off-Host Typ Hlavní Priorita Míra deduplikace Transportní zrychlovač Optimalizace Instance nebo databáze Sdílet hostitele
— 1358 Snímek Dokončeno 0 VMware — NGNCloudADC NBCC 18. prosince 2018 12:16:19 00:02:18 18. prosince 2018 12:18:37 STU_DP_S3_****záloha 1 100% root 1358 18. prosince 2018 12:16:27 00:02:10 Okamžitá obnova Disk Standard WIN-*********** 0
1360 Záloha Dokončeno 0 VMware Plné NGNCloudADC NBCC 18. prosince 2018 12:16:48 00:01:39 18. prosince 2018 12:18:27 STU_DP_S3_****záloha 1 14,535,248 149654 100% 23858 root 1358 335,098 18. prosince 2018 12:16:48 00:01:39 Okamžitá obnova Disk Standard WIN-*********** 0 99.8% 99%
1352 Snímek Dokončeno 0 VMware — NGNCloudADC NBCC 18. prosince 2018 12:14:04 00:02:01 18. prosince 2018 12:16:05 STU_DP_S3_****záloha 1 100% root 1352 18. prosince 2018 12:14:14 00:01:51 Okamžitá obnova Disk Standard WIN-*********** 0
1354 Záloha Dokončeno 0 VMware Inkrementální NGNCloudADC NBCC 18. prosince 2018 12:14:34 00:01:21 18. prosince 2018 12:15:55 STU_DP_S3_****záloha 1 14,380,965 147 100% 23617 root 1352 500,817 18. prosince 2018 12:14:34 00:01:21 Okamžitá obnova Disk Standard WIN-*********** 0 99.9% 100%
1347 Snímek Dokončeno 0 VMware — NGNCloudADC NBCC 18. prosince 2018 12:11:45 00:02:08 18. prosince 2018 12:13:53 STU_DP_S3_****záloha 1 100% root 1347 18. prosince 2018 12:11:45 00:02:08 Okamžitá obnova Disk Standard WIN-*********** 0
1349 Záloha Dokončeno 0 VMware Plné NGNCloudADC NBCC 18. prosince 2018 12:12:02 00:01:41 18. prosince 2018 12:13:43 STU_DP_S3_****záloha 1 14,535,215 149653 100% 23508 root 1347 316,319 18. prosince 2018 12:12:02 00:01:41 Okamžitá obnova Disk Standard WIN-*********** 0 99.7% 99%
1341 Snímek Dokončeno 0 VMware — NGNCloudADC NBCC 18. prosince 2018 12:05:28 00:04:53 18. prosince 2018 12:10:21 STU_DP_S3_****záloha 1 100% root 1341 18. prosince 2018 12:05:28 00:04:53 Okamžitá obnova Disk Standard WIN-*********** 0
1342 Záloha Dokončeno 0 VMware Plné_Rescan NGNCloudADC NBCC 18. prosince 2018 12:05:47 00:04:24 18. prosince 2018 12:10:11 STU_DP_S3_****záloha 1 14,535,151 149653 100% 22999 root 1341 70,380 18. prosince 2018 12:05:47 00:04:24 Okamžitá obnova Disk Standard WIN-*********** 0 87.9% 0%
1339 Snímek Dokončeno 150 VMware — NGNCloudADC NBCC 18. prosince 2018 11:05:46 00:00:53 18. prosince 2018 11:06:39 STU_DP_S3_****záloha 1 100% root 1339 18. prosince 2018 11:05:46 00:00:53 Okamžitá obnova Disk Standard WIN-*********** 0
1327 Snímek Dokončeno 0 VMware — *******.********.cloud NBCC 17. prosince 2018 12:54:42 05:51:38 17. prosince 2018 18:46:20 STU_DP_S3_****záloha 1 100% root 1327 17. prosince 2018 12:54:42 05:51:38 Okamžitá obnova Disk Standard WIN-*********** 0
1328 Záloha Dokončeno 0 VMware Plné *******.********.cloud NBCC 17. prosince 2018 12:55:10 05:29:21 17. prosince 2018 18:24:31 STU_DP_S3_****záloha 1 222,602,719 258932 100% 12856 root 1327 11,326 17. prosince 2018 12:55:10 05:29:21 Okamžitá obnova Disk Standard WIN-*********** 0 87.9% 0%
1136 Snímek Dokončeno 0 VMware — *******.********.cloud NBCC 14. prosince 2018 16:48:22 04:05:16 14. prosince 2018 20:53:38 STU_DP_S3_****záloha 1 100% root 1136 14. prosince 2018 16:48:22 04:05:16 Okamžitá obnova Disk Standard WIN-*********** 0
1140 Záloha Dokončeno 0 VMware Plné_Scan *******.********.cloud NBCC 14. prosince 2018 16:49:14 03:49:58 14. prosince 2018 20:39:12 STU_DP_S3_****záloha 1 217,631,332 255465 100% 26438 root 1136 15,963 14. prosince 2018 16:49:14 03:49:58 Okamžitá obnova Disk Standard WIN-*********** 0 45.2% 0%
Akcelerátor umožňuje snížit provoz s agenty, protože se přenášejí pouze změny dat, což znamená, že i úplné zálohy se nepřenosí v celku, neboť médiový server shromažďuje následné úplné zálohy z inkrementálních záloh.
Mezilehlý server má své úložiště, kam zapisuje "cache" dat a uchovává databázi pro deduplikaci.
V plné architektuře to vypadá takto:
- Hlavní server spravuje konfiguraci, aktualizace a další a nachází se v cloudu.
- Mediový server (mezilehlý *nix-stroj) by měl být co nejblíže zálohovaným systémům z hlediska síťové dostupnosti. Zde se provádí deduplikace záloh ze všech zálohovaných strojů.
- Na zálohovaných strojích jsou agenti, kteří v obecném případě posílají na mediový server pouze to, co v jeho úložišti není.
Vše začíná úplným skenováním — to je plnohodnotná úplná záloha. V tuto chvíli mediový server vezme vše, provede deduplikaci a převede do S3. Rychlost k mediovému serveru je nízká, od něj je však vyšší. Hlavní omezení je výpočetní výkon serveru.
Další zálohy se z pohledu všech systémů provádějí jako úplné, ale ve skutečnosti jde o něco jako syntetické úplné zálohy. To znamená, že skutečný přenos a zápis na mediový server probíhá pouze pro ty datové bloky, které se dříve nevyskytly v zálohách VM. A přenos a zápis do S3 probíhá pouze pro ty datové bloky, jejichž hash není v databázi deduplikace mediového serveru. Jinými slovy — co se dříve nevyskytlo v žádné záloze žádné VM.
Při obnově mediový server žádá potřebné deduplikované objekty z S3, regeneruje je a předává agentům SRK, t.j. je třeba zohlednit objem provozu při obnově, který bude odpovídat skutečnému objemu obnovovaných dat.
Takto to vypadá:
A tady je ještě kousek logů169 Jobs (0 Queued 0 Active 0 Waiting for Retry 0 Suspended 0 Incomplete 169 Done — 1 selected)
ID úlohy Typ Stavu Stavové podrobnosti Stav Politika úlohy Plán úlohy Klient Média Server Čas zahájení Uplynulý čas Čas ukončení Úložná jednotka Pokus Operace Kilobajty Soubory Cesta % Dokončeno (odhad) PID úlohy Vlastník Kopie Rodičovské ID úlohy KB/Sec Aktivní Zahájení Aktivní Uplynulý čas Robot Vault Profil ID relace Média k vysunutí Datový pohyb Off-Host Typ Hlavní Priorita Míra deduplikace Transportní zrychlovač Optimalizace Instance nebo databáze Sdílet hostitele
— 1372 Obnova Dokončena 0 nbpr01 NBCC 19. prosince 2018 13:05:58 00:04:32 19. prosince 2018 13:10:30 1 14,380,577 1 100% 8548 root 1372 70,567 19. prosince 2018 13:06:00 00:04:30 WIN-*********** 90000
Integrita dat je zajištěna ochranou samotného S3 — tam je dobrá redundance pro ochranu proti hardwarovým poruchám, jako je selhání špindlu pevného disku.
Média-serveru je potřeba 4 TB cache — to je doporučení Veritas pro minimální objem. Lepší víc, ale dělali jsme to přesně takto.
Výsledek
Když partner nahrával do našeho S3 20 GB, uchovávali jsme 60 GB, protože zajišťujeme trojité geografické zálohování dat. Nyní je provoz mnohem nižší, což je dobré jak pro kanál, tak pro účtování za ukládání.
V tomto případě jsou trasy uzavřeny mimo "velký Internet", ale je možné směrovat provoz i přes VPN L2 přes Internet, ale média-server je lepší umístit před vstup poskytovatele.
Pokud máte zájem o tyto funkce v našich ruských datových centrech nebo máte otázky k implementaci ve vaší společnosti — ptejte se v komentářích nebo na e-mailu ekorotkikh@croc.ru.
Zdroj: habr.com
