Naši turski klijenti zamolili su nas da ispravno konfigurišemo bekap za data-centar. Slične projekte radimo u Rusiji, ali je ovde priča više vezana za istraživanje kako najbolje to uraditi.
Data: postoji lokalno S3 skladište, postoji Veritas NetBackup, koji je dobio novu proširenu funkcionalnost za prenos podataka u objektne skladišta, sada sa podrškom za dedupikaciju, i postoji problem sa slobodnim mestom u ovom lokalnom skladištu.
Zadatak: učiniti sve tako da proces skladištenja rezervnih kopija bude brz i jeftin.
Naime, pre toga su se u S3 svi podaci skladištili samo kao fajlovi, pri čemu su to bile potpune slike kritičnih mašina datacentra. Nije bilo najviše optimizovano, ali je sve radilo na početku. Sada je došlo vreme da se to ispravi i uradi na pravi način.
Na slici je to što smo postigli:
Kao što se može videti, prva rezervna kopija rađena je sporo (70 MB/s), dok su sledeće rezervne kopije istih sistema bile znatno brže.
Evo malo više detalja o tome koje su tu posebnosti.
Logovi rezervnih kopija za one koji su spremni da pročitaju pola strane ispisaPuno sa rescanningom
Dec 18, 2018 12:09:43 PM — Info bpbkar (pid=4452) akcelerator je poslao 14883996160 bajta od 14883994624 bajta na server, optimizacija 0.0%
Dec 18, 2018 12:10:07 PM — Info NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Izveštaj=PDDO Statistika (višestruki tok korišćen) za (NBCC): skenirano: 14570817 KB, CR poslato: 1760761 KB, CR poslato preko FC: 0 KB, dedup: 87.9%, keš onemogućen
Puno
Dec 18, 2018 12:13:18 PM — Info bpbkar (pid=2864) akcelerator je poslao 181675008 bajta od 14884060160 bajta na server, optimizacija 98.8%
Dec 18, 2018 12:13:40 PM — Info NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Izveštaj=PDDO Statistika za (NBCC): skenirano: 14569706 KB, CR poslato: 45145 KB, CR poslato preko FC: 0 KB, dedup: 99.7%, keš onemogućen
Inkrementalno
Dec 18, 2018 12:15:32 PM — Info bpbkar (pid=792) akcelerator je poslao 9970688 bajta od 14726108160 bajta na server, optimizacija 99.9%
Dec 18, 2018 12:15:53 PM — Info NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Izveštaj=PDDO Statistika za (NBCC): skenirano: 14383788 KB, CR poslato: 15700 KB, CR poslato preko FC: 0 KB, dedup: 99.9%, keš onemogućen
Puno
Dec 18, 2018 12:18:02 PM — Info bpbkar (pid=3496) akcelerator je poslao 171746816 bajta od 14884093952 bajta na server, optimizacija 98.8%
Dec 18, 2018 12:18:24 PM — Info NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Izveštaj=PDDO Statistika za (NBCC): skenirano: 14569739 KB, CR poslato: 34120 KB, CR poslato preko FC: 0 KB, dedup: 99.8%, keš onemogućen
U čemu je problem
Stranke želijo, da bi varnostne kopije izvajali čim pogosteje in jih shranjevali čim ceneje. Najceneje jih je shraniti v objektnih skladiščih, kot je S3, ker so najcenejša glede stroškov vzdrževanja na megabajt, od koder je možno hitro obnoviti varnostno kopijo. Ko je varnostnih kopij veliko, to postane precej drago, saj večji del skladišča zasedajo kopije istih podatkov. V primeru HaaS turških kolegov lahko shranjevanje stisnemo za približno 80-90%. Očitno se to nanaša na njihovo specifičnost, vendar bi minimalno na 50% deduplikacije zagotovo računali.
Za reševanje problema so glavni ponudniki že dolgo uvedli prehode na S3 Amazon. Vse njihove metode so združljive z lokalnimi S3, če podpirajo Amazon API. V turškem DC se varnostne kopije izvajajo v naši S3, kot tudi v T-III 'Kompresorju' v Rusiji, saj se je ta način dela pri nas dobro obnesel.
Naša S3 je popolnoma združljiva z metodami varnostnih kopij v Amazon S3. To pomeni, da vse naprave za varnostno kopiranje, ki podpirajo te metode, omogočajo kopiranje vsega v podobno skladišče 'out of the box'.
V Veritas NetBackup so naredili funkcijo CloudCatalyst:
Torej se je med stroji, ki jih je treba varnostno kopirati, in prehodom postavil vmesni Linux strežnik, skozi katerega poteka varnostni promet z agenti SRK in se izvaja njihova deduplikacija 'v teku' pred prenosom v S3. Če je bilo prej 30 varnostnih kopij po 20 GB s stiskanjem, je zdaj (zaradi podobnosti strojev) njihova prostornina 90% manjša. Enotni motor deduplikacije se uporablja enak, kot pri shranjevanju na navadnih diskih z orodji NetBackup.
Tako poteka stvari pred vmesnim strežnikom:
Testirali smo in prišli do zaključka, da uvedba v naših DC-ih prinaša prihranek prostora v skladiščih S3 za nas in naše stranke. Kot lastnik komercialnih DC-jev seveda zaračunavamo glede na zaseden volumen, a vseeno je to za nas zelo ugodno — ker začnemo zaslužiti na bolj skalabilnih mestih v programski opremi, ne na najemu strojne opreme. No, in to zmanjšuje notranje stroške.
Zapisi228 Jobs (0 V vrsti 0 Aktivnih 0 Čaka na ponovni poskus 0 Suspendiranih 0 Nepopolnih 228 Končanih — 13 izbranih)
(Filter uporabljen [13])
ID práce Typ Stav Detaily stavu Stav Politika práce Plán práce Klient Média Server Čas zahájení Uplynulý čas Čas ukončení Úložná jednotka Pokus Operace Kilobajty Soubory Cesta % Dokončeno (odhadováno) PID práce Vlastník Kopie Rodič ID práce KB/Sec Aktivní Zahájení Aktivní Uplynulý Robot Profil Vault ID relace Média k vyjmutí Pohyb dat Off-Host Typ Hlavní Priorita Rychlost deduplikace Akcelerátor transportu Optimalizace Instance nebo databáze Sdílený host
— 1358 Snapshot dokončeno 0 VMware — NGNCloudADC NBCC 18. prosince 2018 12:16:19 PM 00:02:18 18. prosince 2018 12:18:37 PM STU_DP_S3_****backup 1 100% root 1358 18. prosince 2018 12:16:27 PM 00:02:10 Okamžité obnovení Disk Standard WIN-*********** 0
1360 Záloha dokončena 0 VMware Plná NGNCloudADC NBCC 18. prosince 2018 12:16:48 PM 00:01:39 18. prosince 2018 12:18:27 PM STU_DP_S3_****backup 1 14,535,248 149654 100% 23858 root 1358 335,098 18. prosince 2018 12:16:48 PM 00:01:39 Okamžité obnovení Disk Standard WIN-*********** 0 99.8% 99%
1352 Snapshot dokončeno 0 VMware — NGNCloudADC NBCC 18. prosince 2018 12:14:04 PM 00:02:01 18. prosince 2018 12:16:05 PM STU_DP_S3_****backup 1 100% root 1352 18. prosince 2018 12:14:14 PM 00:01:51 Okamžité obnovení Disk Standard WIN-*********** 0
1354 Záloha dokončena 0 VMware Inkrementální NGNCloudADC NBCC 18. prosince 2018 12:14:34 PM 00:01:21 18. prosince 2018 12:15:55 PM STU_DP_S3_****backup 1 14,380,965 147 100% 23617 root 1352 500,817 18. prosince 2018 12:14:34 PM 00:01:21 Okamžité obnovení Disk Standard WIN-*********** 0 99.9% 100%
1347 Snapshot dokončeno 0 VMware — NGNCloudADC NBCC 18. prosince 2018 12:11:45 PM 00:02:08 18. prosince 2018 12:13:53 PM STU_DP_S3_****backup 1 100% root 1347 18. prosince 2018 12:11:45 PM 00:02:08 Okamžité obnovení Disk Standard WIN-*********** 0
1349 Záloha dokončena 0 VMware Plná NGNCloudADC NBCC 18. prosince 2018 12:12:02 PM 00:01:41 18. prosince 2018 12:13:43 PM STU_DP_S3_****backup 1 14,535,215 149653 100% 23508 root 1347 316,319 18. prosince 2018 12:12:02 PM 00:01:41 Okamžité obnovení Disk Standard WIN-*********** 0 99.7% 99%
1341 Snapshot dokončeno 0 VMware — NGNCloudADC NBCC 18. prosince 2018 12:05:28 PM 00:04:53 18. prosince 2018 12:10:21 PM STU_DP_S3_****backup 1 100% root 1341 18. prosince 2018 12:05:28 PM 00:04:53 Okamžité obnovení Disk Standard WIN-*********** 0
1342 Záloha dokončena 0 VMware Plná_Sken NGNCloudADC NBCC 18. prosince 2018 12:05:47 PM 00:04:24 18. prosince 2018 12:10:11 PM STU_DP_S3_****backup 1 14,535,151 149653 100% 22999 root 1341 70,380 18. prosince 2018 12:05:47 PM 00:04:24 Okamžité obnovení Disk Standard WIN-*********** 0 87.9% 0%
1339 Snapshot dokončeno 150 VMware — NGNCloudADC NBCC 18. prosince 2018 11:05:46 AM 00:00:53 18. prosince 2018 11:06:39 AM STU_DP_S3_****backup 1 100% root 1339 18. prosince 2018 11:05:46 AM 00:00:53 Okamžité obnovení Disk Standard WIN-*********** 0
1327 Snapshot dokončeno 0 VMware — *******.********.cloud NBCC 17. prosince 2018 12:54:42 PM 05:51:38 17. prosince 2018 6:46:20 PM STU_DP_S3_****backup 1 100% root 1327 17. prosince 2018 12:54:42 PM 05:51:38 Okamžité obnovení Disk Standard WIN-*********** 0
1328 Záloha dokončena 0 VMware Plná *******.********.cloud NBCC 17. prosince 2018 12:55:10 PM 05:29:21 17. prosince 2018 6:24:31 PM STU_DP_S3_****backup 1 222,602,719 258932 100% 12856 root 1327 11,326 17. prosince 2018 12:55:10 PM 05:29:21 Okamžité obnovení Disk Standard WIN-*********** 0 87.9% 0%
1136 Snapshot dokončeno 0 VMware — *******.********.cloud NBCC 14. prosince 2018 4:48:22 PM 04:05:16 14. prosince 2018 8:53:38 PM STU_DP_S3_****backup 1 100% root 1136 14. prosince 2018 4:48:22 PM 04:05:16 Okamžité obnovení Disk Standard WIN-*********** 0
1140 Záloha dokončena 0 VMware Plný_Sken *******.********.cloud NBCC 14. prosince 2018 4:49:14 PM 03:49:58 14. prosince 2018 8:39:12 PM STU_DP_S3_****backup 1 217,631,332 255465 100% 26438 root 1136 15,963 14. prosince 2018 4:49:14 PM 03:49:58 Okamžité obnovení Disk Standard WIN-*********** 0 45.2% 0%
Akcelerator omogoča zmanjšanje prometa z agenti, saj se prenašajo le spremembe podatkov, kar pomeni, da tudi popolni varnostni kopiji ne tečejo v celoti, saj medijski strežnik zbira naslednje popolne varnostne kopije iz inkrementalnih varnostnih kopij.
Vmesni strežnik ima lastno shrambo, kamor piše 'predpomnilnik' podatkov in hrani podatkovno bazo za deduplikacijo.
V celotni arhitekturi zgleda tako:
- Mojster strežnik upravlja z nastavitvami, posodobitvami in drugimi stvarmi ter se nahaja v oblaku.
- Medijski strežnik (vmesni *nix-stroj) mora biti čim bližje sistemom, ki jih varnostno kopiramo, z vidika mrežne dostopnosti. Tukaj se izvaja deduplikacija varnostnih kopij iz vseh varnostno kopiranih strojev.
- Na varnostno kopiranih strojih so agenti, ki na splošno pošiljajo na medijski strežnik le tisto, česar ni v njegovi shrambi.
Vse se začne s popolnim skeniranjem — to je pravi popolni varnostni kopiji. V tem trenutku medijski strežnik pobere vse, izvede deduplikacijo in prenese v S3. Hitrost do medijskega strežnika je nizka, od njega pa višja. Glavna omejitev je računalniška moč strežnika.
Naslednje varnostne kopije so po mnenju vseh sistemov popolne, a v praksi gre za nekaj podobnega sintetičnim popolnim varnostnim kopijam. To pomeni, da dejanska prenos in zapis na medijski strežnik poteka le z tistimi bloki podatkov, ki še niso bili srečani v varnostnih kopijah VM prej. Prenos in zapis v S3 pa poteka le z tistimi bloki podatkov, katerih hash ni v deduplikacijski bazi medijskega strežnika. Preprosteje povedano — kar ni bilo srečano v nobeni varnostni kopiji nobene VM prej.
Pri obnovitvi medijski strežnik zahteva potrebne deduplikirane objekte iz S3, jih rehidratizira in prenese agentom SRK, torej je treba upoštevati obseg prometa pri obnovitvi, ki bo enak dejanskemu obsegu obnavljanih podatkov.
Tako to izgleda:
In tukaj je še del dnevnika169 delovnih mest (0 v čakanju, 0 aktivnih, 0 čakajo na ponovni poskus, 0 suspendiranih, 0 nedokončanih, 169 končanih — 1 izbran)
ID práce Typ Stav Detaily stavu Stav Politika práce Plán práce Klient Média Server Čas zahájení Uplynulý čas Čas ukončení Úložná jednotka Pokus Operace Kilobajty Soubory Cesta % Dokončeno (odhadováno) PID práce Vlastník Kopie Rodič ID práce KB/Sec Aktivní Zahájení Aktivní Uplynulý Robot Profil Vault ID relace Média k vyjmutí Pohyb dat Off-Host Typ Hlavní Priorita Rychlost deduplikace Akcelerátor transportu Optimalizace Instance nebo databáze Sdílený host
— 1372 Obnova končana, 0 nbpr01 NBCC 19. dec. 2018 13:05:58 00:04:32 19. dec. 2018 13:10:30 1 14,380,577 1 100% 8548 root 1372 70,567 19. dec. 2018 13:06:00 00:04:30 WIN-*********** 90000
Celovitost podatkov zagotavlja zaščita samega S3 — tam je dobra redundanca za zaščito pred strojno napako, kot je okvara vrtenja trdega diska.
Medijskistrežniku je potrebnih 4 TB predpomnilnika — to je priporočilo Veritas glede minimalnega obsega. Bolje je več, vendar smo točno tako delali.
Zaključek
Ko je partner nalagal v naš S3 20 GB, smo shranili 60 GB, saj zagotavljamo trojno georedundanco podatkov. Sedaj je prometa precej manj, kar je dobro za kanal in za obračunavajanje shranjevanja.
V tem primeru so poti zaprte mimo "velikega interneta", vendar lahko usmerimo promet tudi preko VPN L2 preko interneta, vendar je bolje, da postavite medijski strežnik pred vhodom ponudnika.
Če vas zanima več o teh funkcijah v naših ruskih podatkovnih centrih ali imate vprašanja o implementaciji — vprašajte v komentarjih ali pošljite e-pošto na ekorotkikh@croc.ru.
Izvor: habr.com
