Kako smanjiti pohranu rezervnih kopija u objektnoj pohrani do 90%

Naši klijenti iz Turske zamolili su nas da pravilno postavimo rezervne kopije za data centar. Radimo slične projekte u Rusiji, ali ovdje se priča više odnosila na istraživanje kako to pravilno uraditi.

Podaci: imamo lokalno S3 skladište, imamo Veritas NetBackup, koji je dobio novu poboljšanu funkcionalnost za premještanje podataka u objektne skladišta sada s podrškom za deduplikaciju, i imamo problem s dostupnim prostorom u ovom lokalnom skladištu.

Zadatak: učiniti sve tako da proces pohrane rezervnih kopija bude brz i jeftin.

U suštini, ranije se u S3 sve jednostavno stavljalo u formi datoteka, a to su bili potpuni snimci kritičnih mašina iz data centra. Dakle, nije bilo previše optimizirano, ali je sve funkcioniralo od samog početka. Sada je došlo vreme da se razjasnimo i uradimo to pravilno.

Na slici je ono do čega smo došli:

Kako smanjiti pohranu rezervnih kopija u objektnoj pohrani do 90%

Kao što se može vidjeti, prvi rezervni kopija rađena je sporo (70 MB/s), dok su sljedeće rezervne kopije istih sistema bile znatno brže.

U suštini, evo malo više detalja o karakteristikama.

Logovi rezervnih kopija za one koji žele čitati polovinu stranice ispisaPotpuno s ponovnim skeniranjem
18. dec 2018 12:09:43 PM — Info bpbkar (pid=4452) akcelerator je poslao 14883996160 bajtova od 14883994624 bajtova na server, optimizacija 0,0%
18. dec 2018 12:10:07 PM — Info NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Izvještaj=PDDO Statistika (korišteni višestruki tok) za (NBCC): skenirano: 14570817 KB, CR poslato: 1760761 KB, CR poslato preko FC: 0 KB, deduplikacija: 87,9%, predmemorija onemogućena

Potpuno
18. dec 2018 12:13:18 PM — Info bpbkar (pid=2864) akcelerator je poslao 181675008 bajtova od 14884060160 bajtova na server, optimizacija 98,8%
18. dec 2018 12:13:40 PM — Info NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Izvještaj=PDDO Statistika za (NBCC): skenirano: 14569706 KB, CR poslato: 45145 KB, CR poslato preko FC: 0 KB, deduplikacija: 99,7%, predmemorija onemogućena

Inkrementalna
18. dec 2018 12:15:32 PM — Info bpbkar (pid=792) akcelerator je poslao 9970688 bajtova od 14726108160 bajtova na server, optimizacija 99,9%
18. dec 2018 12:15:53 PM — Info NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Izvještaj=PDDO Statistika za (NBCC): skenirano: 14383788 KB, CR poslato: 15700 KB, CR poslato preko FC: 0 KB, deduplikacija: 99,9%, predmemorija onemogućena

Potpuno
18. dec 2018 12:18:02 PM — Info bpbkar (pid=3496) akcelerator je poslao 171746816 bajtova od 14884093952 bajtova na server, optimizacija 98,8%
18. dec 2018 12:18:24 PM — Info NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Izvještaj=PDDO Statistika za (NBCC): skenirano: 14569739 KB, CR poslato: 34120 KB, CR poslato preko FC: 0 KB, deduplikacija: 99,8%, predmemorija onemogućena

U čemu je problem

Klijenti žele praviti bekape što je češće moguće i skladištiti ih što je jeftinije. Najjeftinije ih je skladištiti u objektima poput S3, jer su najisplativiji kada se obračunavaju po megabajtu iz kojeg se mogu obnoviti u razumnom vremenu. Kada ima mnogo bekapa, to postaje skupo, jer većinu skladišta zauzimaju kopije istih podataka. U slučaju HaaS turskih kolega, skladištenje se može smanjiti za oko 80-90%. Jasno je da se ovo odnosi na njihovu specifičnost, ali minimalno 50% smanjenja sigurno bih očekivao.

Za rješavanje problema, glavni dobavljači su već davno napravili pristupne tačke na Amazon S3. Sve njihove metode su kompatibilne sa lokalnim S3, ako podržavaju Amazonov API. U turskom DC-u bekap se pravi u naš S3, kao i u T-III „Kompressoru“ u Rusiji, budući da se takav način rada dobro pokazao kod nas.

Naša S3 je potpuno kompatibilna sa metodama za bekapiranje u Amazon S3. To znači da svi alati za bekapiranje koji podržavaju ove metode omogućavaju kopiranje u slično skladište „iz kutije“.

U Veritas NetBackup su napravili funkciju CloudCatalyst:

Kako smanjiti pohranu rezervnih kopija u objektnoj pohrani do 90%

To jest, između mašina koje je potrebno bekapati i pristupne tačke postavljen je posrednički Linux server, kroz koji prolazi bekapni saobraćaj od agenata SRK, a vrši se njihova deduplifikacija „u hodu“ pre nego što se šalju na S3. Ako je ranije bilo 30 bekapa po 20 GB uz kompresiju, sada (zbog sličnosti mašina) njihov obim je smanjen za 90%. Isti motor deduplifikacije se koristi kao i prilikom skladištenja na običnim diskovima pomoću Netbackup-a.

Evo šta se dešava pre nego što se dođe do posredničkog servera:

Kako smanjiti pohranu rezervnih kopija u objektnoj pohrani do 90%

Testirali smo i došli do zaključka da implementacija u našim DC-ima donosi uštedu prostora u S3 skladištima za nas i naše klijente. Kao vlasnik komercijalnih DC-a, naravno, naplaćujemo prema zauzetom obimu, ali to je ipak veoma isplativo i za nas - jer počinjemo zarađivati na skalabilnijim mestima u softveru, a ne na iznajmljivanju hardvera. Takođe, to smanjuje interne troškove.

Zapisi228 poslova (0 u redu 0 aktivno 0 čeka na ponovni pokušaj 0 suspendovano 0 nepotpuno 228 završeno - 13 odabrano)
(Primijenjen filter [13])

ID Zaposlenja Tip Država Detalji Države Status Politika Posla Raspored Posla Klijent Mediji Server Vreme Početka Prolazno Vreme Vreme Zatvaranja Jedinica Skladištenja Pokušaj Operacija Kilobajti Datoteke Putanja % Započeto (Procena) ID Procesa Zaposlenik Kopija ID Roditelja Posla KB/Sek Aktivno Početak Aktivna Prolazno Robot Skladište Profil ID Sesije Medij za Ejektovanje Kretanje Podataka Off-Host Tip Glavni Prioritet Stopa Dedupikacije Transport Akcelerator Optimizacija Instanca ili Baza Podataka
— 1358 Snimak Dovršen 0 VMware — NGNCloudADC NBCC 18. decembar 2018. 12:16:19 PM 00:02:18 18. decembar 2018. 12:18:37 PM STU_DP_S3_****backup 1 100% root 1358 18. decembar 2018. 12:16:27 PM 00:02:10 Instant Recovery Disk Standard WIN-*********** 0
1360 Backup Dovršen 0 VMware Potpuni NGNCloudADC NBCC 18. decembar 2018. 12:16:48 PM 00:01:39 18. decembar 2018. 12:18:27 PM STU_DP_S3_****backup 1 14,535,248 149654 100% 23858 root 1358 335,098 18. decembar 2018. 12:16:48 PM 00:01:39 Instant Recovery Disk Standard WIN-*********** 0 99.8% 99%
1352 Snimak Dovršen 0 VMware — NGNCloudADC NBCC 18. decembar 2018. 12:14:04 PM 00:02:01 18. decembar 2018. 12:16:05 PM STU_DP_S3_****backup 1 100% root 1352 18. decembar 2018. 12:14:14 PM 00:01:51 Instant Recovery Disk Standard WIN-*********** 0
1354 Backup Dovršen 0 VMware Inkrementalni NGNCloudADC NBCC 18. decembar 2018. 12:14:34 PM 00:01:21 18. decembar 2018. 12:15:55 PM STU_DP_S3_****backup 1 14,380,965 147 100% 23617 root 1352 500,817 18. decembar 2018. 12:14:34 PM 00:01:21 Instant Recovery Disk Standard WIN-*********** 0 99.9% 100%
1347 Snimak Dovršen 0 VMware — NGNCloudADC NBCC 18. decembar 2018. 12:11:45 PM 00:02:08 18. decembar 2018. 12:13:53 PM STU_DP_S3_****backup 1 100% root 1347 18. decembar 2018. 12:11:45 PM 00:02:08 Instant Recovery Disk Standard WIN-*********** 0
1349 Backup Dovršen 0 VMware Potpuni NGNCloudADC NBCC 18. decembar 2018. 12:12:02 PM 00:01:41 18. decembar 2018. 12:13:43 PM STU_DP_S3_****backup 1 14,535,215 149653 100% 23508 root 1347 316,319 18. decembar 2018. 12:12:02 PM 00:01:41 Instant Recovery Disk Standard WIN-*********** 0 99.7% 99%
1341 Snimak Dovršen 0 VMware — NGNCloudADC NBCC 18. decembar 2018. 12:05:28 PM 00:04:53 18. decembar 2018. 12:10:21 PM STU_DP_S3_****backup 1 100% root 1341 18. decembar 2018. 12:05:28 PM 00:04:53 Instant Recovery Disk Standard WIN-*********** 0
1342 Backup Dovršen 0 VMware Potpuni_Rescan NGNCloudADC NBCC 18. decembar 2018. 12:05:47 PM 00:04:24 18. decembar 2018. 12:10:11 PM STU_DP_S3_****backup 1 14,535,151 149653 100% 22999 root 1341 70,380 18. decembar 2018. 12:05:47 PM 00:04:24 Instant Recovery Disk Standard WIN-*********** 0 87.9% 0%

1339 Snimak Dovršen 150 VMware — NGNCloudADC NBCC 18. decembar 2018. 11:05:46 AM 00:00:53 18. decembar 2018. 11:06:39 AM STU_DP_S3_****backup 1 100% root 1339 18. decembar 2018. 11:05:46 AM 00:00:53 Instant Recovery Disk Standard WIN-*********** 0
1327 Snimak Dovršen 0 VMware — *******.********.cloud NBCC 17. decembar 2018. 12:54:42 PM 05:51:38 17. decembar 2018. 6:46:20 PM STU_DP_S3_****backup 1 100% root 1327 17. decembar 2018. 12:54:42 PM 05:51:38 Instant Recovery Disk Standard WIN-*********** 0
1328 Backup Dovršen 0 VMware Potpuni *******.********.cloud NBCC 17. decembar 2018. 12:55:10 PM 05:29:21 17. decembar 2018. 6:24:31 PM STU_DP_S3_****backup 1 222,602,719 258932 100% 12856 root 1327 11,326 17. decembar 2018. 12:55:10 PM 05:29:21 Instant Recovery Disk Standard WIN-*********** 0 87.9% 0%
1136 Snimak Dovršen 0 VMware — *******.********.cloud NBCC 14. decembar 2018. 4:48:22 PM 04:05:16 14. decembar 2018. 8:53:38 PM STU_DP_S3_****backup 1 100% root 1136 14. decembar 2018. 4:48:22 PM 04:05:16 Instant Recovery Disk Standard WIN-*********** 0
1140 Backup Dovršen 0 VMware Potpuni_Sken *******.********.cloud NBCC 14. decembar 2018. 4:49:14 PM 03:49:58 14. decembar 2018. 8:39:12 PM STU_DP_S3_****backup 1 217,631,332 255465 100% 26438 root 1136 15,963 14. decembar 2018. 4:49:14 PM 03:49:58 Instant Recovery Disk Standard WIN-*********** 0 45.2% 0%

Akcelerator smanjuje promet s agenata jer se prenose samo promjene podataka, što znači da se čak ni potpuni backup ne prenosi u cijelosti, budući da medijski poslužitelj prikuplja osnovne kompletne rezervne kopije iz inkrementalnih backupa.

Posrednički poslužitelj ima svoje skladište gdje zapisuje "cache" podataka i drži bazu za deduplikaciju.

U punoj arhitekturi izgleda ovako:

  1. Master poslužitelj upravlja konfiguracijom, ažuriranjima i ostalim te se nalazi u oblaku.
  2. Medijski poslužitelj (posredni *nix-stroj) trebao bi se nalaziti što bliže rezerviranim sustavima u smislu mrežne dostupnosti. Ovdje se vrši deduplikacija backupova sa svih rezerviranih mašina.
  3. Na rezerviranim mašinama postoje agenti koji u općem slučaju šalju na medijski poslužitelj samo ono što nije u njegovom skladištu.

Sve počinje s potpunim skeniranjem — to je potpuni backup. U tom trenutku medijski poslužitelj preuzima sve, vrši deduplikaciju i prenosi u S3. Brzina prema medijskom poslužitelju je niska, od njega — nešto viša. Glavno ograničenje je računalna snaga poslužitelja.

Sljedeći backupovi se rade s gledišta svih sustava kao potpuni, ali u stvarnosti to je nešto poput sintetičkih potpunih backupova. Drugim riječima, stvarni prijenos i zapis na medijskom poslužitelju odvija se samo za one blokove podataka koji se ranije nisu pojavljivali u rezervnim kopijama VM. A prijenos i zapis u S3 odvija se samo za one blokove podataka čiji hash nije u bazi deduplikacije medijskog poslužitelja. Jednostavnije rečeno — ono što se ranije nije pojavilo u nijednom backupu nijedne VM.

Pri povratu, medijski poslužitelj traži potrebne deduplikovane objekte sa S3, rehidrira ih i prenosi agenta SRK, tj. treba uzeti u obzir količinu prometa pri vraćanju, koja će biti jednaka stvarnoj količini podataka koja se obnavlja.

Evo kako to izgleda:

Kako smanjiti pohranu rezervnih kopija u objektnoj pohrani do 90%

I još jedan dio logova169 poslova (0 u redu 0 aktivnih 0 čekanja na ponovni pokušaj 0 suspendiranih 0 nepotpunih 169 završenih — 1 odabran)

ID Zaposlenja Tip Država Detalji Države Status Politika Posla Raspored Posla Klijent Mediji Server Vreme Početka Prolazno Vreme Vreme Zatvaranja Jedinica Skladištenja Pokušaj Operacija Kilobajti Datoteke Putanja % Započeto (Procena) ID Procesa Zaposlenik Kopija ID Roditelja Posla KB/Sek Aktivno Početak Aktivna Prolazno Robot Skladište Profil ID Sesije Medij za Ejektovanje Kretanje Podataka Off-Host Tip Glavni Prioritet Stopa Dedupikacije Transport Akcelerator Optimizacija Instanca ili Baza Podataka
— 1372 Obnova završena 0 nbpr01 NBCC 19. dec. 2018 13:05:58 00:04:32 19. dec. 2018 13:10:30 1 14,380,577 1 100% 8548 root 1372 70,567 19. dec. 2018 13:06:00 00:04:30 WIN-*********** 90000

Integritet podataka osigurava zaštita samog S3 — tu postoji dobra redundancija za zaštitu od hardverskih kvarova poput kvara hard disk špindle.

Medija-serveru potrebno je 4 TB cache-a — to je preporuka Veritasa za minimalni volumen. Bolje više, ali tako smo radili.

Zaključak

Kada je partner prenio 20 GB u naš S3, skladištili smo 60 GB, jer osiguravamo trostruko georedundantno skladištenje podataka. Sada je protok znatno manji, što je dobro i za kanal i za naplatu skladištenja.

U ovom slučaju, rute su zatvorene mimo "velikog Interneta", ali se može slati saobraćaj i preko VPN L2 preko Interneta, ali je bolje postaviti medija server prije ulaza kod provajdera.

Ako vas zanimaju ove funkcije u našim ruskim DC-ima ili imate pitanja o implementaciji kod vas — pitajte u komentarima ili na e-mail ekorotkikh@croc.ru.

Izvor: habr.com

Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere 🔥 Kupite pouzdan hosting za sajtove uz zaštitu od DDoS, VPS VDS servere | ProHoster