I nostri clienti turchi ci anu dumandatu di cunfigurà bè a copia di salvezza per u so centru di dati. Facemu prughjetti simili in Russia, ma quì a storia era più nantu à a ricerca di u megliu per fà.
Data: ci hè un almacenamentu S3 lucale, ci hè Veritas NetBackup, chì hà acquistatu una nova funziunalità ampliata per trasfurmà e dati à l'almacenamiento d'ughjettu, avà cù supportu per a deduplicazione, è ci hè un prublema cù u spaziu liberu in questu almacenamiento locale.
Task: per fà tuttu per chì u prucessu di almacenà e copie di salvezza hè veloce è prezzu.
In verità, prima di questu, tuttu in S3 era solu i schedari, è questi eranu casts cumpleti di e macchine critiche di u centru di dati. Questu hè, ùn hè micca assai ottimizatu, ma tuttu hà travagliatu à u principiu. Avà hè u tempu di scopre è fà bè.
A stampa mostra ciò chì avemu vinutu:
Comu pudete vede, a prima copia di salvezza hè stata fatta lentamente (70 Mb / s), è i backup successivi di i stessi sistemi eranu assai più veloci.
In verità, più in là, ci sò un pocu di più dettagli nantu à e caratteristiche chì ci sò.
I logs di salvezza per quelli chì sò pronti à leghje a meza pagina di dumpPienu cù rescan
18 dicembre 2018 12:09:43 — Info bpbkar (pid=4452) acceleratore mandatu 14883996160 bytes da 14883994624 bytes à u servitore, ottimisazione 0.0%
18 dicembre 2018 12:10:07 - Info NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapportu = PDDO Stats (stream multi-threaded utilizatu) per (NBCC): scanned: 14570817 KB, CR mandatu: 1760761 KB, CR mandatu nantu à FC: 0 KB, dedup: 87.9%, cache disattivata
Full
18 dicembre 2018 12:13:18 — Info bpbkar (pid=2864) acceleratore mandatu 181675008 bytes da 14884060160 bytes à u servitore, ottimisazione 98.8%
18 dicembre 2018 12:13:40 - Info NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapportu = Statistiche PDDO per (NBCC): scanned: 14569706 KB, CR mandatu: 45145 KB, CR mandatu nantu à FC: 0 KB, dedup: 99.7%, cache disattivata
Incrementali
18 dicembre 2018 12:15:32 — Info bpbkar (pid=792) acceleratore mandatu 9970688 bytes da 14726108160 bytes à u servitore, ottimisazione 99.9%
18 dicembre 2018 12:15:53 - Info NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapportu = Statistiche PDDO per (NBCC): scanned: 14383788 KB, CR mandatu: 15700 KB, CR mandatu nantu à FC: 0 KB, dedup: 99.9%, cache disattivata
Full
18 dicembre 2018 12:18:02 — Info bpbkar (pid=3496) acceleratore mandatu 171746816 bytes da 14884093952 bytes à u servitore, ottimisazione 98.8%
18 dicembre 2018 12:18:24 - Info NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapportu = Statistiche PDDO per (NBCC): scanned: 14569739 KB, CR mandatu: 34120 KB, CR mandatu nantu à FC: 0 KB, dedup: 99.8%, cache disattivata
Chì ghjè u prublema
I clienti volenu fà una copia di salvezza quant'è più spessu pussibule è almacenà u più prezzu pussibule. Hè megliu d'almacenà à pocu pressu in i magazzini di l'ughjettu cum'è S3, perchè sò i più boni à u costu di serviziu per Megabyte da induve pudete fà una copia di salvezza in un tempu raghjone. Quandu ci hè assai copia di salvezza, diventa micca assai prezzu, perchè a maiò parte di l'almacenamiento hè occupatu da copie di i stessi dati. In u casu di HaaS di i culleghi turchi, l'almacenamiento pò esse densificatu da circa 80-90%. Hè chjaru chì questu hè cunnessu specificamente à i so specifichi, ma certamenti cuntà à almenu 50% missiavu.
Per risolve u prublema, i vinditori principali anu longu fattu gateway à Amazon S3. Tutti i so metudi sò cumpatibili cù S3 lucale, sempre chì sustene l'API Amazon. In u centru di dati turcu, a copia di salvezza hè fatta à u nostru S3, è ancu in u T-III "Compressore" in Russia, postu chì stu schema di travagliu hà travagliatu bè per noi.
È u nostru S3 hè cumplettamente compatible cù i metudi di salvezza Amazon S3. Vale à dì, tutti l'arnesi di salvezza chì supportanu questi metudi permettenu di copià tuttu in un tali almacenamentu "fora di a scatula".
Veritas NetBackup hà aghjustatu a funzione CloudCatalyst:
Vale à dì, trà e machini chì deve esse salvatu è a porta, ci hè un servitore Linux intermediu attraversu quale u trafficu di salvezza di l'agenti SRK passa è hè deduplicatu nantu à a mosca prima di trasfiriri à S3. Se prima ci era 30 backups di 20 GB cù cumpressione, avà (per via di a similitudine di e macchine) u so voluminu hè diventatu 90% più chjucu. U mutore di deduplicazione hè utilizatu cum'è quandu si guarda nantu à i dischi regulari cù Netbackup.
Eccu ciò chì succede prima di u servitore intermediu:
Avemu pruvatu è ghjuntu à a cunclusione chì quandu hè implementatu in i nostri centri di dati, questu salva u spaziu in l'almacenamiento S3 per noi è per i clienti. Cum'è u pruprietariu di i centri di dati cummirciali, sicuru, carchemu secondu u voluminu occupatu, ma hè ancu assai prufittuatu per noi ancu - perchè avemu principiatu à guadagnà soldi in lochi più scalabili in u software, è micca in affittu hardware. Ebbè, è questu hè una riduzione di i costi interni.
Logs228 travaglii (0 in fila 0 attivu 0 in attesa di riprova 0 suspesu 0 incomplete 228 fattu - 13 selezziunati)
(Filtru applicatu [13])
Identità di u travagliu Statu Statu Dettagli Status Politica di u travagliu Pianificazione di u travagliu Client Media Server Start Time Elapsed Time End Time Storage Unit Tentativu Operazione Kilobyte Files Pathname % Complete (Stimatu) Job PID Owner Copy Parent Job ID KB/Sec Active Start Active Elapsed Robot Vault Profile Session ID Media per Eject Data Movement Off-Host Type Master Priority Deduplication Rate Transport Accelerator Optimization Istanza o Database Share Host
— 1358 Snapshot Done 0 VMware — NNGNCloudADC NBCC 18 dicembre 2018 12:16:19 00:02:18 18 dicembre 2018 12:18:37 STU_DP_S3_****backup 1 100% root 1358 18, 2018% Dec 12, 16 :27:00 PM 02:10:0 Disque di Recuperazione Instantanea Standard WIN-*********** XNUMX
1360 Backup Done 0 VMware Full NGNCloudADC NBCC 18 dicembre 2018 12:16:48 PM 00:01:39 18 dicembre 2018 12:18:27 PM STU_DP_S3_****backup 1 14,535,248:149654 100 23858 1358 335,098 18 2018 u 12 di dicembre , 16 48:00:01 PM 39:0:99.8 Instant Recovery Disk Standard WIN-********** 99 XNUMX% XNUMX%
1352 Snapshot Done 0 VMware - NGNCloudADC NBCC 18 dicembre 2018 12:14:04 PM 00:02:01 18 dicembre 2018 12:16:05 STU_DP_S3_****backup 1 100% root 1352 18, 2018 12 dicembre 14 14:00 PM 01:51:0 Disque di Recuperazione Instantanea Standard WIN-*********** XNUMX
1354 Backup Done 0 VMware Incremental NGNCloudADC NBCC 18 dicembre 2018 12:14:34 PM 00:01:21 18 dicembre 2018 12:15:55 PM STU_DP_S3_****backup 1 14,380,965 147 100 23617 1352, 500,817 18 u 2018 di dicembre , 12 14:34:00 PM 01:21:0 Disque di Recuperazione Instantanea Standard WIN-********** 99.9 100% XNUMX%
1347 Snapshot Done 0 VMware - NGNCloudADC NBCC 18 dicembre 2018 12:11:45 PM 00:02:08 18 dicembre 2018 12:13:53 STU_DP_S3_****backup 1 100% root 1347 18, 2018 12 dicembre 11 45:00 PM 02:08:0 Disque di Recuperazione Instantanea Standard WIN-*********** XNUMX
1349 Backup Done 0 VMware Full NGNCloudADC NBCC 18 dicembre 2018 12:12:02 PM 00:01:41 18 dicembre 2018 12:13:43 PM STU_DP_S3_****backup 1 14,535,215:149653 100 23508 1347 316,319 18 2018 u 12 di dicembre , 12 02:00:01 PM 41:0:99.7 Instant Recovery Disk Standard WIN-********** 99 XNUMX% XNUMX%
1341 Snapshot Done 0 VMware - NGNCloudADC NBCC 18 dicembre 2018 12:05:28 PM 00:04:53 18 dicembre 2018 12:10:21 STU_DP_S3_****backup 1 100% root 1341 18, 2018 12 dicembre 05 28:00 PM 04:53:0 Disque di Recuperazione Instantanea Standard WIN-*********** XNUMX
1342 Backup Done 0 VMware Full_Rescan NGNCloudADC NBCC 18 dicembre 2018 12:05:47 PM 00:04:24 18 dicembre 2018 12:10:11 PM STU_DP_S3_****backup 1 14,535,151% root 149653 100 22999 1341 dic 70,380 , 18 2018:12:05 PM 47:00:04 Instant Recovery Disk Standard WIN-*********** 24 0% 87.9%
1339 Snapshot Done 150 VMware - NGNCloudADC NBCC 18 dicembre 2018 11:05:46 AM 00:00:53 18 dicembre 2018 11:06:39 STU_DP_S3_****backup 1 100 1339 18 2018 11 05 46 00 00:53 AM 0:XNUMX:XNUMX Disque di Recuperazione Instantanea Standard WIN-*********** XNUMX
1327 Snapshot Done 0 VMware - ******.********.cloud NBCC 17 dicembre 2018 12:54:42 05:51:38 17 dicembre 2018 6:46:20 STU_DP_S3_****backup 1 100% root 1327 Dec 17, 2018 12:54:42 PM 05:51:38 Instant Recovery Disk Standard WIN-*********** 0
1328 Backup Done 0 VMware Full ******.********.cloud NBCC 17 dicembre 2018 12:55:10 PM 05:29:21 17 dicembre 2018 6:24:31 PM STU_DP_S3_****backup 1 222,602,719 258932 100% 12856 root 1327 11,326 Dec 17, 2018 12:55:10 PM 05:29:21 *** Instant Recovery Disk Standard WIN 0%-87.9****0**** XNUMX%
1136 Snapshot Done 0 VMware - ******.********.cloud NBCC 14 dicembre 2018 4:48:22 04:05:16 14 dicembre 2018 8:53:38 STU_DP_S3_****backup 1 100% root 1136 Dec 14, 2018 4:48:22 PM 04:05:16 Instant Recovery Disk Standard WIN-*********** 0
1140 Backup Done 0 VMware Full_Scan ******.********.cloud NBCC 14 dicembre 2018 4:49:14 03:49:58 14 dicembre 2018 8:39:12 PM STU_DP_S3_****backup 1 217,631,332 255465 100% 26438 root 1136 15,963 Dec 14, 2018 4:49:14 PM 03:49:58 Instant Recovery Disk Standard WIN-0**** *** 45.2% WIN-0****. XNUMX%
L'acceleratore permette di riduce u trafficu da l'agenti, perchè Solu i cambiamenti di dati sò trasmessi, vale à dì, ancu e copie di salvezza sanu ùn sò micca caricate sanu sanu, postu chì u servitore media raccoglie e successive copie di salvezza di salvezza incrementali.
U servitore intermediu hà u so propiu almacenamentu, induve scrive un "cache" di dati è mantene una basa di dati per a deduplicazione.
L'architettura cumpleta s'assumiglia cusì:
- U servitore maestru gestisce a cunfigurazione, l'aghjurnamenti, etc. è si trova in u nuvulu.
- U servitore media (intermediate * nix machine) deve esse situatu u più vicinu à i sistemi redundante in quantu à l'accessibilità di a rete. Quì, a deduplicazione di backups da tutte e macchine riservate hè fatta.
- Nant'à e macchine salvate, ci sò agenti chì generalmente mandanu à u servitore media solu ciò chì ùn hè micca in u so almacenamiento.
Tuttu principia cù una scansione completa - questu hè una copia di salvezza completa. À questu puntu, u servitore media piglia tuttu, deduplicate è trasfiriu à S3. A vitezza à u servore media hè bassu, ma da ellu hè più altu. A limitazione principale hè a putenza di computing di u servitore.
I seguenti backups sò fatti cumpletu da u puntu di vista di tutti i sistemi, ma in a realità sò qualcosa cum'è backups sintetici cumpleti. Questu hè, u trasferimentu propiu è a registrazione à u servitore media si trova solu di quelli blocchi di dati chì ùn sò micca stati ancu scontri in backups VM prima. È solu quelli blocchi di dati chì l'hash ùn hè micca in a basa di dati di deduplicazione di u media server sò trasferiti è arregistrati in S3. In parolle più simplici, questu hè qualcosa chì ùn hè mai statu vistu in alcuna copia di salvezza di una sola VM prima.
Durante a restaurazione, u servitore di media dumanda l'oggetti deduplicati necessarii da S3, li rehydrate è li trasfiriu à l'agenti IRB, i.e. hè necessariu di piglià in contu u voluminu di u trafficu durante a restaurazione, chì serà uguali à u voluminu propiu di dati chì sò restaurati.
Eccu ciò chì pari:
È quì hè un altru pezzu di logs169 travaglii (0 in fila 0 attivu 0 in attesa di riprova 0 suspesu 0 incomplete 169 fattu - 1 selezziunati)
Identità di u travagliu Statu Statu Dettagli Status Politica di u travagliu Pianificazione di u travagliu Client Media Server Start Time Elapsed Time End Time Storage Unit Tentativu Operazione Kilobyte Files Pathname % Complete (Stimatu) Job PID Owner Copy Parent Job ID KB/Sec Active Start Active Elapsed Robot Vault Profile Session ID Media per Eject Data Movement Off-Host Type Master Priority Deduplication Rate Transport Accelerator Optimization Istanza o Database Share Host
- 1372 Risturà Fattu 0 NBPR01 NBCC 19 dicembre 2018 1:05:58 00:04:32 19 dicembre 2018 1:10:30 1 14,380,577 1 100% 8548 ROOT 1372 70,567, 19 2018% 1 ROOT 06. :00 PM 00:04:30 WIN-*********** 90000
L'integrità di e dati hè assicurata da a prutezzione di u S3 stessu - ci hè una bona redundanza per prutegge da i fallimenti hardware, cum'è un spindle di discu duru mortu.
U servitore media necessita 4 TB di cache - questu hè a raccomandazione di dimensione minima di Veritas. Più hè megliu, ma hè ciò chì avemu fattu.
U risultatu
Quandu un cumpagnu hà lanciatu 3 GB in u nostru S20, avemu guardatu 60 GB, perchè furnimu triple geo-riservazione di dati. Avà ci hè assai menu trafficu, chì hè bonu per u canali è per i tariffi di almacenamiento.
In questu casu, i percorsi sò chjusi passati u "grande Internet", ma pudete guidà u trafficu attraversu VPN L2 nantu à Internet, ma hè megliu installà u servitore media prima di l'entrata di u fornitore.
Sè site interessatu à amparà nantu à queste caratteristiche in i nostri centri di dati russi o avete dumande nantu à l'implementazione in casa, dumandate in i cumenti o per email [email prutettu].
Source: www.habr.com