Gihangyo kami sa among mga kliyente sa Turkey nga husto nga i-configure ang backup alang sa ilang data center. Nagbuhat kami parehas nga mga proyekto sa Russia, apan dinhi ang istorya labi pa bahin sa pagsiksik kung giunsa kini labing maayo nga buhaton.
Gihatag: adunay usa ka lokal nga pagtipig sa S3, adunay Veritas NetBackup, nga nakakuha og bag-ong gipalapdan nga pagpaandar alang sa pagbalhin sa datos sa pagtipig sa butang, karon adunay suporta alang sa deduplication, ug adunay problema sa libre nga wanang sa kini nga lokal nga pagtipig.
Buluhaton: paghimo sa tanan aron ang proseso sa pagtipig sa mga backup nga kopya paspas ug barato.
Sa tinuud, sa wala pa kini, ang tanan sa S3 yano ra nga mga file, ug kini kompleto nga mga cast sa mga kritikal nga makina sa data center. Kana mao, kini dili kaayo optimized, apan ang tanan nagtrabaho sa sinugdanan. Karon na ang panahon aron mahibal-an kini ug buhaton kini nga husto.
Gipakita sa litrato kung unsa ang among naabut:
Sama sa imong makita, ang unang backup gihimo sa hinay-hinay (70 Mb/s), ug ang misunod nga pag-backup sa samang mga sistema mas paspas.
Sa tinuud, dugang pa adunay gamay nga mga detalye bahin sa kung unsang mga bahin ang naa.
Mga backup nga log alang niadtong andam nga mobasa sa tunga sa panid sa dumpPuno sa rescan
Disyembre 18, 2018 12:09:43 PM β Impormasyon bpbkar (pid=4452) accelerator nagpadala 14883996160 bytes gikan sa 14883994624 bytes ngadto sa server, optimization 0.0%
Disyembre 18, 2018 12:10:07 PM - Info NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Stats (multi-threaded stream nga gigamit) para sa (NBCC): gi-scan: 14570817 KB, CR gipadala: 1760761 KB, CR gipadala sa FC: 0 KB, dedup: 87.9%, cache disabled
Full
Disyembre 18, 2018 12:13:18 PM β Impormasyon bpbkar (pid=2864) accelerator nagpadala 181675008 bytes gikan sa 14884060160 bytes ngadto sa server, optimization 98.8%
Disyembre 18, 2018 12:13:40 PM - Info NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Stats para sa (NBCC): gi-scan: 14569706 KB, CR gipadala: 45145 KB, CR gipadala sa FC: 0 KB, dedup: 99.7%, cache disabled
Pagkalainlain
Disyembre 18, 2018 12:15:32 PM β Impormasyon bpbkar (pid=792) accelerator nagpadala 9970688 bytes gikan sa 14726108160 bytes ngadto sa server, optimization 99.9%
Disyembre 18, 2018 12:15:53 PM - Info NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Stats para sa (NBCC): gi-scan: 14383788 KB, CR gipadala: 15700 KB, CR gipadala sa FC: 0 KB, dedup: 99.9%, cache disabled
Full
Disyembre 18, 2018 12:18:02 PM β Impormasyon bpbkar (pid=3496) accelerator nagpadala 171746816 bytes gikan sa 14884093952 bytes ngadto sa server, optimization 98.8%
Disyembre 18, 2018 12:18:24 PM - Info NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO Stats para sa (NBCC): gi-scan: 14569739 KB, CR gipadala: 34120 KB, CR gipadala sa FC: 0 KB, dedup: 99.8%, cache disabled
Unsay problema
Gusto sa mga kustomer nga mag-backup kanunay kutob sa mahimo ug tipigan kini nga barato kutob sa mahimo. Labing maayo nga tipigan kini nga barato sa mga pagtipig sa butang sama sa S3, tungod kay kini ang labing barato sa gasto sa serbisyo matag Megabyte gikan diin mahimo nimong i-roll ang usa ka backup sa usa ka makatarunganon nga oras. Kung adunay daghang backup, kini dili kaayo barato, tungod kay kadaghanan sa pagtipig giokupahan sa mga kopya sa parehas nga datos. Sa kaso sa HaaS sa mga kauban sa Turkey, ang pagtipig mahimong mabag-o sa gibana-bana nga 80-90%. Kini mao ang tin-aw nga kini may kalabutan sa espesipiko sa ilang mga detalye, apan ako siguradong mosalig sa labing menos 50% lolo.
Aron masulbad ang problema, ang mga nag-unang tigbaligya dugay nang naghimog mga ganghaan sa Amazon S3. Ang tanan nilang mga pamaagi nahiuyon sa lokal nga S3 basta suportado nila ang Amazon API. Sa Turkish data center, gihimo ang backup sa among S3, maingon man sa T-III "Compressor" sa Russia, tungod kay kini nga pamaagi sa trabaho maayo alang kanamo.
Ug ang among S3 hingpit nga nahiuyon sa mga pamaagi sa pag-backup sa Amazon S3. Kana mao, ang tanan nga backup nga mga himan nga nagsuporta niini nga mga pamaagi nagtugot kanimo sa pagkopya sa tanan sa ingon nga pagtipig "gikan sa kahon."
Gidugang sa Veritas NetBackup ang bahin sa CloudCatalyst:
Sa ato pa, tali sa mga makina nga kinahanglan i-back up ug sa ganghaan, adunay usa ka intermediate nga server sa Linux diin ang backup nga trapiko gikan sa mga ahente sa SRK moagi ug ma-deduplicate dayon sa wala pa ibalhin kini sa S3. Kung kaniadto adunay 30 nga pag-backup sa 20 GB nga adunay compression, karon (tungod sa pagkaparehas sa mga makina) ang ilang gidaghanon nahimong 90% nga gamay. Ang deduplication nga makina gigamit sama sa dihang nagtipig sa regular nga mga disk gamit ang Netbackup.
Ania ang mahitabo sa wala pa ang intermediate server:
Among gisulayan ug miabot sa konklusyon nga kon ipatuman sa among mga data center, kini makadaginot ug luna sa S3 storage alang kanamo ug sa mga kustomer. Ingon nga tag-iya sa komersyal nga mga sentro sa datos, siyempre, nagbayad kami sumala sa gidaghanon nga giokupar, apan kini usab mapuslanon kaayo alang kanamo - tungod kay nagsugod kami sa pagpangita og salapi sa mas daghang mga lugar sa software, ug dili sa pag-abang sa hardware. Aw, ug kini usa ka pagkunhod sa internal nga gasto.
Mga troso228 Trabaho (0 Pila 0 Aktibo 0 Naghulat sa Pagsulay Pag-usab 0 Gisuspinde 0 Dili kompleto 228 Nahuman β 13 ang napili)
(Gigamit ang Filter [13])
Job Id Type State State Details Status Job Policy Eskedyul sa Trabaho Client Media Server Start Time Elapsed Time End Time Storage Unit Try Operation Kilobytes Files Pathname % Complete (Estimated) Job PID Owner Copy Parent Job ID KB/Sec Active Start Active Elapsed Robot Vault Profile Session ID Media nga Ipagawas ang Data Movement Off-Host Type Master Priority Deduplication Rate Transport Accelerator Optimization Instance o Database Share Host
β 1358 Snapshot Tapos na 0 VMware β NGNCloudADC NBCC Dec 18, 2018 12:16:19 PM 00:02:18 Dec 18, 2018 12:18:37 PM STU_DP_S3_****backup 1 100% 1358 Dec 18 2018 Dec. :12:16 PM 27:00:02 Instant Recovery Disk Standard WIN-********** 10
1360 Backup Nahuman 0 VMware Full NGNCloudADC NBCC Dec 18, 2018 12:16:48 PM 00:01:39 Dec 18, 2018 12:18:27 PM STU_DP_S3_****backup 1 14,535,248 149654 100 23858 1358 Disyembre 335,098 , 18 2018:12:16 PM 48:00:01 Instant Recovery Disk Standard WIN-********** 39 0% 99.8%
1352 Snapshot Nahuman 0 VMware - NGNCloudADC NBCC Dis 18, 2018 12:14:04 PM 00:02:01 Dis 18, 2018 12:16:05 PM STU_DP_S3_****backup 1 100% gamut 1352 Dec 18 2018:12 PM 14:14:00 Instant Recovery Disk Standard WIN-********** 01
1354 Nahimo ang Pag-backup 0 VMware Incremental NGNCloudADC NBCC Dis 18, 2018 12:14:34 PM 00:01:21 Dis 18, 2018 12:15:55 PM STU_DP_S3_****backup 1 14,380,965 147 100 23617 Disyembre 1352 , 500,817 18:2018:12 PM 14:34:00 Instant Recovery Disk Standard WIN-********** 01 21% 0%
1347 Snapshot Nahuman 0 VMware - NGNCloudADC NBCC Dis 18, 2018 12:11:45 PM 00:02:08 Dis 18, 2018 12:13:53 PM STU_DP_S3_****backup 1 100% gamut 1347 Dec 18 2018:12 PM 11:45:00 Instant Recovery Disk Standard WIN-********** 02
1349 Backup Nahuman 0 VMware Full NGNCloudADC NBCC Dec 18, 2018 12:12:02 PM 00:01:41 Dec 18, 2018 12:13:43 PM STU_DP_S3_****backup 1 14,535,215 149653 100 23508 1347 Disyembre 316,319 , 18 2018:12:12 PM 02:00:01 Instant Recovery Disk Standard WIN-********** 41 0% 99.7%
1341 Snapshot Nahuman 0 VMware - NGNCloudADC NBCC Dis 18, 2018 12:05:28 PM 00:04:53 Dis 18, 2018 12:10:21 PM STU_DP_S3_****backup 1 100% gamut 1341 Dec 18 2018:12 PM 05:28:00 Instant Recovery Disk Standard WIN-********** 04
1342 Nahuman ang Pag-backup 0 VMware Full_Rescan NGNCloudADC NBCC Dis 18, 2018 12:05:47 PM 00:04:24 Dis 18, 2018 12:10:11 PM STU_DP_S3_****backup 1 14,535,151 149653 100 22999 Dis 1341, 70,380 18:2018:12 PM 05:47:00 Instant Recovery Disk Standard WIN-************ 04 24% 0%
1339 Snapshot Tapos na 150 VMware - NGNCloudADC NBCC Dis 18, 2018 11:05:46 AM 00:00:53 Dis 18, 2018 11:06:39 AM STU_DP_S3_****backup 1 100% Dis 1339, 18% Dis root 2018 11:05 AM 46:00:00 Instant Recovery Disk Standard WIN-********** 53
1327 Snapshot Nahuman 0 VMware - *******.********.cloud NBCC Disyembre 17, 2018 12:54:42 PM 05:51:38 Disyembre 17, 2018 6:46:20 PM STU_DP_S3_****backup 1 100% gamut 1327 Dis 17, 2018 12:54:42 PM 05:51:38 Instant Recovery Disk Standard WIN-********** 0
1328 Backup Nahuman 0 VMware Full *******.********.cloud NBCC Dec 17, 2018 12:55:10 PM 05:29:21 Dec 17, 2018 6:24:31 PM STU_DP_S3_****backup 1 222,602,719 258932 100% 12856 gamut 1327 11,326 Dis 17, 2018 12:55:10 PM 05:29:21 Instant Recovery Disk Standard WIN-*********** 0-*********** 87.9%
1136 Snapshot Nahuman 0 VMware - *******.********.cloud NBCC Disyembre 14, 2018 4:48:22 PM 04:05:16 Disyembre 14, 2018 8:53:38 PM STU_DP_S3_****backup 1 100% gamut 1136 Dis 14, 2018 4:48:22 PM 04:05:16 Instant Recovery Disk Standard WIN-********** 0
1140 Backup Nahuman 0 VMware Full_Scan *******.********.cloud NBCC Dec 14, 2018 4:49:14 PM 03:49:58 Dec 14, 2018 8:39:12 PM STU_DP_S3_****backup 1 217,631,332 255465 100% 26438 gamut 1136 15,963 Dis 14, 2018 4:49:14 PM 03:49:58 Instant Recovery Disk Standard % WIN-*********** 0 45.2%
Ang accelerator nagtugot kanimo sa pagpakunhod sa trapiko gikan sa mga ahente, tungod kay Ang mga pagbag-o lamang sa datos ang gipasa, nga mao, bisan ang bug-os nga pag-backup wala ma-upload sa bug-os, tungod kay ang media server nagkolekta sa sunod nga bug-os nga pag-backup gikan sa incremental nga mga backup.
Ang intermediate server adunay kaugalingong storage, diin kini nagsulat og "cache" sa data ug nagmintinar sa database alang sa deduplication.
Ang kompleto nga arkitektura ingon niini:
- Ang master server nagdumala sa configuration, updates, ug uban pa ug nahimutang sa cloud.
- Ang media server (intermediate *nix machine) kinahanglan nga nahimutang nga labing duol sa mga sobra nga sistema sa termino sa accessibility sa network. Dinhi, ang pag-deduplication sa mga backup gikan sa tanan nga gireserba nga mga makina nahimo.
- Sa gipaluyohan nga mga makina adunay mga ahente nga kasagarang ipadala ngadto sa media server lamang ang wala sa pagtipig niini.
Nagsugod ang tanan sa usa ka bug-os nga pag-scan - kini usa ka bug-os nga bug-os nga backup. Niini nga punto, gikuha sa media server ang tanan, gi-deduplicate kini ug gibalhin kini sa S3. Ang katulin sa media server ubos, apan gikan niini mas taas. Ang panguna nga limitasyon mao ang gahum sa pag-compute sa server.
Ang mosunud nga mga pag-backup gihimo nga kompleto gikan sa punto sa pagtan-aw sa tanan nga mga sistema, apan sa tinuud kini usa ka butang sama sa sintetikong bug-os nga pag-backup. Sa ato pa, ang aktuwal nga pagbalhin ug pagrekord sa media server mahitabo lamang sa mga bloke sa datos nga wala pa masinati sa mga backup sa VM kaniadto. Ug kadto lang mga data block kansang hash wala sa database sa deduplication sa media server ang gibalhin ug girekord sa S3. Sa mas simple nga mga pulong, kini usa ka butang nga wala pa makita sa bisan unsang backup sa usa ka VM kaniadto.
Atol sa pagpasig-uli, ang media server naghangyo sa gikinahanglan nga deduplicated nga mga butang gikan sa S3, rehydrates kanila ug pagbalhin kanila ngadto sa IRB ahente, i.e. gikinahanglan nga tagdon ang gidaghanon sa trapiko sa panahon sa pagpasig-uli, nga mahimong katumbas sa aktuwal nga gidaghanon sa datos nga gipahiuli.
Ania kung unsa kini tan-awon:
Ug ania ang laing piraso sa mga troso169 Trabaho (0 Pila 0 Aktibo 0 Naghulat sa Pagsulay Pag-usab 0 Gisuspinde 0 Dili kompleto 169 Nahuman β 1 ang napili)
Job Id Type State State Details Status Job Policy Eskedyul sa Trabaho Client Media Server Start Time Elapsed Time End Time Storage Unit Try Operation Kilobytes Files Pathname % Complete (Estimated) Job PID Owner Copy Parent Job ID KB/Sec Active Start Active Elapsed Robot Vault Profile Session ID Media nga Ipagawas ang Data Movement Off-Host Type Master Priority Deduplication Rate Transport Accelerator Optimization Instance o Database Share Host
- 1372 Iuli Nabuhat 0 NBPR01 NBCC Dec 19, 2018 1:05:58 PM 00:04:32 Dec 19, 2018 1:10:30 PM 1 14,380,577 1 100% 8548 Dec 1372 ROOT :70,567 PM 19:2018:1 WIN-************ 06
Ang integridad sa datos gisiguro pinaagi sa pagpanalipod sa S3 mismo - adunay maayo nga pag-uswag didto aron mapanalipdan batok sa mga pagkapakyas sa hardware sama sa usa ka patay nga hard drive spindle.
Ang media server nanginahanglan 4 TB nga cache - kini ang labing gamay nga rekomendasyon sa gidak-on sa Veritas. Daghan ang mas maayo, apan mao kana ang among gibuhat.
Ang resulta
Sa dihang gilabay sa usa ka kauban ang 3 GB sa among S20, among gitipigan ang 60 GB, tungod kay naghatag kami og triple geo-reservation sa data. Karon adunay gamay nga trapiko, nga maayo alang sa channel ug alang sa mga taripa sa pagtipig.
Sa kini nga kaso, ang mga ruta gisirado sa wala pa ang "dako nga Internet", apan mahimo nimong mamaneho ang trapiko pinaagi sa VPN L2 sa Internet, apan mas maayo nga i-install ang media server sa wala pa ang entrada sa provider.
Kung interesado ka nga mahibal-an ang bahin sa kini nga mga bahin sa among mga sentro sa datos sa Russia o adunay mga pangutana bahin sa pagpatuman sa balay, pangutana sa mga komento o pinaagi sa email [protektado sa email].
Source: www.habr.com