Gure turkiar bezeroek beren datu-zentrorako babeskopia behar bezala konfiguratzeko eskatu ziguten. Errusian antzeko proiektuak egiten ari gara, baina hemen istorioa nola egin onena ikertzea zen.
Emanda: tokiko S3 biltegiratze bat dago, Veritas NetBackup dago, datuak objektuen biltegiratzera eramateko funtzionalitate hedatu berria eskuratu duena, orain desduplicaziorako laguntzarekin, eta tokiko biltegiratze horretan espazio librearekin arazo bat dago.
Zeregin: dena egitea segurtasun kopiak gordetzeko prozesua azkarra eta merkea izan dadin.
Egia esan, honen aurretik, S3-n dena fitxategiak besterik ez ziren, eta datu-zentroko makina kritikoen erreprodukzio osoak ziren. Hau da, ez dago oso optimizatua, baina dena funtzionatu zuen hasieran. Orain asmatu eta ondo egiteko garaia da.
Irudiak zertara heldu garen erakusten du:
Ikusten duzunez, lehenengo babeskopia poliki-poliki egin zen (70 Mb/s), eta sistema bereko ondorengo segurtasun kopiak askoz azkarragoak izan ziren.
Egia esan, aurrerago zehaztasun apur bat gehiago dago zer ezaugarri dauden.
Zabortegiaren orri erdia irakurtzeko prest daudenentzako babeskopia erregistroakBerriro eskaneatuz beteta
18ko abenduaren 2018a 12:09:43 β Info bpbkar (pid=4452) azeleragailuak 14883996160 bytetik 14883994624 byte zerbitzarira bidali ditu, optimizazioa % 0.0
18ko abenduaren 2018a 12:10:07 - NBCC informazioa (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Txostena = PDDO estatistikak (hari anitzeko korrontea erabilia) (NBCC): eskaneatua: 14570817 KB, CR bidalia: 1760761 KB, CR bidalitako FC bidez: 0 KB, deskargatzea: % 87.9, cachea desgaituta
Osoa
18ko abenduaren 2018a 12:13:18 β Info bpbkar (pid=2864) azeleragailuak 181675008 bytetik 14884060160 byte zerbitzarira bidali ditu, optimizazioa % 98.8
18ko abenduaren 2018a 12:13:40 - NBCC informazioa (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Txostena=PDDO-ren estatistikak (NBCC): eskaneatua: 14569706 KB, CR bidalia: 45145 KB, CR bidalitako FC bidez: 0 KB, deskarga: % 99.7, cachea desgaituta
inkrementala
18ko abenduaren 2018a 12:15:32 β Info bpbkar (pid=792) azeleragailuak 9970688 bytetik 14726108160 byte zerbitzarira bidali ditu, optimizazioa % 99.9
18ko abenduaren 2018a 12:15:53 - NBCC informazioa (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Txostena=PDDO-ren estatistikak (NBCC): eskaneatua: 14383788 KB, CR bidalia: 15700 KB, CR bidalitako FC bidez: 0 KB, deskarga: % 99.9, cachea desgaituta
Osoa
18ko abenduaren 2018a 12:18:02 β Info bpbkar (pid=3496) azeleragailuak 171746816 bytetik 14884093952 byte zerbitzarira bidali ditu, optimizazioa % 98.8
18ko abenduaren 2018a 12:18:24 - NBCC informazioa (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Txostena=PDDO-ren estatistikak (NBCC): eskaneatua: 14569739 KB, CR bidalia: 34120 KB, CR bidalitako FC bidez: 0 KB, deskarga: % 99.8, cachea desgaituta
Zein da arazoa
Bezeroek babeskopiak ahalik eta gehien egin nahi dituzte eta ahalik eta merkeen gorde. Hobe da merke gordetzea S3 bezalako objektuen biltegietan, merkeenak direlako Megabyte bakoitzeko zerbitzuaren kostuan, bertatik babeskopia atzera egin dezakezu arrazoizko denboran. Babeskopia asko dagoenean, ez da oso merke bihurtzen, biltegiratze gehiena datu berdinen kopiek okupatzen baitute. Turkiako lankideen HaaS-en kasuan, biltegiratzea % 80-90 gutxi gorabehera dentsifikatu daiteke. Argi dago hau beren berezitasunekin erlazionatuta dagoela, baina, zalantzarik gabe, gutxienez %50eko aitonarekin kontatuko nuke.
Arazoa konpontzeko, saltzaile nagusiek aspaldi egin dituzte Amazon S3rako ateak. Haien metodo guztiak S3 lokalarekin bateragarriak dira Amazon APIa onartzen badute. Turkiako datu-zentroan, babeskopia egiten da gure S3-n, baita Errusiako T-III "Konpresorean" ere, lan-eskema honek ondo funtzionatu baitu guretzat.
Eta gure S3 guztiz bateragarria da Amazon S3 backup metodoekin. Hau da, metodo hauek onartzen dituzten babeskopia-tresna guztiek biltegiratze hori guztia "kutxatik kanpo" kopiatzeko aukera ematen dute.
Veritas NetBackup-ek CloudCatalyst funtzioa gehitu du:
Hau da, babeskopiak egin behar diren makinen eta atebidearen artean, tarteko Linux zerbitzari bat dago eta bertatik SRK agenteen babeskopia-trafikoa pasatzen da eta joan-etorrian desduplikatzen da S3ra transferitu aurretik. Lehen konpresioarekin 30 GBko 20 babeskopiak bazeuden, orain (makinen antzekotasuna dela eta) haien bolumena % 90 txikiagoa izan da. Desduplicazio-motorra Netbackup erabiliz disko arruntetan gordetzeko moduan erabiltzen da.
Hona zer gertatzen den tarteko zerbitzariaren aurretik:
Probatu eta ondorioztatu genuen gure datu-zentroetan ezartzen denean, S3 biltegian lekua aurrezten duela guretzat eta bezeroentzat. Datu-zentro komertzialen jabe gisa, noski, okupatutako bolumenaren arabera kobratzen dugu, baina oraindik ere oso errentagarria da guretzat - softwarean leku eskalagarriagoetan dirua irabazten hasten garelako, eta ez hardwarea alokatzen. Tira, eta hau barne kostuen murrizketa da.
Erregistroak228 Lanak (0 ilaran 0 Aktibo 0 Berriro saiatu zain 0 Etenda 0 Osatu gabe 228 Eginda β 13 hautatuta)
(Iragazkia aplikatuta [13])
Lanaren ID mota Estatua Egoera Xehetasunak Egoera Lanaren Politika Lanaren egutegia Bezeroaren Media Zerbitzariaren Hasiera-denbora Iragandako denbora Amaiera-ordua Biltegiratze-denbora Saiakeraren Eragiketa Kilobyte Fitxategien Bide-izena % Osatua (Gutxietsitakoa) Lanpostuaren PID Jabea Kopiatu Gurasoaren IDa KB/seg Aktibo Hasiera Aktibo Iraganatutako Robot-gangaren profil-saioa ID-euskarria kanporatzeko Datuen mugimendua Ostalaritik kanpoko mota Nagusia Lehentasuna Desduplicazio-tasa Garraio-azeleragailua Optimizazioa Instantzia edo Datu-basea Partekatzea Ostalari
β 1358 Snapshot Done 0 VMware β NNGNCloudADC NBCC Abenduak 18, 2018 12:16:19 PM 00:02:18 Abenduaren 18, 2018 12:18:37 PM STU_DP_S3_****backup 1 100% Root 1358, 18 Abenduaren 2018 :12:16 PM 27:00:02 Instant Recovery Disk Standard WIN-*********** 10
1360ko babeskopia eginda 0 VMware osoa NGNCloudADC NBCC 18ko abenduaren 2018a 12:16:48 00ko abenduaren 01a 39:18:2018 12:18:27 STU_DP_S3_**** babeskopia 1 14,535,248:149654% 100, 23858, 1358 335,098 18 2018 abenduak 12 , 16 48:00:01 39:0:99.8 Instant Recovery Disk Standard WIN-********** 99 % XNUMX % XNUMX
1352 Snapshot Done 0 VMware - NGNCloudADC NBCC 18ko abenduak 2018 12:14:04 00:02:01 18 abenduak 2018 12:16:05 STU_DP_S3_****backup 1 100% erro 1352, 18 abenduak 2018 12, 14 14:00 PM 01:51:0 Instant Recovery Disk Standard WIN-*********** XNUMX
1354 Babeskopia egina 0 VMware Incremental NGNCloudADC NBCC 18ko abenduak 2018 12:14:34 00:01:21 18ko abenduak 2018 12:15:55 STU_DP_S3_****backup 1 14,380,965% 147 100% 23617 1352 abenduak 500,817 , 18 2018:12:14 PM 34:00:01 Instant Recovery Disk Standard WIN-********** 21 % 0 % 99.9
1347 Snapshot Done 0 VMware - NGNCloudADC NBCC 18ko abenduak 2018 12:11:45 00:02:08 18 abenduak 2018 12:13:53 STU_DP_S3_****backup 1 100% erro 1347, 18 abenduak 2018 12, 11 45:00 PM 02:08:0 Instant Recovery Disk Standard WIN-*********** XNUMX
1349ko babeskopia eginda 0 VMware osoa NGNCloudADC NBCC 18ko abenduaren 2018a 12:12:02 00ko abenduaren 01a 41:18:2018 12:13:43 STU_DP_S3_**** babeskopia 1 14,535,215:149653% 100, 23508, 1347 316,319 18 2018 abenduak 12 , 12 02:00:01 41:0:99.7 Instant Recovery Disk Standard WIN-********** 99 % XNUMX % XNUMX
1341 Snapshot Done 0 VMware - NGNCloudADC NBCC 18ko abenduak 2018 12:05:28 00:04:53 18 abenduak 2018 12:10:21 STU_DP_S3_****backup 1 100% erro 1341, 18 abenduak 2018 12, 05 28:00 PM 04:53:0 Instant Recovery Disk Standard WIN-*********** XNUMX
1342 Babeskopia eginda 0 VMware Full_Rescan NGNCloudADC NBCC 18ko abenduak 2018 12:05:47 00:04:24 18ko abenduak 2018 12:10:11 STU_DP_S3_****backup 1 14,535,151 149653 100 22999 1341 abendua 70,380, 18 2018:12:05 PM 47:00:04 Instant Recovery Disk Standard WIN-*********** 24 0 % 87.9 %
1339 Snapshot Done 150 VMware - NGNCloudADC NBCC 18ko abenduak 2018 11:05:46 00:00:53 18 abenduak 2018 11:06:39 STU_DP_S3_****backup 1 100% 1339 18, 2018 erroa 11:05 AM 46:00:00 Instant Recovery Disk Standard WIN-*********** 53
1327 Snapshot Done 0 VMware - *******.********.cloud NBCC 17ko abenduak 2018 12:54:42 05:51:38 17 abenduak 2018 6:46:20 3:1:100 STU_DP_S1327_****backup 17 % 2018 root 12 54ko abenduaren 42a 05:51:38 0:XNUMX:XNUMX Instant Recovery Disk Standard WIN-*********** XNUMX
1328 Babeskopia eginda 0 VMware osoa *******.********.cloud NBCC 17ko abenduaren 2018a, 12:55:10, 05ko abenduaren 29a, 21:17:2018, 6:24:31 STU_DP_S3_****backup 1 222,602,719 258932 100% 12856 root 1327 11,326 Abenduak 17, 2018 12:55:10 PM 05:29:21 Instant Recovery Disk Standard. WIN %0-87.9******* %0
1136 Snapshot Done 0 VMware - *******.********.cloud NBCC 14ko abenduak 2018 4:48:22 04:05:16 14 abenduak 2018 8:53:38 3:1:100 STU_DP_S1136_****backup 14 % 2018 root 4 48ko abenduaren 22a 04:05:16 0:XNUMX:XNUMX Instant Recovery Disk Standard WIN-*********** XNUMX
1140 babeskopia eginda 0 VMware Full_Scan *******.********.cloud NBCC 14ko abenduaren 2018a 4:49:14 03ko abenduak 49 58:14:2018 8:39:12 STU_DP_S3_****backup 1 217,631,332 255465 100% 26438 root 1136 15,963 Abenduaren 14, 2018 4:49:14 PM 03:49:58 Instant Recovery Disk Standard % WIN-0******** %45.2
Azeleragailuak agenteen trafikoa murrizteko aukera ematen du, zeren Datu-aldaketak soilik transmititzen dira, hau da, babeskopia osoak ere ez dira guztiz kargatzen, multimedia-zerbitzariak geroko babeskopia osoa biltzen baititu segurtasun-kopia gehigarrietatik.
Tarteko zerbitzariak bere biltegiratze propioa du, non datuen "cache" bat idazten duen eta datu-base bat mantentzen du desduplicatzeko.
Arkitektura osoa honelakoa da:
- Zerbitzari nagusiak konfigurazioa, eguneraketak eta abar kudeatzen ditu eta hodeian dago.
- Multimedia zerbitzaria (tarteko *nix makina) sistema erredundanteetatik hurbilen kokatu behar da sareko irisgarritasunari dagokionez. Hemen, erreserbatutako makina guztien babeskopien desduplicazioa egiten da.
- Babeskopia egin duten makinetan, oro har, multimedia zerbitzariari biltegian ez dagoena bakarrik bidaltzen duten agenteak daude.
Dena eskaneatze oso batekin hasten da - hau babeskopia osoa da. Une honetan, multimedia zerbitzariak dena hartzen du, desbikoiztu eta S3ra transferitzen du. Multimedia zerbitzarirako abiadura baxua da, baina bertatik handiagoa da. Muga nagusia zerbitzariaren konputazio-ahalmena da.
Ondorengo babeskopiak sistema guztien ikuspuntutik osatuta daude, baina errealitatean babeskopia oso sintetikoak bezalako zerbait dira. Hau da, multimedia-zerbitzarirako benetako transferentzia eta grabaketa VM babeskopietan oraindik aurkitu ez diren datu-bloke horien bakarrik gertatzen da. Eta multimedia-zerbitzariaren deduplication datu-basean hash-a ez duten datu-blokeak soilik transferitzen eta erregistratzen dira S3-n. Hitz sinpleagoetan, VM bakar baten babeskopietan inoiz ikusi ez den zerbait da.
Berrezartzean, multimedia-zerbitzariak beharrezko objektu desduplikatuak eskatzen dizkio S3ri, berhidratatu eta IRBko agenteetara transferitzen ditu, hau da. leheneratzeko garaian trafiko-bolumena kontuan hartu behar da, leheneratzen diren datuen benetako bolumenaren parekoa izango dena.
Hemen duzue itxura:
Eta hona hemen beste erregistro zati bat169 Lanak (0 ilaran 0 Aktibo 0 Berriro saiatu zain 0 Etenda 0 Osatu gabe 169 Eginda β 1 hautatuta)
Lanaren ID mota Estatua Egoera Xehetasunak Egoera Lanaren Politika Lanaren egutegia Bezeroaren Media Zerbitzariaren Hasiera-denbora Iragandako denbora Amaiera-ordua Biltegiratze-denbora Saiakeraren Eragiketa Kilobyte Fitxategien Bide-izena % Osatua (Gutxietsitakoa) Lanpostuaren PID Jabea Kopiatu Gurasoaren IDa KB/seg Aktibo Hasiera Aktibo Iraganatutako Robot-gangaren profil-saioa ID-euskarria kanporatzeko Datuen mugimendua Ostalaritik kanpoko mota Nagusia Lehentasuna Desduplicazio-tasa Garraio-azeleragailua Optimizazioa Instantzia edo Datu-basea Partekatzea Ostalari
- 1372 Berrezarri Eginda 0 NBPR01 NBCC 19 abenduak 2018 1:05:58 00 abenduak 04 32:19:2018 1:10:30 1 14,380,577 1 % 100 8548 ROOT 1372 :70,567 PM 19:2018:1 Irabazi-*********** 06
Datuen osotasuna S3 beraren babesak bermatzen du; erredundantzia ona dago hor hardware akatsetatik babesteko, esate baterako, disko gogor hildako ardatz baten aurrean.
Multimedia zerbitzariak 4 TB cache behar ditu - hau da Veritasen gutxieneko tamaina gomendioa. Gehiago hobe da, baina horixe egin dugu.
Guztira
Bazkide batek gure S3-ra 20 GB bota zituenean, 60 GB gordetzen genituen, datuen geo-erreserba hirukoitza eskaintzen dugulako. Orain askoz trafiko gutxiago dago, eta hori ona da bai kanalerako, bai biltegiratzeko tarifetarako.
Kasu honetan, ibilbideak "Internet handitik" igarota itxita daude, baina VPN L2 bidez trafikoa Internet bidez gidatu dezakezu, baina hobe da multimedia zerbitzaria instalatzea hornitzailearen sarrera baino lehen.
Gure Errusiako datu-zentroetan eginbide hauek ezagutzeko interesa baduzu edo etxean ezarpenari buruzko galderarik baduzu, galdetu iruzkinetan edo posta elektronikoz [posta elektroniko bidez babestua].
Iturria: www.habr.com