Kliyan Tik nou yo te mande nou byen konfigirasyon backup pou sant done yo. Nou ap fè pwojè menm jan an nan Larisi, men isit la istwa a te plis sou rechèch ki jan pi bon fè li.
Bay: gen yon depo lokal S3, gen Veritas NetBackup, ki te akeri nouvo fonksyonalite elaji pou deplase done nan depo objè, kounye a ak sipò pou deduplication, epi gen yon pwoblèm ak espas gratis nan depo lokal sa a.
Objektif Travay la: fè tout bagay pou ke pwosesis la nan estoke kopi backup se vit ak bon mache.
Aktyèlman, anvan sa, tout bagay nan S3 te tou senpleman dosye, ak sa yo te jete konplè nan machin yo kritik nan sant done a. Sa vle di, li pa trè optimize, men tout bagay te travay nan kòmansman an. Koulye a, li lè yo evalye li epi fè li byen.
Foto a montre sa nou te rive:
Kòm ou ka wè, premye backup la te fè tou dousman (70 Mb / s), ak sovgad ki vin apre nan menm sistèm yo te pi vit.
Aktyèlman, pi lwen gen yon ti kras plis detay sou ki karakteristik ki genyen.
Sovgad mòso bwa pou moun ki pare pou li mwatye paj pil fatraPlen ak resan
Dec 18, 2018 12:09:43 PM — Enfòmasyon sou bpbkar (pid=4452) akseleratè voye 14883996160 byte sou 14883994624 byte nan sèvè, optimize 0.0%
Dec 18, 2018 12:10:07 PM - Enfòmasyon sou NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapò = Statistik PDDO (kouran milti-threaded yo itilize) pou (NBCC): analize: 14570817 KB, CR voye: 1760761 KB, CR voye sou FC: 0 KB, dedup: 87.9%, kachèt enfim
Plen
Dec 18, 2018 12:13:18 PM — Enfòmasyon sou bpbkar (pid=2864) akseleratè voye 181675008 byte sou 14884060160 byte nan sèvè, optimize 98.8%
18 desanm 2018 12:13:40 PM - Enfòmasyon sou NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapò = Statistik PDDO pou (NBCC): analize: 14569706 KB, CR voye: 45145 KB, CR voye sou FC: 0 KB, dedup: 99.7%, kachèt enfim
Incremental
18 Desanm 2018 12:15:32 PM — Enfòmasyon sou akseleratè bpbkar (pid=792) la te voye 9970688 okte sou 14726108160 okte bay sèvè a, optimize 99.9%
18 Desanm 2018 12:15:53 PM - Enfòmasyon NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapò=PDDO Estatistik pou (NBCC): eskane: 14383788 KB, CR voye: 15700 KB, CR voye sou FC: 0 KB, dedup: 99.9%, kach enfim
Plen
Dec 18, 2018 12:18:02 PM — Enfòmasyon sou bpbkar (pid=3496) akseleratè voye 171746816 byte sou 14884093952 byte nan sèvè, optimize 98.8%
18 desanm 2018 12:18:24 PM - Enfòmasyon sou NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Rapò = Statistik PDDO pou (NBCC): analize: 14569739 KB, CR voye: 34120 KB, CR voye sou FC: 0 KB, dedup: 99.8%, kachèt enfim
Kisa pwoblèm nan ye
Kliyan yo vle fè sovgad osi souvan ke posib epi estoke yo pi bon mache ke posib. Li pi bon pou estoke yo bon mache nan depo objè tankou S3, paske yo se pi bon mache a nan pri a nan sèvis pou chak Megabyte kote ou ka woule yon backup tounen nan yon tan rezonab. Lè gen yon anpil nan backup, li vin pa trè bon mache, paske pifò nan depo a okipe pa kopi done yo menm. Nan ka HaaS nan kòlèg Tik, depo ka densifye pa apeprè 80-90%. Li klè ke sa a gen rapò espesyalman ak spesifik yo, men mwen ta definitivman konte sou omwen 50% granpapa.
Pou rezoud pwoblèm nan, machann prensipal yo gen lontan fè pòtay Amazon S3. Tout metòd yo konpatib ak lokal S3 osi lontan ke yo sipòte Amazon API a. Nan sant done Tik la, backup fè nan S3 nou an, osi byen ke nan T-III "Compressor" nan Larisi, depi konplo travay sa a te travay byen pou nou.
Ak S3 nou an konplètman konpatib ak Amazon S3 metòd backup. Sa vle di, tout zouti backup ki sipòte metòd sa yo pèmèt ou kopye tout bagay nan depo sa yo "soti nan bwat la."
Veritas NetBackup te ajoute karakteristik CloudCatalyst la:
Sa vle di, ant machin ki bezwen fè bak yo ak pòtay la, yo te mete yon entèmedyè. Linux- yon sèvè ki jere trafik backup ki soti nan ajan SRK yo epi ki deduplike li sou plas anvan li transfere li nan S3. Anvan, te gen 30 backup konprese 20 GB, men kounye a (akòz resanblans machin yo), volim yo te redwi a 90%. Yo itilize menm motè deduplikasyon an tankou pou depo sou disk regilye lè l sèvi avèk Netbackup.
Men sa k ap pase anvan sèvè entèmedyè a:
Nou te teste epi nou rive nan konklizyon ke lè aplike nan sant done nou yo, sa a ekonomize espas nan depo S3 pou nou ak pou kliyan yo. Kòm pwopriyetè a nan sant done komèsyal yo, nan kou, nou chaje dapre volim nan okipe, men li toujou trè pwofitab pou nou tou - paske nou kòmanse fè lajan sou kote ki pi évolutive nan lojisyèl, epi yo pa sou lwe kenkayri. Oke, e sa a se yon rediksyon nan depans entèn yo.
Logs228 Travay (0 Anfile 0 Aktif 0 Tann pou re-eseye 0 Sispann 0 Enkonplè 228 Fè — 13 chwazi)
(Filtè aplike [13])
Kalite Id Travay Kalite Eta Eta Detay Estati Règleman Travay Orè Travay Kliyan Medya Sèvè Tan Kòmanse Tan Pase Tan Fen Tan Depo Inite Eseye Operasyon Kilobit Fichye Chemen % Konplete (Estime) Pwopriyetè PID Travay Kopi ID Travay Paran KB/Sèk Aktif Kòmanse Aktif Pwofil Vault Robot Sesyon Pwofil Medya ID pou ekspilse Done Mouvman Off-Host Kalite Mèt Priyorite Deduplication To Transpò Akseleratè Optimizasyon Enstans oswa baz done Pataje Host
— 1358 Snapshot Fè 0 VMware — NGNCloudADC NBCC 18 desanm 2018 12:16:19 PM 00:02:18 18 desanm 2018 12:18:37 PM STU_DP_S3_****sovgad 1 100% rasin 1358 desanm :18:2018 PM 12:16:27 Instant Recovery Disk Standard WIN-*********** 00
1360 Sovgad Fè 0 VMware konplè NGNCloudADC NBCC 18 desanm 2018 12:16:48 PM 00:01:39 18 desanm 2018 12:18:27 PM STU_DP_S3_****sovgad 1 14,535,248% 149654, 100 23858 1358 335,098 18 2018 12 desanm , 16 48:00:01 PM 39:0:99.8 Instant Recovery Disk Standard WIN-********** 99 XNUMX% XNUMX%
1352 Snapshot Fè 0 VMware - NGNCloudADC NBCC 18 desanm 2018 12:14:04 PM 00:02:01 18 desanm 2018 12:16:05 PM STU_DP_S3_****backup 1 100% rasin 1352, 18 desanm 2018, 12 14:14 PM 00:01:51 Instant Recovery Disk Standard WIN-*********** 0
1354 Sovgad Fini 0 VMware Enkremantal NGNCloudADC NBCC 18 Desanm 2018 12:14:34 PM 00:01:21 18 Desanm 2018 12:15:55 PM STU_DP_S3_****backup 1 14,380,965 147 100% 23617 root 1352 500,817 18 Desanm 2018 12:14:34 PM 00:01:21 Disk Rekiperasyon Enstantane Estanda WIN-*********** 0 99.9% 100%
1347 Snapshot Fè 0 VMware - NGNCloudADC NBCC 18 desanm 2018 12:11:45 PM 00:02:08 18 desanm 2018 12:13:53 PM STU_DP_S3_****backup 1 100% rasin 1347, 18 desanm 2018, 12 11:45 PM 00:02:08 Instant Recovery Disk Standard WIN-*********** 0
1349 Sovgad Fè 0 VMware konplè NGNCloudADC NBCC 18 desanm 2018 12:12:02 PM 00:01:41 18 desanm 2018 12:13:43 PM STU_DP_S3_****sovgad 1 14,535,215% 149653, 100 23508 1347 316,319 18 2018 12 desanm , 12 02:00:01 PM 41:0:99.7 Instant Recovery Disk Standard WIN-********** 99 XNUMX% XNUMX%
1341 Snapshot Fè 0 VMware - NGNCloudADC NBCC 18 desanm 2018 12:05:28 PM 00:04:53 18 desanm 2018 12:10:21 PM STU_DP_S3_****backup 1 100% rasin 1341, 18 desanm 2018, 12 05:28 PM 00:04:53 Instant Recovery Disk Standard WIN-*********** 0
1342 Sovgad Fè 0 VMware Full_Rescan NGNCloudADC NBCC 18 desanm 2018 12:05:47 PM 00:04:24 18 desanm 2018 12:10:11 PM STU_DP_S3_****sovgad 1 14,535,151% 149653 100% 22999 1341 70,380 Desanm 18 , 2018 12:05:47 PM 00:04:24 Instant Recovery Disk Standard WIN-*********** 0 87.9% 0%
1339 Snapshot Fè 150 VMware - NGNCloudADC NBCC 18 desanm 2018 11:05:46 AM 00:00:53 18 desanm 2018 11:06:39 AM STU_DP_S3_****backup 1 100% 1339 desanm 18: 2018:11 AM 05:46:00 Instant Recovery Disk Standard WIN-*********** 00
1327 Snapshot Fè 0 VMware - *******.********.cloud NBCC 17 desanm 2018 12:54:42 PM 05:51:38 17 desanm 2018 6:46:20 PM STU_DP_S3_****backup 1 100% rasin 1327 Dec 17, 2018 12:54:42 PM 05:51:38 Instant Recovery Disk Standard WIN-*********** 0
1328 Sovgad Fè 0 VMware konplè *******.********.cloud NBCC 17 desanm 2018 12:55:10 PM 05:29:21 17 desanm 2018 6:24:31 PM STU_DP_S3_****backup 1 222,602,719 258932 100% 12856 rasin 1327 11,326 Dec 17, 2018 12:55:10 PM 05:29:21 Instant Recovery Disk Standard WIN. 0%
1136 Snapshot Fè 0 VMware - *******.********.cloud NBCC 14 desanm 2018 4:48:22 PM 04:05:16 14 desanm 2018 8:53:38 PM STU_DP_S3_****backup 1 100% rasin 1136 Dec 14, 2018 4:48:22 PM 04:05:16 Instant Recovery Disk Standard WIN-*********** 0
1140 Sovgad Fè 0 VMware Full_Scan *******.********.cloud NBCC 14 desanm 2018 4:49:14 PM 03:49:58 14 desanm 2018 8:39:12 PM STU_DP_S3_****backup 1 217,631,332 255465 100% 26438 rasin 1136 15,963 Dec 14, 2018 4:49:14 PM 03:49:58 Instant Recovery Disk Standard WIN-0******** 45.2 WIN-0:XNUMX. XNUMX%
Akseleratè a pèmèt ou diminye trafik nan ajan, paske Se sèlman chanjman done yo transmèt, se sa ki, menm sovgad konplè yo pa Uploaded antyèman, depi sèvè medya a kolekte sovgad konplè ki vin apre soti nan sovgad incrémentielle.
Sèvè entèmedyè a gen pwòp depo li yo, kote li ekri yon "kachèt" nan done epi kenbe yon baz done pou deduplication.
Achitekti konplè a sanble sa a:
- Sèvè a mèt jere konfigirasyon, mizajou, elatriye epi li sitiye nan nwaj la.
- Sèvè medya a (entèmedyè *nix machin) ta dwe lokalize ki pi pre sistèm redondants yo an tèm de aksè rezo a. Isit la, deduplication nan sovgad soti nan tout machin rezève fè.
- Sou machin yo apiye gen ajan ki jeneralman voye bay sèvè medya a sèlman sa ki pa nan depo li yo.
Li tout kòmanse ak yon eskanè konplè - sa a se yon backup plen véritable. Nan pwen sa a, sèvè medya a pran tout bagay, deduplicates li epi transfere li nan S3. Vitès la nan sèvè medya a ba, men soti nan li li pi wo. Limit prensipal la se pouvwa a informatique nan sèvè a.
Sovgad sa yo yo fè konplè soti nan pwen de vi nan tout sistèm, men an reyalite yo se yon bagay tankou sovgad sentetik plen. Sa vle di, transfè aktyèl la ak anrejistreman sou sèvè medya a fèt sèlman nan blòk done sa yo ki poko te rankontre nan sovgad VM anvan. Epi sèlman sa yo blòk done ki gen hash pa nan baz done deduplication sèvè medya a yo transfere ak anrejistre nan S3. Nan mo ki pi senp, sa a se yon bagay ki pa janm te wè nan nenpòt ki backup nan yon sèl VM anvan.
Pandan restorasyon, sèvè medya a mande objè deduplike ki nesesè nan S3, reidrat yo epi transfere yo bay ajan IRB yo, sa vle di. li nesesè pran an kont volim nan trafik pandan restorasyon, ki pral egal a volim aktyèl la nan done yo te retabli.
Men sa li sanble:
Ak isit la nan yon lòt moso nan mòso bwa169 Travay (0 Anfile 0 Aktif 0 Tann pou re-eseye 0 Sispann 0 Enkonplè 169 Fè — 1 chwazi)
Kalite Id Travay Kalite Eta Eta Detay Estati Règleman Travay Orè Travay Kliyan Medya Sèvè Tan Kòmanse Tan Pase Tan Fen Tan Depo Inite Eseye Operasyon Kilobit Fichye Chemen % Konplete (Estime) Pwopriyetè PID Travay Kopi ID Travay Paran KB/Sèk Aktif Kòmanse Aktif Pwofil Vault Robot Sesyon Pwofil Medya ID pou ekspilse Done Mouvman Off-Host Kalite Mèt Priyorite Deduplication To Transpò Akseleratè Optimizasyon Enstans oswa baz done Pataje Host
- 1372 Retabli Fèt 0 NBPR01 NBCC 19 desanm 2018 1:05:58 PM 00:04:32 19 desanm 2018 1:10:30 PM 1 14,380,577 1 100% 8548 RASIN 1372 desanm 70,567, 19 2018 1:06:00 :00 PM 04:30:90000 WIN-*********** XNUMX
Done entegrite asire ke pwoteksyon S3 tèt li - gen bon redondance la pou pwoteje kont echèk pyès ki nan konpitè tankou yon axe dis lou mouri.
Medya-sèvè Veritas rekòmande yon minimòm 4 TB nan kach. Plis se pi bon, men se egzakteman sa nou te fè.
Total
Lè yon patnè jete 3 GB nan S20 nou an, nou estoke 60 GB, paske nou bay trip geo-rezèvasyon done yo. Koulye a, gen anpil mwens trafik, ki bon tou de pou kanal la ak pou tarif depo.
Nan ka sa a, wout yo fèmen apre "gwo Entènèt la", men li posib pou trafik pase ladan yo. VPN L2 atravè Entènèt la, men li pi bon pou enstale sèvè medya a anvan founisè a antre.
Si w enterese pou aprann plis sou karakteristik sa yo nan sant done Ris nou yo oubyen si w gen kesyon sou kijan pou w aplike yo lakay ou, mande yo nan kòmantè yo oubyen voye yon imèl nan ekorotkikh@croc.ru.
Sous: www.habr.com
