ProHoster > Blogs > Administrācija > Kā sablÄ«vēt dublējumu glabāŔanu objektu krātuvē lÄ«dz 90%

Kā sablÄ«vēt dublējumu glabāŔanu objektu krātuvē lÄ«dz 90%

MÅ«su Turcijas klienti lÅ«dza mums pareizi konfigurēt dublējumu viņu datu centram. Mēs taisām lÄ«dzÄ«gus projektus Krievijā, bet Å”eit stāsts bija vairāk par izpēti, kā to vislabāk izdarÄ«t.

Ņemot vērā: ir lokālā S3 krātuve, ir Veritas NetBackup, kas ir ieguvis jaunu paplaÅ”inātu funkcionalitāti datu pārvietoÅ”anai uz objektu krātuvi, tagad ar atbalstu deduplicÄ“Å”anai, un ir problēma ar brÄ«vu vietu Å”ajā lokālajā krātuvē.

Uzdevums: visu uztaisÄ«t tā, lai rezerves kopiju glabāŔanas process bÅ«tu ātrs un lēts.

Faktiski pirms tam S3 viss bija vienkārÅ”i faili, un tie bija datu centra kritisko iekārtu pilni lējumi. Tas ir, tas nav Ä«paÅ”i optimizēts, bet sākumā viss darbojās. Tagad ir pienācis laiks to izdomāt un izdarÄ«t pareizi.

Attēlā redzams, pie kā mēs nonācām:

Kā sablÄ«vēt dublējumu glabāŔanu objektu krātuvē lÄ«dz 90%

Kā redzat, pirmā dublÄ“Å”ana tika veikta lēni (70 Mb/s), un turpmākās Å”o paÅ”u sistēmu dublējumkopijas bija daudz ātrākas.

Patiesībā tālāk ir sniegta nedaudz sīkāka informācija par piedāvātajām funkcijām.

Rezerves žurnāli tiem, kas gatavi izlasÄ«t puslappusi izgāztuvesPilna ar atkārtotu skenÄ“Å”anu
Dec 18, 2018 12:09:43 PM ā€” Info bpbkar (pid=4452) akselerators nosÅ«tÄ«ja serverim 14883996160 baitus no 14883994624 baitiem, optimizācija 0.0%
18. gada 2018. decembris, 12:10:07 ā€” informācija NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO statistika (izmantota vairāku pavedienu straume) par (NBCC): skenēts: 14570817 KB, CR nosÅ«tÄ«ts: 1760761 KB, CR nosÅ«tÄ«ts pa FC: 0 KB, dedup: 87.9%, keÅ”atmiņa ir atspējota

pilns
Dec 18, 2018 12:13:18 PM ā€” Info bpbkar (pid=2864) akselerators nosÅ«tÄ«ja serverim 181675008 baitus no 14884060160 baitiem, optimizācija 98.8%
18. gada 2018. decembris, 12:13:40 ā€” informācija NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO statistika par (NBCC): skenēts: 14569706 KB, CR nosÅ«tÄ«ts: 45145 KB, CR nosÅ«tÄ«ts pa FC: 0 KB, dedup: 99.7%, keÅ”atmiņa ir atspējota

Papildu
Dec 18, 2018 12:15:32 PM ā€” Info bpbkar (pid=792) akselerators nosÅ«tÄ«ja serverim 9970688 baitus no 14726108160 baitiem, optimizācija 99.9%
18. gada 2018. decembris, 12:15:53 ā€” informācija NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO statistika par (NBCC): skenēts: 14383788 KB, CR nosÅ«tÄ«ts: 15700 KB, CR nosÅ«tÄ«ts pa FC: 0 KB, dedup: 99.9%, keÅ”atmiņa ir atspējota

pilns
Dec 18, 2018 12:18:02 PM ā€” Info bpbkar (pid=3496) akselerators nosÅ«tÄ«ja serverim 171746816 baitus no 14884093952 baitiem, optimizācija 98.8%
18. gada 2018. decembris, 12:18:24 ā€” informācija NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; Report=PDDO statistika par (NBCC): skenēts: 14569739 KB, CR nosÅ«tÄ«ts: 34120 KB, CR nosÅ«tÄ«ts pa FC: 0 KB, dedup: 99.8%, keÅ”atmiņa ir atspējota

Kāda ir problēma

Klienti vēlas pēc iespējas biežāk veikt dublējumus un uzglabāt tos pēc iespējas lētāk. Vislabāk tos lēti glabāt objektu krātuvēs, piemēram, S3, jo tie ir lētākie par pakalpojuma maksu par megabaitu, no kurienes saprātÄ«gā laikā varat atkopt dublējumu. Ja ir daudz rezerves, tas kļūst ne pārāk lēts, jo lielāko daļu krātuves aizņem to paÅ”u datu kopijas. Turcijas kolēģu HaaS gadÄ«jumā uzglabāŔanu var sablÄ«vēt par aptuveni 80-90%. Skaidrs, ka tas attiecas tieÅ”i uz viņu specifiku, bet es noteikti paļautos uz vismaz 50% vectēvu.

Lai atrisinātu problēmu, galvenie pārdevēji jau sen ir izveidojuÅ”i vārtejas uz Amazon S3. Visas viņu metodes ir saderÄ«gas ar vietējo S3, ja vien tās atbalsta Amazon API. Turcijas datu centrā tiek veikta dublÄ“Å”ana uz mÅ«su S3, kā arÄ« T-III ā€œCompressorā€ Krievijā, jo Ŕī darba shēma mums ir nostrādājusi labi.

Un mÅ«su S3 ir pilnÄ«bā savietojams ar Amazon S3 dublÄ“Å”anas metodēm. Tas ir, visi dublÄ“Å”anas rÄ«ki, kas atbalsta Ŕīs metodes, ļauj kopēt visu uz Ŕādu krātuvi ā€œno kastesā€.

Veritas NetBackup pievienoja CloudCatalyst funkciju:

Kā sablÄ«vēt dublējumu glabāŔanu objektu krātuvē lÄ«dz 90%

Tas nozÄ«mē, ka starp iekārtām, kurām nepiecieÅ”ams dublēt, un vārteju, atrodas starpposma Linux serveris, caur kuru iet rezerves trafika no SRK aÄ£entiem un tiek dedublēta lidojuma laikā, pirms to pārsÅ«ta uz S3. Ja agrāk bija 30 dublējumkopijas pa 20 GB ar kompresiju, tad tagad (maŔīnu lÄ«dzÄ«bas dēļ) to apjoms ir kļuvis par 90% mazāks. Deduplikācijas dzinējs tiek izmantots tāpat kā saglabājot parastos diskos, izmantojot Netbackup.

LÅ«k, kas notiek pirms starpposma servera:

Kā sablÄ«vēt dublējumu glabāŔanu objektu krātuvē lÄ«dz 90%

Mēs pārbaudÄ«jām un nonācām pie secinājuma, ka, ievieÅ”ot to mÅ«su datu centros, tas ietaupa vietu S3 krātuvē gan mums, gan klientiem. Kā komerciālo datu centru Ä«paÅ”nieki, protams, maksājam atbilstoÅ”i aizņemtajam apjomam, taču arÄ« mums tas tik un tā ir ļoti izdevÄ«gi - jo sākam pelnÄ«t no mērogojamākām vietām programmatÅ«rā, nevis aparatÅ«ras nomā. Nu, un tas ir iekŔējo izmaksu samazinājums.

Baļķi228 darbi (0 rindā 0 aktÄ«vi 0 gaida atkārtotu mēģinājumu 0 apturēti 0 nepabeigti 228 pabeigti ā€” atlasÄ«ti 13)
(Lietots filtrs [13])

Darba ID tips Stāvokļa informācija Statuss Darba politika Darba grafiks Klienta multivides serveris Sākuma laiks PagājuÅ”ais laiks Beigu laiks Krātuves vienÄ«ba Mēģinājums DarbÄ«ba Kilobaiti Faili Ceļa nosaukums % Pabeigts (Aptuvenais) Darba PID Ä«paÅ”nieks Kopēt Vecāka Darba ID KB/s AktÄ«vs Sākums AktÄ«vs PagājuÅ”ais Robot Vault profila sesija ID datu nesējs, lai izstumtu datu kustÄ«bu ārpus resursdatora tipa galvenā prioritātes dedublikācijas ātruma transporta paātrinātāja optimizācijas instance vai datu bāzes koplietoÅ”anas resursdators
ā€” 1358 Snapshot Done 0 VMware ā€” NGNCloudADC NBCC Dec 18, 2018 12:16:19 PM 00:02:18 Dec 18, 2018 12:18:37 PM STU_DP_S3_****backup %c root 1 100 1358 18, 2018 :12:16 PM 27:00:02 TÅ«lÄ«tējas atkopÅ”anas diska standarta WIN-*********** 10
1360 dublÄ“Å”ana pabeigta 0 VMware pilna NGNCloudADC NBCC 18. decembris, 2018 12:16:48 PM 00:01:39 18, 2018 12:18:27 PM STU_DP_S3_**** dublējums 1 14,535,248, 149654% 100 23858 1358 335,098 18 2018 12 16. decembris , 48 00:01:39 PM 0:99.8:99 TÅ«lÄ«tējas atkopÅ”anas diska standarta WIN-*********** XNUMX XNUMX% XNUMX%
1352 Momentuzņēmums Gatavs 0 VMware ā€” NGNCloudADC NBCC 18. gada 2018. decembris, 12:14:04 PM 00:02:01, 18. gada 2018. decembris 12:16:05 PM STU_DP_S3_****rezerves kopija 1 100, 1352% de root 18 2018, 12% 14:14 PM 00:01:51 TÅ«lÄ«tējas atkopÅ”anas diska standarta WIN-*********** 0
1354 DublÄ“Å”ana pabeigta 0 VMware Incremental NGNCloudADC NBCC Dec 18, 2018 12:14:34 PM 00:01:21 Dec 18, 2018 12:15:55 PM STU_DP_S3_****backup 1 % 14,380,965, 147 100, 23617, 1352 500,817 18 2018 12. decembris , 14 34:00:01 PM 21:0:99.9 TÅ«lÄ«tējās atkopÅ”anas diska standarta WIN-************ 100 XNUMX% XNUMX%
1347 Momentuzņēmums Gatavs 0 VMware ā€” NGNCloudADC NBCC 18. gada 2018. decembris, 12:11:45 PM 00:02:08, 18. gada 2018. decembris 12:13:53 PM STU_DP_S3_****rezerves kopija 1 100, 1347% de root 18 2018, 12% 11:45 PM 00:02:08 TÅ«lÄ«tējas atkopÅ”anas diska standarta WIN-*********** 0
1349 dublÄ“Å”ana pabeigta 0 VMware pilna NGNCloudADC NBCC 18. decembris, 2018 12:12:02 PM 00:01:41 18, 2018 12:13:43 PM STU_DP_S3_**** dublējums 1 14,535,215, 149653% 100 23508 1347 316,319 18 2018 12 12. decembris , 02 00:01:41 PM 0:99.7:99 TÅ«lÄ«tējas atkopÅ”anas diska standarta WIN-*********** XNUMX XNUMX% XNUMX%
1341 Momentuzņēmums Gatavs 0 VMware ā€” NGNCloudADC NBCC 18. gada 2018. decembris, 12:05:28 PM 00:04:53, 18. gada 2018. decembris 12:10:21 PM STU_DP_S3_****rezerves kopija 1 100, 1341% de root 18 2018, 12% 05:28 PM 00:04:53 TÅ«lÄ«tējas atkopÅ”anas diska standarta WIN-*********** 0
1342 DublÄ“Å”ana pabeigta 0 VMware Full_Rescan NGNCloudADC NBCC Dec 18, 2018 12:05:47 PM 00:04:24 Dec 18, 2018 12:10:11 PM STU_DP_S3_****dublējums 1 14,535,151 149653, 100, 22999, 1341, 70,380, 18 2018 sakne 12 05 47 00 dec 04 , 24 0:87.9:0 PM XNUMX:XNUMX:XNUMX TÅ«lÄ«tējas atkopÅ”anas disks standarta WIN-*********** XNUMX XNUMX% XNUMX%

1339 Momentuzņēmums Gatavs 150 VMware ā€” NGNCloudADC NBCC 18. gada 2018. decembris 11:05:46 00:00:53 18. gada 2018. decembris 11:06:39 STU_DP_S3_****dublējumi 1. 100. % 1339 18 2018 %: 11 05:46 AM 00:00:53 TÅ«lÄ«tējas atkopÅ”anas diska standarta WIN-*********** 0
1327 Snapshot Done STU_DP_S0_****backup 17 2018% root 12 Dec 54, 42 05:51:38 PM 17:2018:6 Instant Recovery Disk Standard WIN-************ 46
1328 DublÄ“Å”ana pabeigta 0 VMware pilna *******.********.cloud NBCC 17. gada 2018. decembris 12:55:10 PM 05:29:21 17. decembris 2018 6:24:31 STU_DP_S3_****dublējums 1 222,602,719 258932 100 12856 1327% 11,326 sakne 17 2018 12 55. gada 10. decembris 05:29:21 PM 0:87.9:0 TÅ«lÄ«tējas atkopÅ”anas disks *** Standarta XNUMX-XNUMX ********. XNUMX%
1136 Snapshot Done STU_DP_S0_****backup 14 2018% root 4 Dec 48, 22 04:05:16 PM 14:2018:8 Instant Recovery Disk Standard WIN-************ 53
1140 DublÄ“Å”ana pabeigta 0 VMware Full_Scan *******.********.cloud NBCC 14. gada 2018. decembris 4:49:14 03:49:58 14. gada 2018. decembris 8:39:12 STU_DP_S3_****dublējums 1 217,631,332 255465 100 26438 1136% 15,963 sakne 14 2018 4 49. gada 14. decembris 03:49:58 PM 0:45.2:0 TÅ«lÄ«tējas atkopÅ”anas disks*** Standarta XNUMX % XNUMX-XNUMX****. XNUMX%

Akselerators ļauj samazināt aÄ£entu trafiku, jo Tiek pārsÅ«tÄ«tas tikai datu izmaiņas, tas ir, pat pilnas dublējumkopijas netiek pilnÄ«bā augÅ”upielādētas, jo multivides serveris apkopo turpmākās pilnās dublējumkopijas no papildu dublējumkopijām.

Starpposma serverim ir sava krātuve, kurā tas ieraksta datu "keÅ”atmiņu" un uztur datubāzi dublÄ“Å”anas noņemÅ”anai.

Pilna arhitektūra izskatās Ŕādi:

  1. Galvenais serveris pārvalda konfigurāciju, atjauninājumus utt. un atrodas mākonī.
  2. Multivides serverim (starpposma *nix maŔīnai) jāatrodas vistuvāk redundantajām sistēmām tÄ«kla pieejamÄ«bas ziņā. Å eit tiek veikta visu rezervēto maŔīnu dublējumu noņemÅ”ana.
  3. Dublētajās iekārtās ir aģenti, kas parasti nosūta uz multivides serveri tikai to, kas nav tā krātuvē.

Viss sākas ar pilnu skenÄ“Å”anu - Ŕī ir pilnvērtÄ«ga pilna dublÄ“Å”ana. Å ajā brÄ«dÄ« multivides serveris ņem visu, noņem to dublikātus un pārsÅ«ta uz S3. Ātrums uz multivides serveri ir mazs, bet no tā tas ir lielāks. Galvenais ierobežojums ir servera skaitļoÅ”anas jauda.

SekojoŔās dublējumkopijas ir izveidotas pilnÄ«gas no visu sistēmu viedokļa, taču patiesÄ«bā tās ir kaut kas lÄ«dzÄ«gs sintētiskām pilnām dublējumkopijām. Tas nozÄ«mē, ka faktiskā pārsÅ«tÄ«Å”ana un ierakstÄ«Å”ana uz multivides serveri notiek tikai tiem datu blokiem, kas iepriekÅ” vēl nav bijuÅ”i VM dublējumkopijās. Un tikai tie datu bloki, kuru hash nav multivides servera dedublikācijas datu bāzē, tiek pārsÅ«tÄ«ti un ierakstÄ«ti S3. VienkārŔākiem vārdiem sakot, tas ir kaut kas tāds, kas vēl nekad nav bijis redzams nevienas virtuālās maŔīnas dublējumkopijā.

AtjaunoÅ”anas laikā multivides serveris pieprasa no S3 nepiecieÅ”amos dedublētos objektus, rehidrē tos un nodod tos IRB aÄ£entiem, t.i. atjaunoÅ”anas laikā ir jāņem vērā trafika apjoms, kas bÅ«s vienāds ar reālo atjaunojamo datu apjomu.

Tas izskatās Ŕādi:

Kā sablÄ«vēt dublējumu glabāŔanu objektu krātuvē lÄ«dz 90%

Un Å”eit ir vēl viens baļķa gabals169 darbi (0 rindā 0 aktÄ«vi 0 gaida atkārtotu mēģinājumu 0 apturēti 0 nepabeigti 169 pabeigti ā€” atlasÄ«ti 1)

Darba ID tips Stāvokļa informācija Statuss Darba politika Darba grafiks Klienta multivides serveris Sākuma laiks PagājuÅ”ais laiks Beigu laiks Krātuves vienÄ«ba Mēģinājums DarbÄ«ba Kilobaiti Faili Ceļa nosaukums % Pabeigts (Aptuvenais) Darba PID Ä«paÅ”nieks Kopēt Vecāka Darba ID KB/s AktÄ«vs Sākums AktÄ«vs PagājuÅ”ais Robot Vault profila sesija ID datu nesējs, lai izstumtu datu kustÄ«bu ārpus resursdatora tipa galvenā prioritātes dedublikācijas ātruma transporta paātrinātāja optimizācijas instance vai datu bāzes koplietoÅ”anas resursdators
- 1372 Atjaunot Gatavs 0 NBPR01 NBCC 19. gada 2018. decembris 1:05:58 PM 00:04:32 19. gada 2018. decembris 1 10:30 :1 PM 14,380,577:1:100 WIN-************ 8548

Datu integritāti nodroÅ”ina paÅ”a S3 aizsardzÄ«ba - tur ir laba redundance, lai aizsargātu pret aparatÅ«ras kļūmēm, piemēram, nokaltuÅ”u cietā diska vārpstu.

Multivides serverim ir nepiecieÅ”ama 4 TB keÅ”atmiņa ā€” tas ir Veritas minimālā izmēra ieteikums. Vairāk ir labāk, bet tā mēs darÄ«jām.

Kopsavilkums

Kad partneris mÅ«su S3 iemeta 20 GB, mēs saglabājām 60 GB, jo mēs nodroÅ”inām trÄ«skārÅ”u datu Ä£eogrāfisko rezervāciju. Tagad trafika ir daudz mazāka, kas ir labi gan kanālam, gan uzglabāŔanas tarifiem.

Å ajā gadÄ«jumā marÅ”ruti tiek slēgti garām ā€œlielajam internetamā€, taču jÅ«s varat vadÄ«t trafiku, izmantojot VPN L2, izmantojot internetu, taču labāk ir instalēt multivides serveri pirms pakalpojumu sniedzēja ieejas.

Ja vēlaties uzzināt par Ŕīm funkcijām mÅ«su Krievijas datu centros vai jums ir jautājumi par ievieÅ”anu mājās, jautājiet komentāros vai pa e-pastu [e-pasts aizsargāts].

Avots: www.habr.com

Pievieno komentāru