پرو هوسٽر > بلاگ > انتظاميه > 90٪ تائين آبجیکٹ اسٽوريج ۾ بيڪ اپ جي اسٽوريج کي ڪيئن گڏ ڪجي

90٪ تائين آبجیکٹ اسٽوريج ۾ بيڪ اپ جي اسٽوريج کي ڪيئن گڏ ڪجي

اسان جي ترڪي گراهڪ اسان کان پڇيو ته انهن جي ڊيٽا سينٽر لاءِ بيڪ اپ صحيح ترتيب ڏيو. اسان روس ۾ ساڳيا منصوبا ڪري رهيا آهيون، پر هتي ڪهاڻي وڌيڪ تحقيق جي باري ۾ هئي ته اهو ڪيئن ڪجي.

ڏنو ويو: هتي هڪ مقامي S3 اسٽوريج آهي، اتي Veritas NetBackup آهي، جنهن ڊيٽا کي اعتراض واري اسٽوريج ڏانهن منتقل ڪرڻ لاءِ نئين توسيع ٿيل ڪارڪردگي حاصل ڪئي آهي، هاڻي ڊيپليٽيشن جي مدد سان، ۽ هن مقامي اسٽوريج ۾ خالي جاءِ جو مسئلو آهي.

ٽاسڪ: هر شي کي ٺاهڻ لاءِ ته جيئن بيڪ اپ ڪاپيون محفوظ ڪرڻ جو عمل تيز ۽ سستو هجي.

دراصل، هن کان اڳ، S3 ۾ سڀ ڪجهه صرف فائلون هيون، ۽ اهي ڊيٽا سينٽر جي نازڪ مشينن جي مڪمل ڪاسٽ هئا. اهو آهي، اهو تمام گهڻو بهتر نه آهي، پر هر شيء شروع ۾ ڪم ڪيو. هاڻي اهو وقت آهي ان کي سمجهڻ ۽ ان کي درست ڪرڻ.

تصوير ڏيکاري ٿي ته اسان ڇا آيا آهيون:

90٪ تائين آبجیکٹ اسٽوريج ۾ بيڪ اپ جي اسٽوريج کي ڪيئن گڏ ڪجي

جئين توهان ڏسي سگهو ٿا، پهريون بيڪ اپ سست ڪيو ويو (70 Mb/s)، ۽ ساڳئي سسٽم جي بعد ۾ بيڪ اپ تمام تيز هئا.

دراصل، اڳتي هلي ٿورڙو وڌيڪ تفصيل آهن ته ڪهڙا خاصيتون آهن.

انهن لاءِ بيڪ اپ لاگ جيڪي ڊمپ جو اڌ صفحو پڙهڻ لاءِ تيار آهنrescan سان ڀرپور
ڊسمبر 18، 2018 12:09:43 PM — ڄاڻ bpbkar (pid=4452) accelerator موڪليا 14883996160 bytes out of 14883994624 bytes سرور ڏانهن، اصلاح 0.0%
ڊسمبر 18، 2018 12:10:07 PM - ڄاڻ NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; رپورٽ=PDDO اسٽيٽس (ملٽي ٿريڊ اسٽريم استعمال ٿيل) لاءِ (NBCC): اسڪين ٿيل: 14570817 KB، CR موڪليو ويو: 1760761 KB، CR موڪليو ويو FC تي: 0 KB، dedup: 87.9%، ڪيش غير فعال

سڄو
ڊسمبر 18، 2018 12:13:18 PM — ڄاڻ bpbkar (pid=2864) accelerator موڪليا 181675008 bytes out of 14884060160 bytes سرور ڏانهن، اصلاح 98.8%
ڊسمبر 18، 2018 12:13:40 PM - ڄاڻ NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; رپورٽ=PDDO اسٽيٽس فار (NBCC): اسڪين ٿيل: 14569706 KB، CR موڪليو ويو: 45145 KB، CR موڪليو ويو FC: 0 KB، dedup: 99.7%، ڪيش غير فعال

وڌو
ڊسمبر 18، 2018 12:15:32 PM — ڄاڻ bpbkar (pid=792) accelerator موڪليا 9970688 bytes out of 14726108160 bytes سرور ڏانهن، اصلاح 99.9%
ڊسمبر 18، 2018 12:15:53 PM - ڄاڻ NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; رپورٽ=PDDO اسٽيٽس فار (NBCC): اسڪين ٿيل: 14383788 KB، CR موڪليو ويو: 15700 KB، CR موڪليو ويو FC: 0 KB، dedup: 99.9%، ڪيش غير فعال

سڄو
ڊسمبر 18، 2018 12:18:02 PM — ڄاڻ bpbkar (pid=3496) accelerator موڪليا 171746816 bytes out of 14884093952 bytes سرور ڏانهن، اصلاح 98.8%
ڊسمبر 18، 2018 12:18:24 PM - ڄاڻ NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; رپورٽ=PDDO اسٽيٽس فار (NBCC): اسڪين ٿيل: 14569739 KB، CR موڪليو ويو: 34120 KB، CR موڪليو ويو FC: 0 KB، dedup: 99.8%، ڪيش غير فعال

ڇا مسئلو آهي

Заказчики хотят делать бекапы как можно чаще и хранить как можно дешевле. Дёшево хранить их лучше всего в объектных хранилищах типа S3, потому что они обходятся дешевле всего по цене обслуживания на Мегабайт из того, откуда можно накатить бэкап обратно в разумные сроки. Когда бэкапа много, это становится не очень дёшево, потому что большую часть хранилища занимают копии одних и тех же данных. В случае HaaS турецких коллег можно уплотнить хранение примерно на 80-90%. Понятное дело, что это относится именно к их специфике, но минимум на 50% дедупа я бы точно рассчитывал.

مسئلي کي حل ڪرڻ لاء، مکيه وينڊرز ڊگھي ڪري چڪا آھن گيٽ ويز Amazon S3 ڏانهن. انهن جا سڀئي طريقا مقامي S3 سان مطابقت رکن ٿا جيستائين اهي Amazon API کي سپورٽ ڪن. ترڪي جي ڊيٽا سينٽر ۾، اسان جي S3 تي بيڪ اپ ڪيو ويو آهي، انهي سان گڏ روس ۾ T-III "ڪمپريسر" ۾، ڇاڪاڻ ته هي ڪم اسڪيم اسان لاء سٺو ڪم ڪيو آهي.

۽ اسان جي S3 مڪمل طور تي مطابقت آهي Amazon S3 بيڪ اپ طريقن سان. اهو آهي، سڀئي بيڪ اپ اوزار جيڪي انهن طريقن جي حمايت ڪن ٿا توهان کي هر شي کي نقل ڪرڻ جي اجازت ڏئي ٿو اهڙي اسٽوريج ڏانهن "باڪس کان ٻاهر."

Veritas NetBackup شامل ڪيو CloudCatalyst خصوصيت:

90٪ تائين آبجیکٹ اسٽوريج ۾ بيڪ اپ جي اسٽوريج کي ڪيئن گڏ ڪجي

اهو آهي، مشينن جي وچ ۾ جنهن کي بيڪ اپ ڪرڻ جي ضرورت آهي ۽ گيٽ وي، اتي هڪ وچولي لينڪس سرور آهي جنهن جي ذريعي SRK ايجنٽن کان بيڪ اپ ٽرئفڪ گذري ٿو ۽ ان کي S3 ڏانهن منتقل ڪرڻ کان اڳ پرواز تي ڊيپليٽ ڪيو ويو آهي. جيڪڏهن اڳ ۾ 30 GB جي ڪمپريشن سان 20 بيڪ اپ هئا، هاڻي (مشين جي هڪجهڙائي جي ڪري) انهن جو حجم 90٪ ننڍو ٿي چڪو آهي. ڊيڊپليڪيشن انجڻ ساڳيو ئي استعمال ڪيو ويندو آهي جڏهن نيٽ بيڪ اپ استعمال ڪندي باقاعده ڊسڪ تي اسٽوريج.

هتي اهو آهي جيڪو وچولي سرور کان اڳ ٿئي ٿو:

90٪ تائين آبجیکٹ اسٽوريج ۾ بيڪ اپ جي اسٽوريج کي ڪيئن گڏ ڪجي

اسان آزمايو ۽ ان نتيجي تي پهتاسين ته جڏهن اسان جي ڊيٽا سينٽرن ۾ لاڳو ٿئي ٿو، اهو اسان ۽ گراهڪن لاءِ S3 اسٽوريج ۾ جاءِ بچائي ٿو. تجارتي ڊيٽا سينٽرن جي مالڪ جي طور تي، يقينا، اسان قبضي واري مقدار جي مطابق چارج ڪندا آهيون، پر اهو اڃا تائين اسان لاء تمام گهڻو فائدي وارو آهي - ڇو ته اسان سافٽ ويئر ۾ وڌيڪ اسپيبلبل جڳهن تي پئسا ڪمائڻ شروع ڪندا آهيون، ۽ هارڊويئر جي کرايه تي نه. خير، ۽ هي اندروني خرچن ۾ گهٽتائي آهي.

لاگز228 نوڪريون (0 قطار 0 فعال 0 ٻيهر ڪوشش جو انتظار 0 معطل 0 نامڪمل 228 ٿي ويو - 13 چونڊيل)
(فلٽر اپلائيڊ [13])

نوڪري جي سڃاڻپ جو قسم اسٽيٽ اسٽيٽ تفصيلات اسٽيٽس جاب پاليسي جاب شيڊول ڪلائنٽ ميڊيا سرور شروع ٿيڻ جو وقت گذري ويو آخري وقت اسٽوريج يونٽ آپريشن ڪلوبائيٽ فائلن جو رستو نالو % مڪمل (انداز ٿيل) نوڪري پي آءِ ڊي مالڪ ڪاپي پيرنٽ جاب جي ID KB/Sec Active Start Start Probots Active Vaaps آئي ڊي ميڊيا ڊيٽا موومينٽ کي خارج ڪرڻ لاءِ آف هوسٽ ٽائيپ ماسٽر ترجيح ڊيڊپليڪيشن ريٽ ٽرانسپورٽ ايڪسليٽر آپٽمائزيشن مثال يا ڊيٽابيس شيئر هوسٽ
— 1358 سنيپ شاٽ ٿي ويو 0 VMware — NGNCloudADC NBCC ڊسمبر 18، 2018 12:16:19 PM 00:02:18 ڊسمبر 18، 2018 12:18:37 PM STU_DP_S3_**** بيڪ اپ 1 % 100 روٽ 1358 :18:2018 PM 12:16:27 فوري بحالي ڊسڪ معياري WIN-*********** 00
1360 Backup Done 0 VMware Full NGNCloudADC NBCC Dec 18, 2018 12:16:48 PM 00:01:39 Dec 18, 2018 12:18:27 PM STU_DP_S3_****backup 1 14,535,248 149654 100% 23858 root 1358 335,098 Dec 18 , 2018 12:16:48 PM 00:01:39 Instant Recovery Disk Standard WIN-*********** 0 99.8% 99%
1352 سنيپ شاٽ ٿي ويو 0 VMware - NGNCloudADC NBCC ڊسمبر 18، 2018 12:14:04 PM 00:02:01 ڊسمبر 18، 2018 12:16:05 PM STU_DP_S3_**** بيڪ اپ 1 %100 روٽ: 1352 18:2018 PM 12:14:14 فوري بحالي ڊسڪ معياري WIN-*********** 00
1354 بيڪ اپ ٿي ويو 0 VMware واڌارو NGNCloudADC NBCC ڊسمبر 18، 2018 12:14:34 PM 00:01:21 ڊسمبر 18، 2018 12:15:55 PM STU_DP_S3_**** بيڪ اپ، %1:14,380,965 PM 147 100 ڊسمبر 23617 , 1352 500,817:18:2018 PM 12:14:34 فوري بحالي ڊسڪ معياري WIN-************ 00 01٪ 21٪
1347 سنيپ شاٽ ٿي ويو 0 VMware - NGNCloudADC NBCC ڊسمبر 18، 2018 12:11:45 PM 00:02:08 ڊسمبر 18، 2018 12:13:53 PM STU_DP_S3_**** بيڪ اپ 1 %100 روٽ: 1347 18:2018 PM 12:11:45 فوري بحالي ڊسڪ معياري WIN-*********** 00
1349 Backup Done 0 VMware Full NGNCloudADC NBCC Dec 18, 2018 12:12:02 PM 00:01:41 Dec 18, 2018 12:13:43 PM STU_DP_S3_****backup 1 14,535,215 149653 100% 23508 root 1347 316,319 Dec 18 , 2018 12:12:02 PM 00:01:41 Instant Recovery Disk Standard WIN-*********** 0 99.7% 99%
1341 سنيپ شاٽ ٿي ويو 0 VMware - NGNCloudADC NBCC ڊسمبر 18، 2018 12:05:28 PM 00:04:53 ڊسمبر 18، 2018 12:10:21 PM STU_DP_S3_**** بيڪ اپ 1 %100 روٽ: 1341 18:2018 PM 12:05:28 فوري بحالي ڊسڪ معياري WIN-*********** 00
1342 بيڪ اپ ٿي ويو 0 VMware Full_Rescan NGNCloudADC NBCC ڊسمبر 18، 2018 12:05:47 PM 00:04:24 ڊسمبر 18، 2018 12:10:11 PM STU_DP_S3_**، %1 PM 14,535,151 روٽ 149653 100 22999 ڊسمبر 1341، 70,380 18:2018:12 PM 05:47:00 فوري بحالي ڊسڪ معياري WIN-************ 04 24% 0%

1339 سنيپ شاٽ ٿي ويو 150 VMware - NGNCloudADC NBCC ڊسمبر 18، 2018 11:05:46 AM 00:00:53 ڊسمبر 18، 2018 11:06:39 AM STU_DP_S3_**** بيڪ اپ %1، ڊي سي 100 روٽ 1339:18 AM 2018:11:05 فوري بحالي ڊسڪ معياري WIN-************ 46
1327 سنيپ شاٽ ٿي ويو 0 VMware - *******.********. ڪلائوڊ NBCC ڊسمبر 17، 2018 12:54:42 PM 05:51:38 ڊسمبر 17، 2018 6:46:20 PM STU_DP_S3_****بيڪ اپ 1 100% روٽ 1327 ڊسمبر 17، 2018 12:54:42 PM 05:51:38 Instant Recovery Disk Standard WIN-*********** 0
1328 بيڪ اپ ٿي ويو 0 VMware مڪمل *******.********. ڪلائوڊ NBCC ڊسمبر 17، 2018 12:55:10 PM 05:29:21 ڊسمبر 17، 2018 6:24:31 PM STU_DP_S3_****بيڪ اپ 1 222,602,719 258932 100% 12856 روٽ 1327 11,326 ڊسمبر 17، 2018 12:55:10 PM 05:29:21 Instant Recovery Disk** INstant Recovery Disk** 0%**** INstant Recovery Disk**87.9******************************************************************************** 0%
1136 سنيپ شاٽ ٿي ويو 0 VMware - *******.********. ڪلائوڊ NBCC ڊسمبر 14، 2018 4:48:22 PM 04:05:16 ڊسمبر 14، 2018 8:53:38 PM STU_DP_S3_****بيڪ اپ 1 100% روٽ 1136 ڊسمبر 14، 2018 4:48:22 PM 04:05:16 Instant Recovery Disk Standard WIN-*********** 0
1140 بيڪ اپ ٿي ويو 0 VMware Full_Scan *******.********. ڪلائوڊ NBCC ڊسمبر 14، 2018 4:49:14 PM 03:49:58 ڊسمبر 14، 2018 8:39:12 PM STU_DP_S3_****بئڪ اپ 1 217,631,332 255465 100% 26438 روٽ 1136 15,963 ڊسمبر 14، 2018 4:49:14 PM 03:49:58 Instant Recovery Disk**** IN0 %*** معياري وصولي ڊسڪ*** IN45.2 0*** معياري وصولي ڊسڪ *** XNUMX%

accelerator توهان کي ايجنٽ کان ٽريفڪ کي گهٽائڻ جي اجازت ڏئي ٿو, ڇاڪاڻ ته صرف ڊيٽا جي تبديلين کي منتقل ڪيو ويو آهي، اهو آهي ته، مڪمل بيڪ اپ پڻ مڪمل طور تي اپ لوڊ نه ڪيا ويا آهن، ڇاڪاڻ ته ميڊيا سرور اضافي بيڪ اپ مان ايندڙ مڪمل بيڪ اپ گڏ ڪري ٿو.

وچولي سرور کي پنهنجي اسٽوريج آهي، جتي اهو لکندو آهي "ڪيش" ڊيٽا جو ۽ هڪ ڊيٽابيس کي برقرار رکڻ لاء ڊيپليڪيشن.

مڪمل فن تعمير هن طرح نظر اچي ٿو:

  1. ماسٽر سرور ترتيب ڏيڻ، تازه ڪاري، وغيره جو انتظام ڪري ٿو ۽ بادل ۾ واقع آهي.
  2. ميڊيا سرور (انٽرميڊيٽ * نڪس مشين) نيٽ ورڪ رسائي جي لحاظ کان بيڪار سسٽم جي ويجهو واقع هجڻ گهرجي. هتي، سڀني محفوظ مشينن مان بيڪ اپ جي نقل ڪئي وئي آهي.
  3. بيڪ اپ مشينن تي اهڙا ايجنٽ آهن جيڪي عام طور تي ميڊيا سرور ڏانهن موڪليندا آهن جيڪي ان جي اسٽوريج ۾ نه هوندا آهن.

اهو سڀ هڪ مڪمل اسڪين سان شروع ٿئي ٿو - اهو مڪمل طور تي مڪمل بيڪ اپ آهي. هن نقطي تي، ميڊيا سرور هر شيء وٺندو آهي، ان کي نقل ڪري ٿو ۽ ان کي S3 ڏانهن منتقل ڪري ٿو. ميڊيا سرور جي رفتار گهٽ آهي، پر ان کان وڌيڪ آهي. مکيه حد سرور جي ڪمپيوٽنگ طاقت آهي.

هيٺيان بيڪ اپ سڀني سسٽم جي نقطي نظر کان مڪمل ڪيا ويا آهن، پر حقيقت ۾ اهي مصنوعي مڪمل بيڪ اپ وانگر آهن. اهو آهي، ميڊيا سرور ڏانهن حقيقي منتقلي ۽ رڪارڊنگ صرف انهن ڊيٽا بلاڪن مان ٿئي ٿو جيڪي اڃا تائين اڳ ۾ VM بيڪ اپ ۾ نه آيا آهن. ۽ صرف اهي ڊيٽا بلاڪ جن جي هيش ميڊيا سرور جي ڊيپليڪشن ڊيٽابيس ۾ نه آهي منتقلي ۽ S3 ۾ رڪارڊ ٿيل آهن. آسان لفظن ۾، اهو ڪجهه آهي جيڪو اڳ ۾ ڪنهن به VM جي بيڪ اپ ۾ نه ڏٺو ويو آهي.

بحاليءَ دوران، ميڊيا سرور S3 کان ضروري نقل ڪيل شين جي درخواست ڪري ٿو، انھن کي ري ھائيڊريٽ ڪري ٿو ۽ انھن کي IRB ايجنٽن ڏانھن منتقل ڪري ٿو، يعني. اهو ضروري آهي ته بحالي دوران ٽرئفڪ جي مقدار کي حساب ۾ رکڻو پوندو، جيڪو بحال ٿيڻ واري ڊيٽا جي حقيقي مقدار جي برابر هوندو.

هتي اهو ڏسجي ٿو ته هتي آهي:

90٪ تائين آبجیکٹ اسٽوريج ۾ بيڪ اپ جي اسٽوريج کي ڪيئن گڏ ڪجي

۽ هتي لاگن جو هڪ ٻيو ٽڪرو آهي169 نوڪريون (0 قطار 0 فعال 0 ٻيهر ڪوشش جو انتظار 0 معطل 0 نامڪمل 169 ٿي ويو - 1 چونڊيل)

نوڪري جي سڃاڻپ جو قسم اسٽيٽ اسٽيٽ تفصيلات اسٽيٽس جاب پاليسي جاب شيڊول ڪلائنٽ ميڊيا سرور شروع ٿيڻ جو وقت گذري ويو آخري وقت اسٽوريج يونٽ آپريشن ڪلوبائيٽ فائلن جو رستو نالو % مڪمل (انداز ٿيل) نوڪري پي آءِ ڊي مالڪ ڪاپي پيرنٽ جاب جي ID KB/Sec Active Start Start Probots Active Vaaps آئي ڊي ميڊيا ڊيٽا موومينٽ کي خارج ڪرڻ لاءِ آف هوسٽ ٽائيپ ماسٽر ترجيح ڊيڊپليڪيشن ريٽ ٽرانسپورٽ ايڪسليٽر آپٽمائزيشن مثال يا ڊيٽابيس شيئر هوسٽ
- 1372 بحال ٿيو 0 NBPR01 NBCC ڊسمبر 19، 2018 1:05:58 PM 00:04:32 ڊسمبر 19، 2018 1:10:30 PM 1 14,380,577 1 100% OT 8548 1372 70,567% OT 19. 2018 1:06 :00 PM 00:04:30 WIN-*********** 90000

ڊيٽا جي سالميت کي خود S3 جي حفاظت سان يقيني بڻايو ويو آهي - هارڊويئر جي ناڪامين کان بچائڻ لاءِ اتي سٺي بيڪار آهي جهڙوڪ مئل هارڊ ڊرائيو اسپندل.

ميڊيا سرور کي 4 TB ڪيش جي ضرورت آھي - ھي آھي Veritas جي گھٽ ۾ گھٽ سائز جي سفارش. وڌيڪ بهتر آهي، پر اهو آهي جيڪو اسان ڪيو.

نتيجو

جڏهن هڪ پارٽنر اسان جي S3 ۾ 20 GB اڇلايو، اسان 60 GB ذخيرو ڪيو، ڇاڪاڻ ته اسان ڊيٽا جي ٽي ڀيرا جيو-رزرويشن مهيا ڪندا آهيون. ھاڻي تمام گھٽ ٽرئفڪ آھي، جيڪو چينل ۽ اسٽوريج جي شرحن لاءِ سٺو آھي.

انهي حالت ۾، "وڏي انٽرنيٽ" کان اڳ رستا بند ڪيا ويا آهن، پر توهان انٽرنيٽ تي VPN L2 ذريعي ٽرئفڪ کي هلائي سگهو ٿا، پر اهو بهتر آهي ته ميڊيا سرور کي انسٽال ڪرڻ کان اڳ مهيا ڪندڙ جي داخلا کان اڳ.

جيڪڏهن توهان اسان جي روسي ڊيٽا سينٽرن ۾ انهن خاصيتن جي باري ۾ سکڻ ۾ دلچسپي رکو ٿا يا گهر تي عمل درآمد بابت سوال آهن، تبصرن ۾ يا اي ميل ذريعي پڇو [ايميل محفوظ ٿيل].

جو ذريعو: www.habr.com

تبصرو شامل ڪريو