🥇آبجیکٹ اسٹوریج میں بیک اپ اسٹوریج کو 90% تک کمپیکٹ کرنے کا طریقہ

ہمارے ترک کلائنٹس نے ہم سے اپنے ڈیٹا سینٹر کے لیے بیک اپ کو مناسب طریقے سے ترتیب دینے کو کہا۔ ہم روس میں بھی اسی طرح کے منصوبے کرتے ہیں، لیکن اس بار یہ کام کرنے کے بہترین طریقہ پر تحقیق کرنے کے بارے میں زیادہ تھا۔

دیا گیا: مقامی S3 اسٹوریج ہے، وہاں Veritas NetBackup ہے، جس نے ڈیٹا کو آبجیکٹ اسٹوریج میں منتقل کرنے کے لیے نئی جدید فعالیت حاصل کر لی ہے، اب ڈپلیکیشن سپورٹ کے ساتھ، اور اس مقامی اسٹوریج میں خالی جگہ کا مسئلہ ہے۔

چیلنج: بیک اپ کو ذخیرہ کرنے کے عمل کو تیز اور سستا بنانا۔

درحقیقت، اس سے پہلے، S3 میں ہر چیز کو محض فائلوں کے طور پر محفوظ کیا جاتا تھا، ڈیٹا سینٹر کی اہم مشینوں کی مکمل کاپیاں۔ لہذا، یہ بالکل بہتر نہیں تھا، لیکن کم از کم سب کچھ باکس سے باہر کام کیا. اب وقت آگیا ہے کہ چیزوں کا پتہ لگائیں اور اسے درست کریں۔

تصویر سے پتہ چلتا ہے کہ ہم کس مقام پر پہنچے ہیں:

جیسا کہ آپ دیکھ سکتے ہیں، پہلا بیک اپ آہستہ آہستہ کیا گیا تھا (70 MB/s)، لیکن اسی سسٹم کے بعد کے بیک اپ نمایاں طور پر تیز تھے۔

درحقیقت، ذیل میں کچھ مزید تفصیلات دی گئی ہیں کہ اس میں کیا خصوصیات ہیں۔

ان لوگوں کے لیے بیک اپ لاگز جو ڈمپ کا آدھا صفحہ پڑھنا چاہتے ہیں۔ریسکین کے ساتھ بھرا ہوا ہے۔
18 دسمبر 2018 12:09:43 PM — Info bpbkar (pid=4452) ایکسلریٹر نے 14883994624 بائٹس میں سے 14883996160 بائٹس سرور کو بھیجے، اصلاح 0.0%
18 دسمبر 2018 12:10:07 PM - معلومات NBCC (pid=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; رپورٹ=PDDO کے اعدادوشمار (ملٹی تھریڈڈ سٹریم استعمال کیا گیا) برائے (NBCC): اسکین کیا گیا: 14570817 KB، CR بھیجا گیا: 1760761 KB، CR بھیج دیا گیا FC: 0 KB، ڈیڈ اپ: 87.9%، کیش غیر فعال

مکمل
18 دسمبر 2018 12:13:18 PM — Info bpbkar (pid=2864) ایکسلریٹر نے 14884060160 بائٹس میں سے 181675008 بائٹس سرور کو بھیجے، اصلاح 98.8%
18 دسمبر 2018 12:13:40 PM - معلومات NBCC (pid=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; رپورٹ=PDDO کے اعدادوشمار برائے (NBCC): اسکین کیا گیا: 14569706 KB، CR بھیجا گیا: 45145 KB، CR بھیج دیا گیا FC: 0 KB، ڈیڈ اپ: 99.7%، کیش غیر فعال

اضافی
18 دسمبر 2018 12:15:32 PM — Info bpbkar (pid=792) ایکسلریٹر نے 14726108160 بائٹس میں سے 9970688 بائٹس سرور کو بھیجے، آپٹیمائزیشن 99.9%
18 دسمبر 2018 12:15:53 PM - معلومات NBCC (pid=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; رپورٹ=PDDO کے اعدادوشمار برائے (NBCC): اسکین کیا گیا: 14383788 KB، CR بھیجا گیا: 15700 KB، CR بھیج دیا گیا FC: 0 KB، ڈیڈ اپ: 99.9%، کیشے غیر فعال

مکمل
18 دسمبر 2018 12:18:02 PM — Info bpbkar (pid=3496) ایکسلریٹر نے 14884093952 بائٹس میں سے 171746816 بائٹس سرور کو بھیجے، اصلاح 98.8%
18 دسمبر 2018 12:18:24 PM - معلومات NBCC (pid=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; رپورٹ=PDDO کے اعدادوشمار برائے (NBCC): اسکین کیا گیا: 14569739 KB، CR بھیجا گیا: 34120 KB، CR بھیج دیا گیا FC: 0 KB، ڈیڈ اپ: 99.8%، کیش غیر فعال

کیا مسئلہ ہے؟

صارفین جتنی بار ممکن ہو بیک اپ بنانا چاہتے ہیں اور انہیں جتنا سستا ہو سکے ذخیرہ کرنا چاہتے ہیں۔ S3 جیسا آبجیکٹ اسٹوریج سستے اسٹوریج کے لیے بہترین آپشن ہے، کیونکہ یہ فی میگا بائٹ مینٹیننس کی سب سے کم لاگت پیش کرتا ہے، اور بیک اپ کو ایک مناسب ٹائم فریم کے اندر اصل جگہ پر واپس لایا جا سکتا ہے۔ جب بڑے بیک اپ ہوتے ہیں، تو یہ کافی مہنگا ہو جاتا ہے، کیونکہ زیادہ تر اسٹوریج اسی ڈیٹا کی کاپیوں کے ذریعے لیا جاتا ہے۔ ہمارے ترک ساتھیوں کے HaaS کے معاملے میں، ذخیرہ کرنے کی مقدار تقریباً 80-90% تک حاصل کی جا سکتی ہے۔ یہ واضح طور پر ان کی مخصوص ضروریات کے لیے مخصوص ہے، لیکن میں یقینی طور پر کم از کم 50% تخفیف کی توقع کروں گا۔

اس مسئلے کو حل کرنے کے لیے، بڑے وینڈرز نے طویل عرصے سے ایمیزون کے S3 کے گیٹ ویز کو لاگو کیا ہے۔ ان کے تمام طریقے مقامی S3 سرورز کے ساتھ مطابقت رکھتے ہیں اگر وہ Amazon API کو سپورٹ کرتے ہیں۔ ترکی کے ڈیٹا سینٹر میں، ہمارے S3 سرور پر بیک اپ بنائے جاتے ہیں، جیسا کہ روس میں T-III کمپریسر کا معاملہ ہے، کیونکہ یہ طریقہ ہمارے لیے کامیاب ثابت ہوا ہے۔

ہمارا S3 Amazon S3 بیک اپ طریقوں کے ساتھ مکمل طور پر مطابقت رکھتا ہے۔ اس کا مطلب ہے کہ تمام بیک اپ ٹولز جو ان طریقوں کو سپورٹ کرتے ہیں آپ کو اس اسٹوریج ڈیوائس میں ہر چیز کو باکس سے باہر کاپی کرنے کی اجازت دیتے ہیں۔

Veritas NetBackup نے CloudCatalyst کی خصوصیت متعارف کرائی ہے:

یعنی، جن مشینوں کا بیک اپ لینے کی ضرورت ہے اور گیٹ وے کے درمیان، ایک انٹرمیڈیٹ رکھا گیا تھا۔ Linux- ایک سرور جو SRK ایجنٹوں سے بیک اپ ٹریفک کو ہینڈل کرتا ہے اور اسے S3 میں منتقل کرنے سے پہلے پرواز پر اس کی نقل تیار کرتا ہے۔ پہلے، 30 20 GB کمپریسڈ بیک اپ تھے، لیکن اب (مشینوں کی مماثلت کی وجہ سے) ان کا حجم 90% کم کر دیا گیا ہے۔ وہی ڈپلیکیشن انجن استعمال کیا جاتا ہے جیسا کہ نیٹ بیک اپ کا استعمال کرتے ہوئے ریگولر ڈسکوں پر اسٹوریج کے لیے۔

انٹرمیڈیٹ سرور سے پہلے کیا ہوتا ہے یہاں ہے:

ہم نے اس کا تجربہ کیا اور نتیجہ اخذ کیا کہ جب ہمارے ڈیٹا سینٹرز میں لاگو ہوتا ہے، تو یہ ہمارے اور ہمارے صارفین دونوں کے لیے S3 اسٹوریج کی جگہ بچاتا ہے۔ ایک تجارتی ڈیٹا سینٹر کے مالک کے طور پر، ہم استعمال شدہ جگہ کی مقدار کی بنیاد پر چارج کرتے ہیں، لیکن یہ اب بھی ہمارے لیے بہت زیادہ منافع بخش ہے، کیونکہ ہم ہارڈ ویئر کے کرائے پر لینے کے بجائے زیادہ قابل توسیع سافٹ ویئر سے پیسہ کمانا شروع کرتے ہیں۔ اور یہ اندرونی اخراجات کو بھی کم کرتا ہے۔

نوشتہ جات228 نوکریاں (0 قطار میں 0 فعال 0 دوبارہ کوشش کا انتظار 0 معطل 0 نامکمل 228 ہو گیا - 13 منتخب)
(فلٹر اپلائیڈ [13])

جاب آئی ڈی کی قسم اسٹیٹ اسٹیٹ کی تفصیلات اسٹیٹس جاب پالیسی جاب کا شیڈول کلائنٹ میڈیا سرور اسٹارٹ ٹائم ایلاپسڈ ٹائم سٹوریج یونٹ کی کوشش آپریشن کلو بائٹس فائلز پاتھ کا نام % مکمل (تخمینہ) جاب پی آئی ڈی اونر پیرنٹ جاب آئی ڈی کاپی کریں موومنٹ آف ہوسٹ ٹائپ ماسٹر ترجیحی ڈیڈپلیکیشن ریٹ ٹرانسپورٹ ایکسلریٹر آپٹیمائزیشن مثال یا ڈیٹا بیس شیئر ہوسٹ
— 1358 سنیپ شاٹ ہو گیا 0 VMware — NGNCloudADC NBCC 18 دسمبر، 2018 12:16:19 PM 00:02:18 دسمبر 18، 2018 12:18:37 PM STU_DP_S3_**** بیک اپ 1 1180 % 1180 روٹ 12:16:27 PM 00:02:10 فوری ریکوری ڈسک معیاری WIN-************* 0
1360 بیک اپ ہو گیا 0 VMware مکمل NGNCloudADC NBCC 18 دسمبر، 2018 12:16:48 PM 00:01:39 18 دسمبر 2018 12:18:27 PM STU_DP_S3_**** بیک اپ 1 14%140145354545 23858 روٹ 1358 335,098 دسمبر 18، 2018 12:16:48 PM 00:01:39 Instant Recovery Disk Standard WIN-************ 0 99.8% 99%
1352 سنیپ شاٹ ہو گیا 0 VMware - NGNCloudADC NBCC 18 دسمبر، 2018 12:14:04 PM 00:02:01 دسمبر 18، 2018 12:16:05 PM STU_DP_S3_**** بیک اپ 1 Dec 1028 % 10208 12:14:14 PM 00:01:51 فوری ریکوری ڈسک سٹینڈرڈ WIN-*********** 0
1354 بیک اپ ہو گیا 0 VMware انکریمنٹل NGNCloudADC NBCC 18 دسمبر، 2018 12:14:34 PM 00:01:21 دسمبر 18، 2018 12:15:55 PM STU_DP_S3_** بیک اپ، %6014 8014 23617 روٹ 1352 500,817 دسمبر 18، 2018 12:14:34 PM 00:01:21 Instant Recovery Disk Standard WIN-************* 0 99.9% 100٪
1347 سنیپ شاٹ ہو گیا 0 VMware - NGNCloudADC NBCC 18 دسمبر، 2018 12:11:45 PM 00:02:08 دسمبر 18، 2018 12:13:53 PM STU_DP_S3_**** بیک اپ 1 Dec 1028 % 10208 12:11:45 PM 00:02:08 فوری ریکوری ڈسک سٹینڈرڈ WIN-*********** 0
1349 بیک اپ ہو گیا 0 VMware مکمل NGNCloudADC NBCC 18 دسمبر، 2018 12:12:02 PM 00:01:41 18 دسمبر 2018 12:13:43 PM STU_DP_S3_**** بیک اپ 1 14%140145354545 23508 روٹ 1347 316,319 دسمبر 18، 2018 12:12:02 PM 00:01:41 Instant Recovery Disk Standard WIN-************ 0 99.7% 99%
1341 سنیپ شاٹ ہو گیا 0 VMware - NGNCloudADC NBCC 18 دسمبر، 2018 12:05:28 PM 00:04:53 دسمبر 18، 2018 12:10:21 PM STU_DP_S3_**** بیک اپ 1 Dec 1028 % 10208 12:05:28 PM 00:04:53 فوری ریکوری ڈسک سٹینڈرڈ WIN-*********** 0
1342 بیک اپ ہو گیا 0 VMware Full_Rescan NGNCloudADC NBCC 18 دسمبر، 2018 12:05:47 PM 00:04:24 دسمبر 18، 2018 12:10:11 PM STU_DP_S3_**، 41515151511 100% 22999 روٹ 1341 70,380 دسمبر 18، 2018 12:05:47 PM 00:04:24 Instant Recovery Disk Standard WIN-*********** 0 87.9% 0%

1339 سنیپ شاٹ ہو گیا 150 VMware - NGNCloudADC NBCC 18 دسمبر، 2018 11:05:46 AM 00:00:53 دسمبر 18، 2018 11:06:39 AM STU_DP_S3_** بیک اپ %13180 روٹ 13180 11:05:46 AM 00:00:53 فوری ریکوری ڈسک سٹینڈرڈ WIN-*********** 0
1327 سنیپ شاٹ ہو گیا 0 VMware - *******.********. کلاؤڈ NBCC دسمبر 17، 2018 12:54:42 PM 05:51:38 دسمبر 17، 2018 6:46:20 PM STU_DP_S3_**** بیک اپ 01% 071 روٹ 2018 12:54:42 PM 05:51:38 Instant Recovery Disk Standard WIN-************ 0
1328 بیک اپ ہو گیا 0 VMware مکمل *******.********.cloud NBCC دسمبر 17، 2018 12:55:10 PM 05:29:21 دسمبر 17، 2018 6:24:31 PM STU_DP_S3_**، 2928 بیک اپ، 2927 100% 12856 روٹ 1327 11,326 دسمبر 17، 2018 12:55:10 PM 05:29:21 Instant Recovery Disk Standard WIN-*********** 0 87.9% 0%
1136 سنیپ شاٹ ہو گیا 0 VMware - *******.********. کلاؤڈ NBCC دسمبر 14، 2018 4:48:22 PM 04:05:16 دسمبر 14، 2018 8:53:38 PM STU_DP_S3_**** بیک اپ 01% 071 روٹ 2018 4:48:22 PM 04:05:16 Instant Recovery Disk Standard WIN-************ 0
1140 بیک اپ ہو گیا 0 VMware Full_Scan *******.********.Cloud NBCC دسمبر 14، 2018 4:49:14 PM 03:49:58 دسمبر 14، 2018 8:39:12 PM STU_DP_S3_**، 5261512515،535 بیک اپ 100% 26438 جڑ 1136 15,963 دسمبر 14، 2018 4:49:14 PM 03:49:58 Instant Recovery Disk Standard WIN-************ 0 45.2% 0%

ایکسلریٹر صرف ڈیٹا کی تبدیلیوں کو منتقل کرکے ایجنٹ ٹریفک کو کم کرتا ہے۔ اس کا مطلب یہ ہے کہ مکمل بیک اپ بھی مکمل طور پر منتقل نہیں ہوتے ہیں، کیونکہ میڈیا سرور اضافی بیک اپس سے بعد میں مکمل بیک اپ مرتب کرتا ہے۔

انٹرمیڈیٹ سرور کا اپنا اسٹوریج ہوتا ہے، جہاں یہ ڈیٹا کا "کیش" لکھتا ہے اور ڈپلیکیشن کے لیے ڈیٹا بیس کو برقرار رکھتا ہے۔

مکمل فن تعمیر اس طرح لگتا ہے:

ماسٹر سرور کنفیگریشن، اپ ڈیٹس وغیرہ کا انتظام کرتا ہے اور کلاؤڈ میں واقع ہے۔
نیٹ ورک کی رسائی کے لحاظ سے میڈیا سرور (ایک انٹرمیڈیٹ *نکس مشین) کو بیک اپ سسٹمز کے زیادہ سے زیادہ قریب ہونا چاہیے۔ تمام بیک اپ مشینوں کے بیک اپس کو یہاں نقل کیا گیا ہے۔
بیک اپ مشینوں میں ایسے ایجنٹ ہوتے ہیں جو عام طور پر میڈیا سرور کو صرف وہی بھیجتے ہیں جو اس کے اسٹوریج میں نہیں ہے۔

یہ سب ایک مکمل اسکین کے ساتھ شروع ہوتا ہے - ایک مکمل بیک اپ۔ اس مقام پر، میڈیا سرور سب کچھ لیتا ہے، اس کی نقل تیار کرتا ہے، اور اسے S3 میں منتقل کرتا ہے۔ میڈیا سرور کی رفتار سست ہے، لیکن وہاں سے رفتار تیز ہے۔ بنیادی حد سرور کی کمپیوٹنگ طاقت ہے۔

مندرجہ ذیل بیک اپ کو تمام سسٹمز کے ذریعے مکمل سمجھا جاتا ہے، لیکن حقیقت میں، وہ مصنوعی مکمل بیک اپ ہیں۔ اس کا مطلب یہ ہے کہ صرف وہی ڈیٹا بلاکس جو پچھلے VM بیک اپ میں کبھی نہیں دیکھے گئے ہیں اصل میں میڈیا سرور پر منتقل اور لکھے جاتے ہیں۔ اور صرف وہ ڈیٹا بلاکس جن کی ہیش میڈیا سرور کے ڈپلیکیشن ڈیٹا بیس میں نہیں ہے منتقل کی جاتی ہے اور S3 پر لکھی جاتی ہے۔ آسان الفاظ میں، یہ بلاکس کسی بھی VM کے پچھلے بیک اپ میں کبھی نہیں دیکھے گئے ہیں۔

بحالی کے دوران، میڈیا سرور S3 سے مطلوبہ نقل شدہ اشیاء کی درخواست کرتا ہے، انہیں دوبارہ ہائیڈریٹ کرتا ہے، اور انہیں SRK ایجنٹس کو منتقل کرتا ہے۔ اس کا مطلب یہ ہے کہ بحالی کے دوران ٹریفک کے حجم کو مدنظر رکھا جانا چاہیے، کیونکہ یہ ڈیٹا کی بحالی کے اصل حجم کے برابر ہوگا۔

یہاں کی طرح لگتا ہے:

اور یہاں نوشتہ جات کا ایک اور ٹکڑا ہے۔169 نوکریاں (0 قطار میں 0 فعال 0 دوبارہ کوشش کا انتظار 0 معطل 0 نامکمل 169 ہو گیا - 1 منتخب)

ڈیٹا کی سالمیت کو خود S3 کے تحفظ سے یقینی بنایا جاتا ہے- اس میں ہارڈ ویئر کی ناکامیوں جیسے کہ ڈیڈ ہارڈ ڈرائیو اسپنڈل سے بچانے کے لیے اچھی فالتو پن ہے۔

میڈیا-سرور 4 TB کیشے Veritas کی کم از کم تجویز ہے۔ مزید بہتر ہے، لیکن بالکل وہی ہے جو ہم نے کیا۔

کل

جب ہمارے پارٹنر نے ہمارے S3 پر 20 GB اپ لوڈ کیا، تو ہم نے 60 GB کو ذخیرہ کر لیا کیونکہ ہم ٹرپل جیو ریڈنڈنسی فراہم کرتے ہیں۔ اب ہمارے پاس بہت کم ٹریفک ہے، جو بینڈوتھ اور اسٹوریج کی قیمت دونوں کے لیے اچھا ہے۔

اس صورت میں، راستے "بڑے انٹرنیٹ" کے آگے بند ہیں، لیکن اس کے ذریعے ٹریفک چلانا ممکن ہے۔ VPN انٹرنیٹ کے ذریعے L2، لیکن فراہم کنندہ کے ان پٹ سے پہلے میڈیا سرور کو انسٹال کرنا بہتر ہے۔

اگر آپ ہمارے روسی ڈیٹا سینٹرز میں ان خصوصیات کے بارے میں جاننے میں دلچسپی رکھتے ہیں یا انہیں اپنے مقام پر لاگو کرنے کے بارے میں کوئی سوالات ہیں، تو براہ کرم تبصروں میں پوچھیں یا ekorotkikh@croc.ru پر ای میل کریں۔

ماخذ: www.habr.com

آبجیکٹ اسٹوریج میں بیک اپ کو 90% تک کومپیکٹ کرنے کا طریقہ

کیا مسئلہ ہے؟

کل

یوری گیگرین