طلب منا عملاؤنا الأتراك تكوين النسخ الاحتياطي لمركز البيانات الخاص بهم بشكل صحيح. نحن نقوم بمشاريع مماثلة في روسيا، ولكن هنا كانت القصة تدور حول البحث عن أفضل السبل للقيام بذلك.
نظرًا: يوجد تخزين S3 محلي، وهناك Veritas NetBackup، الذي اكتسب وظائف موسعة جديدة لنقل البيانات إلى تخزين الكائنات، والآن مع دعم إلغاء البيانات المكررة، وهناك مشكلة في المساحة الحرة في هذا التخزين المحلي.
المهمة: القيام بكل شيء بحيث تكون عملية تخزين النسخ الاحتياطية سريعة ورخيصة.
في الواقع، قبل ذلك، كان كل شيء في S3 مجرد ملفات، وكانت هذه عبارة عن قوالب كاملة للأجهزة المهمة لمركز البيانات. وهذا يعني أنه ليس مُحسّنًا للغاية، ولكن كل شيء يعمل في البداية. الآن حان الوقت لمعرفة ذلك والقيام بذلك بشكل صحيح.
الصورة توضح ما وصلنا إليه:
كما ترون، تم إجراء النسخ الاحتياطي الأول ببطء (70 ميجابايت/ثانية)، وكانت النسخ الاحتياطية اللاحقة لنفس الأنظمة أسرع بكثير.
في الواقع، هناك المزيد من التفاصيل حول الميزات الموجودة.
سجلات النسخ الاحتياطي لأولئك الذين هم على استعداد لقراءة نصف صفحة من التفريغكامل مع إعادة المسح
18 كانون الأول (ديسمبر) 2018 12:09:43 م — أرسل مسرّع المعلومات bpbkar (pid=4452) 14883996160 بايت من أصل 14883994624 بايت إلى الخادم، نسبة التحسين 0.0%
18 ديسمبر 2018، الساعة 12:10:07 مساءً - معلومات NBCC (معرف المنتج=23002) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; التقرير=إحصائيات PDDO (يتم استخدام الدفق متعدد الخيوط) لـ (NBCC): تم مسحها ضوئيًا: 14570817 كيلو بايت، الرد الجاهز المرسل: 1760761 كيلو بايت، الرد الجاهز المرسل عبر FC: 0 كيلو بايت، إزالة الحذف: 87.9%، تعطيل ذاكرة التخزين المؤقت
طويل
18 كانون الأول (ديسمبر) 2018 12:13:18 م — أرسل مسرّع المعلومات bpbkar (pid=2864) 181675008 بايت من أصل 14884060160 بايت إلى الخادم، نسبة التحسين 98.8%
18 ديسمبر 2018، الساعة 12:13:40 مساءً - معلومات NBCC (معرف المنتج=23527) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; التقرير=إحصائيات PDDO لـ (NBCC): تم مسحها ضوئيًا: 14569706 كيلو بايت، الرد الجاهز المرسل: 45145 كيلو بايت، الرد الجاهز المرسل عبر FC: 0 كيلو بايت، الحذف: 99.7%، تعطيل ذاكرة التخزين المؤقت
تزايدي
18 كانون الأول (ديسمبر) 2018 12:15:32 م — أرسل مسرّع المعلومات bpbkar (pid=792) 9970688 بايت من أصل 14726108160 بايت إلى الخادم، نسبة التحسين 99.9%
18 ديسمبر 2018، الساعة 12:15:53 مساءً - معلومات NBCC (معرف المنتج=23656) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; التقرير=إحصائيات PDDO لـ (NBCC): تم مسحها ضوئيًا: 14383788 كيلو بايت، الرد الجاهز المرسل: 15700 كيلو بايت، الرد الجاهز المرسل عبر FC: 0 كيلو بايت، الحذف: 99.9%، تعطيل ذاكرة التخزين المؤقت
طويل
18 كانون الأول (ديسمبر) 2018 12:18:02 م — أرسل مسرّع المعلومات bpbkar (pid=3496) 171746816 بايت من أصل 14884093952 بايت إلى الخادم، نسبة التحسين 98.8%
18 ديسمبر 2018، الساعة 12:18:24 مساءً - معلومات NBCC (معرف المنتج=23878) StorageServer=PureDisk_rhceph_rawd:s3.cloud.ngn.com.tr; التقرير=إحصائيات PDDO لـ (NBCC): تم مسحها ضوئيًا: 14569739 كيلو بايت، الرد الجاهز المرسل: 34120 كيلو بايت، الرد الجاهز المرسل عبر FC: 0 كيلو بايت، الحذف: 99.8%، تعطيل ذاكرة التخزين المؤقت
ما المشكلة
يرغب العملاء في عمل نسخ احتياطية قدر الإمكان وتخزينها بأقل تكلفة ممكنة. من الأفضل تخزينها بسعر رخيص في مخازن الكائنات مثل S3، لأنها الأرخص من حيث تكلفة الخدمة لكل ميجابايت حيث يمكنك استعادة نسخة احتياطية في وقت معقول. عندما يكون هناك الكثير من النسخ الاحتياطي، فإنه لا يصبح رخيصًا جدًا، لأن معظم مساحة التخزين مشغولة بنسخ من نفس البيانات. في حالة HaaS للزملاء الأتراك، يمكن تكثيف التخزين بحوالي 80-90%. من الواضح أن هذا يتعلق على وجه التحديد بتفاصيلهم، لكنني بالتأكيد سأعتمد على الجد بنسبة 50٪ على الأقل.
ولحل هذه المشكلة، قام البائعون الرئيسيون منذ فترة طويلة بإنشاء بوابات إلى Amazon S3. جميع أساليبهم متوافقة مع S3 المحلي طالما أنها تدعم Amazon API. في مركز البيانات التركي، يتم إجراء النسخ الاحتياطي إلى S3 الخاص بنا، وكذلك في "الضاغط" T-III في روسيا، نظرًا لأن مخطط العمل هذا يعمل بشكل جيد بالنسبة لنا.
وS3 الخاص بنا متوافق تمامًا مع طرق النسخ الاحتياطي لـ Amazon S3. أي أن جميع أدوات النسخ الاحتياطي التي تدعم هذه الأساليب تسمح لك بنسخ كل شيء إلى وحدة التخزين هذه "خارج الصندوق".
أضافت شركة Veritas NetBackup ميزة CloudCatalyst:
أي أنه بين الأجهزة التي تحتاج إلى نسخ احتياطي والبوابة، يوجد خادم Linux وسيط تمر من خلاله حركة النسخ الاحتياطي من وكلاء SRK ويتم إلغاء تكرارها بسرعة قبل نقلها إلى S3. إذا كان هناك في وقت سابق 30 نسخة احتياطية بسعة 20 جيجابايت مع الضغط، فقد أصبح حجمها الآن (بسبب تشابه الأجهزة) أصغر بنسبة 90٪. يتم استخدام محرك إلغاء البيانات المكررة بنفس الطريقة المستخدمة عند التخزين على الأقراص العادية باستخدام Netbackup.
إليك ما يحدث قبل الخادم الوسيط:
لقد اختبرنا ذلك وتوصلنا إلى نتيجة مفادها أنه عند تنفيذه في مراكز البيانات لدينا، فإنه يوفر المساحة في تخزين S3 لنا وللعملاء. باعتبارنا مالكًا لمراكز البيانات التجارية، فإننا بالطبع نتقاضى رسومًا وفقًا للحجم المشغول، لكنه لا يزال مربحًا جدًا بالنسبة لنا أيضًا - لأننا نبدأ في جني الأموال من أماكن أكثر قابلية للتطوير في البرامج، وليس من استئجار الأجهزة. حسنا، وهذا هو انخفاض في التكاليف الداخلية.
السجلات228 مهمة (0 في قائمة الانتظار 0 نشطة 0 في انتظار إعادة المحاولة 0 معلقة 0 غير مكتملة 228 تم — 13 محددة)
(تم تطبيق التصفية [13])
نوع معرف الوظيفة، الحالة، التفاصيل، حالة سياسة الوظيفة، جدول الوظيفة، خادم الوسائط، العميل، وقت البدء، الوقت المنقضي، وقت النهاية، وحدة التخزين، محاولة التشغيل، ملفات الكيلوبايت، اسم المسار، % الاكتمال (المقدر)، مالك معرف معرف المهمة (PID) للمهمة، نسخة معرف الوظيفة الأصلية، كيلوبايت/ثانية، بدء نشط، جلسة ملف تعريف Robot Vault المنقضية النشطة وسائط المعرف لإخراج حركة البيانات خارج المضيف، معدل الأولوية الرئيسية لإلغاء البيانات المكررة، مثيل تحسين مسرع النقل أو مضيف مشاركة قاعدة البيانات
— 1358 Snapshot Done 0 VMware — NGNCloudADC NBCC 18 ديسمبر 2018 12:16:19 مساءً 00:02:18 18 ديسمبر 2018 12:18:37 م STU_DP_S3_****backup 1 جذر 100% 1358 18 ديسمبر 2018 12 :16:27 مساءً 00:02:10 قرص الاسترداد الفوري القياسي WIN-************ 0
1360 تم النسخ الاحتياطي 0 VMware Full NGNCloudADC NBCC 18 ديسمبر 2018 12:16:48 مساءً 00:01:39 18 ديسمبر 2018 12:18:27 مساءً STU_DP_S3_****backup 1 14,535,248 149654 100% 23858 root 1358 335,098 18 ديسمبر , 2018 12:16:48 م 00:01:39 قرص الاسترداد الفوري القياسي WIN-************ 0 99.8% 99%
1352 تم إجراء اللقطة 0 VMware - NGNCloudADC NBCC 18 ديسمبر 2018 12:14:04 مساءً 00:02:01 18 ديسمبر 2018 12:16:05 م STU_DP_S3_****backup 1 جذر 100% 1352 18 ديسمبر 2018 12: 14:14 مساءً 00:01:51 قرص الاسترداد الفوري القياسي WIN-************ 0
1354 تم النسخ الاحتياطي 0 VMware Incremental NGNCloudADC NBCC 18 ديسمبر 2018 12:14:34 مساءً 00:01:21 18 ديسمبر 2018 12:15:55 م STU_DP_S3_****backup 1 14,380,965 147 100% 23617 جذر 1352 500,817 18 ديسمبر , 2018 12:14:34 مساءً 00:01:21 قرص الاسترداد الفوري القياسي WIN-************ 0 99.9% 100%
1347 تم إجراء اللقطة 0 VMware - NGNCloudADC NBCC 18 ديسمبر 2018 12:11:45 مساءً 00:02:08 18 ديسمبر 2018 12:13:53 م STU_DP_S3_****backup 1 جذر 100% 1347 18 ديسمبر 2018 12: 11:45 مساءً 00:02:08 قرص الاسترداد الفوري القياسي WIN-************ 0
1349 تم النسخ الاحتياطي 0 VMware Full NGNCloudADC NBCC 18 ديسمبر 2018 12:12:02 مساءً 00:01:41 18 ديسمبر 2018 12:13:43 مساءً STU_DP_S3_****backup 1 14,535,215 149653 100% 23508 root 1347 316,319 18 ديسمبر , 2018 12:12:02 م 00:01:41 قرص الاسترداد الفوري القياسي WIN-************ 0 99.7% 99%
1341 تم إجراء اللقطة 0 VMware - NGNCloudADC NBCC 18 ديسمبر 2018 12:05:28 مساءً 00:04:53 18 ديسمبر 2018 12:10:21 م STU_DP_S3_****backup 1 جذر 100% 1341 18 ديسمبر 2018 12: 05:28 مساءً 00:04:53 قرص الاسترداد الفوري القياسي WIN-************ 0
1342 تم النسخ الاحتياطي 0 VMware Full_Rescan NGNCloudADC NBCC 18 ديسمبر 2018 12:05:47 مساءً 00:04:24 18 ديسمبر 2018 12:10:11 مساءً STU_DP_S3_****backup 1 14,535,151 149653 100% 22999 root 1341 70,380 18 ديسمبر 2018, 12 05:47:00 م 04:24:0 قرص الاسترداد الفوري القياسي WIN-************ 87.9 0% XNUMX%
1339 تم لقطة 150 VMware - NGNCloudADC NBCC 18 ديسمبر 2018 11:05:46 ص 00:00:53 18 ديسمبر 2018 11:06:39 ص STU_DP_S3_ **** النسخ الاحتياطي 1 جذر 100٪ 1339 18 ديسمبر 2018 11: 05:46 ص 00:00:53 قرص الاسترداد الفوري القياسي WIN-************ 0
1327 Snapshot Done 0 VMware - ******.*********.cloud NBCC 17 ديسمبر 2018 12:54:42 مساءً 05:51:38 17 ديسمبر 2018 6:46:20 مساءً STU_DP_S3_******backup 1 100% root 1327 17 ديسمبر 2018 12:54:42 مساءً 05:51:38 معيار قرص الاسترداد الفوري WIN-*********** 0
1328 تم النسخ الاحتياطي 0 VMware Full *****.*********.cloud NBCC 17 ديسمبر 2018 12:55:10 مساءً 05:29:21 17 ديسمبر 2018 6:24:31 مساءً STU_DP_S3_******النسخ الاحتياطي 1 222,602,719 258932 100% 12856 الجذر 1327 11,326 17 ديسمبر 2018 12:55:10 مساءً 05:29:21 قرص الاسترداد الفوري القياسي WIN-************ 0 87.9% 0%
1136 Snapshot Done 0 VMware - ******.*********.cloud NBCC 14 ديسمبر 2018 4:48:22 مساءً 04:05:16 14 ديسمبر 2018 8:53:38 مساءً STU_DP_S3_******backup 1 100% root 1136 14 ديسمبر 2018 4:48:22 مساءً 04:05:16 معيار قرص الاسترداد الفوري WIN-*********** 0
1140 تم النسخ الاحتياطي 0 VMware Full_Scan ******.*********.cloud NBCC 14 ديسمبر 2018 4:49:14 مساءً 03:49:58 14 ديسمبر 2018 8:39:12 مساءً STU_DP_S3_******النسخ الاحتياطي 1 217,631,332 255465 100% 26438 الجذر 1136 15,963 14 ديسمبر 2018 4:49:14 مساءً 03:49:58 معيار قرص الاسترداد الفوري WIN-************ 0 45.2% 0%
يسمح لك المسرع بتقليل حركة المرور من الوكلاء، لأنه يتم نقل تغييرات البيانات فقط، أي أنه حتى النسخ الاحتياطية الكاملة لا يتم تحميلها بالكامل، حيث يقوم خادم الوسائط بجمع النسخ الاحتياطية الكاملة اللاحقة من النسخ الاحتياطية المتزايدة.
يحتوي الخادم الوسيط على وحدة تخزين خاصة به، حيث يكتب "ذاكرة تخزين مؤقت" للبيانات ويحتفظ بقاعدة بيانات لإلغاء البيانات المكررة.
تبدو البنية الكاملة كما يلي:
- يدير الخادم الرئيسي التكوين والتحديثات وما إلى ذلك ويقع في السحابة.
- يجب أن يكون خادم الوسائط (جهاز *nix الوسيط) أقرب إلى الأنظمة الزائدة من حيث إمكانية الوصول إلى الشبكة. هنا، يتم إلغاء البيانات المكررة للنسخ الاحتياطية من جميع الأجهزة المحجوزة.
- يوجد على الأجهزة التي يتم نسخها احتياطيًا وكلاء يرسلون بشكل عام إلى خادم الوسائط فقط ما هو غير موجود في مخزنه.
يبدأ كل شيء بفحص كامل - وهذه نسخة احتياطية كاملة كاملة. في هذه المرحلة، يأخذ خادم الوسائط كل شيء، ويزيل تكراره وينقله إلى S3. السرعة إلى خادم الوسائط منخفضة ولكنها أعلى منه. القيد الرئيسي هو قوة الحوسبة للخادم.
يتم إجراء النسخ الاحتياطية التالية كاملة من وجهة نظر جميع الأنظمة، ولكنها في الواقع تشبه النسخ الاحتياطية الكاملة الاصطناعية. أي أن النقل الفعلي والتسجيل إلى خادم الوسائط يحدث فقط لكتل البيانات التي لم تتم مواجهتها بعد في النسخ الاحتياطية للجهاز الافتراضي من قبل. ويتم فقط نقل كتل البيانات التي لا يوجد تجزئتها في قاعدة بيانات إلغاء البيانات المكررة لخادم الوسائط وتسجيلها في S3. بكلمات أبسط، هذا شيء لم يسبق رؤيته في أي نسخة احتياطية لجهاز افتراضي واحد من قبل.
أثناء الاستعادة، يطلب خادم الوسائط العناصر الضرورية المحذوفة من S3، ويعيد ترطيبها وينقلها إلى وكلاء IRB، أي. فمن الضروري أن تأخذ في الاعتبار حجم حركة المرور أثناء الاستعادة، والذي سيكون مساويا للحجم الفعلي للبيانات التي يتم استعادتها.
إليك ما يبدو عليه:
وهنا قطعة أخرى من السجلات169 مهمة (0 في قائمة الانتظار 0 نشطة 0 في انتظار إعادة المحاولة 0 معلقة 0 غير مكتملة 169 تم — 1 محددة)
نوع معرف الوظيفة، الحالة، التفاصيل، حالة سياسة الوظيفة، جدول الوظيفة، خادم الوسائط، العميل، وقت البدء، الوقت المنقضي، وقت النهاية، وحدة التخزين، محاولة التشغيل، ملفات الكيلوبايت، اسم المسار، % الاكتمال (المقدر)، مالك معرف معرف المهمة (PID) للمهمة، نسخة معرف الوظيفة الأصلية، كيلوبايت/ثانية، بدء نشط، جلسة ملف تعريف Robot Vault المنقضية النشطة وسائط المعرف لإخراج حركة البيانات خارج المضيف، معدل الأولوية الرئيسية لإلغاء البيانات المكررة، مثيل تحسين مسرع النقل أو مضيف مشاركة قاعدة البيانات
- تم استعادة 1372 0 NBPR01 NBCC 19 ديسمبر 2018 1:05:58 مساءً 00:04:32 19 ديسمبر 2018 1:10:30 مساءً 1 14,380,577 1 100% 8548 ROOT 1372 70,567 19 ديسمبر 2018 1:06 :00 مساءً 00:04:30 فوز-************ 90000
يتم ضمان سلامة البيانات من خلال حماية S3 نفسها - حيث يوجد تكرار جيد هناك للحماية من أعطال الأجهزة مثل عمود دوران القرص الصلب الميت.
يحتاج خادم الوسائط إلى 4 تيرابايت من ذاكرة التخزين المؤقت - وهذا هو الحد الأدنى الموصى به من Veritas. المزيد هو الأفضل، ولكن هذا ما فعلناه.
مجموع
عندما قام أحد الشركاء بإضافة 3 جيجابايت إلى هاتف S20 الخاص بنا، قمنا بتخزين 60 جيجابايت، لأننا نوفر حجزًا جغرافيًا ثلاثيًا للبيانات. الآن هناك حركة مرور أقل بكثير، وهو أمر جيد بالنسبة للقناة وتعريفات التخزين.
في هذه الحالة، تكون المسارات مغلقة بعد "الإنترنت الكبير"، ولكن يمكنك قيادة حركة المرور عبر VPN L2 عبر الإنترنت، ولكن من الأفضل تثبيت خادم الوسائط قبل دخول الموفر.
إذا كنت مهتمًا بالتعرف على هذه الميزات في مراكز البيانات الروسية لدينا أو لديك أسئلة حول التنفيذ في المنزل، فاطرحها في التعليقات أو عبر البريد الإلكتروني [البريد الإلكتروني محمي].
المصدر: www.habr.com