أنا متأكد من أن جميع قراء هبر طلبوا مرة واحدة على الأقل البضائع في متاجر عبر الإنترنت في الخارج ثم ذهبوا لاستلام الطرود في مكتب البريد الروسي. هل يمكنك تخيل حجم هذه المهمة من حيث تنظيم الخدمات اللوجستية؟ اضرب عدد المشترين بعدد مشترياتهم ، تخيل خريطة لبلدنا الشاسع ، وعليها - أكثر من 40 ألف مكتب بريد ... بالمناسبة ، في عام 2018 ، عالج البريد الروسي 345 مليون طرد دولي.
في هذه المقالة ، سنخبرك بالمشكلات التي واجهها المنشور وكيف قام فريق LANIT-Integration بحلها ، وإنشاء بنية تحتية جديدة لتكنولوجيا المعلومات لمراكز البيانات.
أحد المراكز اللوجستية الحديثة للبريد الروسي
До проекта
بسبب الزيادة الحادة في عدد الطرود من المتاجر الأجنبية في الصين وأوروبا الغربية وأمريكا الشمالية ، زاد الحمل على المرافق اللوجستية للبريد الروسي. لذلك ، تم بناء جيل جديد من المراكز اللوجستية ، والتي تستخدم آلات فرز عالية السعة. يحتاجون إلى دعم من البنية التحتية للحوسبة.
كانت البنية التحتية لمركز البيانات قديمة ولم توفر الأداء والموثوقية اللازمين في تشغيل أنظمة معلومات المؤسسة. أيضًا ، عانى البريد الروسي من نقص في القدرة الحاسوبية لإطلاق خدمات جديدة.
مراكز بيانات العملاء ومشاكلهم
تخدم مراكز بيانات البريد الروسي أكثر من 40 كائن و 000 مكتبًا إقليميًا. تعمل العشرات من خدمات الأعمال على مدار الساعة في مراكز البيانات ، بما في ذلك خدمات التجارة الإلكترونية.
بالفعل اليوم ، تستخدم المؤسسة أنظمة لتخزين البيانات الضخمة وتحليلها ومعالجتها. بالنسبة لمثل هذه الأنظمة ، يلعب استخدام الذكاء الاصطناعي وخوارزميات التعلم الآلي دورًا مهمًا. حتى الآن ، تتمثل إحدى أهم الحالات بالنسبة للمؤسسة في تحسين إدارة التدفق اللوجستي وتسريع خدمة العملاء في مكاتب البريد.
قبل بدء مشروع الترقية ، كان هناك حوالي 3000 جهاز افتراضي في مراكز البيانات الرئيسية والنسخ الاحتياطي ، وتجاوز حجم المعلومات المخزنة 2 بيتابايت. كان لمراكز البيانات بنية توجيه حركة مرور معقدة مرتبطة بالتقسيم إلى قطاعات مختلفة وفقًا لمستويات الأمان.
مع تطور التطبيقات وإدخال خدمات جديدة ، أصبح عرض النطاق الترددي الحالي لمعدات الشبكة في مراكز البيانات غير كافٍ. كان الانتقال إلى واجهات بسرعات جديدة مطلوبًا: 10 جيجابت / ثانية ، بدلاً من 1 جيجابت / ثانية للوصول و 40 جيجابت / ثانية على المستوى الأساسي ، مع التكرار الكامل للمعدات وقنوات الاتصال.
من قسم أمن المعلومات ، تم استلام طلب لتقسيم البنية التحتية إلى قطاعات ذات مستوى عالٍ من أمن المعلومات لحركة المرور والتطبيقات (PN - الشبكة الخاصة و DMZ - المنطقة المنزوعة السلاح). اجتازت جدران الحماية (ITU) حركة مرور لم تكن ضرورية للتصفية. لم يتم استخدام VRF على المفاتيح لمثل هذه حركة المرور. كانت القواعد في الاتحاد الدولي للاتصالات دون المستوى الأمثل (عشرات الآلاف من القواعد في كل مركز بيانات).
لم يكن الترحيل السلس للأجهزة الافتراضية (VMs) بين مراكز البيانات مع الحفاظ على عنوان IP والمسار الأمثل لحركة المرور بين القطاعات ، بما في ذلك شبكة بيانات الشركة (CDTN) ، غير ممكن.
تم استخدام MSTP للتكرار ، وتم حظر بعض المنافذ (الاستعداد السريع). لم يتم تجميع مفاتيح التبديل الأساسية والوصول ، ولم يتم استخدام تجميع الواجهة (LAG).
مع ظهور مركز البيانات الثالث ، كانت هناك حاجة إلى بنية جديدة وتكوين المعدات لتشغيل الحلقة بين مراكز البيانات (تم اقتراح EVPN).
لم يكن هناك مفهوم واحد لتطوير مراكز البيانات ، موثق في شكل مشروع ومتفق عليه مع جميع أقسام العميل. كانت وثائق تشغيل الشبكة الحالية غير مكتملة وقديمة.
توقعات العملاء
قام فريق المشروع بالمهام التالية:
- إعداد مفهوم العمارة والتطوير لبناء الشبكة والبنية التحتية للخادم لمركز البيانات الثالث ؛
- إجراء تدقيق تشغيلي للشبكة الحالية للعميل ؛
- توسيع السعة الأساسية للشبكة بأكثر من 1500 منفذ إيثرنت 10/40 جيجابت / ثانية في كل مركز بيانات (إجمالي 4500 منفذ) ؛
- ضمان تشغيل حلقة بين ثلاثة مراكز بيانات مع إمكانية زيادة السرعة حتى 80 جيجابت / ثانية في كل قسم من أجل دمج موارد الحوسبة الخاصة بالعميل من مراكز البيانات المختلفة في نظام واحد لتكنولوجيا المعلومات ؛
- توفير احتياطي مزدوج بنسبة 100٪ لجميع عناصر الشبكة لتحقيق وقت التشغيل المستهدف عند مستوى 99,995٪ ؛
- تقليل التأخير في حركة المرور بين الأجهزة الافتراضية لتسريع تطبيقات الأعمال ؛
- جمع الإحصائيات وتحليل وتحسين قواعد تصفية حركة المرور في مراكز البيانات (في البداية كان هناك حوالي 80 قاعدة) ؛
- تطوير بنية مستهدفة لضمان الانتقال السلس لتطبيقات الأعمال المهمة للعميل إلى أي من مراكز البيانات الثلاثة.
وهكذا ، كان لدينا شيء نعمل عليه.
معدات
دعنا نلقي نظرة فاحصة على المعدات التي استخدمناها في المشروع.
جدار الحماية (NGWF) USG9560:
- القسمة بواسطة VSYS ؛
- تصل إلى 720 جيجابت في الثانية ؛
- ما يصل إلى 720 مليون جلسة متزامنة ؛
- 8 فتحات.
جهاز التوجيه NE40E-X8:
- تصل إلى 7,08 تيرابايت / ثانية قدرة التحويل ؛
- أداء إعادة توجيه يصل إلى 2,880 مليون وحدة في الثانية ؛
- 8 فتحات لبطاقات الخط (LPU) ؛
- ما يصل إلى 10 ميجا من مسارات BGP IPv4 لكل وحدة MPU ؛
- ما يصل إلى 1500K مسار OSPF IPv4 لكل MPU ؛
- حتى 3000 ألف - IPv4 FIB (يعتمد على LPU).
مفاتيح سلسلة CE12800:
- الأجهزة الافتراضية: VS (1:16 الافتراضية) ، نظام التبديل العنقودي (CSS) ، Super Virtual Fabric (SVF) ؛
- الشبكة الافتراضية: M-LAG و TRILL و VXLAN و VXLAN bridging و QinQ in VXLAN و EVN (شبكة إيثرنت الافتراضية) ؛
- بدءًا من VRP V2 ، يتم تضمين دعم EVPN ؛
- M-LAG - تناظرية لـ vPC (قناة منفذ افتراضية) لـ Cisco Nexus ؛
- بروتوكول شجرة الامتداد الافتراضي (VSTP) - متوافق مع Cisco PVST.
CE12804
CE12808
Программное обеспечение
في المشروع استخدمنا:
- تحويل ملفات التكوين للجدران النارية للبائعين الآخرين إلى تنسيق أوامر لمعدات جديدة ؛
- نصوص من تصميمنا الخاص لتحسين تكوين جدران الحماية وتحويلها.
ظهور المحول لتحويل ملفات التكوين
مخطط الاتصال بين مراكز البيانات (EVPN VXLAN)
الفروق الدقيقة في تركيب المعدات
CE12808
- EVPN (قياسي) بدلاً من EVN (مملوكة لشركة Huawei) للاتصال بين مراكز البيانات:
○ L2 فوق L3 باستخدام iBGP في مستوى التحكم ؛
○ تدريب وإعلان MAC عبر عائلة iBGP EVPN (مسارات MAC ، النوع 2) ؛
○ الإنشاء التلقائي لأنفاق VXLAN للبث / حركة مرور أحادية الإرسال غير معروفة (مسارات البث المتعدد الشاملة ، النوع 3). - وضعان للتقسيم على VS:
○ بناءً على المنافذ (منفذ وضع المنفذ) أو بناءً على ASIC (مجموعة وضع المنفذ ، عرض خريطة منفذ الجهاز) ؛
○ تعمل واجهة أبعاد المنفذ 40GE فقط في Admin VS (بغض النظر عن وضع المنفذ).
USG9560
- إمكانية القسمة على VSYS ،
- بين التوجيه الديناميكي VSYS وتسريب المسار أمر مستحيل!
CE12804
كل GW النشط (VRRP Master / Master / Master) مع تصفية MAC VRRP بين مراكز البيانات
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
مخطط تفاعل الموارد بين مراكز البيانات (VXLAN EVPN و All Active GW)
تعقيد المشروع
كانت الصعوبة الرئيسية هي الحاجة إلى عمل نسخة احتياطية من التطبيقات الحالية باستخدام البنية التحتية للحوسبة. كان لدى العميل أكثر من 100 تطبيق مختلف ، تمت كتابة بعضها منذ ما يقرب من 10 سنوات. على سبيل المثال ، إذا تمكنت Yandex من إيقاف تشغيل عدة مئات من الأجهزة الافتراضية بسهولة دون الإضرار بالمستخدمين النهائيين ، فإن مثل هذا النهج في Russian Post سيتطلب تطوير عدد من التطبيقات من البداية وتغييرات في بنية أنظمة معلومات المؤسسة. لقد حللنا المشكلات الناشئة في عملية الترحيل والتحسين في مرحلة المراجعة المشتركة للبنية التحتية للحوسبة. تم اختبار جميع تقنيات الشبكات الجديدة في المؤسسة (مثل EVPN) مسبقًا في المختبر.
نتائج المشروع
ضم فريق المشروع متخصصين والعميل وشركائه في تشغيل البنية التحتية للحوسبة. كما تم تشكيل فرق دعم مخصصة من البائعين (Check Point و Huawei). استغرق المشروع عامين. إليك ما تم إنجازه خلال هذا الوقت.
- تم تطوير إستراتيجية لتطوير شبكة من مراكز البيانات وشبكة نقل بيانات الشركة (CSTN) وحلقة بين مراكز البيانات والاتفاق عليها مع جميع أقسام العميل.
- زيادة توافر الخدمة. وقد لوحظ ذلك من خلال عمل العميل وأدى إلى زيادة أكبر في حركة المرور بسبب إدخال خدمات جديدة.
- تم ترحيل أكثر من 40 قاعدة وتحسينها من FWSM / ASA إلى USG 000. تم دمج سياقات ASA المختلفة على UGG 9560 في سياسة أمان واحدة.
- تم زيادة إنتاجية منافذ مركز البيانات من 1G إلى 10 / 40G من خلال استخدام CE12800 / CE6850. هذا جعل من الممكن القضاء على التحميل الزائد للواجهة وفقدان الحزم.
- غطت أجهزة التوجيه من فئة الناقل NE40E-X8 احتياجات مركز بيانات العميل و KSPD بالكامل ، مع مراعاة تطوير الأعمال في المستقبل.
- تم طلب ثمانية طلبات ميزات جديدة لـ USG 9560. وقد تم بالفعل تنفيذ سبعة منها وتم تضمينها في الإصدار الحالي من VRP. يتم تنفيذ 1 FR بواسطة Huawei R&D. هذه مجموعة لثمانية هياكل مع القدرة على تكوين الوظائف اللازمة لمزامنة التكوين دون مزامنة الجلسات. مطلوب إذا كان تأخير حركة المرور إلى أحد مراكز البيانات مرتفعًا جدًا (Adler - Moscow 1300 كم على طول الطريق الرئيسي و 2800 كم على طول طريق النسخ الاحتياطي).
المشروع ليس له نظائر بالمقارنة مع الشركات البريدية الأخرى في روسيا.
فتح تحديث البنية التحتية لشبكة مركز البيانات فرصًا جديدة للمؤسسة لتطوير الخدمات الرقمية.
- توفير حساب شخصي وتطبيق جوال للأفراد والكيانات الاعتبارية.
- التكامل مع المتاجر الالكترونية لتقديم خدمات توصيل البضائع.
- الاستيفاء هو تخزين البضائع وتكوين الطلبات وتسليمها من المتاجر الإلكترونية.
- توسيع نقاط إصدار الطلبات ، بما في ذلك استخدام الشبكات الشريكة.
- تدفق المستندات الهامة من الناحية القانونية مع المقاولين. سيؤدي ذلك إلى القضاء على بطء وتكلفة تسليم المستندات الورقية.
- قبول الرسائل المسجلة في شكل إلكتروني مع التسليم في شكل إلكتروني وورقي (مع طباعة العناصر في أقرب وقت ممكن من المستلم النهائي). خدمة الرسائل الإلكترونية المسجلة على بوابة الخدمات العامة.
- منصة لتقديم خدمات التطبيب عن بعد.
- قبول مبسط وتسليم مبسط للبنود البريدية المسجلة باستخدام توقيع إلكتروني بسيط.
- رقمنة شبكة مكاتب البريد.
- تجهيز خدمات الخدمة الذاتية (المحطات وأجهزة الطرود).
- إنشاء منصة رقمية لإدارة خدمة البريد السريع وتطبيق جديد للهاتف المحمول لعملاء خدمة البريد السريع.
تعال للعمل معنا!
المصدر: www.habr.com