🥇زیرساخت جدید فناوری اطلاعات برای مرکز داده روسیه پست

من مطمئن هستم که همه خوانندگان Habr حداقل یک بار کالاهایی را از فروشگاه های آنلاین خارج از کشور سفارش داده اند و سپس برای دریافت بسته به یک اداره پست روسیه رفته اند. آیا می توانید مقیاس این کار را از نقطه نظر سازماندهی لجستیک تصور کنید؟ تعداد خریداران را در تعداد خریدهایشان ضرب کنید، نقشه ای از کشور پهناور ما را تصور کنید و روی آن بیش از 40 هزار اداره پست وجود دارد... به هر حال، پست روسیه در سال 2018، 345 میلیون بسته بین المللی را پردازش کرده است.

در این مقاله به شما خواهیم گفت که Pochta با چه مشکلاتی روبرو بوده و چگونه تیم LANIT Integration آنها را حل کرده و یک زیرساخت جدید فناوری اطلاعات برای مراکز داده ایجاد کرده است.

یکی از مراکز لجستیک مدرن پست روسیه

قبل از پروژه

با توجه به افزایش شدید تعداد بسته ها از فروشگاه های خارجی در چین، اروپای غربی و آمریکای شمالی، بار روی امکانات لجستیکی روسیه پست افزایش یافته است. از این رو مراکز لجستیکی نسل جدید ساخته شد که از ماشین های سورتینگ با کارایی بالا استفاده می کنند. آنها نیاز به پشتیبانی از زیرساخت محاسباتی دارند.

زیرساخت مرکز داده قدیمی بود و عملکرد و قابلیت اطمینان لازم را در عملکرد سیستم های اطلاعات سازمانی ارائه نمی کرد. همچنین، روسیه پست کمبود قدرت محاسباتی برای راه اندازی خدمات جدید را تجربه کرد.

مراکز داده مشتریان و مشکلات آنها

مراکز داده روسیه پست به بیش از 40 تسهیلات و 000 بخش منطقه ای خدمات می دهند. مراکز داده ده ها خدمات تجاری 85/XNUMX از جمله خدمات تجارت الکترونیک را ارائه می دهند.

امروزه شرکت ها از سیستم هایی برای ذخیره، تجزیه و تحلیل و پردازش کلان داده ها استفاده می کنند. برای چنین سیستم هایی، استفاده از هوش مصنوعی و الگوریتم های یادگیری ماشین نقش مهمی ایفا می کند. امروزه یکی از مهمترین موارد برای یک شرکت، بهینه سازی مدیریت جریان های لجستیک و تسریع در ارائه خدمات به مشتریان در دفاتر پست است.

قبل از شروع پروژه نوسازی، حدود 3000 ماشین مجازی در مراکز داده اصلی و پشتیبان وجود داشت که حجم اطلاعات ذخیره شده از 2 پتابایت فراتر رفت. مراکز داده ساختار مسیریابی ترافیک پیچیده ای داشتند که با تقسیم بندی به بخش های مختلف بر اساس سطوح امنیتی مرتبط بود.

با توسعه اپلیکیشن ها و ارائه خدمات جدید، پهنای باند موجود تجهیزات شبکه در مراکز داده ناکافی شده است. انتقال به رابط‌هایی با سرعت‌های جدید مورد نیاز بود: 10 گیگابیت بر ثانیه، به جای 1 گیگابیت بر ثانیه در دسترسی و 40 گیگابیت بر ثانیه در سطح هسته، با افزونگی کامل تجهیزات و کانال‌های ارتباطی.

بخش امنیت اطلاعات الزامی را دریافت کرد که زیرساخت را به بخش هایی با سطح بالایی از امنیت اطلاعات ترافیک و برنامه ها تقسیم کند (PN - شبکه خصوصی و DMZ - منطقه غیرنظامی). ترافیک از طریق فایروال ها (FWU) که نیازی به فیلتر شدن نداشتند عبور می کرد. VRF روی سوئیچ ها برای این ترافیک استفاده نشده است. قوانین روی دیوار آتش کمتر از حد مطلوب بود (ده ها هزار قانون در هر مرکز داده).

مهاجرت یکپارچه ماشین‌های مجازی (VM) بین مراکز داده با حفظ آدرس IP و مسیر بهینه برای ترافیک بین بخش‌ها، از جمله شبکه داده شرکت (CDN)، غیرممکن بود.

MSTP برای پشتیبان‌گیری استفاده شد؛ برخی از پورت‌ها مسدود شدند (استاندبای داغ). هسته و سوئیچ های دسترسی در یک خوشه شکستی ترکیب نشدند و از تجمع رابط (LAG) استفاده نشد.

با ظهور مرکز داده سوم، یک معماری و پیکربندی تجهیزات جدید برای کار کردن حلقه بین مراکز داده مورد نیاز بود (EVPN پیشنهاد شد).

هیچ مفهوم واحدی برای توسعه مراکز داده وجود نداشت که در قالب یک پروژه مستند شده و با همه بخش‌های مشتری توافق شده باشد. اسناد عملیاتی شبکه فعلی ناقص و قدیمی بود.

انتظارات مشتری

تیم پروژه با وظایف زیر روبرو شد:

آماده سازی معماری و مفهوم توسعه برای ساخت شبکه و زیرساخت سرور مرکز داده سوم؛
انجام ممیزی عملیاتی از شبکه موجود مشتری؛
ظرفیت هسته شبکه را با بیش از 1500 پورت اترنت 10/40 گیگابیت بر ثانیه در هر مرکز داده (در مجموع 4500 پورت) افزایش دهید.
اطمینان از عملکرد یک حلقه بین سه مرکز داده با قابلیت افزایش سرعت تا 80 گیگابیت بر ثانیه در هر بخش به منظور ترکیب منابع محاسباتی مشتری از مراکز داده مختلف در یک سیستم فناوری اطلاعات واحد.
فراهم کردن 100% ذخیره مضاعف از تمام عناصر شبکه برای دستیابی به Uptime هدف در سطح 99,995%؛
به حداقل رساندن تاخیر ترافیک بین ماشین های مجازی برای افزایش سرعت برنامه های تجاری؛
جمع آوری آمار، تجزیه و تحلیل و بهینه سازی بعدی قوانین فیلترینگ ترافیک در مراکز داده (در ابتدا حدود 80 قانون وجود داشت).
یک معماری هدف را برای اطمینان از مهاجرت بی‌وقفه برنامه‌های تجاری حیاتی مشتری به هر یک از سه مرکز داده ایجاد کنید.

بنابراین ما چیزی برای کار داشتیم.

Оборудование

بیایید نگاهی دقیق تر به تجهیزاتی که در این پروژه استفاده کردیم بیاندازیم.

فایروال (NGWF) USG9560:

تقسیم بر اساس VSYS؛
تا 720 گیگابیت بر ثانیه؛
تا 720 میلیون جلسه همزمان؛
8 اسلات.

روتر NE40E-X8:

تا 7,08 ترابیت بر ثانیه ظرفیت سوئیچینگ.
تا 2,880 Mpps عملکرد حمل و نقل.
8 اسلات برای کارت های خط (LPU)؛
تا 10 میلیون مسیر BGP IPv4 در هر MPU؛
تا 1500 هزار مسیر OSPF IPv4 در هر MPU؛
تا 3000K - IPv4 FIB (بسته به LPU).

سوئیچ های سری CE12800:

مجازی سازی دستگاه: VS (مجازی سازی 1:16)، سیستم سوئیچ کلاستر (CSS)، پارچه فوق العاده مجازی (SVF).
مجازی سازی شبکه: M-LAG، TRILL، VXLAN و VXLAN پل زدن، QinQ در VXLAN، EVN (شبکه مجازی اترنت).
با شروع از VRP V2، پشتیبانی EVPN گنجانده شده است.
M-LAG – آنالوگ vPC (کانال پورت مجازی) برای Cisco Nexus.
پروتکل درخت پوشای مجازی (VSTP) - سازگار با Cisco PVST.

CE12804

CE12808

نرم افزار

در پروژه از:

تبدیل فایل های پیکربندی فایروال از سایر فروشندگان به فرمت فرمان برای تجهیزات جدید.
اسکریپت های اختصاصی برای بهینه سازی و تبدیل تنظیمات فایروال.

ظاهر مبدل برای تبدیل فایل های پیکربندی

طرح سازماندهی ارتباطات بین مراکز داده (EVPN VXLAN)

تفاوت های ظریف در راه اندازی تجهیزات

CE12808

EVPN (استاندارد) به جای EVN (انحصاری هواوی) برای ارتباط بین مراکز داده:
○ L2 بیش از L3 با استفاده از iBGP در صفحه کنترل.
○ آموزش MAC و تبلیغات آنها از طریق خانواده iBGP EVPN (مسیرهای MAC، نوع 2).
○ ساخت خودکار تونل های VXLAN برای پخش / ترافیک تک پخش ناشناخته (مسیرهای چندپخشی فراگیر، نوع 3).
دو حالت تقسیم در VS:
○ بر اساس پورت ها (پورت حالت پورت) یا بر اساس ASIC (گروه حالت پورت، نمایش دستگاه پورت-نقشه).
○ رابط ابعاد تقسیم پورت 40GE فقط در Admin VS (بدون توجه به حالت پورت) کار می کند.

USG9560

امکان تقسیم توسط VSYS،
مسیریابی پویا و نشت مسیر بین VSYS امکان پذیر نیست!

CE12804

All Active GW (VRRP Master/Master/Master) با فیلتر MAC VRRP بین مراکز داده

acl number 4000 rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00 rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00 rule 15 permit interface Eth-Trunk1 traffic-filter acl 4000 outbound

طرح تعامل منابع بین مراکز داده (VXLAN EVPN و All Active GW)

مشکلات پروژه

مشکل اصلی نیاز به پشتیبان گیری از برنامه های کاربردی موجود با استفاده از زیرساخت های محاسباتی بود. مشتری بیش از 100 برنامه مختلف داشت که برخی از آنها تقریباً 10 سال پیش نوشته شده بودند. به عنوان مثال، اگر برای Yandex می توانید به راحتی چندین صد ماشین مجازی را بدون آسیب به کاربران نهایی خاموش کنید، در Russian Post چنین رویکردی نیاز به توسعه تعدادی از برنامه های کاربردی از ابتدا و تغییر در معماری سیستم های اطلاعات سازمانی دارد. ما مشکلاتی را که در طول فرآیند مهاجرت و بهینه‌سازی به وجود آمد در مرحله ممیزی مشترک زیرساخت محاسباتی حل کردیم. تمام فناوری های شبکه جدید برای شرکت (مانند EVPN) تحت آزمایش اولیه در آزمایشگاه قرار گرفته اند.

نتایج پروژه

تیم پروژه شامل متخصصین بود "LANIT-ادغام"، مشتری و شرکای آن در عملیات زیرساخت محاسباتی. تیم های پشتیبانی اختصاصی از فروشندگان (Check Point و Huawei) نیز تشکیل شد. این پروژه دو سال طول کشید. این کاری است که در این مدت انجام شد.

یک استراتژی برای توسعه یک شبکه از مراکز داده، یک شبکه داده شرکتی (CDTN) و یک حلقه بین مراکز داده ایجاد شده است و با تمام بخش های مشتری توافق شده است.
در دسترس بودن خدمات افزایش یافته است. این مورد توسط تجارت مشتری مورد توجه قرار گرفت و به دلیل ارائه خدمات جدید منجر به افزایش بیشتر ترافیک شد.
بیش از 40 قانون از FWSM/ASA به USG 000 منتقل و بهینه شده است. زمینه های مختلف ASA در UGG 9560 در یک سیاست امنیتی واحد ترکیب شده اند.
با استفاده از CE1/CE10 توان عملیاتی پورت های مرکز داده از 40G به 12800/6850G افزایش یافته است. این امکان حذف اضافه بار رابط و از دست دادن بسته ها را فراهم کرد.
روترهای درجه یک حامل NE40E-X8 به طور کامل نیازهای مرکز داده و مرکز انتقال داده مشتری را با در نظر گرفتن توسعه تجارت آتی پوشش می دهند.
هشت درخواست ویژگی جدید برای USG 9560 درخواست شده است. از این تعداد، هفت مورد قبلاً پیاده‌سازی شده‌اند و در نسخه فعلی VRP گنجانده شده‌اند. 1 FR - برای پیاده سازی در تحقیق و توسعه هواوی. این یک خوشه هشت شاسی با قابلیت پیکربندی عملکردهای لازم برای همگام سازی پیکربندی بدون همگام سازی جلسه است. اگر تاخیر ترافیک به یکی از مراکز داده خیلی زیاد باشد (آدلر - مسکو 1300 کیلومتر در طول مسیر اصلی و 2800 کیلومتر در طول مسیر رزرو) لازم است.

این پروژه در مقایسه با سایر شرکت های پست روسیه مشابهی ندارد.

نوسازی زیرساخت شبکه مراکز داده فرصت های جدیدی را برای توسعه خدمات دیجیتالی برای شرکت باز کرده است.

ارائه اکانت شخصی و اپلیکیشن موبایل برای اشخاص حقیقی و حقوقی.
ادغام با فروشگاه های الکترونیکی برای ارائه خدمات تحویل کالا.
انجام - نگهداری کالا، تشکیل و تحویل سفارشات از فروشگاه های الکترونیکی.
گسترش نقاط دریافت سفارش، از جمله استفاده از شبکه های وابسته.
جریان اسناد قانونی با طرف مقابل. این امر ارسال کند و پرهزینه اسناد کاغذی را از بین می برد.
پذیرش نامه های سفارشی به صورت الکترونیکی با تحویل به دو صورت الکترونیکی و کاغذی (با چاپ اقلام تا حد امکان نزدیک به گیرنده نهایی). سرویس نامه های ثبت شده الکترونیکی در درگاه خدمات عمومی.
بستری برای ارائه خدمات پزشکی از راه دور.
دریافت ساده و تحویل ساده پست سفارشی با استفاده از امضای الکترونیکی ساده.
دیجیتالی شدن شبکه اداره پست
طراحی مجدد خدمات سلف سرویس (پایانه ها و پایانه های بسته بندی).
ایجاد بستر دیجیتال برای مدیریت خدمات پیک و اپلیکیشن موبایل جدید برای مشتریان خدمات پیک.

بیا با ما کار کن

منبع: www.habr.com

زیرساخت جدید فناوری اطلاعات برای مرکز داده روسیه پست