🥇Нова ИТ инфраструктура за център за данни на Руски пощи

Сигурен съм, че всички читатели на Habr поне веднъж са поръчвали стоки в онлайн магазини в чужбина и след това са отишли да получат колети в руската поща. Можете ли да си представите мащаба на тази задача по отношение на организирането на логистиката? Умножете броя на купувачите по броя на техните покупки, представете си карта на нашата огромна страна, а върху нея - повече от 40 хиляди пощенски станции ... Между другото, през 2018 г. руските пощи обработиха 345 милиона международни колети.

В тази статия ще ви разкажем с какви проблеми се сблъска Post и как екипът на LANIT-Integration ги реши, създавайки нова ИТ инфраструктура за центрове за данни.

Един от модерните логистични центрове на руските пощи

Преди проекта

Поради рязкото увеличаване на броя на колетите от чуждестранни магазини в Китай, Западна Европа и Северна Америка, натоварването на логистичните съоръжения на Руската поща се увеличи. Затова са изградени ново поколение логистични центрове, които използват машини за сортиране с голям капацитет. Те се нуждаят от поддръжка от изчислителната инфраструктура.

Инфраструктурата на центъра за данни беше остаряла и не осигуряваше необходимата производителност и надеждност при работата на корпоративните информационни системи. Освен това руските пощи изпитват липса на изчислителна мощност за стартиране на нови услуги.

Клиентски центрове за данни и техните проблеми

Центровете за данни на Russian Post обслужват повече от 40 000 обекта, 85 териториални офиса. В центровете за данни работят десетки денонощни бизнес услуги, включително услуги за електронна търговия.

Вече днес предприятието използва системи за съхранение, анализ и обработка на големи данни. За такива системи използването на изкуствен интелект и алгоритми за машинно обучение играе важна роля. Към днешна дата един от най-важните казуси за предприятието е оптимизирането на управлението на логистичните потоци и ускоряването на обслужването на клиентите в пощенските станции.

Преди началото на проекта за надграждане имаше около 3000 виртуални машини в основния и резервния център за данни, обемът на съхранената информация надвишаваше 2 петабайта. Центровете за данни имаха сложна структура за маршрутизиране на трафика, свързана с разделянето на различни сегменти според нивата на сигурност.

С развитието на приложенията и въвеждането на нови услуги съществуващата честотна лента на мрежовото оборудване в центровете за данни стана недостатъчна. Беше необходим преход към интерфейси с нови скорости: 10 Gb / s, вместо 1 Gb / s за достъп и 40 Gb / s на ниво ядро, с пълно резервиране на оборудване и комуникационни канали.

От отдела за информационна сигурност е получено изискване за разделяне на инфраструктурата на сегменти с високо ниво на информационна сигурност на трафика и приложенията (PN - Частна мрежа и DMZ - Демилитаризирана зона). Защитните стени (ITU) пропускат трафик, който не е необходимо да се филтрира. VRF не е използван на комутаторите за такъв трафик. Правилата в ITU бяха неоптимални (десетки хиляди правила във всеки център за данни).

Безпроблемната миграция на виртуални машини (VM) между центрове за данни при запазване на IP адреса и оптималния път за трафик между сегменти, включително корпоративната мрежа за данни (CDTN), не беше възможна.

MSTP беше използван за излишък, някои портове бяха блокирани (горещ режим на готовност). Ядрото и комутаторите за достъп не бяха клъстерирани при отказ и не беше използвано агрегиране на интерфейси (LAG).

С появата на третия център за данни беше необходима нова архитектура и конфигурация на оборудването за работа на пръстена между центровете за данни (предложен беше EVPN).

Нямаше единна концепция за развитие на центрове за данни, документирана под формата на проект и съгласувана с всички отдели на клиента. Текущата документация за експлоатация на мрежата беше непълна и остаряла.

Очаквания на клиентите

Екипът на проекта имаше следните задачи:

изготвяне на концепцията за архитектура и развитие за изграждане на мрежовата и сървърна инфраструктура на трети център за данни;
извършване на оперативен одит на съществуващата мрежа на клиента;
разширяване на капацитета на ядрото на мрежата с повече от 1500 10/40 Gb/s Ethernet порта във всеки център за данни (общо 4500 порта);
осигуряване на работа на пръстена между три центъра за данни с възможност за увеличаване на скоростта до 80 Gb / s във всеки от сегментите, за да се комбинират изчислителните ресурси на клиента от различни центрове за данни в единна ИТ система;
осигурете 100% двоен резерв на всички мрежови елементи за постигане на целевия Uptime на ниво от 99,995%;
минимизирайте закъсненията на трафика между виртуалните машини, за да ускорите бизнес приложенията;
събирайте статистика, анализирайте и допълнително оптимизирайте правилата за филтриране на трафика в центровете за данни (първоначално имаше около 80 000 правила);
разработете целева архитектура, за да осигурите безпроблемна миграция на критичните бизнес приложения на клиента към всеки от трите центъра за данни.

Така имахме върху какво да работим.

Оборудование

Нека да разгледаме по-отблизо какво оборудване използвахме в проекта.

Защитна стена (NGWF) USG9560:

деление по VSYS;
до 720 Gbps;
до 720 милиона едновременни сесии;
8 слота.

Рутер NE40E-X8:

до 7,08 Tbit/s комутационен капацитет;
до 2,880 Mpps производителност при препращане;
8 слота за линейни карти (LPU);
до 10 милиона BGP IPv4 маршрута на MPU;
до 1500K OSPF IPv4 маршрута на MPU;
до 3000K - IPv4 FIB (зависи от LPU).

Суичове от серия CE12800:

Виртуализация на устройството: VS (1:16 виртуализация), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
Мрежова виртуализация: M-LAG, TRILL, VXLAN и VXLAN мост, QinQ във VXLAN, EVN (Ethernet Virtual Network);
започвайки с VRP V2, е включена поддръжка на EVPN;
M-LAG - аналог на vPC (virtual Port Channel) за Cisco Nexus;
Протокол за виртуално обхващащо дърво (VSTP) - Съвместим с Cisco PVST.

CE12804

CE12808

Программное обеспечение

В проекта използвахме:

конвертор на конфигурационни файлове за защитни стени на други доставчици в команден формат за ново оборудване;
скриптове по наш собствен дизайн за оптимизиране и трансформиране на конфигурацията на защитните стени.

Външен вид на конвертора за конвертиране на конфигурационни файлове

Комуникационна схема между центровете за данни (EVPN VXLAN)

Нюансите на настройка на оборудването

CE12808

EVPN (стандарт) вместо EVN (собственост на Huawei) за комуникация между центрове за данни:
○ L2 над L3, използвайки iBGP в контролната равнина;
○ MAC обучение и оповестяване чрез iBGP EVPN семейство (MAC маршрути, тип 2);
○ автоматично изграждане на VXLAN тунели за излъчван/неизвестен уникаст трафик (включващи мултикаст маршрути, тип 3).
Два режима на разделяне на VS:
○ на базата на портове (port-mode port) или на базата на ASIC (port-mode group, display device port-map);
○ Интерфейсът за разделяне на размерите на порта 40GE работи САМО в Admin VS (независимо от режима на порт).

USG9560

възможност за разделяне чрез VSYS,
между динамичното маршрутизиране на VSYS и изтичането на маршрут е невъзможно!

CE12804

Всички активни GW (VRRP Master/Master/Master) с MAC VRRP филтриране между центровете за данни

acl number 4000 rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00 rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00 rule 15 permit interface Eth-Trunk1 traffic-filter acl 4000 outbound

Схема на взаимодействие на ресурсите между центровете за данни (VXLAN EVPN и All Active GW)

Сложност на проекта

Основната трудност беше необходимостта от архивиране на съществуващи приложения с помощта на изчислителна инфраструктура. Клиентът имаше повече от 100 различни приложения, някои от които писани преди почти 10 години. Например, ако Yandex може лесно да изключи няколкостотин виртуални машини, без да навреди на крайните потребители, тогава в Russian Post такъв подход ще изисква разработването на редица приложения от нулата и промени в архитектурата на корпоративните информационни системи. Решихме проблемите, възникнали в процеса на миграция и оптимизация на етапа на съвместен одит на изчислителната инфраструктура. Всички нови за предприятието мрежови технологии (като EVPN) са предварително тествани в лабораторията.

Резултати от проекта

Екипът на проекта включваше специалисти "ЛАНИТ-Интеграция", клиента и неговите партньори в експлоатацията на изчислителната инфраструктура. Създадени са и специални екипи за поддръжка от доставчици (Check Point и Huawei). Проектът отне две години. Ето какво е направено през това време.

Беше разработена и съгласувана с всички отдели на клиента стратегия за развитие на мрежа от центрове за данни, корпоративна мрежа за предаване на данни (CSTN) и пръстен между центровете за данни.
Повишена наличност на услугата. Това беше отбелязано от бизнеса на клиента и доведе до още по-голямо увеличение на трафика поради въвеждането на нови услуги.
Повече от 40 000 правила са мигрирани и оптимизирани от FWSM/ASA към USG 9560. Различните ASA контексти на UGG 9560 са обединени в единна политика за сигурност.
Пропускателната способност на портовете на центъра за данни е увеличена от 1G на 10/40G чрез използването на CE12800/CE6850. Това направи възможно елиминирането на претоварването на интерфейса и загубата на пакети.
Рутерите от операторски клас NE40E-X8 напълно покриха нуждите на центъра за данни на клиента и KSPD, като се вземе предвид бъдещото развитие на бизнеса.
Бяха заявени осем нови заявки за функции за USG 9560. От тях седем вече са внедрени и са включени в текущата версия на VRP. 1 FR се изпълнява от Huawei R&D. Това е клъстер за осем шасита с възможност за конфигуриране на необходимата функционалност за синхронизиране на конфигурацията без синхронизиране на сесии. Изисква се, ако забавянето на трафика към един от центровете за данни е твърде голямо (Адлер - Москва 1300 км по основния маршрут и 2800 км по резервния маршрут).

Проектът няма аналог в сравнение с други пощенски компании в Русия.

Модернизацията на мрежовата инфраструктура на центъра за данни отвори нови възможности за предприятието за развитие на цифрови услуги.

Предоставяне на личен акаунт и мобилно приложение за физически и юридически лица.
Интеграция с електронни магазини за предоставяне на услуги за доставка на стоки.
Изпълнение представлява съхранение на стоки, формиране и доставка на поръчки от електронни магазини.
Разширяване на пунктовете за издаване на поръчки, включително с използването на партньорски мрежи.
Правно значим документооборот с контрагенти. Това ще премахне бавната и скъпа доставка на хартиени документи.
Приемане на препоръчани писма в електронен вид с доставка както на електронен, така и на хартиен носител (с отпечатване на пратките максимално близо до крайния получател). Обслужване на електронни препоръчани писма на портала за обществени услуги.
Платформа за предоставяне на телемедицински услуги.
Опростено приемане и опростена доставка на препоръчани пощенски пратки с помощта на прост електронен подпис.
Дигитализация на пощенската мрежа.
Обработка на услуги на самообслужване (терминали и колетни машини).
Създаване на дигитална платформа за управление на куриерската услуга и ново мобилно приложение за клиентите на куриерската услуга.

Елате да работите с нас!

Източник: www.habr.com

Нова ИТ инфраструктура за център за данни на Руски пощи