Впевнений, що всі читачі Хабра хоч раз замовляли товари в інтернет-магазинах за кордоном і потім йшли отримувати посилки до відділення «Пошти Росії». Уявляєте, якого масштабу це завдання з точки зору організації логістики? Помножте кількість покупців на кількість їх покупок, уявіть карту нашої неосяжної країни, а на ній — понад 40 тисяч поштових відділень… До речі, у 2018 році «Пошта Росії» опрацювала 345 млн. міжнародних посилок.
У цій статті ми розповімо, які питання стояли перед «Поштою», і як їх вирішувала команда «ЛАНІТ-Інтеграції», створюючи нову ІТ-інфраструктуру для центрів обробки даних.
Один із сучасних логістичних центрів «Пошти Росії»
до проекту
Через різке зростання кількості посилок із зарубіжних магазинів Китаю, країн Західної Європи та Північної Америки зросло навантаження на логістичні об'єкти «Пошти Росії». Тому було збудовано логістичні центри нового покоління, на яких використовуються сортувальні машини високої продуктивності. Вони потребують підтримки з боку обчислювальної інфраструктури.
Інфраструктура ЦОД була застарілою і не забезпечувала необхідної продуктивності та надійності у роботі інформаційних систем підприємства. Також «Пошта Росії» відчувала нестачу обчислювальних потужностей для запуску нових сервісів.
ЦОДи замовника та їх проблеми
ЦОДи «Пошти Росії» обслуговують понад 40 000 об'єктів, 85 територіальних управлінь. У ЦОД працюють десятки цілодобових бізнес-сервісів, включаючи послуги електронної комерції.
Вже сьогодні на підприємстві використовуються системи для зберігання, аналізу та обробки великих даних. Для таких систем важливу роль відіграє використання алгоритмів штучного інтелекту та машинного навчання. На сьогоднішній день одними з найважливіших кейсів для підприємства є оптимізація управління логістичними потоками та прискорення обслуговування клієнтів у відділеннях поштового зв'язку.
До початку проекту модернізації в основному і резервному ЦОДах було близько 3000 віртуальних машин, обсяг збереженої інформації перевищував 2 петабайти. У ЦОДах була складна структура маршрутизації трафіку, пов'язана з поділом на різні сегменти рівня безпеки.
З розвитком додатків та запровадженням нових сервісів, існуючої пропускної спроможності мережного обладнання в ЦОДах стало недостатньо. Потрібен був перехід до інтерфейсів з новими швидкостями: 10 Гбіт/c, замість 1 Гбіт/c на доступі та 40 Гбіт/c на рівні ядра, з повним резервуванням обладнання та каналів зв'язку.
Від департаменту інформаційної безпеки надійшла вимога про поділ інфраструктури на сегменти з високим рівнем інформаційної безпеки трафіку та додатків (PN – Private Network та DMZ – Demilitarized Zone). Через міжмережні екрани (МСЕ) проходив трафік, фільтрувати який було необов'язково. VRF на комутаторах такого трафіку не використовувався. Правила на МСЕ були неоптимальними (десятки тисяч правил у кожному ЦОДі).
Безшовна міграція віртуальних машин (ВМ) між ЦОДами із збереженням IP-адреси та оптимального шляху проходження трафіку між сегментами, включаючи корпоративну мережу передачі даних (КСПД), була неможлива.
Для резервування використовувався MSTP, частина портів була заблокована (гарячий резерв). Комутатори ядра і доступу не були об'єднані в стійкий до відмови кластер, агрегація інтерфейсів (LAG) не використовувалася.
З появою третього ЦОДу, була потрібна нова архітектура та налаштування обладнання для роботи кільця між ЦОДами (запропоновано EVPN).
Відсутня єдина концепція розвитку ЦОДів, задокументована у вигляді проекту та узгоджена з усіма підрозділами замовника. Поточна документація з експлуатації мережі була неповною та застаріла.
Очікування замовника
Перед командою проекту стояли такі завдання:
- підготувати архітектуру та концепцію розвитку для побудови мережної та серверної інфраструктури третього ЦОДу;
- провести оперативний аудит існуючої мережі замовника;
- розширити ємність ядра мережі більш ніж на 1500 портів Ethernet 10/40 Гбіт/c у кожному ЦОД (всього 4500 портів);
- забезпечити роботу кільця між трьома ЦОДами з можливістю нарощування швидкості до 80 Гбіт/c у кожному сегменті, щоб об'єднати обчислювальні ресурси замовника з різних ЦОДів в єдину ІТ-систему;
- забезпечити 100% подвійного резерву всіх елементів мережі задля досягнення цільового Uptime на рівні 99,995%;
- мінімізувати затримки трафіку між віртуальними машинами для прискорення роботи бізнес-додатків;
- зібрати статистику, зробити аналіз та провести подальшу оптимізацію правил фільтрації трафіку в ЦОДах (спочатку було близько 80 000 правил);
- розробити цільову архітектуру для забезпечення безшовної міграції критично важливих бізнес-додатків замовника у будь-якому з трьох ЦОДів.
Таким чином, нам було над чим попрацювати.
Обладнання
Зупинимося докладніше про те, яке обладнання ми використовували у проекті.
Міжмережевий екран (NGWF) USG9560:
- розподіл на VSYS;
- до 720 Gbps;
- до 720 мільйонів одночасних сеансів;
- 8 слотів.
Маршрутизатор NE40E-X8:
- до 7,08 Tbit/s Switching Capacity;
- до 2,880 Mpps Forwarding Performance;
- 8 слотів для лінійних карток (LPU);
- до 10M BGP IPv4 маршрутів на MPU;
- до 1500K OSPF IPv4 маршрутів на MPU;
- до 3000K - IPv4 FIB (залежить від LPU).
Комутатори серії CE12800:
- Device Virtualization: VS (1:16 virtualization), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Network Virtualization: M-LAG, TRILL, VXLAN та VXLAN bridging, QinQ in VXLAN, EVN (Ethernet Virtual Network);
- починаючи з VRP V2 включена підтримка EVPN;
- M-LAG – аналог vPC (virtual Port Channel) у Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) – сумісний із Cisco PVST.
CE12804
CE12808
Програмне забезпечення
У проекті ми використали:
- конвертер файлів конфігурації міжмережевих екранів інших вендорів у формат команд нового обладнання;
- скрипти власної розробки для оптимізації та перетворення конфігурації міжмережевих екранів.
Зовнішній вигляд конвертера для перетворення конфігураційних файлів
Схема організації зв'язку між ЦОД (EVPN VXLAN)
Нюанси налаштування обладнання
CE12808
- EVPN (стандарт) замість EVN (Huawei proprietary) для зв'язку між ЦОДами:
○ L2 поверх L3 з використанням у Control plane iBGP;
○ навчання MAC та їх анонсування через iBGP EVPN family (MAC routes, type 2);
○ автоматична побудова тунелів VXLAN для broadcast/unknown unicast трафіку (Inclusive Multicast Routes, type 3). - Два режими поділу на VS:
○ на основі портів (port-mode port) або на основі ASIC (port-mode group, display device port-map);
○ port split dimension interface 40GE працює ТІЛЬКИ в Admin VS (незалежно від port-mode).
USG9560
- можливість поділу на VSYS,
- між VSYS неможлива динамічна маршрутизація та route leaking!
CE12804
All Active GW (VRRP Master/Master/Master) з фільтрацією MAC VRRP між ЦОД
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Схема взаємодії ресурсів між ЦОД (VXLAN EVPN та All Active GW)
Складності проекту
Основна складність полягала у необхідності резервування наявних додатків засобами обчислювальної інфраструктури. Замовник мав понад 100 різних додатків, частину з яких написано майже 10 років тому. Наприклад, якщо для Яндекса можна легко вимкнути кілька сотень віртуальних машин без шкоди для кінцевих користувачів, то в «Пошті Росії» такий підхід зажадав розробки низки додатків з нуля і змін архітектури інформаційних систем підприємства. Проблеми, що виникають у процесі міграції та оптимізації, ми вирішували на етапі спільного аудиту обчислювальної інфраструктури. Всі нові для підприємства мережеві технології (такі як EVPN) пройшли попередню обкатку в лабораторії.
Підсумки проекту
До команди проекту входили спеціалісти , замовника та його партнерів з експлуатації обчислювальної інфраструктури Також були сформовані виділені команди підтримки від вендорів (Check Point та Huawei). Проект зайняв два роки. Ось що було зроблено за цей час.
- Розроблено та погоджено з усіма підрозділами замовника стратегію розвитку мережі ЦОДів, Корпоративної мережі передачі даних (КСПД) та кільця між ЦОД.
- Збільшилася доступність сервісів. Це було відзначено бізнесом замовника та призвело до ще більшого зростання трафіку за рахунок впровадження нових послуг.
- Мігровано та оптимізовано понад 40 000 правил з FWSM/ASA на USG 9560. Різні контексти ASA на UGG 9560 об'єднані у єдиний security-policy.
- Пропускна здатність портів ЦОД збільшена з 1G до 10/40G за рахунок використання CE12800/CE6850. Це дозволило усунути навантаження інтерфейсів та втрату акетів.
- Маршрутизатори операторського класу NE40E-X8 повністю покрили потреби ЦОД та КСПД замовника з урахуванням майбутнього розвитку бізнесу.
- Запрошено вісім нових Feature Requests для USG 9560. З них сім уже реалізовано та включено до поточної версії VRP. 1 FR - на реалізації в R&D Huawei. Це кластер на вісім шасі з можливістю налаштування необхідного функціоналу синхронізації конфігурації без синхронізації сесій. Потрібно, якщо затримка трафіку до одного з ЦОД занадто велика (Адлер - Москва 1300 км по основній трасі і 2800 км по резервній трасі).
Проект немає аналогів проти іншими поштовими компаніями Росії.
Модернізація мережної інфраструктури ЦОД відкрила для підприємства нові можливості розвитку цифрових сервісів.
- Надання особистого кабінету та мобільного додатка для фізичних та юридичних осіб.
- Інтеграція з електронними магазинами надання послуг доставки товарів.
- Фулфілмент - зберігання товарів, формування та доставка замовлень електронних магазинів.
- Розширення пунктів видачі замовлень, зокрема з використанням партнерських мереж.
- Юридично значущий документообіг із контрагентами. Це дозволить відмовитися від повільного та витратного пересилання документів на паперових носіях.
- Прийом рекомендованих листів в електронному вигляді з доставкою як в електронному, так і паперовому вигляді (з печаткою відправлень якомога ближче до кінцевого одержувача). Сервіс електронних рекомендованих листів на порталі держпослуг.
- Платформа надання послуг телемедицини.
- Спрощений прийом та спрощене вручення поштових відправлень, що реєструються, з використанням простого електронного підпису.
- Цифровізації мережі поштових відділень.
- Переробка сервісів самообслуговування (термінали та поштомати).
- Створення цифрової платформи для управління кур'єрською службою та новим мобільним додатком для клієнтів кур'єрської служби.
Приходьте працювати до нас!
Джерело: habr.com