Упэўнены, што ўсе чытачы Хабра хоць раз замаўлялі тавары ў інтэрнэт-крамах за мяжой і потым ішлі атрымліваць пасылкі ў аддзяленне «Пошты Расіі». Уяўляеце, якога маштабу гэтая задача з пункту гледжання арганізацыі лагістыкі? Памножце колькасць пакупнікоў на колькасць іх пакупак, уявіце карту нашай неабсяжнай краіны, а на ёй - больш за 40 тысяч паштовых аддзяленняў ... Дарэчы, у 2018 годзе "Пошта Расіі" апрацавала 345 міжнародных пасылак.
У гэтым артыкуле мы раскажам, якія пытанні стаялі перад «Поштай», і як іх вырашала каманда «шчокі-Інтэграцыі», ствараючы новую ІТ-інфраструктуру для цэнтраў апрацоўкі дадзеных.
Адзін з сучасных лагістычных цэнтраў "Пошты Расіі"
Да праекту
З-за рэзкага росту колькасці пасылак з замежных магазінаў Кітая, краін Заходняй Еўропы і Паўночнай Амерыкі ўзрасла нагрузка на лагістычныя аб'екты "Пошты Расіі". Таму былі пабудаваны лагістычныя цэнтры новага пакалення, на якіх выкарыстоўваюцца сартавальныя машыны высокай прадукцыйнасці. Яны патрабуюць падтрымкі з боку вылічальнай інфраструктуры.
Інфраструктура ЦАД была састарэлай і не забяспечвала неабходнай прадукцыйнасці і надзейнасці ў рабоце інфармацыйных сістэм прадпрыемства. Таксама "Пошта Расіі" адчувала недахоп вылічальных магутнасцяў для запуску новых сэрвісаў.
ЦАДы заказчыка і іх праблемы
ЦАДы "Пошты Расіі" абслугоўваюць больш за 40 000 аб'ектаў, 85 тэрытарыяльных упраўленняў. У ЦАД працуюць дзесяткі кругласутачных бізнес-сэрвісаў, уключаючы паслугі электроннай камерцыі.
Ужо сёння на прадпрыемстве выкарыстоўваюцца сістэмы для захоўвання, аналізу і апрацоўкі вялікіх звестак. Для такіх сістэм важную ролю іграе выкарыстанне алгарытмаў штучнага інтэлекту і машыннага навучання. На сённяшні дзень аднымі з найважнейшых кейсаў для прадпрыемства з'яўляюцца аптымізацыя кіравання лагістычнымі патокамі і паскарэнне абслугоўвання кліентаў у аддзяленнях паштовай сувязі.
Да пачатку праекта мадэрнізацыі ў асноўным і рэзервовым ЦАДах было каля 3000 віртуальных машын, аб'ём захоўваемай інфармацыі перавышаў 2 петабайт. У ЦАД была складаная структура маршрутызацыі трафіку, звязаная з падзелам на розныя сегменты па ўзроўнях бяспекі.
З развіццём прыкладанняў і ўкараненнем новых сэрвісаў, якая існуе прапускной здольнасці сеткавага абсталявання ў ЦАД стала недастаткова. Патрабаваўся пераход да інтэрфейсаў з новымі хуткасцямі: 10 Гбіт/c, замест 1 Гбіт/c на доступе і 40 Гбіт/c на ўзроўні ядра, з поўным рэзерваваннем абсталявання і каналаў сувязі.
Ад дэпартамента інфармацыйнай бяспекі паступіла патрабаванне аб падзеле інфраструктуры на сегменты з высокім узроўнем інфармацыйнай бяспекі трафіку і прыкладанняў (PN – Private Network і DMZ – Demilitarized Zone). Праз міжсеткавыя экраны (МСЭ) праходзіў трафік, фільтраваць які было не абавязкова. VRF на камутатарах для такога трафіку не выкарыстоўваўся. Правілы на МСЭ былі неаптымальнымі (дзесяткі тысяч правілаў у кожным ЦАД).
Бясшвовая міграцыя віртуальных машын (ВМ) паміж ЦАД з захаваннем IP-адрасы і аптымальнага шляху праходжання трафіку паміж сегментамі, уключаючы карпаратыўную сетку перадачы дадзеных (КСПД), была немагчымая.
Для рэзервавання выкарыстоўваўся MSTP, частка партоў была заблакаваная (гарачы рэзерв). Камутатары ядра і доступу не былі аб'яднаны ў адмоваўстойлівы кластар, агрэгацыя інтэрфейсаў (LAG) не выкарыстоўвалася.
Са з'яўленнем трэцяга ЦАДа, патрабавалася новая архітэктура і налада абсталявання для працы кольца паміж ЦАДамі (быў прапанаваны EVPN).
Адсутнічала адзіная канцэпцыя развіцця ЦАД, задакументаваная ў выглядзе праекта і ўзгодненая з усімі падраздзяленнямі заказчыка. Бягучая дакументацыя па эксплуатацыі сеткі была няпоўнай і састарэлая.
Чаканні заказчыка
Перад камандай праекту стаялі наступныя задачы:
- падрыхтаваць архітэктуру і канцэпцыю развіцця для пабудовы сеткавай і сервернай інфраструктуры трэцяга ЦАДа;
- правесці аператыўны аўдыт існуючай сеткі заказчыка;
- пашырыць ёмістасць ядра сеткі больш, чым на 1500 партоў Ethernet 10/40 Гбіт/c у кожным ЦАД (усяго 4500 партоў);
- забяспечыць працу кольца паміж трыма ЦАД з магчымасцю нарошчвання хуткасці да 80 Гбіт / c у кожным з сегментаў, каб аб'яднаць вылічальныя рэсурсы заказчыка з розных ЦАД у адзіную ІТ-сістэму;
- забяспечыць 100% падвойнага рэзерву ўсіх элементаў сеткі для дасягнення мэтавага Uptime на ўзроўні 99,995%;
- мінімізаваць затрымкі трафіку паміж віртуальнымі машынамі для паскарэння працы бізнес-прыкладанняў;
- сабраць статыстыку, зрабіць аналіз і правесці наступную аптымізацыю правіл фільтрацыі трафіку ў ЦАДах (першапачаткова было каля 80 000 правіл);
- распрацаваць мэтавую архітэктуру для забеспячэння бясшвоўнай міграцыі крытычна важных бізнес-дадаткаў заказчыка ў любой з трох ЦАД.
Такім чынам нам было над чым папрацаваць.
Абсталяванне
Спынімся падрабязней на тым, якое абсталяванне мы выкарыстоўвалі ў праекце.
Міжсеткавы экран (NGWF) USG9560:
- дзяленне на VSYS;
- да 720 Gbps;
- да 720 мільёнаў адначасовых сеансаў;
- 8 слотаў.
Маршрутызатар NE40E-X8:
- да 7,08 Tbit/s Switching Capacity;
- да 2,880 Mpps Forwarding Performance;
- 8 слотаў для лінейных карт (LPU);
- да 10M BGP IPv4 маршрутаў на MPU;
- да 1500K OSPF IPv4 маршрутаў на MPU;
- да 3000K - IPv4 FIB (залежыць ад LPU).
Камутатары серыі CE12800:
- Device Virtualization: VS (1:16 virtualization), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Network Virtualization: M-LAG, TRILL, VXLAN і VXLAN падтрымка, QinQ ў VXLAN, EVN (Ethernet Virtual Network);
- пачынальна з VRP V2 уключаная падтрымка EVPN;
- M-LAG – аналаг vPC (virtual Port Channel) у Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) - сумяшчальны з Cisco PVST.
CE12804
CE12808
Праграмнае забеспячэнне
У праекце мы выкарыстоўвалі:
- канвэртар файлаў канфігурацыі міжсеткавых экранаў іншых вендараў у фармат каманд для новага абсталявання;
- скрыпты ўласнай распрацоўкі для аптымізацыі і пераўтварэнні канфігурацыі міжсеткавых экранаў.
Вонкавы выгляд канвертара для пераўтварэння файлаў канфігурацыі
Схема арганізацыі сувязі паміж ЦАД (EVPN VXLAN)
Нюансы наладкі абсталявання
CE12808
- EVPN (стандарт) замест EVN (Huawei proprietary) для сувязі паміж ЦАДамі:
○ L2-над L3 з выкарыстаннем у Control plane iBGP;
○ навучанне MAC і іх анансаванне праз iBGP EVPN family (MAC routes, type 2);
○ аўтаматычнае пабудова тунэляў VXLAN для broadcast / unknown unicast трафіку (Inclusive Multicast Routes, type 3). - Два рэжыму дзялення на VS:
○ на аснове партоў (port-mode port) або на аснове ASIC (port-mode group, display device port-map);
○ port split dimension interface 40GE працуе ТОЛЬКІ ў Admin VS (незалежна ад port-mode).
USG9560
- магчымасць дзялення на VSYS,
- паміж VSYS немагчыма дынамічная маршрутызацыя і route leaking!
CE12804
All Active GW (VRRP Master/Master/Master) з фільтраваннем MAC VRRP паміж ЦАД
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Схема ўзаемадзеяння рэсурсаў паміж ЦАД (VXLAN EVPN і All Active GW)
Складанасці праекта
Асноўная складанасць заключалася ў неабходнасці рэзервавання існуючых дадаткаў сродкамі вылічальнай інфраструктуры. У заказчыка было больш за 100 розных прыкладанняў, частка з якіх напісаны амаль 10 гадоў таму. Напрыклад, калі для Яндэкса можна лёгка выключыць некалькі сотняў віртуальных машын без шкоды для канчатковых карыстальнікаў, то ў «Пошце Расіі» такі падыход запатрабаваў бы распрацоўкі шэрагу прыкладанняў з нуля і змен архітэктуры інфармацыйных сістэм прадпрыемства. Якія ўзнікаюць у працэсе міграцыі і аптымізацыі праблемы мы вырашалі на этапе сумеснага аўдыту вылічальнай інфраструктуры. Усе новыя для прадпрыемства сеткавыя тэхналогіі (такія, як EVPN) прайшлі папярэднюю абкатку ў лабараторыі.
Вынікі праекту
У каманду праекта ўваходзілі спецыялісты. , заказчыка і яго партнёраў па эксплуатацыі вылічальнай інфраструктуры. Таксама былі сфарміраваны выдзеленыя каманды падтрымкі ад вендараў (Check Point і Huawei). Праект заняў два гады. Вось што было зроблена за гэты час.
- Распрацавана і ўзгоднена з усімі падраздзяленнямі заказчыка стратэгія развіцця сеткі ЦАД, Карпаратыўнай сеткі перадачы даных (КСПД) і кольцы паміж ЦАД.
- Павялічылася даступнасць сэрвісаў. Гэта было адзначана бізнэсам замоўца і прывяло да яшчэ большага росту трафіку за кошт укаранення новых паслуг.
- Мігравана і аптымізавана больш за 40 000 правілаў c FWSM/ASA на USG 9560. Розныя кантэксты ASA на UGG 9560 аб'яднаны ў адзіны security-policy.
- Прапускная здольнасць партоў ЦАД павялічана з 1G да 10/40G за кошт выкарыстання CE12800/CE6850. Гэта дазволіла ўхіліць перагрузкі інтэрфейсаў і страту акетаў.
- Маршрутызатары аператарскага класа NE40E-X8 цалкам пакрылі запатрабаванні ЦАД і КСПД замоўца з улікам будучага развіцця бізнэсу.
- Запытана восем новых Feature Requests для USG 9560. З іх сем ужо рэалізавана і ўключана ў бягучую версію VRP. 1 FR – на рэалізацыі ў R&D Huawei. Гэта кластар на восем шасі з магчымасцю налады неабходнага функцыяналу па сінхранізацыі канфігурацыі без сінхранізацыі сесій. Патрабуецца, калі затрымка трафіку да аднаго з ЦАД занадта вялікая (Адлер - Масква 1300 км па асноўнай трасе і 2800 км па рэзервовай трасе).
Праект не мае аналагаў у параўнанні з іншымі паштовымі кампаніямі Расіі.
Мадэрнізацыя сеткавай інфраструктуры ЦАД адкрыла для прадпрыемства новыя магчымасці развіцця лічбавых сэрвісаў.
- Прадастаўленне асабістага кабінета і мабільнага прыкладання для фізічных і юрыдычных асоб.
- Інтэграцыя з электроннымі крамамі для прадастаўлення паслуг дастаўкі тавараў.
- Фулфілмент - захоўванне тавараў, фарміраванне і дастаўка заказаў электронных крам.
- Пашырэнне пунктаў выдачы заказаў, у тым ліку з выкарыстаннем партнёрскіх сетак.
- Юрыдычна значны дакументаабарот з контрагентамі. Гэта дазволіць адмовіцца ад маруднай і затратнай перасылкі дакументаў на папяровых носьбітах.
- Прыём заказных лістоў у электронным выглядзе з дастаўкай як у электронным, так і ў папяровым выглядзе (з пячаткай адпраўленняў як мага бліжэй да канчатковага атрымальніка). Сэрвіс электронных заказных лістоў на партале дзяржпаслуг.
- Платформа для прадастаўлення паслуг тэлемедыцыны.
- Спрошчаны прыём і спрошчанае ўручэнне рэгіструемых паштовых адпраўленняў з выкарыстаннем простага электроннага подпісу.
- Лічбавізацыя сеткі паштовых аддзяленняў.
- Перапрацоўка сэрвісаў самаабслугоўвання (тэрміналы і паштаматы).
- Стварэнне лічбавай платформы для кіравання кур'ерскай службай і новым мабільным дадаткам для кліентаў кур'ерскай службы.
Прыходзьце да нас працаваць!
Крыніца: habr.com