Сигурен сум дека сите читатели на Хабр барем еднаш нарачале стоки во онлајн продавниците во странство, а потоа отишле да примаат пакети во Руската пошта. Можете ли да замислите колкав е обемот на оваа задача во однос на организирање на логистиката? Помножете го бројот на купувачи со бројот на нивните набавки, замислете карта на нашата огромна земја, а на неа - повеќе од 40 илјади пошти ... Патем, во 2018 година, Руската пошта обработи 345 милиони меѓународни парцели.
Во оваа статија, ќе ви кажеме со какви проблеми се соочи Пост и како тимот на LANIT-Integration ги реши, создавајќи нова ИТ инфраструктура за центрите за податоци.
Еден од современите логистички центри на Руската пошта
Пред проектот
Поради наглото зголемување на бројот на пакети од странски продавници во Кина, Западна Европа и Северна Америка, се зголеми оптоварувањето на логистичките капацитети на Руската пошта. Затоа, изградена е нова генерација логистички центри, кои користат машини за сортирање со голем капацитет. Тие бараат поддршка од компјутерската инфраструктура.
Инфраструктурата на центарот за податоци беше застарена и не ги обезбеди потребните перформанси и доверливост во работењето на информациските системи на претпријатијата. Исто така, Руската пошта доживеа недостаток на компјутерска моќ за лансирање на нови услуги.
Центрите за податоци за клиентите и нивните проблеми
Центрите за податоци на Руската пошта опслужуваат повеќе од 40 објекти, 000 територијални канцеларии. Десетици деноноќни деловни услуги работат во центрите за податоци, вклучувајќи ги и услугите за е-трговија.
Веќе денес, претпријатието користи системи за складирање, анализа и обработка на големи податоци. За такви системи, употребата на вештачка интелигенција и алгоритми за машинско учење игра важна улога. До денес, еден од најважните случаи за претпријатието е оптимизацијата на управувањето со логистичкиот тек и забрзувањето на услугите на клиентите во поштите.
Пред почетокот на проектот за надградба, имаше околу 3000 виртуелни машини во главните и резервните центри за податоци, количината на зачувани информации надмина 2 петабајти. Центрите за податоци имаа сложена структура за насочување на сообраќајот поврзана со поделбата на различни сегменти според безбедносните нивоа.
Со развојот на апликациите и воведувањето на нови услуги, постојниот пропусен опсег на мрежна опрема во центрите за податоци стана недоволен. Потребна беше транзиција кон интерфејси со нови брзини: 10 Gb / s, наместо 1 Gb / s за пристап и 40 Gb / s на ниво на јадрото, со целосен вишок на опрема и канали за комуникација.
Од секторот за информациска безбедност е добиено барање инфраструктурата да се подели на сегменти со високо ниво на информациска безбедност на сообраќајот и апликациите (ПН - Приватна мрежа и ДМЗ - Демилитаризирана зона). Заштитните ѕидови (ITU) поминаа сообраќај што не беше неопходно да се филтрира. VRF на прекинувачите не се користеше за таков сообраќај. Правилата на ITU беа неоптимални (десетици илјади правила во секој центар за податоци).
Беспрекорната миграција на виртуелни машини (ВМ) помеѓу центрите за податоци, додека се одржуваше IP адресата и оптималната патека за сообраќај помеѓу сегментите, вклучително и корпоративната податочна мрежа (CDTN), не беше можна.
MSTP се користеше за вишок, некои порти беа блокирани (жешко мирување). Јадрото и прекинувачите за пристап не беа групирани со неуспех и не беше користена агрегација на интерфејс (LAG).
Со доаѓањето на третиот центар за податоци, потребна беше нова архитектура и конфигурација на опремата за да функционира прстенот помеѓу центрите за податоци (ЕВПН беше предложен).
Немаше единствен концепт за развој на центри за податоци, документиран во форма на проект и договорен со сите одделенија на клиентот. Тековната документација за работа на мрежата беше нецелосна и застарена.
Очекувањата на клиентите
Проектниот тим ги имаше следните задачи:
- подготовка на архитектурата и развојниот концепт за изградба на мрежната и серверската инфраструктура на третиот центар за податоци;
- спроведе оперативна ревизија на постоечката мрежа на клиентот;
- да го прошири јадрото на мрежата за повеќе од 1500 етернет порти 10/40 Gb/s во секој центар за податоци (вкупно 4500 порти);
- да се обезбеди работа на прстенот помеѓу три центри за податоци со можност за зголемување на брзината до 80 Gb / s во секој од сегментите со цел да се комбинираат компјутерските ресурси на клиентот од различни центри за податоци во единствен ИТ систем;
- обезбеди 100% двојна резерва на сите мрежни елементи за да се постигне целното време на работа на ниво од 99,995%;
- минимизирајте ги доцнењата во сообраќајот помеѓу виртуелните машини за да се забрзаат деловните апликации;
- собирање статистики, анализирање и дополнително оптимизирање на правилата за филтрирање на сообраќајот во центрите за податоци (првично имаше околу 80 правила);
- развијте целна архитектура за да обезбедите беспрекорна миграција на критичните деловни апликации на клиентот во кој било од трите центри за податоци.
Така, имавме на што да работиме.
Оборудование
Ајде внимателно да погледнеме каква опрема користевме во проектот.
Заштитен ѕид (NGWF) USG9560:
- поделба по VSYS;
- до 720 Gbps;
- до 720 милиони истовремени сесии;
- 8 слотови.
Рутер NE40E-X8:
- Капацитет на префрлување до 7,08 Tbit/s;
- Изведба на препраќање до 2,880 Mpps;
- 8 слотови за линиски картички (LPU);
- до 10 милиони BGP IPv4 рути по MPU;
- до 1500K OSPF IPv4 рути по MPU;
- до 3000K - IPv4 FIB (зависи од LPU).
Прекинувачи од серијата CE12800:
- Виртуелизација на уреди: VS (виртуелизација 1:16), Систем за префрлување кластери (CSS), супер виртуелна ткаенина (SVF);
- Мрежна виртуелизација: M-LAG, TRILL, VXLAN и VXLAN премостување, QinQ во VXLAN, EVN (Етернет виртуелна мрежа);
- почнувајќи со VRP V2, вклучена е поддршката за EVPN;
- M-LAG - аналог на vPC (виртуелен пристанишен канал) за Cisco Nexus;
- Virtual Spanning Tree Protocol (VSTP) - Компатибилен со Cisco PVST.
CE12804
CE12808
Софтвер
Во проектот користевме:
- конвертор на конфигурациски датотеки за заштитни ѕидови на други продавачи во команден формат за нова опрема;
- скрипти од нашиот сопствен дизајн за оптимизирање и трансформирање на конфигурацијата на заштитните ѕидови.
Изглед на конверторот за конвертирање на конфигурациски датотеки
Шема за комуникација помеѓу центрите за податоци (EVPN VXLAN)
Нијанси на поставување опрема
CE12808
- EVPN (стандард) наместо EVN (комерцијален Huawei) за комуникација помеѓу центрите за податоци:
○ L2 преку L3 користејќи iBGP во контролната рамнина;
○ MAC обука и најава преку iBGP EVPN семејството (MAC рути, тип 2);
○ автоматска конструкција на VXLAN тунели за емитување / непознат сообраќај за еднонасочно емитување (вклучени правци за мултикаст, тип 3). - Два режими на поделба на VS:
○ врз основа на пристаништа (порта за режим на порта) или врз основа на ASIC (група на режим на порта, мапа на портата на уредот за прикажување);
○ интерфејсот со димензија на поделена порта 40GE работи САМО во Admin VS (без оглед на режимот на порта).
USG9560
- можност за делење со VSYS,
- помеѓу динамичкото рутирање на VSYS и протекувањето на рутата е невозможно!
CE12804
Сите активни GW (VRRP Master/Master/Master) со MAC VRRP филтрирање помеѓу центрите за податоци
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Шема на интеракција на ресурсите помеѓу центрите за податоци (VXLAN EVPN и All Active GW)
Комплексност на проектот
Главната тешкотија беше потребата да се направи резервна копија на постоечките апликации користејќи компјутерска инфраструктура. Клиентот имал повеќе од 100 различни апликации, од кои некои биле напишани пред речиси 10 години. На пример, ако за Yandex е можно лесно да се исклучат неколку стотици виртуелни машини без да им се наштети на крајните корисници, тогаш во Руската пошта таков пристап ќе бара развој на голем број апликации од нула и промени во архитектурата на информационите системи на претпријатијата. Проблемите што произлегуваат во процесот на миграција и оптимизација ги решивме во фаза на заедничка ревизија на компјутерската инфраструктура. Сите мрежни технологии нови за претпријатието (како EVPN) се претходно тестирани во лабораторија.
Резултати од проектот
Проектниот тим вклучуваше специјалисти , клиентот и неговите партнери во работењето на компјутерската инфраструктура. Беа формирани и посветени тимови за поддршка од продавачите (Check Point и Huawei). Проектот траеше две години. Еве што е направено за ова време.
- Стратегија за развој на мрежа на центри за податоци, корпоративна мрежа за пренос на податоци (CSTN) и прстен помеѓу центрите за податоци беше развиена и договорена со сите одделенија на клиентот.
- Зголемена достапност на услуги. Ова беше забележано од бизнисот на клиентите и доведе до уште поголем пораст на сообраќајот поради воведувањето на нови услуги.
- Повеќе од 40 правила се мигрирани и оптимизирани од FWSM/ASA во USG 000. Различни контексти на ASA на UGG 9560 се споени во единствена безбедносна политика.
- Пропусната моќ на портите на центарот за податоци е зголемена од 1G на 10/40G преку употребата на CE12800/CE6850. Ова овозможи да се елиминираат преоптоварувањата на интерфејсот и губењето на пакети.
- Рутерите NE40E-X8 од класата на превозникот целосно ги покриваа потребите на центарот за податоци на клиентите и KSPD, земајќи го предвид идниот бизнис развој.
- Осум нови барања за функции се побарани за USG 9560. Од нив, седум се веќе имплементирани и се вклучени во тековната верзија на VRP. 1 FR се спроведува од Huawei R&D. Ова е кластер за осум шасии со можност за конфигурирање на потребната функционалност за синхронизирање на конфигурацијата без синхронизирање сесии. Потребно е ако доцнењето на сообраќајот до еден од центрите за податоци е превисоко (Адлер - Москва 1300 км по главната рута и 2800 км по резервната рута).
Проектот нема аналози во споредба со другите поштенски компании во Русија.
Модернизацијата на мрежната инфраструктура на центрите за податоци отвори нови можности за претпријатието за развој на дигитални услуги.
- Обезбедување лична сметка и мобилна апликација за физички и правни лица.
- Интеграција со електронски продавници за да се обезбедат услуги за испорака на стоки.
- Исполнување е складирање на стоки, формирање и испорака на нарачки од електронски продавници.
- Проширување на точките за издавање нарачки, вклучително и со користење на партнерски мрежи.
- Правно значаен проток на документи со изведувачите. Ова ќе ја елиминира бавната и скапа испорака на хартиени документи.
- Прифаќање препорачани писма во електронска форма со достава и во електронска и во хартиена форма (со печатење на артикли што поблиску до крајниот примач). Услуга на електронски препорачани писма на порталот на јавни услуги.
- Платформа за обезбедување на телемедицински услуги.
- Поедноставено прифаќање и поедноставена испорака на регистрирани поштенски пратки со користење на едноставен електронски потпис.
- Дигитализација на мрежата на пошти.
- Обработка на услуги за самопослужување (терминали и машини за пратки).
- Креирање на дигитална платформа за управување со курирска услуга и нова мобилна апликација за клиентите на курирска услуга.
Дојдете на работа со нас!
Извор: www.habr.com