Мен барлық Habr оқырмандары кем дегенде бір рет шетелдегі интернет-дүкендерде тауарларға тапсырыс беріп, содан кейін ресейлік пошта бөлімшесіне сәлемдемелерді алуға барғанына сенімдімін. Логистиканы ұйымдастыру тұрғысынан бұл тапсырманың ауқымын елестете аласыз ба? Сатып алушылардың санын олардың сатып алуларының санына көбейтіңіз, біздің кең байтақ еліміздің картасын елестетіп көріңіз, ал онда - 40 мыңнан астам пошта бөлімшелері ... Айтпақшы, 2018 жылы Ресей поштасы 345 миллион халықаралық сәлемдемені өңдеді.
Бұл мақалада біз сізге Post қандай мәселелерге тап болғанын және LANIT-Integration командасы оларды қалай шешкенін айтамыз, деректер орталықтары үшін жаңа АТ инфрақұрылымын жасаймыз.
Орыс поштасының заманауи логистикалық орталықтарының бірі
Жоба алдында
Қытайдағы, Батыс Еуропадағы және Солтүстік Америкадағы шетелдік дүкендерден сәлемдемелер санының күрт өсуіне байланысты Ресей поштасының логистикалық нысандарына жүктеме артты. Сондықтан өнімділігі жоғары сұрыптау машиналарын пайдаланатын логистикалық орталықтардың жаңа буыны салынды. Олар есептеуіш инфрақұрылымнан қолдауды қажет етеді.
Деректер орталығының инфрақұрылымы ескірген және кәсіпорынның ақпараттық жүйелерінің жұмысында қажетті өнімділік пен сенімділікті қамтамасыз етпеді. Сондай-ақ, Russian Post жаңа қызметтерді іске қосу үшін есептеу қуатының жетіспеушілігін бастан кешірді.
Тұтынушы деректер орталықтары және олардың мәселелері
Ресей поштасының деректер орталықтары 40 000-нан астам объектілерге, 85 аумақтық кеңселерге қызмет көрсетеді. Дата орталықтарында тәулік бойы жұмыс істейтін ондаған бизнес қызметтері, соның ішінде электрондық коммерция қызметтері жұмыс істейді.
Қазірдің өзінде кәсіпорын үлкен деректерді сақтауға, талдауға және өңдеуге арналған жүйелерді пайдаланады. Мұндай жүйелер үшін жасанды интеллект пен машиналық оқыту алгоритмдерін пайдалану маңызды рөл атқарады. Бүгінгі күні кәсіпорын үшін маңызды жағдайлардың бірі логистикалық ағындарды басқаруды оңтайландыру және пошта бөлімшелерінде тұтынушыларға қызмет көрсетуді жеделдету болып табылады.
Жаңарту жобасы басталғанға дейін негізгі және резервтік деректер орталықтарында шамамен 3000 виртуалды машина болды, сақталған ақпарат көлемі 2 петабайттан асты. Деректер орталықтарында қауіпсіздік деңгейлері бойынша әртүрлі сегменттерге бөлумен байланысты трафикті бағыттаудың күрделі құрылымы болды.
Қолданбаларды әзірлеу және жаңа қызметтерді енгізу кезінде деректер орталықтарындағы желілік жабдықтың бар өткізу қабілеттілігі жеткіліксіз болды. Жаңа жылдамдықтары бар интерфейстерге көшу қажет болды: қол жеткізу үшін 10 Гб/с орнына 1 Гб/с және негізгі деңгейде 40 Гб/с, жабдық пен байланыс арналарының толық резерві бар.
Ақпараттық қауіпсіздік бөлімінен инфрақұрылымды трафиктің және қосымшалардың ақпараттық қауіпсіздігінің жоғары деңгейі бар сегменттерге бөлу талабы алынды (PN - Жеке желі және DMZ - Демилитаризацияланған аймақ). Брандмауэрлер (ITU) сүзгілеу қажет емес трафикті өткізді. Мұндай трафикке арналған қосқыштарда VRF пайдаланылмаған. ITU ережелері оңтайлы емес болды (әрбір деректер орталығында ондаған мың ережелер).
IP мекенжайын және сегменттер арасындағы трафиктің оңтайлы жолын, соның ішінде корпоративтік деректер желісін (CDTN) сақтай отырып, деректер орталықтары арасында виртуалды машиналарды (VM) үздіксіз көшіру мүмкін болмады.
MSTP резервтеу үшін пайдаланылды, кейбір порттар бұғатталды (ыстық күту режимі). Негізгі және қол жеткізу қосқыштары ауыспалы кластерленбеген және интерфейсті біріктіру (LAG) пайдаланылмаған.
Үшінші деректер орталығының пайда болуымен деректер орталықтары арасындағы сақинаны басқару үшін жаңа архитектура мен жабдық конфигурациясы қажет болды (EVPN ұсынылды).
Жоба түрінде құжатталған және тапсырыс берушінің барлық бөлімшелерімен келісілген деректер орталықтарын дамытудың бірыңғай тұжырымдамасы болған жоқ. Ағымдағы желі жұмысының құжаттамасы толық емес және ескірген.
Клиенттердің күтулері
Жоба тобының алдында келесі міндеттер тұрды:
- үшінші деректер орталығының желілік және серверлік инфрақұрылымын құрудың архитектурасы мен даму тұжырымдамасын дайындау;
- тұтынушының қолданыстағы желісіне жедел аудит жүргізу;
- желі ядросының сыйымдылығын әрбір деректер орталығында 1500 10/40 Гб/с-тан астам Ethernet портына кеңейту (барлығы 4500 порт);
- әр түрлі деректер орталықтарынан тұтынушының есептеу ресурстарын бір АТ жүйесіне біріктіру мақсатында сегменттердің әрқайсысында жылдамдықты 80 Гбит/с дейін арттыру мүмкіндігімен үш деректер орталықтары арасындағы сақинаның жұмысын қамтамасыз ету;
- 100% деңгейінде мақсатты жұмыс уақытына қол жеткізу үшін барлық желі элементтерінің 99,995% қос резервін қамтамасыз ету;
- бизнес қолданбаларын жылдамдату үшін виртуалды машиналар арасындағы трафик кідірістерін азайту;
- статистиканы жинау, деректер орталықтарында трафикті сүзу ережелерін талдау және одан әрі оңтайландыру (бастапқыда шамамен 80 000 ереже болған);
- тұтынушының маңызды іскери қолданбаларының үш деректер орталығының кез келгеніне үздіксіз көшуін қамтамасыз ету үшін мақсатты архитектураны әзірлеу.
Осылайша, бізде жұмыс істейтін нәрсе болды.
Жабдық
Жобада қандай жабдықты пайдаланғанымызды егжей-тегжейлі қарастырайық.
Брандмауэр (NGWF) USG9560:
- VSYS бойынша бөлу;
- 720 Гбит/с дейін;
- бір мезгілде 720 миллион сеансқа дейін;
- 8 ұяшық.
NE40E-X8 маршрутизаторы:
- 7,08 Тбит/с дейін коммутация сыйымдылығы;
- 2,880 Мп/с дейін қайта жіберу өнімділігі;
- желілік карталарға арналған 8 слот (LPU);
- MPU үшін 10M BGP IPv4 маршруттарына дейін;
- бір MPU үшін 1500K OSPF IPv4 маршруттарына дейін;
- 3000K дейін - IPv4 FIB (LPU-ға байланысты).
CE12800 сериялы қосқыштар:
- Құрылғыны виртуалдандыру: VS (1:16 виртуалдандыру), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Желіні виртуалдандыру: M-LAG, TRILL, VXLAN және VXLAN көпірлері, VXLAN, EVN (Ethernet виртуалды желісі) ішіндегі QinQ;
- VRP V2 бастап, EVPN қолдауы қамтылған;
- M-LAG - Cisco Nexus үшін vPC (виртуалды порт арнасы) аналогы;
- Virtual Spanning Tree Protocol (VSTP) - Cisco PVST жүйесімен үйлесімді.
CE12804
CE12808
Бағдарламалық жасақтама
Жобада біз пайдаландық:
- басқа жеткізушілердің желіаралық қалқандары үшін конфигурация файлдарын жаңа жабдық үшін пәрмен пішіміне түрлендіргіш;
- брандмауэр конфигурациясын оңтайландыру және түрлендіру үшін өз дизайнымыздың сценарийлері.
Конфигурация файлдарын түрлендіруге арналған түрлендіргіштің сыртқы түрі
Деректер орталықтары арасындағы байланыс схемасы (EVPN VXLAN)
Жабдықты орнатудың нюанстары
CE12808
- Деректер орталықтары арасындағы байланыс үшін EVN (Huawei меншікті) орнына EVPN (стандартты):
○ Басқару жазықтығында iBGP көмегімен L2-ден L3;
○ iBGP EVPN отбасы арқылы MAC оқыту және хабарландыру (MAC маршруттары, 2 түрі);
○ Таратылым/белгісіз біркаст трафик үшін VXLAN туннельдерінің автоматты құрылысы (Инклюзивті мультикаст маршруттары, 3 түрі). - VS-де екі бөлу режимі:
○ порттарға негізделген (порт-режим порты) немесе ASIC негізінде (порт-режим тобы, дисплей құрылғысының порт-картасы);
○ портты бөлу өлшемінің интерфейсі 40GE ТЕК Әкімші VS жүйесінде жұмыс істейді (порт режиміне қарамастан).
USG9560
- VSYS арқылы бөлу мүмкіндігі,
- VSYS динамикалық маршруттауы мен маршруттың ағып кетуі мүмкін емес!
CE12804
Деректер орталықтары арасында MAC VRRP сүзгісі бар барлық белсенді GW (VRRP Master/Master/Master)
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Деректер орталықтары арасындағы ресурстардың өзара әрекеттесу схемасы (VXLAN EVPN және All Active GW)
Жобаның күрделілігі
Негізгі қиындық есептеу инфрақұрылымын пайдалана отырып, бар қосымшалардың сақтық көшірмесін жасау қажеттілігі болды. Тұтынушыда 100-ден астам әртүрлі қосымшалар болды, олардың кейбіреулері шамамен 10 жыл бұрын жазылған. Мысалы, егер Яндекс үшін соңғы пайдаланушыларға зиян келтірместен бірнеше жүздеген виртуалды машиналарды оңай өшіру мүмкін болса, онда орыс поштасында мұндай тәсіл нөлден бастап бірқатар қосымшаларды әзірлеуді және кәсіпорынның ақпараттық жүйелерінің архитектурасын өзгертуді талап етеді. Біз көші-қон және оңтайландыру процесінде туындаған мәселелерді есептеу инфрақұрылымының бірлескен аудиті кезеңінде шештік. Кәсіпорын үшін жаңа желілік технологиялардың барлығы (мысалы, EVPN) зертханада алдын ала сынақтан өтті.
Жоба нәтижелері
Жоба тобына мамандар кірді , тұтынушы және оның серіктестері есептеу инфрақұрылымының жұмысында. Сондай-ақ жеткізушілерден (Check Point және Huawei) арнайы қолдау топтары құрылды. Жоба екі жылға созылды. Міне, осы уақыт ішінде атқарылған істер.
- Дата орталықтары желісін, деректерді берудің корпоративтік желісін (CSTN) және деректер орталықтары арасындағы сақинаны дамыту стратегиясы әзірленді және тапсырыс берушінің барлық бөлімшелерімен келісілді.
- Қызметтің қолжетімділігін арттыру. Мұны тұтынушының бизнесі атап өтті және жаңа қызметтердің енгізілуіне байланысты трафиктің одан да көп өсуіне әкелді.
- 40 000-нан астам ережелер FWSM/ASA-дан USG 9560-қа көшірілді және оңтайландырылды. UGG 9560-дағы әртүрлі ASA мәтінмәндері бір қауіпсіздік саясатына біріктірілді.
- Деректер орталығы порттарының өткізу қабілеті CE1/CE10 пайдалану арқылы 40G-ден 12800/6850G-ге дейін ұлғайтылды. Бұл интерфейстің шамадан тыс жүктелуін және пакеттердің жоғалуын жоюға мүмкіндік берді.
- NE40E-X8 тасымалдаушы класындағы маршрутизаторлар болашақ бизнесті дамытуды ескере отырып, тұтынушының деректер орталығының және KSPD қажеттіліктерін толығымен қамтыды.
- USG 9560 үшін сегіз жаңа мүмкіндік сұрауы сұралды. Олардың жетеуі қазірдің өзінде іске асырылған және VRP ағымдағы нұсқасына енгізілген. 1 FR Huawei R&D компаниясымен жүзеге асырылуда. Бұл сеанстарды синхрондаусыз конфигурацияны синхрондау үшін қажетті функционалдылықты конфигурациялау мүмкіндігі бар сегіз шассиге арналған кластер. Деректер орталықтарының біріне трафиктің кешігуі тым жоғары болса қажет (Адлер – Мәскеу негізгі бағыт бойынша 1300 км және резервтік маршрут бойынша 2800 км).
Жобаның Ресейдегі басқа пошта компанияларымен салыстырғанда аналогы жоқ.
Дата орталығының желілік инфрақұрылымын жаңғырту кәсіпорынға цифрлық қызметтерді дамыту үшін жаңа мүмкіндіктер ашты.
- Жеке және заңды тұлғаларға жеке кабинет пен мобильді қосымшаны ұсыну.
- Тауарларды жеткізу қызметтерін көрсету үшін электронды дүкендермен интеграция.
- Орындау – тауарларды сақтау, электронды дүкендерден тапсырыстарды қалыптастыру және жеткізу.
- Тапсырыстар беру пункттерін кеңейту, оның ішінде серіктестік желілерді пайдалану арқылы.
- Мердігерлермен құқықтық маңызы бар құжат айналымы. Бұл қағаз құжаттардың баяу және қымбатқа түсуін жояды.
- Тапсырыс хаттарды электронды түрде де, қағаз түрінде де жеткізумен (түпкілікті алушыға мүмкіндігінше жақын заттарды басып шығарумен) қабылдау. Мемлекеттік көрсетілетін қызметтер порталында электрондық тапсырыс хаттарға қызмет көрсету.
- Телемедицина қызметтерін көрсету платформасы.
- Қарапайым электронды қолтаңбаны пайдалана отырып, тіркелген пошта жөнелтілімдерін оңайлатылған қабылдау және жеткізу.
- Пошта желісін цифрландыру.
- Өзіне-өзі қызмет көрсету қызметтерін өңдеу (терминалдар мен сәлемдеме машиналары).
- Курьерлік қызметті басқарудың цифрлық платформасын және курьерлік қызмет тұтынушыларына арналған жаңа мобильді қосымшаны құру.
Бізбен жұмыс істеуге келіңіз!
Ақпарат көзі: www.habr.com