Համոզված եմ, որ Habr-ի բոլոր ընթերցողները գոնե մեկ անգամ ապրանք են պատվիրել արտասահմանյան առցանց խանութներում, այնուհետև գնացել են ծանրոցներ ստանալու ռուսական փոստային բաժանմունք: Պատկերացնու՞մ եք այս առաջադրանքի մասշտաբները լոգիստիկայի կազմակերպման առումով։ Գնորդների թիվը բազմապատկեք նրանց գնումների քանակով, պատկերացրեք մեր հսկայական երկրի քարտեզը, իսկ դրա վրա՝ ավելի քան 40 հազար փոստային բաժանմունք... Ի դեպ, 2018 թվականին Ռուսական փոստը մշակել է 345 միլիոն միջազգային ծանրոց:
Այս հոդվածում մենք ձեզ կպատմենք, թե ինչ խնդիրների է բախվել Post-ը և ինչպես LANIT-Integration թիմը լուծեց դրանք՝ ստեղծելով նոր ՏՏ ենթակառուցվածք տվյալների կենտրոնների համար:
Ռուսական փոստի ժամանակակից լոգիստիկ կենտրոններից մեկը
Նախագծից առաջ
Չինաստանի, Արևմտյան Եվրոպայի և Հյուսիսային Ամերիկայի արտասահմանյան խանութներից ծանրոցների քանակի կտրուկ աճի պատճառով ռուսական փոստի նյութատեխնիկական միջոցների ծանրաբեռնվածությունն ավելացել է: Ուստի կառուցվել են նոր սերնդի լոգիստիկ կենտրոններ, որոնք օգտագործում են մեծ հզորության տեսակավորման մեքենաներ։ Նրանք պահանջում են համակարգչային ենթակառուցվածքի աջակցություն:
Տվյալների կենտրոնի ենթակառուցվածքը հնացած էր և չէր ապահովում անհրաժեշտ կատարողականություն և հուսալիություն ձեռնարկությունների տեղեկատվական համակարգերի շահագործման մեջ: Նաև Ռուսական փոստը նոր ծառայություններ գործարկելու համար հաշվողական ուժի պակաս է զգացել:
Հաճախորդների տվյալների կենտրոնները և դրանց խնդիրները
Ռուսական փոստի տվյալների կենտրոնները սպասարկում են ավելի քան 40 օբյեկտներ, 000 տարածքային գրասենյակներ։ Տվյալների կենտրոններում գործում են տասնյակ շուրջօրյա բիզնես ծառայություններ, այդ թվում՝ էլեկտրոնային առևտրի ծառայություններ:
Արդեն այսօր ձեռնարկությունն օգտագործում է մեծ տվյալների պահպանման, վերլուծության և մշակման համակարգեր: Նման համակարգերի համար արհեստական ինտելեկտի և մեքենայական ուսուցման ալգորիթմների օգտագործումը կարևոր դեր է խաղում: Մինչ օրս ձեռնարկության համար կարևորագույն դեպքերից է լոգիստիկ հոսքերի կառավարման օպտիմալացումը և փոստային բաժանմունքներում հաճախորդների սպասարկման արագացումը:
Մինչ արդիականացման նախագծի մեկնարկը հիմնական և պահեստային տվյալների կենտրոններում կար մոտ 3000 վիրտուալ մեքենա, պահպանված տեղեկատվության ծավալը գերազանցում էր 2 փետաբայթը։ Տվյալների կենտրոններն ունեին երթևեկության երթուղային համալիր կառուցվածք, որը կապված էր տարբեր հատվածների բաժանման հետ՝ ըստ անվտանգության մակարդակների:
Հավելվածների մշակմամբ և նոր ծառայությունների ներդրմամբ տվյալների կենտրոններում ցանցային սարքավորումների առկա թողունակությունը դարձել է անբավարար: Պահանջվում էր անցում նոր արագություններով ինտերֆեյսներին՝ 10 Գբ/վ, մուտքի համար 1 Գբ/վ-ի փոխարեն և հիմնական մակարդակում 40 Գբ/վրկ՝ սարքավորումների և կապի ուղիների լրիվ ավելցուկով:
Տեղեկատվական անվտանգության բաժնից պահանջ է ստացվել ենթակառուցվածքը բաժանել երթևեկի և հավելվածների տեղեկատվական անվտանգության բարձր մակարդակ ունեցող հատվածների (PN - Մասնավոր ցանց և DMZ - Ապառազմականացված գոտի): Firewall-ները (ITU) անցել են տրաֆիկ, որը զտելու անհրաժեշտություն չկար: Անջատիչների վրա VRF չի օգտագործվել նման երթևեկության համար: ITU-ի կանոնները ոչ օպտիմալ էին (տասնյակ հազարավոր կանոններ յուրաքանչյուր տվյալների կենտրոնում):
Վիրտուալ մեքենաների (VMs) անխափան միգրացիան տվյալների կենտրոնների միջև՝ միաժամանակ պահպանելով IP հասցեն և հատվածների միջև տրաֆիկի օպտիմալ ուղին, ներառյալ կորպորատիվ տվյալների ցանցը (CDTN):
MSTP-ն օգտագործվել է ավելորդության համար, որոշ նավահանգիստներ արգելափակվել են (տաք սպասման ռեժիմ): Միջուկը և մուտքի անջատիչները չեն խմբավորված, ինչպես նաև ինտերֆեյսի ագրեգացիա (LAG) չի օգտագործվել:
Երրորդ տվյալների կենտրոնի գալուստով նոր ճարտարապետություն և սարքավորումների կոնֆիգուրացիա պահանջվեց տվյալների կենտրոնների միջև օղակը գործարկելու համար (Առաջարկվում էր EVPN):
Չկար տվյալների կենտրոնների զարգացման միասնական հայեցակարգ՝ փաստաթղթավորված նախագծի տեսքով և համաձայնեցված պատվիրատուի բոլոր ստորաբաժանումների հետ: Ցանցի շահագործման ընթացիկ փաստաթղթերը թերի էին և հնացած:
Հաճախորդի ակնկալիքները
Ծրագրի թիմն ուներ հետևյալ առաջադրանքները.
- պատրաստել ճարտարապետության և զարգացման հայեցակարգ երրորդ տվյալների կենտրոնի ցանցի և սերվերի ենթակառուցվածքի կառուցման համար.
- իրականացնել հաճախորդի առկա ցանցի գործառնական աուդիտ.
- ընդլայնել ցանցի հիմնական հզորությունը ավելի քան 1500 10/40 Գբ/վ Ethernet պորտերով յուրաքանչյուր տվյալների կենտրոնում (ընդհանուր 4500 պորտ);
- ապահովել օղակի գործարկումը երեք տվյալների կենտրոնների միջև՝ յուրաքանչյուր հատվածում մինչև 80 Գբ/վ արագությունը բարձրացնելու հնարավորությամբ՝ տարբեր տվյալների կենտրոններից հաճախորդի հաշվողական ռեսուրսները մեկ ՏՏ համակարգի մեջ միավորելու համար.
- ապահովել ցանցի բոլոր տարրերի 100% կրկնակի ռեզերվ՝ 99,995% մակարդակով նպատակային Uptime-ի հասնելու համար;
- նվազագույնի հասցնել երթևեկության հետաձգումները վիրտուալ մեքենաների միջև՝ բիզնես հավելվածներն արագացնելու համար.
- հավաքել վիճակագրություն, վերլուծել և հետագայում օպտիմալացնել երթևեկության զտման կանոնները տվյալների կենտրոններում (սկզբում կար մոտ 80 կանոն);
- մշակել թիրախային ճարտարապետություն՝ ապահովելու հաճախորդի կարևոր բիզնես հավելվածների անխափան տեղափոխումը երեք տվյալների կենտրոններից որևէ մեկին:
Այսպիսով, մենք աշխատելու բան ունեինք։
սարքավորում
Եկեք մանրամասն նայենք, թե ինչ սարքավորումներ ենք օգտագործել նախագծում:
Firewall (NGWF) USG9560:
- բաժանում VSYS-ով;
- մինչև 720 Գբիտ/վրկ;
- մինչև 720 միլիոն միաժամանակյա նիստեր;
- 8 slots.
Ուղղորդիչ NE40E-X8:
- մինչև 7,08 Տբիթ/վրկ կոմուտացիոն հզորություն;
- մինչև 2,880 Mpps Փոխանցման կատարում;
- 8 անցք գծային քարտերի համար (LPU);
- մինչև 10M BGP IPv4 երթուղիներ մեկ MPU-ի համար;
- մինչև 1500K OSPF IPv4 երթուղիներ մեկ MPU-ի համար;
- մինչև 3000K - IPv4 FIB (կախված է LPU-ից):
CE12800 Series Անջատիչներ:
- Սարքի վիրտուալացում՝ VS (1:16 վիրտուալացում), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
- Ցանցի վիրտուալացում. M-LAG, TRILL, VXLAN և VXLAN կամրջում, QinQ VXLAN-ում, EVN (Ethernet վիրտուալ ցանց);
- սկսած VRP V2-ից, ներառված է EVPN աջակցությունը.
- M-LAG-ը vPC-ի (վիրտուալ նավահանգիստ ալիք) անալոգն է Cisco Nexus-ի համար;
- Virtual Spanning Tree Protocol (VSTP) – Համատեղելի է Cisco PVST-ի հետ:
CE12804
CE12808
Программное обеспечение
Նախագծում մենք օգտագործել ենք.
- այլ մատակարարների firewalls-ի կոնֆիգուրացիայի ֆայլերի փոխարկիչը նոր սարքավորումների համար հրամանի ձևաչափի.
- մեր սեփական դիզայնի սցենարներ՝ օպտիմիզացնելու և փոխակերպելու firewalls-ի կոնֆիգուրացիան:
Կազմաձևման ֆայլերը փոխարկելու փոխարկիչի տեսքը
Տվյալների կենտրոնների միջև կապի սխեման (EVPN VXLAN)
Սարքավորումների տեղադրման նրբությունները
CE12808
- EVPN (ստանդարտ) EVN-ի փոխարեն (Huawei-ի սեփականություն) տվյալների կենտրոնների միջև հաղորդակցության համար.
○ L2-ը L3-ից ավելի, օգտագործելով iBGP-ն կառավարման հարթությունում;
○ MAC ուսուցում և հայտարարություն iBGP EVPN ընտանիքի միջոցով (MAC երթուղիներ, տիպ 2);
○ VXLAN թունելների ավտոմատ կառուցում հեռարձակման / անհայտ միասեռ տրաֆիկի համար (Inclusive Multicast Routes, տիպ 3): - Երկու բաժանման ռեժիմ VS-ում.
○ հիմնված նավահանգիստների վրա (պորտ-ռեժիմի նավահանգիստ) կամ հիմնված ASIC-ի վրա (պորտ-ռեժիմի խումբ, սարքի ցուցադրման պորտ-քարտեզ);
○ նավահանգիստների բաժանման չափման ինտերֆեյս 40GE-ն աշխատում է ՄԻԱՅՆ Admin VS-ում (անկախ պորտ-ռեժիմից):
USG9560
- VSYS-ով բաժանելու հնարավորություն,
- VSYS դինամիկ երթուղման և երթուղու արտահոսքի միջև անհնար է:
CE12804
All Active GW (VRRP Master/Master/Master) MAC VRRP զտիչով տվյալների կենտրոնների միջև
acl number 4000
rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
rule 15 permit
interface Eth-Trunk1
traffic-filter acl 4000 outbound
Տվյալների կենտրոնների միջև ռեսուրսների փոխազդեցության սխեման (VXLAN EVPN և All Active GW)
Ծրագրի բարդությունը
Հիմնական դժվարությունը գոյություն ունեցող հավելվածների կրկնօրինակման անհրաժեշտությունն էր՝ օգտագործելով հաշվողական ենթակառուցվածքը: Հաճախորդն ուներ ավելի քան 100 տարբեր հավելվածներ, որոնցից մի քանիսը գրվել են գրեթե 10 տարի առաջ։ Օրինակ, եթե Yandex-ը հեշտությամբ կարող է անջատել մի քանի հարյուր վիրտուալ մեքենաներ՝ չվնասելով վերջնական օգտագործողներին, ապա Russian Post-ում նման մոտեցումը կպահանջի զրոյից մի շարք հավելվածների մշակում և ձեռնարկությունների տեղեկատվական համակարգերի ճարտարապետության փոփոխություններ: Միգրացիայի և օպտիմալացման գործընթացում ծագած խնդիրները լուծեցինք հաշվողական ենթակառուցվածքի համատեղ աուդիտի փուլում։ Ձեռնարկության համար նոր ցանցային բոլոր տեխնոլոգիաները (օրինակ՝ EVPN) նախապես փորձարկվել են լաբորատորիայում:
Ծրագրի արդյունքները
Ծրագրի թիմում ընդգրկված էին մասնագետներ , հաճախորդը և նրա գործընկերները հաշվողական ենթակառուցվածքի շահագործման մեջ: Ձևավորվել են նաև վաճառողներից (Check Point և Huawei) հատուկ աջակցության թիմեր: Նախագիծը տեւեց երկու տարի։ Ահա թե ինչ է արվել այս ընթացքում.
- Մշակվել է տվյալների կենտրոնների ցանցի, կորպորատիվ տվյալների փոխանցման ցանցի (CSTN) և տվյալների կենտրոնների միջև օղակի զարգացման ռազմավարություն և համաձայնեցվել հաճախորդի բոլոր ստորաբաժանումների հետ:
- Ծառայությունների հասանելիության բարձրացում: Սա նշել է հաճախորդի բիզնեսը և հանգեցրել է թրաֆիկի էլ ավելի մեծ աճի՝ նոր ծառայությունների ներդրման շնորհիվ։
- Ավելի քան 40 կանոններ փոխադրվել և օպտիմիզացվել են FWSM/ASA-ից USG 000: Տարբեր ASA համատեքստեր UGG 9560-ում միավորվել են մեկ անվտանգության քաղաքականության մեջ:
- Տվյալների կենտրոնի նավահանգիստների թողունակությունը 1G-ից հասցվել է 10/40G-ի՝ CE12800/CE6850-ի օգտագործման շնորհիվ: Սա հնարավորություն տվեց վերացնել ինտերֆեյսի ծանրաբեռնվածությունը և փաթեթների կորուստը:
- Carrier կարգի NE40E-X8 երթուղիչները լիովին ծածկում էին հաճախորդի տվյալների կենտրոնի և KSPD-ի կարիքները՝ հաշվի առնելով ապագա բիզնեսի զարգացումը:
- USG 9560-ի համար պահանջվել է ութ նոր Feature Request: Դրանցից յոթն արդեն իրականացվել են և ներառված են VRP-ի ընթացիկ տարբերակում: 1 FR-ն իրականացվում է Huawei R&D-ի կողմից: Սա ութ շասսիի համար նախատեսված կլաստեր է՝ առանց նիստերի համաժամացման կոնֆիգուրացիան համաժամացնելու համար անհրաժեշտ ֆունկցիոնալությունը կարգավորելու ունակությամբ: Պահանջվում է, եթե տվյալների կենտրոններից մեկում երթևեկության հետաձգումը չափազանց մեծ է (Ադլեր - Մոսկվա 1300 կմ հիմնական երթուղու երկայնքով և 2800 կմ պահեստային երթուղու երկայնքով):
Նախագիծը նմանը չունի՝ համեմատած Ռուսաստանի այլ փոստային ընկերությունների հետ։
Տվյալների կենտրոնների ցանցային ենթակառուցվածքի արդիականացումը ձեռնարկության համար նոր հնարավորություններ է բացել թվային ծառայությունները զարգացնելու համար։
- Ֆիզիկական և իրավաբանական անձանց անձնական հաշվի և բջջային հավելվածի տրամադրում։
- Ինտեգրում էլեկտրոնային խանութների հետ՝ ապրանքների առաքման ծառայություններ մատուցելու համար:
- Կատարումը ապրանքների պահպանումն է, էլեկտրոնային խանութներից պատվերների ձևավորումն ու առաքումը։
- Պատվերների թողարկման կետերի ընդլայնում, այդ թվում՝ գործընկեր ցանցերի օգտագործմամբ։
- Իրավական նշանակալի փաստաթղթերի հոսք կապալառուների հետ: Սա կվերացնի թղթային փաստաթղթերի դանդաղ և ծախսատար առաքումը:
- Պատվիրված նամակների ընդունում էլեկտրոնային ձևով` առաքմամբ ինչպես էլեկտրոնային, այնպես էլ թղթային (վերջնական հասցեատիրոջը հնարավորինս մոտ ապրանքների տպագրությամբ): Էլեկտրոնային գրանցված նամակների սպասարկում հանրային ծառայությունների պորտալում:
- Հեռաբժշկության ծառայությունների մատուցման հարթակ.
- Գրանցված փոստային առաքանիների պարզեցված ընդունում և առաքում պարզ էլեկտրոնային ստորագրության միջոցով:
- Փոստային ցանցի թվայնացում.
- Ինքնասպասարկման ծառայությունների (տերմինալներ և ծանրոցային մեքենաներ) վերամշակում.
- Սուրհանդակային ծառայության կառավարման թվային հարթակի և սուրհանդակային ծառայության հաճախորդների համար բջջային նոր հավելվածի ստեղծում։
Եկեք աշխատել մեզ հետ:
Source: www.habr.com