Այսօր ես ձեզ կպատմեմ, թե ինչպես առաջացավ և իրականացվեց մեր ընկերության համար նոր ներքին ցանց ստեղծելու գաղափարը: Ղեկավարության դիրքորոշումն այն է, որ դուք պետք է կատարեք նույն լիարժեք նախագիծը ձեզ համար, ինչ հաճախորդի համար: Եթե մենք դա լավ անենք մեզ համար, կարող ենք հաճախորդին հրավիրել և ցույց տալ, թե որքան լավ է աշխատում և աշխատում այն, ինչ նրան առաջարկում ենք: Հետևաբար, մենք շատ մանրակրկիտ մոտեցանք մոսկովյան գրասենյակի համար նոր ցանցի հայեցակարգի մշակմանը, օգտագործելով արտադրության ամբողջական ցիկլը. գերատեսչական կարիքների վերլուծություն → տեխնիկական լուծման ընտրություն → ձևավորում → իրականացում → փորձարկում: Այսպիսով, եկեք սկսենք:
Ընտրելով տեխնիկական լուծում. մուտանտի ապաստարան
Բարդ ավտոմատացված համակարգի վրա աշխատելու կարգը ներկայումս լավագույնս նկարագրված է ԳՕՍՏ 34.601-90 «Ավտոմատացված համակարգեր. Արարման փուլեր», ուստի մենք աշխատեցինք ըստ դրա։ Եվ արդեն պահանջների ձևավորման և հայեցակարգի մշակման փուլերում մենք հանդիպեցինք առաջին դժվարություններին։ Տարբեր պրոֆիլների կազմակերպություններ՝ բանկեր, ապահովագրական ընկերություններ, ծրագրային ապահովման մշակողներ և այլն, իրենց առաջադրանքների և ստանդարտների համար անհրաժեշտ են որոշակի տեսակի ցանցեր, որոնց առանձնահատկությունները պարզ են և ստանդարտացված: Սակայն դա մեզ հետ չի աշխատի։
Ինչու?
Jet Infosystems-ը խոշոր դիվերսիֆիկացված ՏՏ ընկերություն է: Միևնույն ժամանակ, մեր ներքին աջակցության բաժինը փոքր է (բայց հպարտ), այն ապահովում է հիմնական ծառայությունների և համակարգերի ֆունկցիոնալությունը: Ընկերությունը պարունակում է բազմաթիվ ստորաբաժանումներ, որոնք կատարում են տարբեր գործառույթներ. սրանք մի քանի հզոր աութսորսինգ թիմեր են, և բիզնես համակարգերի ներքին մշակողներ, և տեղեկատվական անվտանգություն, և հաշվողական համակարգերի ճարտարապետներ, ընդհանրապես, ով էլ որ լինի: Ըստ այդմ՝ տարբեր են նաև նրանց խնդիրները, համակարգերը և անվտանգության քաղաքականությունը։ Ինչը, ինչպես և սպասվում էր, դժվարություններ ստեղծեց կարիքների վերլուծության և ստանդարտացման գործընթացում։
Ահա, օրինակ, զարգացման բաժինը. նրա աշխատակիցները գրում և փորձարկում են ծածկագիրը մեծ թվով հաճախորդների համար: Հաճախ անհրաժեշտություն է առաջանում արագ կազմակերպել թեստային միջավայրերը, և, անկեղծ ասած, միշտ չէ, որ հնարավոր է յուրաքանչյուր նախագծի համար պահանջներ ձևակերպել, պահանջել ռեսուրսներ և կառուցել առանձին թեստային միջավայր՝ բոլոր ներքին կանոնակարգերին համապատասխան: Սա հետաքրքիր իրավիճակների տեղիք է տալիս. մի օր ձեր խոնարհ ծառան նայեց ծրագրավորողների սենյակ և սեղանի տակ գտավ 20 աշխատասեղաններից բաղկացած Hadoop-ի պատշաճ աշխատող կլաստեր, որն անբացատրելիորեն միացված էր ընդհանուր ցանցին: Չեմ կարծում, որ արժե ճշտել, որ ընկերության ՏՏ բաժինը չգիտեր դրա գոյության մասին։ Այս հանգամանքը, ինչպես շատ ուրիշներ, պատասխանատու էր այն բանի համար, որ նախագծի մշակման ընթացքում ծնվեց «մուտանտի պահուստ» տերմինը, որը նկարագրում էր բազմաչարչար գրասենյակային ենթակառուցվածքի վիճակը։
Կամ ահա ևս մեկ օրինակ. Պարբերաբար բաժանմունքում տեղադրվում է փորձարկման նստարան: Դա եղել է Jira-ի և Confluence-ի դեպքում, որոնք սահմանափակ չափով օգտագործվել են Ծրագրային ապահովման զարգացման կենտրոնի կողմից որոշ նախագծերում: Որոշ ժամանակ անց այլ գերատեսչություններ իմացան այս օգտակար ռեսուրսների մասին, գնահատեցին դրանք, և 2018-ի վերջին Ժիրան և Կոնֆլյուենսը «տեղական ծրագրավորողների խաղալիք» կարգավիճակից անցան «ընկերության ռեսուրսների» կարգավիճակի։ Այժմ սեփականատերը պետք է նշանակվի այս համակարգերին, SLA-ները, մուտքի/տեղեկատվական անվտանգության քաղաքականությունը, պահուստային քաղաքականությունը, մոնիտորինգը, խնդիրները շտկելու համար հարցումների ուղղորդման կանոնները պետք է սահմանվեն. ընդհանուր առմամբ, ամբողջական տեղեկատվական համակարգի բոլոր հատկանիշները պետք է առկա լինեն: .
Մեր ստորաբաժանումներից յուրաքանչյուրը նաև ինկուբատոր է, որն աճեցնում է իր սեփական արտադրանքը: Դրանցից ոմանք մահանում են զարգացման փուլում, ոմանք օգտագործում ենք նախագծերի վրա աշխատելիս, իսկ մյուսները արմատավորվում են և դառնում կրկնվող լուծումներ, որոնք մենք ինքներս ենք սկսում օգտագործել և վաճառել հաճախորդներին: Յուրաքանչյուր նման համակարգի համար ցանկալի է ունենալ իր ցանցային միջավայրը, որտեղ այն կզարգանա՝ չխանգարելով այլ համակարգերին, և ինչ-որ պահի կարող է ինտեգրվել ընկերության ենթակառուցվածքին։
Բացի զարգացումից, մենք ունենք շատ մեծ ավելի քան 500 աշխատակիցներով, որոնք կազմված են թիմերի յուրաքանչյուր հաճախորդի համար: Նրանք ներգրավված են ցանցերի և այլ համակարգերի պահպանման, հեռակառավարման մոնիտորինգի, պահանջների լուծման և այլնի մեջ: Այսինքն՝ SC-ի ենթակառուցվածքը, ըստ էության, այն հաճախորդի ենթակառուցվածքն է, ում հետ նրանք ներկայումս աշխատում են։ Ցանցի այս հատվածի հետ աշխատելու առանձնահատկությունն այն է, որ մեր ընկերության համար դրանց աշխատատեղերը մասամբ արտաքին են, մասամբ՝ ներքին։ Հետևաբար, SC-ի համար մենք իրականացրեցինք հետևյալ մոտեցումը. ընկերությունը համապատասխան բաժինին տրամադրում է ցանցային և այլ ռեսուրսներ՝ այդ գերատեսչությունների աշխատակայանները դիտարկելով որպես արտաքին կապեր (ի անալոգիա մասնաճյուղերի և հեռավոր օգտագործողների հետ):
Մայրուղու ձևավորում. մենք օպերատորն ենք (անակնկալ)
Բոլոր թակարդները գնահատելուց հետո մենք հասկացանք, որ ստանում ենք հեռահաղորդակցության օպերատորի ցանց մեկ գրասենյակում, և մենք սկսեցինք գործել համապատասխանաբար:
Մենք ստեղծել ենք հիմնական ցանց, որի օգնությամբ ցանկացած ներքին, իսկ ապագայում նաև արտաքին սպառողին տրամադրվում է անհրաժեշտ ծառայություն՝ L2 VPN, L3 VPN կամ սովորական L3 երթուղում։ Որոշ գերատեսչություններին անհրաժեշտ է անվտանգ ինտերնետ հասանելիություն, մինչդեռ մյուսներին անհրաժեշտ է մաքուր մուտք առանց firewalls, բայց միևնույն ժամանակ պաշտպանելով մեր կորպորատիվ ռեսուրսները և հիմնական ցանցը նրանց տրաֆիկից:
Մենք ոչ պաշտոնապես «կնքեցինք SLA» յուրաքանչյուր ստորաբաժանման հետ: Դրան համապատասխան՝ առաջացող բոլոր միջադեպերը պետք է վերանան որոշակի, նախապես համաձայնեցված ժամկետում։ Ընկերության պահանջներն իր ցանցի նկատմամբ խիստ էին. Հեռախոսի և էլփոստի խափանումների դեպքում միջադեպին արձագանքելու առավելագույն ժամանակը 5 րոպե էր: Տիպիկ խափանումների ժամանակ ցանցի ֆունկցիոնալությունը վերականգնելու ժամանակը մեկ րոպեից ոչ ավել է:
Քանի որ մենք ունենք օպերատորի կարգի ցանց, դուք կարող եք միանալ դրան միայն կանոններին համապատասխան: Սպասարկման ստորաբաժանումները սահմանում են քաղաքականություն և մատուցում ծառայություններ: Նրանց նույնիսկ հատուկ սերվերների, վիրտուալ մեքենաների և աշխատակայանների միացումների մասին տեղեկատվություն պետք չէ։ Բայց միևնույն ժամանակ անհրաժեշտ են պաշտպանության մեխանիզմներ, քանի որ ոչ մի կապ չպետք է անջատի ցանցը։ Եթե պատահաբար հանգույց է ստեղծվել, մյուս օգտատերերը դա չպետք է նկատեն, այսինքն՝ անհրաժեշտ է ցանցից համարժեք պատասխան: Հեռահաղորդակցման ցանկացած օպերատոր մշտապես լուծում է նմանատիպ բարդ թվացող խնդիրներ իր հիմնական ցանցում: Այն ծառայություններ է մատուցում բազմաթիվ հաճախորդների տարբեր կարիքներով և երթևեկությամբ: Միևնույն ժամանակ, տարբեր բաժանորդները չպետք է անհարմարություններ ապրեն ուրիշների երթևեկությունից:
Տանը մենք այս խնդիրը լուծեցինք հետևյալ կերպ. IS-IS պրոտոկոլի միջոցով մենք կառուցեցինք backbone L3 ցանց՝ լրիվ ավելորդությամբ։ Տեխնոլոգիայի հիման վրա միջուկի վերևում կառուցվել է ծածկույթի ցանց /, օգտագործելով երթուղային արձանագրություն . Ուղղորդման արձանագրությունների կոնվերգենցիան արագացնելու համար օգտագործվել է BFD տեխնոլոգիա:
Ցանցի կառուցվածքը
Թեստերում այս սխեման իրեն գերազանց ցույց տվեց. երբ որևէ ալիք կամ անջատիչ անջատված է, կոնվերգենցիայի ժամանակը ոչ ավելի, քան 0.1-0.2 վրկ, նվազագույն փաթեթները կորչում են (հաճախ ոչ մեկը), TCP նիստերը չեն պատռվում, հեռախոսային խոսակցությունները: չեն ընդհատվում.
Ներքաշերտ – Երթուղիավորում
Overlay Layer - Երթուղիավորում
Huawei CE6870 անջատիչները VXLAN լիցենզիաներով օգտագործվել են որպես բաշխիչ անջատիչներ: Այս սարքն ունի օպտիմալ գին/որակ հարաբերակցություն, որը թույլ է տալիս բաժանորդներին միացնել 10 Գբիթ/վ արագությամբ, իսկ ողնաշարին միանալ 40–100 Գբիթ/վ արագությամբ՝ կախված օգտագործվող հաղորդիչներից:
Huawei CE6870 անջատիչներ
Huawei CE8850 անջատիչները օգտագործվել են որպես հիմնական անջատիչներ: Նպատակը երթևեկության արագ և հուսալի փոխանցումն է: Ոչ մի սարք նրանց միացված չէ, բացառությամբ բաշխիչ անջատիչների, նրանք ոչինչ չգիտեն VXLAN-ի մասին, ուստի ընտրվել է 32 40/100 Գբիթ/վրկ պորտերով մոդել՝ հիմնական լիցենզիայով, որն ապահովում է L3 երթուղում և աջակցություն IS-IS-ի և MP-BGP-ի համար: արձանագրություններ.
Ներքևը Huawei CE8850 միջուկային անջատիչն է
Նախագծման փուլում թիմի ներսում քննարկում սկսվեց այն տեխնոլոգիաների մասին, որոնք կարող են օգտագործվել հիմնական ցանցի հանգույցների հետ անսարքությունների հանդուրժող միացում իրականացնելու համար: Մեր մոսկովյան գրասենյակը գտնվում է երեք շենքում, մենք ունենք 7 բաշխիչ սենյակ, որոնցից յուրաքանչյուրում տեղադրվել է երկու Huawei CE6870 բաշխիչ անջատիչ (մի քանի բաշխիչ սենյակներում տեղադրվել են միայն մուտքի անջատիչներ)։ Ցանցի հայեցակարգը մշակելիս դիտարկվել է ավելորդության երկու տարբերակ.
- Բաշխիչ անջատիչների համախմբում յուրաքանչյուր խաչաձև միացման սենյակում անսարքության հանդուրժող կույտի մեջ: Առավելությունները՝ պարզություն և տեղադրման հեշտություն: Թերությունները. կա ամբողջ փաթեթի ձախողման ավելի մեծ հավանականություն, երբ սխալներ են տեղի ունենում ցանցային սարքերի որոնվածում («հիշողության արտահոսք» և այլն):
- Կիրառեք M-LAG և Anycast gateway տեխնոլոգիաները՝ սարքերը բաշխիչ անջատիչներին միացնելու համար:
Ի վերջո, մենք կանգ առանք երկրորդ տարբերակի վրա. Այն որոշ չափով ավելի դժվար է կարգավորել, բայց գործնականում ցույց է տվել իր կատարումը և բարձր հուսալիությունը:
Եկեք նախ դիտարկենք վերջնական սարքերի միացումը բաշխիչ անջատիչներին.
Խաչ
Մուտքի անջատիչը, սերվերը կամ ցանկացած այլ սարք, որը պահանջում է անսարքության հանդուրժող կապ, ներառված է երկու բաշխիչ անջատիչների մեջ: M-LAG տեխնոլոգիան ապահովում է ավելորդություն տվյալների կապի մակարդակում: Ենթադրվում է, որ երկու բաշխիչ անջատիչներ հայտնվում են միացված սարքավորումների վրա որպես մեկ սարք: Ավելորդությունը և բեռի հավասարակշռումն իրականացվում են LACP արձանագրության միջոցով:
Anycast gateway տեխնոլոգիան ապահովում է ավելորդություն ցանցի մակարդակում: Բաշխիչ անջատիչներից յուրաքանչյուրի վրա կազմաձևված են բավականին մեծ թվով VRF-ներ (յուրաքանչյուր VRF նախատեսված է իր նպատակների համար՝ առանձին «սովորական» օգտվողների համար, առանձին հեռախոսակապի, առանձին՝ փորձարկման և մշակման տարբեր միջավայրերի համար և այլն), և յուրաքանչյուրում VRF-ն ունի մի քանի VLAN կազմաձևված: Մեր ցանցում բաշխիչ անջատիչները լռելյայն դարպասներ են դրանց միացված բոլոր սարքերի համար: VLAN ինտերֆեյսներին համապատասխանող IP հասցեները նույնն են երկու բաշխիչ անջատիչների համար: Երթևեկությունն իրականացվում է մոտակա անջատիչի միջոցով:
Այժմ եկեք նայենք բաշխիչ անջատիչների միացմանը միջուկին.
Սխալների հանդուրժողականությունը տրամադրվում է ցանցի մակարդակում՝ օգտագործելով IS-IS արձանագրությունը: Խնդրում ենք նկատի ունենալ, որ անջատիչների միջև տրամադրվում է առանձին L3 կապի գիծ՝ 100Գ արագությամբ: Ֆիզիկապես, այս հաղորդակցման գիծը ուղիղ մուտքի մալուխ է, այն կարելի է տեսնել աջ կողմում Huawei CE6870 անջատիչների լուսանկարում:
Այլընտրանքը կլինի «ազնիվ» լիովին միացված կրկնակի աստղային տոպոլոգիայի կազմակերպումը, սակայն, ինչպես նշվեց վերևում, երեք շենքերում մենք ունենք 7 խաչաձև միացման սենյակ: Համապատասխանաբար, եթե մենք ընտրեինք «կրկնակի աստղ» տոպոլոգիա, մեզ անհրաժեշտ կլիներ ուղիղ երկու անգամ ավելի շատ «հեռահար» 40G հաղորդիչ: Այստեղ խնայողությունները շատ զգալի են։
Պետք է մի քանի խոսք ասել այն մասին, թե ինչպես են աշխատում VXLAN-ը և Anycast gateway տեխնոլոգիաները։ VXLAN-ը, առանց մանրամասնելու, թունել է UDP փաթեթների ներսում Ethernet շրջանակներ տեղափոխելու համար: Բաշխիչ անջատիչների շրջադարձային միջերեսներն օգտագործվում են որպես VXLAN թունելի նպատակակետ IP հասցե: Յուրաքանչյուր խաչաձև միացում ունի երկու անջատիչ՝ նույն հանգույցի ինտերֆեյսի հասցեներով, այնպես որ փաթեթը կարող է հասնել դրանցից որևէ մեկին, և դրանից կարելի է հանել Ethernet շրջանակ:
Եթե անջատիչը գիտի վերցված շրջանակի նպատակակետ MAC հասցեի մասին, ապա շրջանակը ճիշտ կհասցվի իր նպատակակետին: Ապահովելու համար, որ նույն խաչմերուկում տեղադրված երկու բաշխիչ անջատիչներն ունենան արդի տեղեկատվություն մուտքի անջատիչներից «ժամանող» բոլոր MAC հասցեների մասին, M-LAG մեխանիզմը պատասխանատու է MAC հասցեների աղյուսակների (ինչպես նաև ARP) համաժամացման համար: աղյուսակներ) երկու անջատիչների վրա M-LAG զույգերով:
Երթևեկության հավասարակշռումը ձեռք է բերվում ներքևի ցանցում մի քանի երթուղիների առկայության պատճառով, որոնք տանում են բաշխիչ անջատիչների հանգույցային միջերեսներ:
Փոխարենը մի եզրակացության
Ինչպես նշվեց վերևում, փորձարկման և շահագործման ընթացքում ցանցը ցույց տվեց բարձր հուսալիություն (սովորական խափանումների վերականգնման ժամանակը հարյուրավոր միլիվայրկյանից ոչ ավել) և լավ կատարողականություն. յուրաքանչյուր խաչաձև միացում միջուկին միացված է երկու 40 Գբիտ/վրկ ալիքով: Մուտքի անջատիչները մեր ցանցում կուտակված են և միացված են բաշխիչ անջատիչներին LACP/M-LAG-ի միջոցով՝ երկու 10 Գբիտ/վրկ ալիքներով: Կույտը սովորաբար պարունակում է 5 անջատիչ՝ յուրաքանչյուրը 48 պորտով, և մինչև 10 մուտքի կույտեր միացված են բաշխմանը յուրաքանչյուր խաչաձև միացումում: Այսպիսով, ողնաշարը յուրաքանչյուր օգտագործողի համար ապահովում է մոտ 30 Մբիթ/վրկ նույնիսկ առավելագույն տեսական բեռի դեպքում, որը գրելու պահին բավարար է մեր բոլոր գործնական կիրառությունների համար:
Ցանցը թույլ է տալիս անխափան կազմակերպել ցանկացած կամայական միացված սարքերի զուգավորումը և՛ L2, և՛ L3-ի միջոցով՝ ապահովելով երթևեկի ամբողջական մեկուսացում (ինչը դուր է գալիս տեղեկատվական անվտանգության ծառայությանը) և անսարքության տիրույթները (ինչը հավանում է օպերացիոն թիմը):
Հաջորդ մասում մենք ձեզ կպատմենք, թե ինչպես ենք տեղափոխվել նոր ցանց: Մնացեք մեզ հետ!
Մաքսիմ Կլոչկով
Ցանցային աուդիտի և համալիր նախագծերի խմբի ավագ խորհրդատու
Ցանցային լուծումների կենտրոն
«Jet Infosystems»
Source: www.habr.com