Бүгін мен сізге компаниямыздың жаңа ішкі желісін құру идеясы қалай пайда болғаны және жүзеге асырылғаны туралы айтып беремін. Менеджменттің ұстанымы мынада: сіз өзіңіз үшін клиент үшін сияқты толыққанды жобаны жасауыңыз керек. Егер біз мұны өзіміз үшін жақсы жасасақ, біз тұтынушыны шақырып, оған ұсынатын нәрсенің қаншалықты жақсы жұмыс істейтінін және жұмыс істейтінін көрсете аламыз. Сондықтан, біз толық өндірістік циклды пайдалана отырып, Мәскеу кеңсесі үшін жаңа желінің тұжырымдамасын әзірлеуге өте мұқият жақындадық: ведомстволық қажеттіліктерді талдау → техникалық шешімді таңдау → дизайн → енгізу → тестілеу. Ендеше бастайық.
Техникалық шешімді таңдау: Мутанттық қорық
Күрделі автоматтандырылған жүйеде жұмыс істеу тәртібі қазіргі уақытта ГОСТ 34.601-90 «Автоматтандырылған жүйелер. Жаратылыс кезеңдері», сондықтан біз соған сәйкес жұмыс жасадық. Ал талаптарды қалыптастыру және тұжырымдаманы әзірлеу кезеңдерінде біз алғашқы қиындықтарға тап болдық. Әртүрлі профильдегі ұйымдар – банктер, сақтандыру компаниялары, бағдарламалық қамтамасыз етуді әзірлеушілер және т.б. – олардың міндеттері мен стандарттары үшін олар ерекшеліктері нақты және стандартталған желілердің белгілі бір түрлерін қажет етеді. Дегенмен, бұл бізбен жұмыс істемейді.
Неге?
Jet Infosystems - ірі әртараптандырылған IT компаниясы. Сонымен қатар, біздің ішкі қолдау бөлімі шағын (бірақ мақтаныш), ол негізгі қызметтер мен жүйелердің функционалдығын қамтамасыз етеді. Компанияда әртүрлі функцияларды орындайтын көптеген бөлімшелер бар: бұл бірнеше қуатты аутсорсингтік командалар және бизнес-жүйелерді ішкі әзірлеушілер, ақпараттық қауіпсіздік және есептеу жүйелерінің сәулетшілері - жалпы алғанда, кім болса да. Тиісінше, олардың міндеттері, жүйелері және қауіпсіздік саясаты да әртүрлі. Бұл, күткендей, қажеттіліктерді талдау және стандарттау процесінде қиындықтар туғызды.
Мұнда, мысалы, әзірлеу бөлімі: оның қызметкерлері көптеген тұтынушылар үшін код жазады және сынақтан өткізеді. Көбінесе тестілеу орталарын жылдам ұйымдастыру қажеттілігі туындайды және шынын айтқанда, әрбір жобаға талаптарды тұжырымдау, ресурстарды сұрау және барлық ішкі ережелерге сәйкес жеке сынақ ортасын құру әрқашан мүмкін емес. Бұл қызықты жағдайларды тудырады: бір күні сіздің қарапайым қызметшіңіз әзірлеушілер бөлмесіне қарап, үстелдің астынан жалпы желіге түсініксіз түрде қосылған 20 жұмыс үстелінен тұратын дұрыс жұмыс істейтін Hadoop кластерін тапты. Менің ойымша, компанияның IT бөлімі оның бар екендігі туралы білмегенін түсіндірудің қажеті жоқ. Бұл жағдай, басқалар сияқты, жобаны әзірлеу кезінде ұзақ уақыт бойы жұмыс істейтін кеңсе инфрақұрылымының жағдайын сипаттайтын «мутанттық резерв» терминінің пайда болуына себеп болды.
Немесе тағы бір мысал. Мерзімді түрде бөлімде сынақ стенділері құрылады. Бұл Jira және Confluence-де болды, оларды бағдарламалық жасақтаманы әзірлеу орталығы кейбір жобаларда шектеулі дәрежеде пайдаланды. Біраз уақыттан кейін басқа бөлімдер осы пайдалы ресурстар туралы білді, оларды бағалады және 2018 жылдың соңында Jira және Confluence «жергілікті бағдарламашылардың ойыншығы» мәртебесінен «компания ресурстары» мәртебесіне көшті. Енді осы жүйелерге иеленуші тағайындалуы керек, SLA, қол жеткізу/ақпараттық қауіпсіздік саясаты, сақтық көшірме жасау саясаты, мониторинг, мәселелерді шешу үшін сұрауларды бағыттау ережелері анықталуы керек - тұтастай алғанда, толыққанды ақпараттық жүйенің барлық атрибуттары болуы керек. .
Біздің әрбір бөлімше де өз өнімін өсіретін инкубатор. Олардың кейбіреулері әзірлеу сатысында өледі, кейбіреулерін біз жобалармен жұмыс істеу кезінде қолданамыз, ал басқалары тамыр алып, біз өзіміз қолданып, клиенттерге сататын қайталанатын шешімдерге айналады. Әрбір осындай жүйе үшін басқа жүйелерге араласпай дамитын және белгілі бір уақытта компанияның инфрақұрылымына біріктірілуі мүмкін өзіндік желілік ортасы болғаны жөн.
Дамумен қатар, бізде өте үлкен 500-ден астам қызметкері бар, әр тұтынушы үшін командаларға құрылған. Олар желілерге және басқа жүйелерге қызмет көрсетуге, қашықтан бақылауға, шағымдарды шешуге және т.б. Яғни, СК инфрақұрылымы, шын мәнінде, олар қазіргі уақытта жұмыс істеп жатқан тапсырыс берушінің инфрақұрылымы болып табылады. Желінің осы бөлімімен жұмыс істеу ерекшелігі біздің компания үшін олардың жұмыс станциялары ішінара сыртқы және ішінара ішкі болып табылады. Сондықтан СК үшін біз келесі тәсілді іске асырдық – компания сәйкес бөлімді желілік және басқа ресурстармен қамтамасыз етеді, бұл бөлімдердің жұмыс станцияларын сыртқы байланыстар ретінде қарастырады (филиалдар мен қашықтағы пайдаланушыларға ұқсастығы бойынша).
Магистраль дизайны: біз оператормыз (тосынсый)
Барлық қателерді бағалағаннан кейін біз бір кеңседе байланыс операторының желісін алып жатқанымызды түсіндік және соған сәйкес әрекет ете бастадық.
Біз негізгі желіні құрдық, оның көмегімен кез келген ішкі және болашақта сыртқы тұтынушыға қажетті қызмет көрсетіледі: L2 VPN, L3 VPN немесе тұрақты L3 маршруттау. Кейбір бөлімдер қауіпсіз Интернетке қол жеткізуді қажет етеді, ал басқалары желіаралық қалқансыз таза қол жеткізуді қажет етеді, бірақ сонымен бірге корпоративтік ресурстарды және негізгі желіні олардың трафигінен қорғайды.
Біз әр бөлімшемен бейресми түрде «SLA жасадық». Оған сәйкес, туындаған барлық оқиғалар белгілі, алдын ала келісілген мерзімде жойылуы тиіс. Компанияның өз желісіне қойылатын талаптары қатаң болып шықты. Телефон және электрондық пошта қателері болған жағдайда оқиғаға жауап берудің максималды уақыты 5 минутты құрады. Әдеттегі ақаулар кезінде желі функционалдығын қалпына келтіру уақыты бір минуттан аспайды.
Бізде тасымалдаушы деңгейіндегі желі болғандықтан, сіз оған ережелерге қатаң сәйкес ғана қосыла аласыз. Қызмет көрсету бөлімшелері саясаттарды белгілейді және қызметтерді ұсынады. Оларға тіпті нақты серверлердің, виртуалды машиналар мен жұмыс станцияларының қосылымдары туралы ақпарат қажет емес. Бірақ сонымен бірге қорғаныс механизмдері қажет, өйткені бірде-бір қосылым желіні өшірмеуі керек. Егер цикл кездейсоқ жасалса, басқа пайдаланушылар мұны байқамауы керек, яғни желіден адекватты жауап қажет. Кез келген байланыс операторы өзінің негізгі желісінде ұқсас күрделі болып көрінетін мәселелерді үнемі шешеді. Ол әртүрлі қажеттіліктері мен трафигі бар көптеген клиенттерге қызмет көрсетеді. Сонымен қатар, әртүрлі абоненттер басқалардың трафигінен қолайсыздықты сезінбеуі керек.
Үйде біз бұл мәселені келесі жолмен шештік: біз IS-IS протоколын қолдана отырып, толық резервтік L3 магистральдық желісін құрдық. Технология негізінде ядроның үстіне қабаттасатын желі салынды /, маршруттау протоколын пайдалану . Маршруттау протоколдарының конвергенциясын жеделдету үшін BFD технологиясы қолданылды.
Желі құрылымы
Сынақтарда бұл схема өзін тамаша көрсетті - кез келген арна немесе коммутатор ажыратылған кезде конвергенция уақыты 0.1-0.2 с аспайды, пакеттердің ең азы жоғалады (көбінесе жоқ), TCP сеанстары үзілмейді, телефон сөйлесулері үзілмейді.
Астыңғы қабат - маршруттау
Қабат қабаты – Маршруттау
Тарату қосқыштары ретінде VXLAN лицензиялары бар Huawei CE6870 қосқыштары пайдаланылды. Бұл құрылғы абоненттерді 10 Гбит/с жылдамдықпен қосуға және пайдаланылатын трансиверлерге байланысты 40–100 Гбит/с жылдамдықта магистральға қосылуға мүмкіндік беретін оңтайлы баға/сапа қатынасына ие.
Huawei CE6870 қосқыштары
Негізгі ажыратқыштар ретінде Huawei CE8850 қосқыштары пайдаланылды. Мақсат – трафикті жылдам және сенімді жеткізу. Оларға тарату қосқыштарынан басқа ешбір құрылғы қосылмаған, олар VXLAN туралы ештеңе білмейді, сондықтан L32 маршруттауын және IS-IS және MP-BGP қолдауын қамтамасыз ететін негізгі лицензиясы бар 40 100/3 Гбит/с порттары бар үлгі таңдалды. хаттамалар.
Төменгі бөлігі - Huawei CE8850 негізгі қосқышы
Жобалау кезеңінде топта негізгі желі түйіндеріне ақауға төзімді қосылымды жүзеге асыру үшін пайдалануға болатын технологиялар туралы пікірталас басталды. Біздің Мәскеудегі кеңсеміз үш ғимаратта орналасқан, бізде 7 дистрибьюторлық бөлмелер бар, олардың әрқайсысында екі Huawei CE6870 тарату қосқышы орнатылған (бірнеше дистрибьюторлық бөлмелерде тек кіру қосқыштары орнатылған). Желі концепциясын әзірлеу кезінде резервтеудің екі нұсқасы қарастырылды:
- Әрбір кросс-қосылған бөлмедегі ақауларға төзімді стекке тарату қосқыштарын біріктіру. Артықшылықтары: орнатудың қарапайымдылығы және қарапайымдылығы. Кемшіліктері: желілік құрылғылардың микробағдарламасында қателер пайда болған кезде бүкіл стектің істен шығу ықтималдығы жоғары болады («жадтың ағуы» және т.б.).
- Құрылғыларды тарату қосқыштарына қосу үшін M-LAG және Anycast шлюз технологияларын қолданыңыз.
Соңында біз екінші нұсқаға тоқтадық. Оны конфигурациялау біршама қиынырақ, бірақ іс жүзінде оның өнімділігі мен жоғары сенімділігін көрсетті.
Алдымен соңғы құрылғыларды тарату қосқыштарына қосуды қарастырайық:
Крест
Қол жеткізу қосқышы, сервер немесе ақауға төзімді қосылымды қажет ететін кез келген басқа құрылғы екі тарату қосқышына кіреді. M-LAG технологиясы деректер байланысы деңгейінде резервтеуді қамтамасыз етеді. Қосылған жабдыққа бір құрылғы ретінде екі тарату қосқышы пайда болады деп болжанады. Резервтеу және жүктемені теңестіру LACP хаттамасы арқылы жүзеге асырылады.
Anycast шлюз технологиясы желі деңгейінде резервтеуді қамтамасыз етеді. Тарату қосқыштарының әрқайсысында VRF санының едәуір көп конфигурацияланған (әрбір VRF өз мақсаттарына арналған – «тұрақты» пайдаланушылар үшін бөлек, телефония үшін бөлек, әртүрлі сынақ және әзірлеу орталары үшін бөлек және т.б.) және әрқайсысында VRF конфигурацияланған бірнеше VLAN бар. Біздің желіде тарату қосқыштары оларға қосылған барлық құрылғылар үшін әдепкі шлюз болып табылады. VLAN интерфейстеріне сәйкес келетін IP мекенжайлары екі тарату қосқыштары үшін де бірдей. Трафик ең жақын коммутатор арқылы бағытталады.
Енді тарату қосқыштарын ядроға қосуды қарастырайық:
Ақауларға төзімділік IS-IS хаттамасы арқылы желі деңгейінде қамтамасыз етіледі. Коммутаторлар арасында 3G жылдамдықпен бөлек L100 байланыс желісі қарастырылғанын ескеріңіз. Физикалық тұрғыдан бұл байланыс желісі тікелей қол жеткізу кабелі болып табылады; оны оң жақта Huawei CE6870 қосқыштарының фотосында көруге болады.
Балама нұсқасы «адал» толық қосылған қос жұлдыз топологиясын ұйымдастыру болар еді, бірақ жоғарыда айтылғандай, бізде үш ғимаратта 7 кросс-қосылған бөлме бар. Тиісінше, егер біз «қос жұлдызды» топологияны таңдаған болсақ, бізге екі есе көп «ұзақ қашықтықтағы» 40G трансиверлері қажет болар еді. Мұндағы үнемдеу өте маңызды.
VXLAN және Anycast шлюз технологиялары қалай бірге жұмыс істейтіні туралы бірнеше сөз айту керек. VXLAN, егжей-тегжейлі айтпай-ақ, UDP пакеттерінің ішінде Ethernet кадрларын тасымалдауға арналған туннель болып табылады. Тарату қосқыштарының кері байланыс интерфейстері VXLAN туннелінің тағайындалған IP мекенжайы ретінде пайдаланылады. Әрбір кроссоверде бірдей кері байланыс интерфейсі мекенжайлары бар екі қосқыш бар, сондықтан олардың кез келгеніне десте келуі мүмкін және одан Ethernet фреймін алуға болады.
Егер коммутатор алынған кадрдың тағайындалған MAC мекенжайы туралы білсе, кадр оның тағайындалған жеріне дұрыс жеткізіледі. Бір кросс-коннекте орнатылған екі тарату қосқышында қол жеткізу қосқыштарынан «келетін» барлық MAC мекенжайлары туралы жаңартылған ақпарат болуын қамтамасыз ету үшін M-LAG механизмі MAC мекенжайлары кестелерін (сонымен қатар ARP) синхрондау үшін жауап береді. кестелер) екі қосқыштағы M-LAG жұптары.
Трафикті теңдестіру негізгі желіде тарату коммутаторларының кері байланыс интерфейстеріне бірнеше маршруттардың болуына байланысты қол жеткізіледі.
Орнына жасасу
Жоғарыда айтылғандай, тестілеу және пайдалану кезінде желі жоғары сенімділікті көрсетті (типтік ақауларды қалпына келтіру уақыты жүздеген миллисекундтан аспайды) және жақсы өнімділік - әрбір кросс-қосылым ядроға екі 40 Гбит/с арна арқылы қосылған. Біздің желіміздегі кіру қосқыштары жинақталған және екі 10 Гбит/с арнасы бар LACP/M-LAG арқылы тарату қосқыштарына қосылған. Стек әдетте әрқайсысында 5 порты бар 48 қосқышты қамтиды және әрбір кросс-коннекте таратуға 10-ға дейін қол жеткізу стектері қосылады. Осылайша, магистральдық жүйе ең жоғары теориялық жүктемеде де бір пайдаланушыға шамамен 30 Мбит/с қамтамасыз етеді, бұл жазу кезінде біздің барлық практикалық қосымшаларымыз үшін жеткілікті.
Желі трафикті (ақпараттық қауіпсіздік қызметіне ұнайтын) және ақаулық домендерді (операциялық топқа ұнайтын) толық оқшаулауды қамтамасыз ете отырып, L2 және L3 арқылы кез келген ерікті қосылған құрылғыларды жұптастыруды үздіксіз ұйымдастыруға мүмкіндік береді.
Келесі бөлімде біз жаңа желіге қалай көшкенімізді айтамыз. Бізбен бірге қалыңыз!
Максим Клочков
Желілік аудит және кешенді жобалар тобының аға кеңесшісі
Желілік шешімдер орталығы
«Jet Infosystems»
Ақпарат көзі: www.habr.com