Како смо дизајнирали и имплементирали нову мрежу на Хуавеи у московској канцеларији, други део

Данас ћу вам рећи како је настала и спроведена идеја о стварању нове интерне мреже за нашу компанију. Став менаџмента је да морате да урадите исти комплетан пројекат за себе као и за клијента. Ако то урадимо добро за себе, можемо позвати купца и показати колико добро функционише и функционише оно што му нудимо. Стога смо врло темељно приступили развоју концепта нове мреже за московску канцеларију, користећи цео производни циклус: анализа потреба одељења → избор техничког решења → дизајн → имплементација → тестирање. Па да почнемо.

Избор техничког решења: Уточиште мутанта

Процедура за рад на сложеном аутоматизованом систему тренутно је најбоље описана у ГОСТ 34.601-90 „Аутоматизовани системи. Фазе стварања“, па смо по њему радили. И већ у фазама формирања захтева и развоја концепта, наишли смо на прве потешкоће. Организације различитих профила – банке, осигуравајућа друштва, програмери софтвера итд. – за своје задатке и стандарде потребне су им одређене врсте мрежа чије су специфичности јасне и стандардизоване. Међутим, код нас ово неће успети.

Зашто?

Јет Инфосистемс је велика диверсификована ИТ компанија. У исто време, наше интерно одељење подршке је мало (али поносно), обезбеђује функционалност основних сервиса и система. Компанија садржи много одељења које обављају различите функције: то је неколико моћних тимова за спољне послове, и интерни програмери пословних система, и информационе безбедности, и архитекти рачунарских система - уопште, ко год да је. Сходно томе, њихови задаци, системи и безбедносне политике су такође различити. Што је, очекивано, створило потешкоће у процесу анализе потреба и стандардизације.

Ево, на пример, развојног одељења: његови запослени пишу и тестирају код за велики број купаца. Често постоји потреба да се брзо организују тестна окружења, а искрено речено, није увек могуће формулисати захтеве за сваки пројекат, затражити ресурсе и изградити посебно тестно окружење у складу са свим интерним прописима. Ово доводи до радозналих ситуација: једног дана ваш понизни слуга је погледао у собу за програмере и испод стола пронашао исправан Хадооп кластер од 20 десктопа, који је необјашњиво био повезан са заједничком мрежом. Мислим да није вредно објашњавати да ИТ одељење компаније није знало за његово постојање. Ова околност, као и многе друге, била је одговорна за то што се током развоја пројекта родио појам „резерва мутанта“, који описује стање напаћене канцеларијске инфраструктуре.

Или ево још једног примера. Периодично се у оквиру одељења поставља испитна клупа. То је био случај са Јира и Цонфлуенце, које је Центар за развој софтвера у неким пројектима користио у ограниченој мери. После неког времена, друга одељења су сазнала за ове корисне ресурсе, проценила их и крајем 2018, Јира и Цонфлуенце су са статуса „играчке локалних програмера“ прешли у статус „ресурса компаније“. Сада се овим системима мора доделити власник, морају се дефинисати СЛА, политике безбедности приступа/информација, политике прављења резервних копија, надзор, правила за рутирање захтева за решавање проблема – генерално, сви атрибути пуноправног информационог система морају бити присутни .
Сваки од наших одељења је и инкубатор који узгаја сопствене производе. Неке од њих умиру у фази развоја, неке користимо док радимо на пројектима, док се друге укорењују и постају реплицирана решења која сами почињемо да користимо и продајемо клијентима. За сваки такав систем пожељно је да има своје мрежно окружење, где ће се развијати без ометања других система, а у неком тренутку може бити интегрисано у инфраструктуру компаније.

Поред развоја, имамо веома велику Услужни центар са више од 500 запослених, формираних у тимове за сваког купца. Они су укључени у одржавање мрежа и других система, даљинско праћење, решавање захтева итд. Односно, инфраструктура СЦ је, у ствари, инфраструктура купца са којим тренутно раде. Посебност рада са овим делом мреже је што су њихове радне станице за нашу компанију делом екстерне, а делом интерне. Стога смо за СЦ имплементирали следећи приступ – компанија обезбеђује одговарајућем одељењу мрежне и друге ресурсе, сматрајући радне станице ових одељења као екстерне везе (по аналогији са филијалама и удаљеним корисницима).

Дизајн аутопута: ми смо оператер (изненађење)

Пошто смо проценили све замке, схватили смо да добијамо мрежу телекомуникационог оператера у оквиру једне канцеларије и почели смо да се понашамо у складу са тим.

Направили смо језгро мреже уз помоћ које се сваком интерном, а у будућности и екстерном потрошачу обезбеђује потребна услуга: Л2 ВПН, Л3 ВПН или редовно Л3 рутирање. Неким одељењима је потребан сигуран приступ Интернету, док је другима потребан чист приступ без заштитних зидова, али истовремено штитећи наше корпоративне ресурсе и основну мрежу од њиховог саобраћаја.

Неформално смо „закључили СЛА“ са сваком дивизијом. У складу са њим, сви инциденти који се појаве морају бити отклоњени у одређеном, унапред договореном року. Испоставило се да су захтеви компаније за своју мрежу строги. Максимално време одговора на инцидент у случају отказа телефона и е-поште било је 5 минута. Време за враћање мрежне функционалности током типичних кварова није више од једног минута.

Пошто имамо мрежу оператера, на њу се можете повезати само у складу са правилима. Сервисне јединице постављају политике и пружају услуге. Не требају им чак ни информације о конекцијама одређених сервера, виртуелних машина и радних станица. Али у исто време, потребни су механизми заштите, јер ни једна веза не би требало да онеспособи мрежу. Ако се случајно направи петља, други корисници то не би требало да примете, односно неопходан је адекватан одговор мреже. Сваки телеком оператер константно решава сличне наизглед сложене проблеме унутар своје основне мреже. Пружа услуге многим клијентима са различитим потребама и саобраћајем. У исто време, различити претплатници не би требало да доживе непријатности од саобраћаја других.
Код куће смо овај проблем решили на следећи начин: изградили смо окосну Л3 мрежу са пуном редундантношћу, користећи ИС-ИС протокол. Мрежа са преклапањем је изграђена на врху језгра заснована на технологији ЕВПН/ВКСЛАН, користећи протокол рутирања МП-БГП. Да би се убрзала конвергенција протокола рутирања, коришћена је БФД технологија.

Структура мреже

У тестовима, ова шема се показала одличном - када је било који канал или прекидач искључен, време конвергенције није више од 0.1-0.2 с, губи се минимум пакета (често ниједан), ТЦП сесије се не кидају, телефонски разговори се не прекидају.

Подложни слој - Роутинг

Слој преклапања – Роутинг

Хуавеи ЦЕ6870 свичеви са ВКСЛАН лиценцама су коришћени као дистрибутивни прекидачи. Овај уређај има оптималан однос цена/квалитет, омогућавајући вам да повежете претплатнике брзином од 10 Гбит/с и повежете се са кичмом брзином од 40–100 Гбит/с, у зависности од примопредајника који се користе.

Хуавеи ЦЕ6870 прекидачи

Прекидачи Хуавеи ЦЕ8850 коришћени су као прекидачи за језгро. Циљ је брзо и поуздано пренети саобраћај. На њих нису повезани никакви уређаји осим дистрибутивних прекидача, не знају ништа о ВКСЛАН-у, па је изабран модел са 32 40/100 Гбпс порта, са основном лиценцом која обезбеђује Л3 рутирање и подршку за ИС-ИС и МП-БГП протоколи .

Доњи је прекидач за језгро Хуавеи ЦЕ8850

У фази пројектовања, унутар тима је избила дискусија о технологијама које би се могле користити за имплементацију везе отпорне на грешке са чворовима језгре мреже. Наша московска канцеларија се налази у три зграде, имамо 7 дистрибутивних просторија, од којих су у свакој постављена два разводна прекидача Хуавеи ЦЕ6870 (у неколико дистрибутивних просторија су инсталирани само приступни прекидачи). Приликом развоја концепта мреже, разматране су две опције редундантности:

• Консолидација дистрибутивних прекидача у стек отпоран на грешке у свакој просторији за унакрсно повезивање. Предности: једноставност и лакоћа подешавања. Недостаци: већа је вероватноћа квара читавог стека када дође до грешака у фирмверу мрежних уређаја („цурење меморије“ и слично).
• Примените М-ЛАГ и Аницаст гатеваи технологије да повежете уређаје са дистрибутивним прекидачима.

На крају смо се одлучили на другу опцију. Нешто је теже конфигурисати, али је у пракси показао своје перформансе и високу поузданост.
Хајде да прво размотримо повезивање крајњих уређаја са дистрибутивним прекидачима:

Крст

Приступни прекидач, сервер или било који други уређај који захтева везу отпорну на грешке укључени су у два дистрибутивна прекидача. М-ЛАГ технологија обезбеђује редундантност на нивоу везе за пренос података. Претпоставља се да се два дистрибутивна прекидача појављују на прикљученој опреми као један уређај. Редунданција и балансирање оптерећења се врше коришћењем ЛАЦП протокола.

Аницаст гатеваи технологија обезбеђује редундантност на нивоу мреже. Прилично велики број ВРФ-ова је конфигурисан на сваком од дистрибутивних прекидача (сваки ВРФ је намењен за своје потребе - посебно за „обичне” кориснике, посебно за телефонију, посебно за различита тестна и развојна окружења, итд.), иу сваком ВРФ има неколико конфигурисаних ВЛАН-ова. У нашој мрежи, дистрибутивни прекидачи су подразумевани гејтвеји за све уређаје који су на њих повезани. ИП адресе које одговарају ВЛАН интерфејсима су исте за оба дистрибуциона прекидача. Саобраћај се одвија преко најближе скретнице.

Сада погледајмо повезивање прекидача дистрибуције са кернелом:
Толеранција грешака је обезбеђена на нивоу мреже коришћењем ИС-ИС протокола. Имајте на уму да је одвојена комуникациона линија Л3 између прекидача, брзином од 100Г. Физички, ова комуникациона линија је кабл за директан приступ може се видети на десној страни на фотографији Хуавеи ЦЕ6870 прекидача.

Алтернатива би била организовање „поштене“ потпуно повезане топологије са двоструком звездом, али, као што је горе поменуто, имамо 7 унакрсних соба у три зграде. Сходно томе, да смо изабрали топологију „двоструке звезде“, било би нам потребно тачно дупло више „дугих“ 40Г примопредајника. Уштеде су овде веома значајне.

Треба рећи неколико речи о томе како ВКСЛАН и Аницаст гатеваи технологије раде заједно. ВКСЛАН, без улажења у детаље, је тунел за транспорт Етхернет оквира унутар УДП пакета. Интерфејси лоопбацк дистрибутивних прекидача се користе као одредишна ИП адреса ВКСЛАН тунела. Сваки цроссовер има два прекидача са истим адресама лоопбацк интерфејса, тако да пакет може стићи на било који од њих, а из њега се може издвојити Етхернет оквир.

Ако комутатор зна за одредишну МАЦ адресу преузетог оквира, оквир ће бити исправно испоручен на своје одредиште. Да би се осигурало да оба дистрибуциона прекидача инсталирана у истој унакрсној вези имају ажурне информације о свим МАЦ адресама које „стижу“ са приступних прекидача, М-ЛАГ механизам је одговоран за синхронизацију табела МАЦ адреса (као и АРП табеле) на оба прекидача М-ЛАГ пара.

Балансирање саобраћаја се постиже због присуства у основној мрежи неколико рута до интерфејса лоопбацк дистрибутивних прекидача.

Уместо закључка

Као што је већ поменуто, током тестирања и рада мрежа је показала високу поузданост (време опоравка за типичне кварове није више од стотина милисекунди) и добре перформансе – свака унакрсна веза је повезана са језгром преко два канала од 40 Гбит/с. Приступни прекидачи у нашој мрежи су сложени и повезани са дистрибутивним прекидачима преко ЛАЦП/М-ЛАГ са два канала од 10 Гбит/с. Стацк обично садржи 5 свичева са по 48 портова, а до 10 приступних стекова је повезано на дистрибуцију у свакој унакрсној вези. Дакле, окосница обезбеђује око 30 Мбит/с по кориснику чак и при максималном теоретском оптерећењу, што је у тренутку писања довољно за све наше практичне примене.

Мрежа вам омогућава да неприметно организујете упаривање било ког произвољног повезаног уређаја и преко Л2 и Л3, обезбеђујући потпуну изолацију саобраћаја (што се свиђа служби безбедности информација) и домена грешака (што се свиђа оперативном тиму).

У следећем делу ћемо вам рећи како смо мигрирали на нову мрежу. Будите у току!

Максим Клочков
Виши консултант групе за ревизију мреже и комплексне пројекте
Центар за мрежна решења
"Јет Инфосистеми"

Извор: ввв.хабр.цом