🥇3. Проектиране на корпоративна мрежа на Extreme Switches

3. Проектиране на корпоративна мрежа на комутатори Extreme

Добър ден приятели! Днес ще продължа цикъла, посветен на Екстремни превключватели статия за проектиране на корпоративна мрежа.

В тази статия ще се опитам да бъда възможно най-кратък:

описват модулния подход към мрежовия дизайн Etnterprise
разгледайте видовете изграждане на един от най-важните модули на корпоративната мрежа - основната мрежа (ip-campus)
описват предимствата и недостатъците на опциите за резервиране за критични мрежови възли
на абстрактен пример, проектирайте/надстройте малка корпоративна мрежа
изберете превключватели Extreme, за да реализирате проектираната мрежа
работа с влакна и IP адресиране

Тази статия ще представлява интерес в по-голяма степен за мрежови инженери и корпоративни мрежови администратори, които тепърва започват своето „мрежово“ пътуване, а не за опитни инженери, които са работили дълги години в телекомуникационни оператори или в големи корпорации с географски разпределени мрежи.

За всеки случай моля интересуващите се под кат.

Подход за модулен мрежов дизайн

Ще започна статията си с доста популярен модулен подход към мрежовия дизайн, който ви позволява да сглобите пъзел от мрежови части в 1 цяла картина.

Първо, малко абстракция - много често си представям този подход като увеличение на геокарти, когато се вижда държава в първо приближение, региони във второ, градове в трето и т.н.

Като пример, разгледайте този пример:

Първо приближение - цялата корпоративна мрежа е набор от различни нива:
- гръбнак или кампус
- гранично ниво
- ниво телеком оператор
- отдалечени райони
2-ро приближение - всяко от тези нива е детайлизирано в отделни модули
- основната мрежа или кампусът се състои от:
  - 3- или 2-слоен модул, описващ корпоративната мрежа и нейните слоеве - достъп, разпространение и/или ядро
  - модул, описващ центъра за данни - център за данни (по същество сървърната част от инфраструктурата)
- граничното ниво от своя страна се състои от:
  - модул за интернет връзка
  - WAN и MAN модул, който отговаря за свързването на географски разпределени обекти на предприятието
  - модул за изграждане на VPN тунели и Remote-Access достъп
  - често в много малки предприятия няколко от тези модули или дори всички са комбинирани в един
- ниво на доставчика:
  - това ниво включва връзки "към външния свят" - тъмни оптични влакна (наем на влакна от оператори), комуникационни канали (Ethernet, G.703 и др.), достъп до Интернет.
- отдалечено ниво:
  - в по-голямата си част това са клонове на предприятието, които са разпределени в града, региона, страната или дори континентите.
  - тази зона може да включва и резервен център за данни, който дублира работата на основния
  - и разбира се, набиращата популярност напоследък – дистанционна работа (дистанционна работа)
3-то приближение - всеки от модулите е разделен на по-малки модули или нива. Например в кампусна мрежа:
- 3-слойната мрежа е разделена на:
  - ниво на достъп
  - ниво на разпространение
  - ниво на ядрото
- Центърът за данни в по-сложни случаи може да бъде разделен на:
  - 2 или 3 слойна мрежова част
  - сървърна част
Ще се опитам да покажа всичко по-горе в следната опростена фигура:

Както можете да видите от фигурата по-горе, модулният подход помага за детайлизиране и структуриране на цялостната картина в съставни елементи, с които вече можете да работите в бъдеще.
В тази статия ще се съсредоточа върху ниво Campus Enterprise и ще го опиша по-подробно.
Видове IP-CAMPUS мрежи
Когато работех в доставчик и особено по-късно - в работата на интегратор, се натъквах на различна "зрялост" на клиентските мрежи. Използвам термина зрялост не напразно, тъй като доста често има случаи, когато структурата на мрежата расте с растежа на самата компания и това по принцип е естествено.
В малка компания, разположена в една и съща сграда, корпоративната мрежа може да се състои само от 1 граничен рутер, който действа като защитна стена, няколко комутатора за достъп и няколко сървъра.
Аз наричам такава мрежа за себе си мрежа от „едно ниво“ - в нея няма абсолютно никакво изрично ниво на мрежовото ядро, нивото на разпространение е изместено към граничния рутер (със защитна стена, VPN и евентуално прокси функции) и достъп комутаторите обслужват както компютрите на служителите, така и сървърите.

В случай на растеж на предприятието - увеличаване на броя на служителите, услугите и сървърите, често е необходимо:
- увеличаване на броя на комутаторите в мрежата и портовете за достъп
- увеличаване на капацитета на сървъра
- борба с излъчваните домейни - прилагане на нарязване на мрежата и маршрутизиране между сегменти
- справяне с мрежови повреди, които причиняват прекъсване на работата на служителите, тъй като това води до допълнителни финансови разходи за управление (служител е неактивен, заплатите са изплатени, но работата не е свършена)
- в процеса на справяне с повреди, помислете за излишък на критични мрежови възли - рутери, комутатори, сървъри и услуги
- затегнете политиката за сигурност, тъй като могат да възникнат търговски рискове и отново за по-стабилна работа на мрежата
Всичко това води до факта, че инженерът (мрежовият администратор) рано или късно мисли за правилното изграждане на мрежата и стига до модел на 2 нива.
Този модел вече ясно разграничава 2 нива от себе си - ниво на достъп и ниво на разпространение, което е и основно ниво (collapsed-core).
Комбинираното ниво на разпространение и ядро изпълнява следните функции:
- агрегира връзки от комутатори за достъп
- въвежда маршрутизиране на мрежови сегменти - има толкова много потребители и устройства, че не се вписват в една /24 мрежа и ако го направят, излъчваните бури причиняват постоянни повреди (особено ако потребителите им помагат, създавайки цикли)
- осигурява комуникация между съседни комутационни сегменти (през по-бързи връзки)
- осигурява комуникация между потребителите и техните устройства и сървърната ферма, която също по това време започва да се откроява като отделен мрежов сегмент - център за данни.
- започва да осигурява, заедно с превключвателите за достъп, в една или друга степен, политика за сигурност, която започва да се появява в предприятието до този момент. Компанията се разраства, търговските рискове също нарастват (тук имам предвид не само разпоредбите относно търговските тайни, разграничаването на политиките за достъп и т.н., но също така и относно елементарния престой на мрежата и служителите).
Така мрежата рано или късно прераства до двуслоен модел:

В този модел възникват специални изисквания както за превключватели на ниво на достъп, които агрегират връзки от потребители и мрежови устройства (принтери, точки за достъп, VoIP устройства, IP телефони, IP камери и т.н.), така и за превключватели на ниво на разпространение и ядра.
Превключвателите за достъп вече трябва да са по-интелигентни и по-способни да отговорят на изискванията за мрежова производителност, сигурност и гъвкавост и трябва:
- имат различни видове портове за достъп и магистрални портове - за предпочитане с възможност за марж за нарастване на трафика и за броя на портовете
- имат достатъчен комутационен капацитет и честотна лента
- имат необходимата функционалност за сигурност, която би удовлетворила текущата политика за сигурност (и в идеалния случай нарастването на нейните бъдещи изисквания)
- да можете да захранвате труднодостъпни мрежови устройства с възможност за дистанционно рестартиране чрез захранване (PoE, PoE +)
- да може да архивира собственото си захранване, за да го използва на онези места, където е необходимо
- имат (ако е възможно) допълнителен потенциал за функционален растеж - чест пример, когато превключвател за достъп се превръща в превключвател за разпределение с течение на времето
Разпределителните превключватели от своя страна също имат следните изисквания:
- както по отношение на магистрални низходящи портове към комутатори за достъп, така и към партньорски интерфейси на съседни разпределителни комутатори (и други възможни интерфейси за връзка нагоре към ядрото)
- по отношение на функционалността на L2 и L3
- по отношение на функционалността за сигурност
- по отношение на осигуряване на устойчивост на грешки (редундантност, групиране и резервност на захранването)
- по отношение на предоставянето на гъвкавост при балансиране на трафика
- имат (ако е възможно) допълнителен потенциал за функционален растеж (трансформация на устройството за агрегиране в ядрото с течение на времето)
- в някои случаи може да е подходящо да използвате PoE, PoE+ портове на разпределителни комутатори.
Освен това - повече: ако ръководството следва политика на активен растеж и развитие на предприятието, мрежата също ще продължи да се развива в бъдеще - предприятието може да започне да наема съседни сгради, да строи свои собствени сгради или да поглъща по-малки конкуренти, като по този начин увеличава броя на работните места за служителите. В същото време мрежата също се разраства, което изисква:
- осигуряване на работа на служителите - необходими са нови комутатори за достъп с портове за достъп
- наличие на нови разпределителни комутатори за агрегиране на връзки от комутатори за достъп
- изграждане на нови, както и модернизация на съществуващи съобщителни линии
В резултат на това има увеличение на трафика поради следните причини:
- поради увеличаването на портовете за достъп и съответно на потребителите на мрежата
- поради увеличаването на трафика на съседни подсистеми, които избират корпоративната мрежа за свой транспорт - телефония, сигурност, инженерни системи и др.
- поради въвеждането на допълнителни услуги - с нарастването на персонала се появяват нови отдели, които изискват определен софтуер
- Увеличаване на изчислителната мощност на центъра за данни, за да отговори на изискванията за инфраструктура и приложения
- изискванията за сигурност на мрежата и информацията нарастват - известната триада на ЦРУ (шега), но сериозно, ЦРУ - Поверителност, интегритет и наличност:
  - в тази връзка се появяват допълнителни изисквания за отказоустойчивост и резервиране към критичните нива на мрежата - разпределение и център за данни
  - отново има увеличение на трафика поради въвеждането на нови системи за сигурност - например RKVI и т.н.
Рано или късно нарастването на трафика, услугите и броя на потребителите ще доведе до необходимостта от въвеждане на допълнителен мрежов слой - ядрото, което ще извършва високоскоростно комутиране / маршрутизиране на пакети, използвайки високоскоростни комуникационни връзки.
В този момент предприятието може да премине към 3-слоен мрежов модел:

Както можете да видите на фигурата по-горе, в такава мрежа има ниво на ядро, което агрегира високоскоростни връзки от разпределителни комутатори. По този начин изискванията за основните превключватели са изложени и за:
- честотна лента на интерфейса - 1GE, 2.5GE, 10GE, 40GE, 100GE
- производителност на превключване (капацитет на превключване и производителност на препращане)
- типове интерфейси - 1000BASE-T, SFP, SFP+, QSFP, QSFP+
- брой и набор от интерфейси
- опции за резервиране (подреждане, групиране, резервиране на контролни платки (от значение за модулни комутатори), резервно захранване и др.)
- функционалност
На това ниво на мрежата определено е необходимо като нейна техническа модификация:
- запазване на основни възли и връзки (много, много, много желателно)
- излишък на възли и връзки на връзки на ниво разпространение (в зависимост от критичността)
- резервиране на комуникационни връзки между комутатори за достъп и разпределителен слой (ако е необходимо)
- въвеждане на протоколи за динамично маршрутизиране
- балансиране на трафика както в ядрото, така и на нивата на разпространение и достъп (ако е необходимо)
- изпълнение на допълнителни услуги - транспортни и охранителни (при необходимост)
и правни, определящи политиката за мрежова сигурност на предприятието, която допълва общата политика за сигурност по отношение на:
- изисквания за внедряване и конфигуриране на определени функции за сигурност на комутатори за достъп и разпределение
- изисквания за достъп, наблюдение и контрол на мрежово оборудване (протоколи за отдалечен достъп, мрежови сегменти, разрешени за управление, настройки за регистриране и др.)
- изисквания за съкращаване
- изисквания за формиране на минимално необходимия комплект резервни части
В този раздел описах накратко еволюцията на мрежата и предприятието от няколко комутатора и няколко дузини служители до няколко десетки (или може би стотици комутатори) и няколко стотици (или дори хиляди) само служители, които работят директно в мрежата на предприятието (и в крайна сметка има и производствени отдели и инженерни мрежи).
Ясно е, че в действителност такова „прекрасно“ и бързо развитие на предприятието не се случва.
Обикновено са необходими години на едно предприятие и мрежа, за да се разраснат от първоначалното си ниво 1 до ниво 3, което описвам.
Защо пиша всички тези общи истини? След това искам да спомена тук такъв термин като ROI - възвръщаемост на инвестицията (възвръщаемост / възвръщаемост на инвестициите) и да разгледам тази страна от него, която пряко се отнася до избора на мрежово оборудване.
Когато избират оборудване, мрежовите инженери и техните мениджъри често избират оборудване въз основа на 2 фактора - текущата цена на оборудването и минималната техническа функционалност, която в момента е необходима за решаване на конкретна задача или задачи (ще говоря за закупуването на оборудване за резервиране по-късно) .
В същото време рядко се разглеждат възможностите за по-нататъшен "растеж" на оборудването. Ако възникне ситуация, когато оборудването се изчерпи по отношение на функционалност или производителност, тогава в бъдеще се закупува по-мощен и функционален, а старият се отдава под наем в склад или някъде в мрежата според „за изправяне“ принцип (това, между другото, причинява и появата на голям зоопарк от оборудване и закупуването на куп информационни системи, които работят с него).
Така, вместо да купуват част от лицензите за доп. функционалност и производителност, които са много по-евтини от ново оборудване с по-висока производителност, трябва да закупите нов хардуер и да платите повече поради следните причини:
- мрежата често расте бавно и разширяването на функционалността или производителността на вашия мрежов комутатор може да е достатъчно за дълго време
- Не е тайна, че оборудването на чуждестранните доставчици е обвързано с чужда валута (долар или евро). Ако трябва да бъда честен, растежът на долара или еврото (или периодичната мини-девалвация на рублата, ето как да погледнем) води до факта, че доларът преди 10 години и доларът сега са напълно различни неща от гледна точка на изглед на рублата
Обобщавайки всичко по-горе, искам да отбележа, че закупуването на мрежово оборудване с повече функционалност сега може да доведе до спестявания в бъдеще.
Тук разглеждам разходите за закупуване на оборудване в контекста на инвестирането в моята мрежа и инфраструктура.
По този начин много доставчици (не само Extreme) се придържат към принципа на плащане според растежа, като влагат в оборудването куп функционалности и възможности за увеличаване на производителността на интерфейсите, които по-късно се активират чрез закупуване на индивидуални лицензи. Те също така предлагат модулни комутатори с широка гама от интерфейсни и процесорни карти и възможност за постоянно увеличаване както на броя, така и на производителността им.
Излишък на критични възли
В тази част на статията бих искал накратко да опиша основните принципи на резервиране на такива важни мрежови възли като ядро, център за данни или разпределителни комутатори. И искам да започна с разглеждане на често срещаните типове излишък - подреждане и клъстериране.
Всеки от методите има своите плюсове и минуси, за които бих искал да говоря.
По-долу е дадена обща обобщена таблица, сравняваща двата метода:
- контрол - както се вижда от таблицата, в това отношение подреждането има предимство, тъй като от гледна точка на управлението стек от няколко комутатора е представен от един комутатор с голям брой портове. Вместо да управлявате например 8 различни комутатора при групиране, можете да управлявате само един при стек.
- разстояние - в момента, строго погледнато, предимството на клъстерирането не е толкова очевидно, тъй като има технологии за стекиране на комутатори чрез стекинг портове или портове с двойно предназначение (например SummitStack-V за Extreme, VSS за Cisco и др.), които също зависят от видовете трансивъри. Тук предимството се дава на групирането на принципа, че при стекиране има варианти, при които трябва да използвате обикновени стекинг портове, които често се свързват със специални кабели с ограничена дължина - 0.5, 1, 1.5, 3 или 5 метра.
- Актуализация на софтуера - тук виждаме, че клъстерирането има предимство пред стекването, а въпросът е следният - при актуализиране на версията на хардуерния софтуер по време на стекирането, вие актуализирате софтуера на главния суич, който по-късно поема ролята на поставяне на нов софтуер в стендбай -членни превключватели на стека. От една страна, това улеснява работата ви, но обновяването на софтуера често изисква хардуерен нулиране на оборудването, което води до рестартиране на целия стек и по този начин до прекъсване на работата му и всички услуги, свързани с него за време = време за рестартиране. Това обикновено е много критично за ядрото и центъра за данни. При клъстъриране - имате 2 независими едно от друго устройства, на които можете да актуализирате софтуера последователно едно след друго. В този случай прекъсванията в услугите могат да бъдат избегнати.
- конфигурация на настройките - тук, разбира се, подреждането има предимство, тъй като в случай на управление трябва да редактирате само настройките за едно устройство и неговия конфигурационен файл. За клъстериране броят на конфигурационните файлове ще бъде равен на броя на възлите на клъстера.
- отказоустойчивост - тук двете технологии са приблизително равни, но клъстерирането все пак има леко предимство. Причината тук се крие в следното – ако разгледаме стека от гледна точка на изпълнявани процеси и протоколи, ще видим следното:
  - има главен превключвател, на който се изпълняват всички основни процеси и протоколи (например протоколът за динамично маршрутизиране - OSPF)
  - има други подчинени превключватели, изпълняващи основните процеси, необходими за работа в стека и обслужване на трафика, преминаващ през тях
  - когато главният превключвател се повреди, следващият с най-висок приоритет подчинен превключвател открива повреда на главния
  - той се инициира като главен и стартира всички процеси, които са работили върху главния (включително OSPF протокола, който наблюдавахме)
  - след известно време за стартиране на процеса (обикновено доста кратко), самият OSPF протокол започва да работи
  - по този начин, ако един от възлите се повреди по време на клъстериране, OSPF ще работи малко по-бързо, отколкото при стекиране (за времето, необходимо за стартиране и инициализиране на процеси и протоколи на подчинения превключвател на стека). Въпреки че трябва да кажа, че съвременните протоколи за подреждане и превключватели работят много бързо, често продължителността на прекъсването на трафика при превключване на стека отнема по-малко от една секунда, но номинално клъстерирането печели в този параметър.
- сложност - Както можете да видите от таблицата, подреждането печели по отношение на сложността. Това е пряко следствие от елементите "контрол" и "конфигурационни настройки". Единичен възел отнема много по-малко време за настройка и управление. Също така, при групиране доста често е необходимо да се конфигурират допълнителни протоколи за маршрутизиране или протоколи за резервиране на шлюза - VRRP, HSRP и други.
- подмяна на възел - има ясно предимство на подреждането. Много често, за да смените превключвател в стек, е необходимо да извършите минимално необходимите хардуерни настройки, например:
  - актуализирайте софтуера на новия комутатор до версията на стековия софтуер (и това може да стане веднага след получаване на комутаторите в SPTA)
  - настройте няколко основни команди за подреждане (а за някои типове превключватели дори това може да не е необходимо)
  - издърпайте неуспешния превключвател на стека и свържете нов
  - свържете захранване и кабели за свързване
- еластичност - Считам за себе си един от основните параметри. Като цяло еластичността е комплексна характеристика, която означава свойството на нещо да се променя под въздействието на натоварване и да се връща в първоначалния си вид след неговото изчезване. Колкото и да е странно за клъстерирането, той ще бъде по-висок, дори като се вземе предвид резултатът от 4:3 по отношение на характеристиките в полза на подреждането. Всичко опира до човешкия фактор. Да, да, не се изненадвайте - в силата на стекинг параметрите като унифицирано управление, конфигурация на настройките и лека сложност се крие слабостта на стекинга, когато човешкият фактор влезе в игра.
В работата си в ИТ сектора съм се сблъсквал с много ситуации (и, честно казано, дори самият аз съм правил същата грешка, особено в началото), при които, докато конфигурира стек, инженер би допуснал грешка при въвеждане на команда или активиране/деактивиране на функция на оборудването, което би довело до срив на целия стек и изискване за ръчно рестартиране. Струва си да се споменат феновете на приложението Putty за... Windows (ох, това копиране с десен бутон).
Всъщност и двете технологии са доста добри (особено в сравнение с липсата на излишък) и всяка има своите силни и слаби страни, но за ниво на ядрото и за център за данни с голямо натоварване все пак бих предпочел да използвам клъстериране.
Въпреки че това е само мое мнение. Много професионални инженери, които се занимават с мрежова поддръжка в продължение на много години на професионално ниво, могат да използват еднакво и двете технологии - всичко зависи от опита и квалификацията.
В допълнение към технологиите за подреждане и излишни мрежови възли, има и общи принципи за излишни части на самия мрежов възел и връзки между възлите:
Под излишък в рамките на хост имам предвид:
- излишни захранвания - инсталирането на 2 захранвания, които се дублират (и за предпочитане свързани към 1-ва категория захранване) може да направи живота ви много по-лесен.
- резервиране на табла за управление - в по-голяма степен се отнася до модулни превключватели, които осигуряват свързването на няколко резервни табла за управление.
- излишък на интерфейсни карти - важи в по-голямата си част и за модулни комутатори.
Резервирането на връзки/връзки се разбира главно като наличие на дублиращи се кабелни трасета (или радиовръзки в случай на открити пространства) с:
- разпределение в различни кабелни шахти и канали вътре в сградата
- географско разпределение върху територията на ниво 2 или повече сгради, градове, региони или държави (т.нар. обемни пръстени)
В същото време, когато се изграждат излишни комуникационни връзки, е необходимо да се следват редица препоръки за оборудване:
- при дублиране на интерфейсни карти на модулен комутатор или при наличие на стек е необходимо да се разпределят връзките между модулите - интерфейсни карти при модулни комутатори и комутатори при стек.
- желателно е да се използват протоколи за агрегиране на връзки (LACP, MLT, PAgP и др.) за комбиниране на връзки в групи и балансиране на натоварването между тях.
- използвайте рутери, които поддържат протоколи ECMP (Equal-Cost-Multi-Path) - когато при доставяне на няколко пакета по един и същ маршрут, тези пакети не преминават през един най-добър път (и интерфейс), а се разпределят по няколко най-добри пътя ( и няколко интерфейса), които се определят от равенството на метриките на протокола за маршрутизиране, който от своя страна отговаря за попълването на крайната таблица за маршрутизиране.
И сега, както обещах, ще опиша реален случай от моята практика и принципа на спестяване при резервиране на критични възли, който се случи преди няколко години:
- Една компания, ще я нарека X, имаше стандартен 3-слоен мрежов модел:
  - с множество ядра
  - няколко десетки агрегации
  - няколко хиляди превключвателя за достъп
  - няколко десетки хиляди потребители
- Мрежата беше доста сложно изградена:
  - с куп протоколи и протоколи за динамично маршрутизиране - OSPF, MP-BGP, MPLS, PIM, IGMP, IPv6 и др.
  - куп услуги - достъп до интернет, L2 и L3 VPN, VoIP, IPTV, наети линии и др.
- но имаше едно тясно място в мрежата - граничен рутер, който комбинира функциите на BGP граница и прекратява някои потребителски услуги
- да, струваше като крило на самолет (няколко милиона рубли)
- да, по това време това беше едно от най-добрите устройства в линията на най-известния мрежов доставчик
- да, трябваше да е много надежден - с отличен MTBF
- да, той имаше 4 захранвания, сглобени по схемата 2x2 и свързани от различни UEPS и входове.
Но всичко това не промени факта, че той беше единствената точка на повреда в мрежата.
И в един ден, далеч от перфектен за мен и моите колеги, този рутер умря за дълго време (по-късно вече беше установено, че има някакъв вид повреда на електропровода през UEPS, което доведе до изхода на 2 захранвания едновременно и при В този случай едно от устройствата изгори RP модула на рутера и интерфейсната карта, които бяха свързани към общата шина за данни на устройството).
Нямахме резервни платки - RP и интерфейсна карта, но имаше договор за подмяна на оборудване или негови компоненти с един от партньорите по схемата NBD.
За съжаление партньорите по това време имаха на склад само интерфейсна карта, но нямаше RP платка, тя пристигна само няколко дни по-късно (след 3 дни).
В резултат на това наличието на една точка на повреда в мрежата (дори при договор за поддръжка и подмяна на оборудване) доведе до следните финансови разходи:
- делът на услугите на компанията, приписвани или свързани с тази граница, е около 60-70%
- както по-късно беше изчислено, дневната печалба беше около 900 хиляди рубли (приблизително) по това време
- по този начин, за 3 дни престой, печалбата е теоретично загубена в размер на 1 милион 620 хиляди рубли до 1 милион 890 хиляди рубли
Разбира се, нетните загуби бяха по-малки, тъй като компенсацията на основната част от потребителите беше върната не под формата на пари, а под формата на услуги, но те все още бяха:
- част от компенсациите на корпоративните потребители
- увеличени разходи за служителите на предприятието, които са работили всички тези 3-4 дни в пълна сила - извънреден труд, нощни смени, увеличени смени и др.
- репутационни загуби, което също не е маловажно
- и най-важното - нервите както на ръководството и служителите, така и на клиентите
В резултат на това политиката на компанията беше преразгледана:
- се отказа от заместващия договор при условията на НБД
- остави редовен договор за услуга
- закупен резервен рутер на стойност приблизително 1 - 1.3 милиона рубли, за да запазите 90% от функционалността на основния
В бъдеще закупуването на допълнително оборудване и резервирането на основното позволиха да се балансира натоварването на външните връзки, трафика и потребителите между тях и осигуриха запас на безопасност за компанията при бъдещи аварии.
Пример за проектиране на корпоративна мрежа
В тази част на статията ще се опитам да очертая основните моменти при изчисляване на опорната мрежа на предприятието. Няма да ви претоварвам с цялата методология на PPDIOO (Prepare-Planning-Design-Implement-Operate-Optimize), а само ще очертая основните й точки:
- приготви се - трябва да решите с вашето ръководство относно целите на модернизацията на мрежата, които искате да постигнете - повишаване на устойчивостта на грешки, въвеждане на нови услуги или технологии. Тук ще пропусна дефиницията на ограничения - технически и организационни, тъй като предполагам, че сте служител на организацията и имате голям запас от време за преодоляването им. Ще се върна на темата за бюджета по-долу.
- Планиране - тук ще трябва да изградите пълно описание на текущата си мрежа (ако все още не я познавате), т.е. опишете мрежата каквато е сега:
  - брой и вид оборудване
  - брой и видове портове
  - съществуващи кабелни трасета и комутационни схеми вътре и между сградите
  - схеми за захранване
  - L2 и L3 адресиране
  - изградете карти на Wi-Fi мрежи, показващи точки за достъп и контролери
  - опишете вашата сървърна ферма
  - желателно е да опишете всичките си услуги и връзките между тях
  - ако вече сте приложили под една или друга форма политиката за мрежова сигурност и контрол на достъпа до мрежата, не забравяйте да я вземете предвид при проектирането
  - Веднага ще отбележа, че втората стъпка всъщност е пълна инвентаризация на мрежата, като се започне от кабелната инфраструктура и схемите за захранване и се стигне до услугите (приложенията и техните портове). Тази стъпка отнема много, много време и дори понякога досадна. Ако вие или вашият предшественик не сте поддържали документация или дори елементарна система за наблюдение, тогава е време да помислите за това. Мрежата има тенденция да се променя с течение на времето с една или друга скорост и само поддържането на актуална документация или система за наблюдение може да ви помогне да следите нейното състояние и да улесните нейното администриране. Но това вече се отнася за операцията.
- Дизайн - Въоръжени с пълните познания за вашата мрежа, получени в предишната стъпка, най-накрая сядате и мислите как да надстроите мрежата си. По-долу ще се опитам да демонстрирам малък пример за изчисляване на мрежата.
За себе си съставих малък списък с първоначалните данни, от които ще се ръководя при изчисляване и проектиране на основната мрежа.
Представете си стъпката Подготовка като списък с това, което имаме на разположение и какво планираме да направим:
- има доста голямо предприятие с приблизителен брой работни места, около 700-800 броя (тук имам предвид тези служители, които се нуждаят от достъп до корпоративната мрежа)
- На територията на предприятието има няколко самостоятелни сгради:
- Основно тяло:
  - брой сгради - 2 бр
  - брой етажи в сградата - 7 бр
  - брой телекомуникационни шкафове на етаж в една сграда - 3 (общо 21) бр.
  - брой служители в сградата =~ 250 човека
- Допълнителни случаи:
  - брой сгради - 10 бр
  - етажността на сградата/цеха - 2 бр
  - брой телекомуникационни шкафове в сградата - 3 бр
  - брой служители в сградата =~ 20 човека
- Представено е текущото ниво на мрежовото ядро (между другото, много често срещана схема, която съм виждал повече от веднъж под една или друга форма и в състава на портовете):
  - 2 превключвателя L2:
    - 1Gb RJ-45 портове — 24 бр
    - 1Gb SFP портове - 4 бр
  - 1-ви превключвател L2:
    - 1Gb SFP портове - 24 бр
  - топология на ядрото - пръстен
  - връзките peer-to-peer между комутаторите са разрешени с помощта на оптични влакна
  - комутаторите са разположени в малки сървърни стаи с шкафове
- Текущо ниво на разпространение:
  - комбинирано с нивото на ядрото на мрежата по отношение на агрегиране на връзки от комутатори за достъп
  - L3 адресирането е преместено към граничен рутер и/или защитна стена
- Текущо ниво на достъп:
  - L2 комутатори с 16 x 100 Mb RJ-45 портове за достъп и 2 гигабитови комбинирани порта RJ-45/SFP за връзка нагоре
  - превключвателите са разположени в шкафове на етажи
  - топология на превключватели за достъп:
    - звезда (hub-and-spoke - главина и спици) с превключвател за ядро / разпределение в средата
    - греда / спица е разклонение на ключове по етажи - 3 бр във верига
  - има неуправляеми превключватели за достъп
  - превключватели в 9 допълнителни кутии са свързани чрез медиен конвертор (преобразуватели на оптичен към електрически сигнал)
- Текуща кабелна инфраструктура:
  - Окабеляване между сградите:
    - има оптичен кабел между 2 основни сгради с капацитет 8 влакна
    - има 1 оптичен кабел между една от допълнителните сгради (където е инсталиран основният превключвател) и всяка от основните сгради с капацитет 8 влакна всяка
    - има 1 оптичен кабел между доп. шаси и шаси с инсталирани комутатори с 4 влакна (разпределението им е показано на снимката по-долу)
    - тип влакно във всички кабели - единичен режим / SMF
    - Използват се 2-влакнести едномодови SFP трансивъри
    - част от кабелите се завършват в оптични разпределителни кутии (ODF) в отделни помещения (преходни/сървърни помещения), а част от кабелите се завършват в етажни SHTO
  - Кабелна система вътре в сгради:
    - има смесена кабелна конструкция между сървърните помещения и първите шкафове на етажите:
    - медни кабели Cat5e - 10 бр (или 100 чифта кабели)
    - оптичен многомодов/MMF кабел за 4 или 8 влакна - 1 бр.
    - оптичен многомодов/MMF 4-влакнен кабел между подовите шкафове
    - Cat5e медни кабели между подовите шкафове и контактите за достъп
  - настоящ център за данни:
    - има няколко сървъра, например 6 бр
    - включени 1Gb портове в основния комутатор в 1-ва основна сграда
    - всички корпоративни приложения се хостват на сървъри
  - L2, L3 адресиране и маршрутизиране:
    - мрежата има няколко VLAN-а - по 2,3 броя на сграда
    - сървърите са разпределени към отделна /24 мрежа
    - за вътрешни нужди се използват сиви мрежи от клас B, включени в гамата - 172.16.0.0/16
    - L3 адресите се прекратяват на крайния рутер и/или защитната стена
    - използване на статично маршрутизиране
  - Допълнителна информация:
    - телефония:
      - традиционната телефония е внедрена в сгради и някои сгради, използващи стари цифрови телефонни централи (не IP-PBX)
      - необходимо е да се инсталират телефони в нови сгради, без разходите за изтегляне на скъпи медни кабелни линии с определен капацитет и изграждане на резервна SCS за телефония вътре в сградите
      - с течение на времето се планира да се въведе IP телефония в цялото предприятие, да се комбинира с CRM системи и да се прехвърлят всички служители към него
    - порт капацитет:
      - необходимо е да се анализира текущият капацитет на магистралните портове и портовете за достъп и да се запазят поне 25-30% за бъдещи нужди
      - анализира достатъчността на текущата пропускателна способност на портовете за достъп и магистралните връзки
      - осигуряват PoE/PoE+ портове за достъп за устройства от съседни системи — видеонаблюдение и телефония
    - Видеонаблюдение:
      - предвидено е корпоративната мрежа да се използва като транспорт за мрежата за видеонаблюдение
      - е необходимо да се осигурят PoE портове за камери за видеонаблюдение
    - безжични системи:
      - в бъдеще се предвижда въвеждане на безжична инфраструктура за мобилност на служителите
      - необходимо е да се осигурят PoE портове за точки за достъп
    - изисквания за бюджет, време и оборудване:
      - извлечете максимума от съществуващото си оборудване
      - когато проектирате мрежа, вземете предвид възможността за разширяване на честотната лента на мрежата за N години напред
      - когато проектирате мрежа, вземете предвид поддръжката на различни функции за сигурност - ето списък с функционалности, вариращи от защита на портове до удостоверяване и оторизация на потребители чрез 802.1x.
      - възможно е да се резервират колкото е възможно повече критични мрежови възли от първостепенно значение - ядрото и центърът за данни, и да се предвиди възможността за излишни възли от второстепенно значение - разпределителни възли
      - бюджетът на проекта трябва да предвижда последователно финансиране на няколко етапа
      - размера на бюджета – тук всяка фирма определя сама, като се ръководи от своите финансови показатели
      - срокове - в най-идеалния случай няма да има изрични срокове, тъй като това е вътрешен проект на компанията, който се изпълнява от нейните служители, или те ще бъдат относително удобни - например 1 година (или повече). В най-лошия случай може да бъде от 3 месеца до шест месеца.
    - отстраняване на текущи мрежови проблеми:
      - изгубен пакет
      - проблеми с DHCP на повече или по-малко интелигентни комутатори за достъп, свързани с използването на фамилията протоколи STP за борба с циклите на портовете за достъп.
      - отървете се от наличието на интерфейс на DHCP сървър във всяка VLAN на служителите
      - появата на превключващи вериги, свързани с неоторизирано включване на управлявани / неуправляеми превключватели в шкафове и свързване на всички видове устройства към тях
      - списъкът продължава и продължава...
    Стъпката на планиране е характеристика на състоянието на текущата ви мрежа, както вече писах, зависи от наличието на висококачествена система за наблюдение и степента на нейната документация. В тази стъпка ще трябва да:
    - поне скицирайте съществуващата мрежа за допълнителен анализ
    - събира данни от оборудване:
      - трафик на магистрален порт
      - порт грешки
      - Натоварване на процесора и потребление на памет на комутатори и рутери
      - боя L2-L3 схеми за VLAN и IP адреси
    - повдигнете диаграми на кабелни маршрути:
      - влакнести вериги и схеми на свързване на оптични кръстосани връзки
      - схеми на разпределение на медни кабели между сървърни помещения и етажи
      - схеми на медни кабелни разводки между етажи и офиси
      - проверете наличието на оптични крос-конекти и пач панели в сървърни стаи и шкафове
    - проверете захранващите вериги в сървърните и подовите шкафове
    - проверете наличието на UPS и батерии в критични възли
    - анализира всички данни
    Въз основа на данните от подготвителната фаза излязох с приблизителна логическа диаграма:
    
    Освен това, следвайки модулния подход, е необходимо да се разграничат нивата и модулите на предприятието:
    
    Границите (Edge) в тази статия няма да засягам, но накратко припомням основните тези за всеки от модулите на Campus:
    - Достъп - на това ниво трябва да осигури:
      - необходим брой портове за потребителски достъп до мрежата
      - прилагане на политики за сигурност - филтриране на трафик и протоколи
      - компресия на излъчван домейн и мрежово сегментиране с помощта на VLAN
      - внедряване на отделни VLAN за гласов трафик
      - Поддръжка на QoS
      - поддръжка на PoE портове за достъп
      - IP мултикаст поддръжка
      - отказоустойчивост на връзките нагоре във връзка със слоя за разпространение (желателно)
    - Разпределение - на това ниво трябва да се осигури следното:
      - необходимия брой портове за свързване на комутатори за достъп
      - агрегиране и резервиране на връзки на комутатори за достъп
      - IP маршрутизиране
      - филтриране на пакети
      - Поддръжка на QoS
      - устойчивост на грешки на ниво връзки, оборудване и захранване (силно желателно)
    - Ядро - трябва да предоставя:
      - високоскоростно превключване и маршрутизиране на пакети
      - необходим брой портове за свързване на разпределителни комутатори
      - поддръжка за IP маршрутизиране и динамични протоколи за маршрутизиране с бърза мрежова конвергенция
      - Поддръжка на QoS
      - функционалност за сигурност за защита на достъпа до оборудването и контролната равнина
      - отказоустойчивост на ниво оборудване и захранване (задължително)
    - DPC - мрежовият слой на този модул трябва да осигурява:
      - високоскоростни комуникационни връзки
      - необходим брой портове за свързване на сървъри
      - излишък на комуникационни връзки както между сървъри и комутатори на центъра за данни, така и между комутатори на центъра за данни и ядрото на мрежата (задължително)
      - оборудване и захранване (задължително)
      - Поддръжка на QoS
    След това трябва да изчислим нашите портове и комуникационни връзки и да определим изискванията.
    Ниво на достъп - таблица за изчисление на портове
    И така, получихме данни за разпределението на портовете за достъп по сгради. Сега е необходимо да се анализират изискванията за ниво на достъп и да се коментират и очертаят решения.
    Ниво на достъп - Изисквания и решения
    След това изчисляваме портовете и комуникационните връзки за следните нива:
    Ниво на разпространение
    Ниво на ядрото
    Ниво център за данни
    При изчислението получихме следното:
    - ниво на достъп - Необходими са превключватели за достъп с 24 и 48 порта, за предпочитане с 1Gb портове за достъп и оптични SFP портове за връзка нагоре с PoE поддръжка и широка функционалност:
      - общо те ще дадат 504 порта за достъп, което по принцип ще покрие изискванията за резервни портове, ако се реши да се използват 2 порта на работно място - IP телефон и порт за данни.
      - възможно е да се използва един 48-портов комутатор с PoE функционалност на всеки етаж, осигуряващ портове за достъп за изискванията:
        
        резерв - приблизително 102 резервни порта (22%) на основните сгради. За допълнителни сгради малко повече - 25%.
        
        Видеонаблюдение
        
        безжична мрежа
    - ниво на разпространение - изисква суичове с набор от SFP портове от 12 до 48 порта с поне 2 SFP + порта, с възможност за стекиране и разширена функционалност, както и наличие на резервни захранвания.
    - ниво на ядрото - изисква високоскоростни комутатори от 12 до 24 SFP / SFP + портове с поддръжка както за стекиране, така и за клъстериране с поддръжка на MC-LAG. Трябва да отбележа, че също е възможно да се използват инструменти за маршрутизиране за балансиране на трафика. Последните поколения комутатори и рутери L3 поддържат ECMP с балансиране на трафика по 4 или повече маршрута със същата метрика.
    - ниво център за данни - изисква превключвания от 8 до 24 SFP / SFP + порта с поддръжка както за стекиране, така и за клъстериране с поддръжка на MC-LAG.
    В резултат се получи диаграмата на целевата мрежа такъв
    Избор на Extreme Switches за изпълнение на проекта
    Е, ето че стигаме до най-важното - моментът на избор на ключове за изпълнение на нашия проект. Следните превключватели Extreme са подходящи за получената целева верига:
    Ниво
    Модел
    пристанища
    описание
    сърцевина
    x620-16x-Base*
    x670-G2-48x-4q-Base*
    16 x 10GE SFP+
    
    48x10GE SFP+ и 4x40GE QSFP+
    За основни нужди на ядрото:
    - високоскоростни връзки
    - разширена функционалност за маршрутизиране и сигурност
    - резервно захранване захранвания
    - поддръжка за подреждане и групиране
    С минимални изисквания, превключвател от серия x620 ще свърши работа.
    В случай на разширени изисквания за броя на портовете и по-широката функционалност, струва си да се обмислят серийните ключове x670-G2.
    Център за данни
    x620-16x-Base*
    x590-24x-1q-2c*
    x670-G2-48x-4q-Base*
    16 x 10GE SFP+
    
    24x10GE SFP, 1xQSFP+, 2xQSFP28
    
    48x10GE SFP+ и 4x40GE QSFP+
    За основните нужди на центъра за данни:
    - високоскоростни връзки
    - резервно захранване захранвания
    - поддръжка за подреждане и групиране
    С минимални изисквания, превключвател от серия x620 ще свърши работа.
    В случай на разширени изисквания за броя на портовете и по-широката функционалност, струва си да разгледате серийните комутатори x670-G2 и x590-24x-1q-2c.
    разпределение
    X460-G2-24x-10GE4-Base*
    X460-G2-48x-10GE4-Base*
    24x1GE SFP, 8×1000 RJ-45, 4x10GE SFP+
    
    48x1GE SFP, 4x10GE SFP+
    За основни нужди за разпространение:
    - необходим брой оптични портове
    - резервно захранване захранвания
    - поддръжка за подреждане и групиране
    - необходима функционалност L3
    Суичовете от серията x460-G2 са идеални. Излишните, разширяеми захранвания с 10G, CX (стекируеми) и QSFP+ портове ги правят идеални комутатори за разпределителния слой с портове до 1 Gb.
    достъп
    X440-G2-24p-10GE4*
    X440-G2-24t-10GE4*
    X440-G2-48t-10GE4*
    X440-G2-48p-10GE4*
    24x1000BASE-T (4 x SFP комбо), 4x10GE SFP+ (PoE бюджет 380W)
    
    24x1000BASE-T (4 x SFP комбо), 4x10GE SFP+
    
    24x1000BASE-T (4 x SFP комбинирани), 4x10GE SFP+ комбинирани портове
    
    48x1000BASE-T (4 x SFP комбинирани), 4x10GE SFP+ комбинирани портове (PoE бюджет 740W)
    За нуждите на достъпа:
    - необходимия брой портове за достъп
    - PoE/PoE+ поддръжка
    - функционалност и разширяеми портове
    - допълнителен бонус под формата на поддръжка за подреждане на 10Gb портове от кутията
    Препоръчвам да обърнете внимание на тази линия под формата на нейната гъвкавост по отношение на портове, производителност и функционалност.
    *спецификацията на избраните ключове можете да намерите в първата статия от цикъла - Преглед на екстремни превключватели
    С това мога да завърша статията, но бих искал да подчертая 2 допълнителни аспекта, с които всеки инженер ще се сблъска, когато разработва или надгражда своята мрежа:
    - работа с кабелни трасета - влакна и медни линии
    - IP адресиране
    Работа с влакна
    По-горе дадох целевата схема, към която трябва да стигнете. За изпълнението му са необходими следния брой връзки за оборудване:
    брой комуникационни връзки
    Както се вижда от таблицата, минималният брой влакна, необходими за осигуряване на отказоустойчивост на мрежовите нива (основен модул, център за данни и разпределения в 2 сгради) е 10 броя.
    По време на фазата на характеризиране на мрежата открихме, че има само 8 влакна в кабела между сградите. Какво да направите в такава ситуация?
    Ще предложа някои решения:
    - Първата очевидна стъпка е да се използват свободни влакна в кабела между сграда 1-сграда 1 и сграда 1-сграда 2 (както можете да видите от таблицата, се използват само 2 от 8-те влакна във всеки кабел). За да направите това, достатъчно е да поставите оптични кръстосани връзки между кръстосаните връзки в случай 1 и, ако е необходимо, да използвате SFP модули с резерв от оптичен бюджет.
    - втората стъпка - възможно е да се използва CWDM технология - мултиплексиране на дължини на вълните на носителя в рамките на едно влакно. Тази технология е много по-евтина от DWMD и доста лесна за изпълнение. По принцип изискванията се налагат върху качеството на оптичните влакна и SFP / SFP + трансивърите с определена дължина и бюджет. Както казах в предишна статия, способността на комутаторите да разпознават трансивъри на трети страни може да направи живота ни много по-лесен и да намали капиталовите разходи за изграждане на допълнителни оптични кабели.
    - третата стъпка е да се разгледа възможността за увеличаване на влакната чрез полагане на допълнителни оптични кабели.
    След това разглеждаме броя на влакната между сградите с инсталирани разпределителни превключватели и добавки. сгради 2-10. Тук също не всичко е толкова ясно:
    - първо, няма достатъчно влакна за реализиране на нашата целева верига - има 2 влакна за всеки превключвател (както си спомняме, имаме кабели с 4 OB за всеки случай)
    - второ, дори ако има достатъчно влакна между сградите, MMF влакна се използват вътре в кутиите, което няма да ни позволи просто да съединим SMF и MMF влакна (говоря за разстояния между сгради над 300-400 метра)
    В такива случаи могат да се разгледат следните опции:
    - осигуряване на всеки SMF комутатор с влакна:
      - ако разстоянието позволява, можете да опънете допълнителни дълги кабели между превключвателите. Едно време използвахме пач кабели с дължина 30-50м.
      - положете сравнително евтин SMF оптичен кабел с малък капацитет между шкафовете
      - като екстремна опция използвайте различни SMF-MMF конвертори
    - За да сведете до минимум използването на влакна между сградите, можете:
      - използвайте функционалността за стекиране на превключватели за достъп x440-G2 - докато използвате 1 SMF влакно към всеки превключвател на пода, което ще позволи използването на 6 влакна и портове от всяка страна вместо 3 влакна и портове
      - използвайте по 2 влакна, за да свържете първия комутатор в разклонението и последния. Обединете връзките на крайните превключватели за достъп и използвайте STP протоколи в получения пръстен.
    IP адресиране
    Тук ще дам приблизително изчисление на адресирането за нашата схема.
    В момента имаме няколко мрежи от клас B - 172.16.0.0/16. Когато изчислявам IP адресното пространство, ще се ръководя от следните съображения:
    - 4 бита от втория октет ще обозначават сгради - 172.16.0.0/12.
    - Третият октет ще покаже номера на етажа в сградата.
    - 3 октета = 255 ще бъдат разпределени за връзки на оборудване от точка до точка и контролна мрежа.
    - една VLAN за управление на етаж за управление на комутатори.
    - един потребителски VLAN на комутатор (средно 24 порта).
    - един Voice VLAN на комутатор (средно 24 порта).
    - един VLAN за системата за видеонаблюдение на етаж.
    - един vlan за Wi-Fi устройства на етаж.
    В крайна сметка получих таблици като тази:
    мрежа 172.16.0.0/14
    мрежа 172.20.0.0/14
    В таблицата по-горе дадох приблизително разпределение на мрежите по сгради и етажи от една страна и мрежите (потребител, управление и обслужване) от друга.
    Всъщност изборът на сива мрежа 172.16.0.0/12 не е най-оптималният, тъй като ни ограничава в броя на мрежите (от 16 до 31) за сгради, а има и отдалечени офиси, които също трябва да изрежат мрежата блокове, може би по-оптимално ще има опция за използване на мрежи 10.0.0.0/8 или споделяне на мрежи 172.16.0.0/12 (например за нуждите на услугите и сървъри) и 10.0.0.0/8 (за потребителски мрежи).
    Като цяло подходът към разпределението на IP мрежите също е модулен и е желателно да се спазват правилата за сумиране на подмрежи в една обобщена мрежа на нива на разпространение, както и на крайни рутери в отдалечени клонове. Това се прави по няколко причини:
    - за минимизиране на таблиците за маршрутизиране на рутери
    - за минимизиране на обслужващия трафик на протоколите за маршрутизиране (всички видове съобщения за актуализиране, когато вложените подмрежи не са достъпни)
    - за опростяване на администрирането и по-добра четливост на L3 мрежи
    Въпреки че по първите 2 точки си струва да се отбележи, че капацитетът на съвременните рутери е много по-висок от тези, които са били преди 15-20 години и ви позволяват да поддържате големи таблици за маршрутизиране във вашата RAM, както и съотношението цена и честотна лента на комуникационните канали е намаляла в сравнение с цените от времето на общо използване на потоците E1 / T1 (G.703).
    Заключение
    Приятели, в тази статия се опитах да говоря накратко за основните принципи на проектиране на кампус мрежи възможно най-кратко. Да, материалът се оказа доста и това въпреки факта, че не засегнах такива теми като:
    - организация на корпоративната граница (и това е отделна история с нейните комутатори, граници, защитна стена, IPS / IDS системи, DMZ, VPN и други неща)
    - организиране на Wi-Fi мрежи
    - организиране на VoIP мрежи
    - организация на центъра за данни
    - сигурност (и това също е свой отделен свят, който по обем и изисквания не е по-нисък от дизайна на чиста мрежова инфраструктура, а понякога дори го надминава)
    - енергетиката
    - списъкът продължава и продължава
    Всъщност проектирането и изграждането на корпоративна мрежа е доста трудна задача, която изисква много време и ресурси.
    Но се надявам, че моята статия ще ви помогне да оцените и разберете на първоначално ниво как да подходите към тази задача.
    Това не е последната статия за Екстремни мрежитака че следетеTelegram, Facebook, VK, Блог за TS Solution)!