3. Дизайн на мрежата на предприятието с Extreme комутатори

Добър ден, приятели! Днес ще продължа цикъла, посветен на комутаторите Extreme статията за проектиране на мрежи от типа Enterprise.

В статията ще се опитам да бъда възможно най-кратък:

• да опиша модулния подход за проектиране на мрежа Enterprise
• да разгледам видовете изграждане на един от най-важните модули на мрежата на предприятието — основната мрежа (ip-campus)
• да опиша предимствата и недостатъците на вариантите за резервиране на критични възли в мрежата
• на абстрактен пример да проектирам/обновя малка мрежа Enterprise
• да избера комутатори Extreme за реализация на проектираната мрежа
• да работя с влакна и IP адресация

Тази статия ще бъде интересна предимно за мрежови инженери и администратори на мрежи на предприятия, които едва започват своя път в мрежовата среда, а не за опитни инженери, работили много години в телекомуникационни компании или в големи корпорации с географски разпределени мрежи.

Във всеки случай, заинтересованите моля да подкатегория.

Модулният подход за проектиране на мрежи

Ще започна статията си с доста популярен модулен подход при проектирането на мрежи, който позволява да се събере пъзел от части на мрежата в една цяла картина.

Първо, малко абстракция — много често си представям този подход като увеличение на географски карти, когато в първоначалната близост се вижда страната, във втората регионите, в третата градовете и т.н.

Като пример да разгледаме следния пример:

• 1-во приближение — цялата мрежа на предприятието представлява набор от различни нива:
  • основна мрежа или campus
  • гранично ниво
  • ниво на телекомуникационни оператори
  • отдалечени зони

• 2-ро приближение — всяко от тези нива се детайлизира на отделни модули
  • основната мрежа или campus се състои от:
    • 3-степенен или 2-степенен модул, описващ мрежата на предприятието и нейните нива — достъп, разпределение и/или ядро
    • модул, описващ ЦОД — център за обработка на данни (по същество сървърната част на инфраструктурата)

  • граничното ниво от своя страна се състои от:
    • модул за свързване с интернет
    • модул WAN и MAN, който отговаря за свързването на географски разпределени обекти на предприятието
    • модул за изграждане на VPN тунели и достъп до отдалечен достъп
    • често при много малки предприятия няколко от тези модули или дори всички от тях се оказват комбинирани в един

  • ниво на доставчиците:
    • в настоящия етап влизат връзките "във външния свят" — тъмни оптични влакна (наем на влакна от операторите), комуникационни канали (Ethernet, G.703 и т.н.), достъп до интернет.

  • отдалечен етап:
    • по-голямата част от тях са клонове на предприятието, които са разпределени в рамките на града, областта, страната или дори континентите.
    • също в тази зона може да влезе резервен ЦОД, който дублира работата на основния
    • и разбира се, нарастващата популярност на teleworkers (отдалечени работни места)

• Трето приближение — всеки от модулите се разделя на по-малки модули или етапи. Например в campus-мрежа:
  • Триетапната мрежа се дели на:
    • достъпен етап
    • разпределителен етап
    • ядрен етап

  • В по-сложни случаи ЦОД може да се раздели на:
    • дву- или триетапна мрежова част
    • сървърна част

  Всичко описано по-горе ще опитам да изобразя в следната опростена схема:

  
  
  Както може да се види от схемата по-горе, модулният подход помага да се детализира и структурира общата картина на съставните елементи, с които в последствие може да се работи.

  В рамките на тази статия ще се спра на нивото Campus Enterprise и ще го опиша по-подробно.

  Видове IP-CAMPUS мрежи

  Когато работех в провайдера и особено по-късно — в работата на интегратора, се сблъсквах с различна "зрялост" на мрежите на клиентите. Не е случайно, че използвам термина зрялост, тъй като често се срещат случаи, когато структурата на мрежата нараства с развитието на самата компания, което по принцип е закономерно.

  В малка компания, разположена в рамките на една сграда, мрежата на предприятието може да се състои само от 1 граничен рутер, изпълняващ ролята на защитна стена, няколко достъпни комутатора и два-три сървъра.

  Наричам такава мрежа "едноетажна" мрежа — в нея абсолютно липсва явен ядрен етап на мрежата, разпределителният етап е изместен на граничния рутер (с функции firewall, VPN и възможно proxy), а достъпните комутатори обслужват както компютрите на служителите, така и сървърите.

  
  
  При растеж на предприятието — увеличаване на броя на служителите, услугите и сървърите, често е необходимо:

  • увеличаване на броя на комутаторите в мрежата и портовете за достъп
  • увеличаване на сървърните мощности
  • да се борим с широкообхватни домейни — да внедрим сегментиране на мрежата и маршрутизиране между сегментите
  • да се борим с мрежови сривове, които водят до престой на служители, тъй като това носи допълнителни финансови разходи за ръководството (служителят не работи, но получава заплата)
  • в процеса на борба със сривовете, да обмислим резервиране на критично важни мрежови възли — маршрутизатори, ключове, сървъри и услуги
  • да се затегне политиката за сигурност, тъй като могат да възникнат търговски рискове и отново — за по-стабилна работа на мрежата

  Всичко това води до ситуация, в която инженерът (администратор на мрежата) рано или късно се замисля за правилната структура на мрежата и стига до двууровнева модел.

  Този модел ясно разделя два уровня — достъпен ниво и ниво на разпределение, което също така е и ниво на ядро (collapsed-core).

  Комбинираното ниво на разпределение и ядро изпълнява следните функции:

  • агрегира линкове от ключовете за достъп
  • въвежда маршрутизиране на мрежовите сегменти — потребителите и устройствата стават толкова много, че не се побират в една мрежа /24, а ако се побират, то бурните мрежови разстройства предизвикват постоянни сривове (особено ако потребителите помагат, създавайки цикли)
  • осигурява свързаност между съседни мрежови сегменти (чрез по-бързи линкове)
  • осигурява свързаност между потребителите и техните устройства и сървърния ферма, която също с времето започва да се отделя в отделен мрежов сегмент — ЦОД.
  • започва да осигурява заедно с ключовете за достъп, до известна степен, политика за сигурност, която започва да се появява в предприятието по това време. Компанията расте, търговските рискове също растат (тук имам предвид не само положения за търговска тайна, разграничаване на политики за достъп и т.н., но и за елементарни сривове на мрежата и служителите).

  По този начин мрежата рано или късно достига до двууровцева модел:

  
  
  В този модел се появяват специфични изисквания както към комутаторите на достъпното ниво, които обединяват връзки от потребители и мрежови устройства (принтери, точки за достъп, VoIP устройства, IP телефони, IP камери и др.), така и към комутаторите на разпределителното и ядреното ниво.

  Комутаторите на достъпно ниво трябва да бъдат интелигентни и функционални, за да отговарят на изискванията за производителност, сигурност и гъвкавост на мрежата, и трябва:

  • да имат различни видове достъпни и магистрални портове — желателно е да има възможности за растеж на трафика, както и по броя на портовете
  • да имат достатъчна комутационна капацитет и пропускна способност
  • да имат необходимата функционалност на сигурността, която да отговаря на текущите политики за безопасност (а в идеалния случай и на растящите изисквания за тях)
  • да имат възможност за захранване на трудно достъпни мрежови устройства с опция за дистанционно рестартиране на захранването (PoE, PoE+)
  • да имат възможност за резервиране на собственото електрическо захранване, за да се използва в места, където е необходимо
  • да имат (по възможност) допълнителен потенциал за нарастваща функционалност — често срещан пример, когато комутаторът на достъпно ниво с времето се трансформира в комутатор на разпределение

  К комутаторите на разпределение също се предявяват съответстващи изисквания:

  • както по отношение на магистралните низходящи портове към комутаторите на достъп, така и към peer интерфейсите на съседните комутатори на разпределение (а по-късно и възможни uplink интерфейси към ядрото)
  • по отношение на L2 и L3 функционалността
  • по отношение на функционалността на сигурността
  • по отношение на осигуряване на отказоустойчивост (резервиране, клъстеризация и резервиране на електрическо захранване)
  • по отношение на осигуряване на гъвкавост при балансировка на трафика
  • да имат (по възможност) допълнителен потенциал за растеж на функционалността (трансформация с времето на устройства за агрегиране в ядро)
  • в някои случаи на комутаторите на разпределение може да бъде подходящо да се използват PoE, PoE+ портове.

  Нататък — още повече: в случай на провеждане от ръководството на политика на активно растеж и развитие на предприятието, мрежата ще продължи да се развива — предприятието може да започне да наема съседни сгради, да строи свои собствени корпуси или да поглъща по-малки конкуренти, увеличавайки по този начин броя на работните места за служителите. В същото време също така се наблюдава растеж на мрежата, който изисква:

  • осигуряване на служителите с работни места — необходимост от нови комутатори за достъп с портове за достъп
  • наличие на нови комутатори за разпределение за агрегиране на линкове от комутаторите за достъп
  • строеж на нови, както и модернизация на съществуващите комуникационни линии

  Като следствие настъпва растеж на трафика по следните причини:

  • поради увеличаване на портовете за достъп и съответно на потребителите на мрежата
  • поради нарастващия трафик от свързани подистеми, които избират за транспорт мрежата на предприятието — телефония, сигурност, инженерингови системи и т.н.
  • поради внедряване на допълнителни услуги — с растежа на персонала се появяват нови отдели, изискващи определен софтуер
  • увеличават се изчислителните мощности на ЦОД, за да отговорят на изискванията на инфраструктурата и приложенията
  • растат изискванията за сигурност на мрежата и информацията — известната триада на ЦРУ (шега), а ако сме сериозни, то CIA — Confidentiality, Integrity and Availability:
    • във връзка с това, към критичните нива на мрежата — разпределение и ЦОД се появяват допълнителни изисквания за устойчивост и резервиране
    • отново настъпва растеж на трафика поради внедряване на нови системи за сигурност — например РКВИ и т.н.

  Рано или късно, нарастващият трафик, услугите и броят на потребителите ще доведат до необходимост от внедряване на допълнително ниво на мрежата — ядро, което ще изпълнява бърза комутация/маршрутизация на пакети, използвайки високоскоростни линкове.

  В този момент предприятието може да премине към 3-степенен модел на мрежата:

  
  
  Както се вижда на схемата по-горе — в такава мрежа присъства ядреното ниво, което агрегира високоскоростни линкове от комутаторите за разпределение. По този начин и към комутаторите на ядрото също се поставят изисквания за:

  • пропускна способност на интерфейсите — 1GE, 2.5GE, 10GE, 40GE, 100GE
  • производителност на комутатора (производителска мощност и представяне при пренос) н
  • типове интерфейси — 1000BASE-T, SFP, SFP+, QSFP, QSFP+
  • броя и набора на интерфейсите
  • възможности за резервиране (стекарване, клъстериране, резервиране на контролни платки (актуално за модулни комутатори), резервиране на електрическо захранване и т.н.)
  • функционалност

  На такова ниво в мрежата определено е необходима както техническа модификация:

  • резервиране на възли и връзки в ядрото (много, много, много желателно)
  • резервиране на възли и линкове на нивото на разпределение (в зависимост от критичността)
  • резервиране на линкове между комутаторите за достъп и нивото на разпределение (при необходимост)
  • въвеждане на протоколи за динамично маршрутизиране
  • баланс на трафика както в ядрото, така и на нивата на разпределение и достъп (при необходимост)
  • внедряване на допълнителни услуги — както транспортни, така и услуги за сигурност (при необходимост)

  така и юридическа, определяща мрежовата политика за сигурност на предприятието, която допълва общата политика за сигурност в частта:

  • изисквания за внедряване и настройка на определени функции за сигурност на комутаторите за достъп и разпределение
  • изисквания за достъп, мониторинг и управление на мрежовото оборудване (протоколи за отдалечен достъп, разрешени сегменти за управление на мрежата, настройки за логиране и т.н.)
  • изисквания за резервиране
  • изисквания за формулиране на минимално необходимия комплект ЗИП

  В този раздел аз накратко описах еволюцията на мрежата и предприятието от няколко комутатора и няколко десетки служители до няколко десетки (а може би и стотици комутатори) и няколко стотици (а може би и хиляди) само от тези служители, които работят директно в мрежата на предприятието (а все пак има и производствени департаменти и инженерни мрежи).
  Ясно е, че в реалността такова "чудесно" и бързо развитие на предприятието не се случва.
  Обикновено преминават години, за да нарасне предприятието и мрежата от своето начално 1 ниво до 3-то, което описвам.

  Защо пиша всички тези банални истини? Защото искам да спомена такъв термин като ROI — възвръщаемост на инвестициите и да разгледам онзи негов аспект, който пряко касае избора на мрежово оборудване.

  При избора на оборудване, мрежовите инженери и техните ръководители често избират оборудването на базата на два фактора — текущата цена на оборудването и минималната техническа функционалност, необходима в момента за решаване на конкретна задача или задачи (за закупуването на оборудване за резервиране ще разкажа по-късно).

  В същото време, рядко се разглеждат възможностите за бъдещ «растеж» на оборудването. Когато се появи ситуация, в която оборудването изчерпва функционалността или производителността си, се закупува по-мощно и функционално, а старото се предава на склад, или някъде в мрежата по принципа «да стои» (това, между другото, също е причина за появата на голямо разнообразие от оборудване и закупуването на множество информационни системи, работещи с него).

  Така вместо закупуването на част от лицензите за допълнителна функционалност и производителност, които струват много по-евтино от новото, по-високопроизводително оборудване, се налага да се купи ново желязо и да се преплати по следните причини:

  • мрежата обикновено расте бавно и разширението на функционалността или производителността на комутатора може да е достатъчно за дълго време
  • не е тайна, че оборудването на чуждестранни вендори е обвързано с чуждестранна валута (долар или евро). Ако трябва да бъда честен — растежът на долара или еврото (или периодичното мини-девавлиране на рублата, в зависимост от гледната точка) води до това, че доларът преди 10 години и доларът сега са съвсем различни неща от гледна точка на рублата

  Сумирайки всичко казано дотук, искам да подчертая, че закупуването на мрежово оборудване с по-широка функционалност в момента може да доведе до икономии в бъдеще.
  Тук разходите за закупуване на оборудване разглеждам в контекста на инвестирането в собствената си мрежа и инфраструктура.

  Така много вендори (не само Extreme) следват принципа pay-as-you-grow, като вграждат в оборудването множество функционалности и възможности за увеличаване на производителността на интерфейсите, които по-късно се активират чрез закупуване на отделни лицензи. Освен това предлагат модулни комутатори с широк набор от интерфейсни и процесорни карти и възможност за последователно увеличаване както на техния брой, така и на производителността.

  Резервиране на критични възли

  В тази част на статията искам накратко да опиша основните принципи на резервиране на важни възли в мрежата, като ядрови комутатори, центрове за данни или разпределителни възли. И ще започна с разглеждане на общите видове резервиране — стекване и клъстеризиране.

  Всеки от методите има своите предимства и недостатъци, за които бих искал да поговоря.

  По-долу е представена обща сравнителна таблица на двата метода:

  
  

  • управление — какъвто и да е случай, в това отношение преимуществото е на страничките, тъй като при управление от стека от няколко комутатора те изглеждат като един комутатор с множество портове. Вместо да управлявате например 8 различни комутатора при клъстеризация, можете да управлявате само един при стекването.
  • разстояние — към момента, строго погледнато, преимуществото на клъстеризацията не е толкова очевидно, тъй като се появиха технологии за стекване на комутатори чрез портове за стекване или портове с двойно предназначение (например SummitStack-V при Extreme, VSS — при Cisco и т.н.), които също зависят от типовете трансивъри. Тук предимството е дадено на клъстеризацията на основание, че при стекването съществуват опции, при които е необходимо да се използват обикновени порта за стакване, които често са свързани с помощта на специални кабели с ограничена дължина — 0.5, 1, 1.5, 3 или 5 метра.
  • актуализация на софтуер — тук виждаме, че клъстеризацията има предимство пред стекването и причината е следната — при актуализиране на версията на софтуера на оборудването при стекването, вие актуализирате софтуера на главния комутатор, който по-късно поема ролята на инсталиране на новия софтуер на резервните членове на стека. От една страна, това улеснява работата ви, но актуализацията на софтуера обикновено изисква хардуерно рестартиране на оборудването, което води до рестартиране на целия стек и по този начин до прекъсване на работа му и на всички свързани с него услуги за времето = времето за рестартиране. Обикновено това е много критично за ядрото и центровете за данни. При клъстеризация — имате две независими устройства, на които можете да актуализирате софтуера последователно едно след друго. По този начин можете да избегнете прекъсванията в услугите.
  • конфигурация на настройки — тук предимството определено е в стекирането, тъй като при управлението е необходимо да променяте настройките само за едно устройство и неговия конфигурационен файл. При кластеризацията обаче броят на конфигурационните файлове ще бъде равен на броя на възлите в клъстера.
  • отказоустойчивост — тук и двата технологии са приблизително равни, но кластеризацията има малко предимство. Причината е в следното — ако разгледаме стека от гледна точка на стартираните процеси и протоколи, ще видим следното:
    • има master-switch, на който са стартирани всички основни процеси и протоколи (например протокол за динамична маршрутизация — OSPF)
    • има другите slave-switch комутатори, на които са стартирани основните процеси, необходими за работа в стека и обслужване на трафика, преминаващ през тях
    • при отказ на master-switch комутатора, следващият по приоритет slave-switch комутатор открива отказа на мастера
    • той инициира себе си като мастера и стартира всички процеси, които работеха на мастера (включително наблюдавания от нас протокол OSPF)
    • след известно време на стартиране на процесите (обикновено доста кратко), започва да работи самият протокол OSPF
    • по този начин OSPF при отказ на един от възлите в кластеризацията ще действа малко по-бързо, отколкото при стекирането (за времето, необходимо за стартиране и инициализиране на процесите и протоколите на slave комутатора в стека). Въпреки това, трябва да подчертая, че съвременните протоколи за стекиране и комутатори работят много бързо; често времето за прекъсване на трафика при превключване на стека е по-малко от една секунда, но все пак номинално кластеризацията печели по този параметър.

  • сложност — както се вижда от таблицата, по отношение на сложността стекирането печели. Това е пряко следствие от пунктовете „управление“ и „конфигурация на настройките“. Индивидуален възел изисква значително по-малко време за настройки и управление. Също така при кластеризацията често се налага да се настройват допълнителни протоколи за маршрутизация или протоколи за резервиране на шлюзове — VRRP, HSRP и други.
  • замяна на възлите — тук има ясна предимство на стекирането. Често, за да се смени комутатор в стека, е необходимо да се направят минимално необходимите настройки на оборудването, например:
    • да се обнови софтуерът на новия комутатор до версията на софтуера на стека (което може да се направи веднага при постъпване на комутаторите в ЗИП)
    • да се настроят няколко основни команди за стекиране (за някои видове комутатори дори това може да не е необходимо)
    • да се извади повреденият комутатор от стека и да се свърже нов
    • да се свърже електрическият ток и патчкабелите

  • еластичност — Аз я разглеждам като един от основните параметри. В общи линии, еластичността е комплексна характеристика, която означава свойството на нещо да се променя под действието на натиск и да се връща в първоначалното си състояние след изчезването на натиска. Както не е странно, за кластеризацията тя ще бъде по-висока, дори и при резултат 4:3 в полза на стекирането. Всичко е в човешкия фактор. Да, не се изненадвайте — в силата на такива параметри на стекирането, като единно управление, конфигурация на настройки и опростена сложност, се крие слабостта на стекирането, когато човешкият фактор влиза в игра.

  През работа си в областта на ИТ съм се сблъсквал много пъти с ситуации (да, какво да се лъжем, и аз съм стъпвал на същите грабли, особено в началото), когато при настройка на стека инженерът е допускал грешка при въвеждането на команда или включването/изключването на функционалността на оборудването, което е водело до отказ на целия стек и до ръчно презареждане. Отделно трябва да спомена любителите на приложението Putty за Windows (ох, това копиране с десния бутон на мишката).

  Всъщност и двете технологии са сравнително добри (особено в сравнение с отсъствието на резервиране) и всяка от тях има свои силни и слаби страни, но за ядрото и за високонагружените ЦОД предпочитам все пак да използвам кластеризация.

  Въпреки че това е само моето мнение. Много професионални инженери, които се занимават с поддръжка на мрежа на професионално ниво от много години, могат да се справят с двете технологии в равна степен — всичко зависи от опита и квалификацията.

  В допълнение към технологиите за стекиране и резервиране на мрежови възли, съществуват и общи принципи за резервиране на части от самия мрежов възел и връзките между възлите:

  Под резервирането в мрежовия възел разбирам:

  • резервиране на захранващи блокове — инсталиране на 2 блока захранване, дублиращи се един друг (и е желателно поне единият да бъде свързан към 1-ва категория електрическо захранване), което може значително да улесни живота ви.
  • резервиране на контролни платки — основно се отнася до модулни комутатори, при които е предвидено свързване на няколко дублиращи се контролни платки.
  • резервиране на интерфейсни карти — също се отнася най-вече до модулни комутатори.

  Под резервирането на връзките/линковете основно се разбира наличието на дублиращи се кабелни трасета (или радиорелета в случай на открити пространства) с:

  • разпределение в различни кабелни шахти и канали в сградата
  • географско разпределение на територията на ниво от 2 и повече сгради, градове, области или страни (т.нар. обемни пръстени)

  При изграждането на резервни връзки е необходимо да се спазват редица препоръки за оборудването:

  • в случай на дублиране на интерфейсните карти на модулния комутатор или при наличие на стек, е необходимо да се разпределят линковете между единиците — интерфейснитe карти в случай на модулни комутатори и комутаторите в случай на стек.
  • желателно е да се използват протоколи за агрегация на връзките (LACP, MLT, PAgP и т.н.) за обединяване на линкове в групи и разпределение на натоварването между тях.
  • да се използват маршрутизатори, които поддържат протоколи ECMP (Equal-Cost-Multi-Path) — когато при доставката на няколко пакета по един маршрут тези пакети не минават през един най-добър маршрут (и интерфейс), а се разпределят по няколко най-добри маршрута (и няколко интерфейса), които са определени въз основа на равенството на метриките на протокола за маршрутизация, който от своя страна отговаря за запълването на крайното таблица за маршрутизация.

  А сега, както обещах, ще опиша реален случай от моята практика и принципа на икономия при резервирането на критични възли, който се случи преди няколко години:

  • в една компания, ще я нарека X, имаше стандартна 3-степенна модел на мрежа:
    • с няколко ядрa
    • няколко десетки агрегации
    • с хиляди комутатора за достъп
    • с десетки хиляди потребители

  • мрежата беше доста сложно изградена:
    • с куп динамични маршрутизиращи протоколи и протоколи — OSPF, MP-BGP, MPLS, PIM, IGMP, IPv6 и т.н.
    • с куп услуги — достъп до интернет, L2 и L3 VPN, VoIP, IPTV, специализирани линкове и т.н.

  • но имаше едно тясно място в мрежата — граничният маршрутизатор, който комбинираше функции на BGP-граница и терминираше някои потребителски услуги
  • да, той струваше колкото крило на самолет (няколко милиона рубли)
  • да, в онзи момент той беше едно от топ устройствата в портфолиото на най-прочутото мрежово инсталационно дружество
  • да, той трябваше да бъде много надежден — с отличен показател MTBF
  • да, имаше 4 захранващи блока, сглобени по схема 2х2 и включени от различни UPS и входове.

  Но всичко това не отменяше факта, че той беше единствена точка на провал в мрежата.

  И в един, далеч не прекрасен ден за мен и моите колеги, този маршрутизатор предаде духа си (по-късно се установи, че е възникнала някаква повреда на линията на електрическото захранване през UPS, което доведе до изключване на едновременно 2 блока захранване, а един от блоковете повреди модула RP на маршрутизатора и интерфейсната карта, които бяха свързани към общата шина на данните на устройството).

  Нямахме резервни платки — RP и интерфейсната карта, но имаше договор за подмяна на оборудване или негови компоненти с един от партньорите по схемата NBD.

  За съжаление, при партньорите в онзи момент на склад имаше само интерфейсната карта, но не и платката RP, тя пристигна само след няколко дни (след 3 дни).

  В крайна сметка наличието на единствена точка на провал в мрежата (даже с наличието на договор за поддръжка и подмяна на оборудване) доведе до следните финансови разходи:

  • дялът на услугите на компанията, свързан с този бордер, беше около 60-70%
  • както впоследствие беше изчислено, дневната печалба бе около 900 хиляди рубли (приблизително) в онзи момент
  • така че за 3 дни престой теоретично беше загубена печалба в размер на между 1 милион 620 хиляди рубли и 1 милион 890 хиляди рубли

  Разбира се, чистите загуби бяха по-малки, тъй като компенсацията на основната част от потребителите не беше върната в парична форма, а под формата на услуги, но те пак бяха:

  • част от компенсациите на корпоративните потребители
  • увеличени разходи за служители на предприятието, които работиха всички тези 3-4 дни в пълен състав — извънреден труд, нощни дежурства, увеличаване на смените и т.н.
  • репутационни загуби, което също не е маловажно
  • и най-важното — нерви, както на ръководството, така и на служителите и клиентите

  В крайна сметка политиката на компанията беше преразгледана:

  • отказаха се от договора за замяна по условие NBD
  • оставиха обикновен сервизен договор
  • закупиха резервен маршрутизатор на стойност около 1 — 1.3 млн рубли, за да осигурят 90% функционалност на основния

  В последствие закупуването на допълнително оборудване и резервирането на основното позволи да се балансира между тях натоварването от външни линкове, трафик и потребители и осигури в бъдещи аварии запас на здравина за компанията.

  Пример за проектиране на мрежа на предприятие

  В тази част на статията ще се опитам да изложа основните моменти при изчисляването на опорната мрежа на предприятието. Няма да ви пренаситя с цялата методика PPDIOO (Prepare-Planning-Design-Implement-Operate-Optimize), а само ще отбележа основните ѝ моменти:

  • Prepare/Подготовка — необходимо е да се уточни с ръководството целите на модернизацията на мрежата, които искате да постигнете — да повишите отказоустойчивостта, да внедрите нови услуги или технологии. Определянето на ограниченията — технически и организационни, пропускам тук, тъй като предполагам, че сте служител на организацията и разполагате с достатъчно време за преодоляване на тези ограничения. Връщам се на темата за бюджета по-долу.
  • Planning/Планиране — тук трябва да съставите пълна характеристика на текущата си мрежа (ако все още не я познавате), т.е. да опишете мрежата така, както е в момента:
    • броя и типа оборудване
    • броя и типовете портове
    • съществуващите кабелни трасета и схеми на комутиране вътре в сградите и между тях
    • схеми на електрозахранването
    • L2 и L3 адресация
    • да изградите карти на Wi-Fi мрежите с указание на точки за достъп и контролери
    • да опишете вашата сървърна ферма
    • е желателно да опишете всички ваши услуги и връзки между тях
    • ако вече имате внедрена в една или друга форма политика на мрежова сигурност и ограничаване на мрежовия достъп, задължително я вземете предвид при проектирането
    • Сразу забелязвам, че втората стъпка всъщност представлява пълна инвентаризация на мрежата, започвайки от кабелната инфраструктура и схемите за електрическо захранване, и завършвайки със услугите (приложенията и техните портове). Тази стъпка е много трудоемка и понякога дори монотонна. Ако вие или вашият предшественик не сте водили документация или дори елементарна система за мониторинг, сега е моментът да помислите за това. Мрежата има тенденция да се променя с течение на времето с различна скорост и само актуализацията на документацията или система за мониторинг може да ви помогне да следите състоянието ѝ и да улесните нейното администриране. Но това вече се отнася към стъпката operate.

  • Дизайн/Проектиране — въоръжени с пълни познания за вашата мрежа, получени на предишната стъпка, най-накрая сядаш и мислиш как да модернизираш вашата мрежа. По-долу ще се опитам да демонстрирам малък пример за изчисление на мрежата.

  За себе си съставих малък списък с изходни данни, на които ще се ръководя при изчисляване и проектиране на основната мрежа.

  Нека представим стъпката Prepare под формата на списък на наличните ресурси и планираните действия:

  • имаме доста голямо предприятие с приблизителен брой работни места, около 700-800 броя (тук имам предвид тези служители, които изискват достъп до мрежата на предприятието)
  • има няколко отделно стоящи сгради в границите на територията на предприятието:
  • Основни сгради:
    • броя на сградите — 2 броя
    • броя на етажите в сградата — 7 броя
    • броя на телекомуникационните шкафове на етаж в една сграда — 3 (общо 21) броя
    • броя на служителите в сградата =~ 250 души

  • Допълнителни сгради:
    • броя на сградите — 10 броя
    • броя на етажите в сградата/цеха — 2 броя
    • броя на телекомуникационните шкафове в сградата — 3 броя
    • броя на служителите в сградата =~ 20 души

  • Текущото ядро на мрежата (всъщност много разпространена схема, с която съм се срещал не веднъж в различни варианти и състави на портовете) е представено:
    • 2 комутатора L2:
      • 1Gb портове тип RJ-45 — 24 броя
      • 1Gb SFP портове — 4 броя
    • 1 комутатор L2:
      • 1Gb SFP портове — 24 броя
    • топология на ядрото — пръстен
    • peer-to-peer връзки между комутаторите, използващи оптични влакна
    • комутаторите се намират в малки сървърни стаи със шкафове
  • Текущото ниво на разпределение:
    • съединен с нивото на ядрото на мрежата в частта за агрегация на линкове от комутаторите за достъп
    • L3 адресацията е прехвърлена на граничния маршрутизатор и/или междусетевия екран
  • Текущо ниво на достъп:
    • L2 комутатори с 16 x 100 Mb портове за достъп RJ-45 и 2 гигабитови комбо аплинк порта RJ-45/SFP
    • комутаторите се разполагат в шкафове на етажите
    • топология на комутаторите за достъп:
      • звезда (hub-and-spoke — хъб и спици) с комутатор на ядрото/разпределението в средата
      • лъч/spoke представлява верига от комутатори по етажите — 3 бр. в верига
    • има неуправляеми комутатори за достъп
    • комутаторите в 9 допълнителни корпуса са свързани чрез медиаконвертори (преобразуватели на оптичен сигнал в електрически)
  • Текуща кабелна инфраструктура:
    • Кабелна система между сградите:
      • има оптичен кабел между 2-те основни сгради с капацитет 8 влакна
      • има по 1 оптичен кабел между един от допълнителните корпуси (където е инсталиран комутаторът на ядрото) и всяка от основните сгради, с капацитет 8 влакна всеки
      • има по 1 оптичен кабел между доп. корпуси и корпусите с инсталирани комутатори на ядрото с капацитет 4 влакна (разпределението им е показано на изображението по-долу)
      • тип влакна във всички кабели — одномодов/SMF
      • използват се 2-волоконни одномодови SFP трансивери
      • част от кабелите са терминали на оптични кросове (ODF) в отделни помещения (крос-зали/серверни), а част от кабелите в етажни ШТО

    • Кабелна система вътре в сградите:
      • има смесена кабелна структура между серверните стаи и първите шкафове на етажите:
      • медни кабели Cat5e — 10 броя (или 100 парни кабели)
      • оптичен многомодов/MMF кабел на 4 или 8 влакна — 1 брой
      • оптичен многомодов/MMF кабел на 4 влакна между етажни шкафове
      • медни кабели Cat5e между етажни шкафове и точки за достъп
    • текущ ЦОД:
      • има няколко сървъра, например 6 броя
      • включени 1Gb портове в комутатор на ядрото в 1-то основно здание
      • всички приложения на предприятието са прехвърлени на сървъри
    • адресация L2, L3 и маршрутизация:
      • в мрежата има няколко VLAN — 2,3 броя на здание
      • сървърите са отделени в отделна /24 мрежа
      • за вътрешни нужди се използват сиви мрежи от клас B, попадащи в диапазона — 172.16.0.0/16
      • L3 адресите се терминират на граничния маршрутизатор и/или на междусетевия екран
      • използва се статична маршрутизация
    • допълнителна информация:
      • телефония:
        • в сградите и някои корпуси е внедрена традиционна телефония с цифрови PBX от стар тип (не IP-PBX)
        • необходимо е да се телефонизират новите корпуси без разходи за прокарване на скъпи медни кабелни линии с определена вместимост и изграждане на дублираща СКС за телефония в сградите
        • в бъдеще се планира въвеждане на IP-телефония на територията на предприятието, комбиниране с CRM системи и прехвърляне на всички служители на нея
      • вместимост на портовете:
        • необходимо е да се анализира текущата вместимост на магистралните портове и портовете за достъп и да се резервират не по-малко от 25-30% за бъдещите нужди
        • да се анализира достатъчността на текущата пропускна способност на портовете за достъп и магистралните връзки
        • да се предвиди наличието на PoE/PoE+ портове за достъп за устройства от съседни системи — видеонаблюдение и телефония
      • видеонаблюдение:
        • планира се да се използва мрежата на предприятието като транспортна мрежа за системата за видеонаблюдение
        • необходимо е да се предвиди наличието на PoE портове за видеокамерите
      • безжични системи:
        • в бъдеще се планира внедряване на безжична инфраструктура за мобилност на служителите
        • необходимо е да се предвиди наличието на PoE портове за достъпни точки
      • бюджет, срокове и изисквания към оборудването:
        • да се използва съществуващото оборудване максимално
        • при проектиране на мрежата да се предвиди възможността за разширяване на пропускната способност на мрежата за N години напред
        • при проектиране на мрежата да се предвиди поддръжка на всички видове функции за сигурност — тук списъкът на функциите, започвайки от port-security и завършвайки с аутентификация и авторизация на потребителите по 802.1х.
        • максимално възможно да се резервират критични възли на мрежата с първостепенно значение — ядро и ЦОД, и да се предвиди възможност за резервиране на възли със второстепенно значение — узли за разпределение
        • бюджетът на проекта трябва да предвижда последователно финансиране на няколко етапа
        • сумата на бюджета — тук всяко предприятие определя за себе си, ръководейки се от своите финансови показатели
        • сроковете – в най-идеалния случай тук няма да има явни срокове, тъй като това е вътрешен проект на компанията, който се реализира от собствените й служители, или те ще бъдат относително удобни – например, 1 година (и повече). В по-лошия случай – може да е от 3 месеца до полугодие.
      • да се отстранят текущите проблеми в мрежата:
        • загуби на пакети
        • проблеми с DHCP на по-или по-малко интелигентни комутатори за достъп, свързани с използването на семейството протоколи STP за борба с цикли на портовете за достъп.
        • да се избавим от наличието на интерфейс на DHCP сървъра във всеки VLAN на служителите
        • възникване на комутационни цикли, свързани с самоволно включване на управлявани/неуправлявани комутатори в кабинетите и свързването им с всевъзможни устройства
        • списъкът може да продължи и продължи...

      Стъпка Планиране – характеристиката на състоянието на вашата текуща мрежа, както вече писах, зависи от наличието на качествена система за мониторинг и степента на нейното документиране. На тази стъпка ще трябва да:

      • поне да начертаете съществуващата мрежа за по-нататъшен анализ
      • да съберете данни от оборудването:
        • трафик по магистрални портове
        • грешки на портове
        • натоварване на CPU и разход на памет в комутатори и маршрутизатори
        • да опишете L2-L3 схеми по VLAN-ите и IP адресите
      • да повдигнете схеми на кабелните трасета:
        • схеми на влакта и схеми на разпределение на оптичните кроссове
        • схеми на медни кабелни разпределения между сървърните стаи и етажите
        • схеми на медни кабелни разпределения между етажите и кабинетите
        • да проверите наличието на оптични кроссове и патч панели в сървърните стаи и шкафовете
      • да проверите схемите на електрическо захранване в сървърните стаи и етажните шкафове
      • да проверите наличието на UPS и АКБ на критичните узли
      • да анализирате всички данни

      Ръководейки се от данните от етапа на подготовка, получих приблизителна логическа схема:

      
      
      По-нататък, следвайки модулния подход, е необходимо да се отделят нивата и модулите на предприятието:

      
      
      Границите (Edge) в тази статия няма да се докосвам, а накратко ще напомня основните тези по всеки от модулите Campus:

      • Достъп – на това ниво трябва да осигурява:
        • необходимото количество портове за достъп на потребителите до мрежата
        • изпълнение на политики за сигурност – филтриране на трафика и протоколите
        • свиване на широковещателни домейни и сегментиране на мрежата с помощта на VLAN
        • внедряване на отделни VLAN за гласов трафик
        • поддръжка на QoS
        • поддръжка на PoE портове за достъп
        • поддръжка на IP multicast
        • отказоустойчивост на възходящите линкове на връзката заедно с нивото на разпределение (желателно)
      • Разпределение — на това ниво трябва да се осигури:
        • необходимото количество портове за свързване на комутатори за достъп
        • агрегиране и резервиране на линкове на комутатори за достъп
        • IP маршрутизация
        • филтриране на пакети
        • поддръжка на QoS
        • отказоустойчивост на ниво линкове, оборудване и електрическо захранване (много желателно)
      • Ядро — трябва да осигурява:
        • висока скорост на комутация и маршрутизиране на пакети
        • необходимото количество портове за свързване на комутатори за разпределение
        • поддръжка на IP маршрутизация и динамични протоколи за маршрутизиране с бърза конвергенция на мрежата
        • поддръжка на QoS
        • функционалност за сигурност за защита на достъпа до оборудването и control plane
        • отказоустойчивост на ниво оборудване и електрическо захранване (задължително)
      • ЦОД — мрежовото ниво на този модул трябва да осигури:
        • високоскоростни линкове на връзката
        • необходимото количество портове за свързване на сървъри
        • резервиране на линкове на връзката както между сървъри и комутатори на ЦОД, така и между комутатори на ЦОД и ядрото на мрежата (задължително)
        • резервиране на оборудване и електрическо захранване (задължително)
        • поддръжка на QoS

      След това трябва да изчислим нашите портове и линкове на връзката и да определим изискванията.
      Ниво на достъп — таблица за изчисляване на портовете

      Така, получихме данни за разпределение на портовете за достъп по сгради. Сега е необходимо да анализираме изискванията за нивото на достъп и забележките и да посочим варианти за решение.
      Ниво на достъп — изисквания и варианти за решение

      След това ще изчислим портовете и линковете на връзката за следните нива:

      Ниво на разпределение

      Ниво на ядро

      Ниво на ЦОД

      При изчислението получихме следното:

      • достъпен етап — необходими са 24-портови и 48-портови комутатори за достъп, желателно с 1Gb портове за достъп и с оптични uplink портове SFP с поддръжка на PoE и широк функционал:
        • в сумата те ще предоставят 504 порта за достъп, което в принцип ще покрие изискванията за резервни портове, ако се вземе решение да се използват 2 порта на работно място — IP телефон и данни порт.
        • възможно е използването на един 48-портов комутатор с PoE функционалност на всеки етаж, осигуряващ достъпни портове за изискванията:
          • резерви — около 102 излишни порта (22%) в основните сгради. За допълнителни корпуси малко повече — 25%.
          • видеонаблюдение
          • безжична мрежа
      • разпределителен етап — изискват се комутатори с набор от SFP портове от 12 до 48 порта с наличие на поне 2 SFP+ порта, с възможност за стекиране и разширен функционал, както и наличие на резервни блокове за захранване.
      • ядрен етап — изискват се високоскоростни комутатори от 12 до 24 SFP/SFP+ порта с поддръжка както на стекиране, така и на кластеризация с поддръжка на MC-LAG. Трябва да се отбележи, че може да се използват и маршрутизатори за балансиране на трафика. Последните поколения L3 комутатори и маршрутизатори поддържат ECMP с балансиране на трафика по 4 или повече маршрута с еднаква метрика.
      • нивото на ЦОД — изискват се комутатори от 8 до 24 SFP/SFP+ порта с поддръжка както на стекиране, така и на кластеризация с поддръжка на MC-LAG.

      Целевата схема на мрежата в крайна сметка се оказа такъв

      Избор на комутатори Extreme за реализиране на проекта

      Ето и стигнахме до главното — момента на избора на комутатори за реализиране на нашия проект. За получената целева схема са подходящи следните комутатори Extreme:

      Ниво
      Модел
      Портове
      Описание

      ядро
      x620-16x-Base *

      x670-G2-48x-4q-Base*
      16 x 10GE SFP+
       
       
       
      48x10GE SFP+ и 4×40 GE QSFP+
      За основните нужди на ядрото:

      • високоскоростни линкове
      • разширен функционал за маршрутизиране и сигурност
      • резервиране на захранването с допълнителни блокове за захранване
      • поддръжка на стекиране и кластеризация

      С минимални изисквания е подходящ комутаторът от серия x620.
      В случай на разширени изисквания към броя порта и по-широк функционал, трябва да се разгледат комутаторите от серия x670-G2.

      ЦОД

      x620-16x-Base*

      x590-24x-1q-2c*

      x670-G2-48x-4q-Base*

      16 x 10GE SFP+
       
       
       
      24x10GE SFP, 1xQSFP+, 2xQSFP28
       
       
      48x10GE SFP+ и 4×40 GE QSFP+

      За основните нужди на ЦОД:

      • високоскоростни линкове
      • резервиране на захранването с допълнителни блокове за захранване
      • поддръжка на стекиране и кластеризация

      С минимални изисквания е подходящ комутаторът от серия x620.
      В случай на разширени изисквания към броя порта и по-широк функционал, трябва да се разгледат комутаторите от серия x670-G2 и x590-24x-1q-2c.

      разпределение

      X460-G2-24x-10GE4-Base*

      X460-G2-48x-10GE4-Base*

      24x1GE SFP, 8×1000 RJ-45, 4x10GE SFP+
       
       
       
      48x1GE SFP, 4x10GE SFP+

      За основните нужди на разпределение:

      • необходимо количество оптични портове
      • резервиране на захранването с допълнителни блокове за захранване
      • поддръжка на стекиране и кластеризация
      • необходим L3 функционал

      Идеално подходящи са комутаторите от серията x460-G2. Наличието на резервни блокове за захранване с възможност за разширение и добавяне на портове 10G, CX (за стековане) и QSFP+ ги прави идеални комутатори за разпределителния слой с портове до 1 Gb.

      достъп

      X440-G2-24p-10GE4*

      X440-G2-24t-10GE4*

      X440-G2-48t-10GE4*

      X440-G2-48p-10GE4*

      24x1000BASE-T(4 x SFP комбинирани), 4x10GE SFP+ (PoE бюджет 380 Вт)
       
      24x1000BASE-T(4 x SFP комбинирани), 4x10GE SFP+
       
       
      24x1000BASE-T(4 x SFP комбинирани), 4x10GE SFP+ комбинирани портове
       
      48x1000BASE-T(4 x SFP комбинирани), 4x10GE SFP+ комбинирани портове (PoE бюджет 740 Вт)

      За нуждите на достъпа:

      • необходимо количество портове за достъп
      • поддръжка на PoE/PoE+
      • функционалност и възможност за разширение на портове
      • допълнителен бонус под формата на поддръжка на стековане с 10Gb портове „извън кутията“

      Препоръчвам да обърнете внимание на тази серия заради нейната гъвкавост в частта за портове, производителност и функционалност.

      *спецификацията на избраните комутатори може да бъде видяна в първата статия от цикъла — преглед на комутаторите Extreme

      На този етап можех да приключа статията, но бих искал да подчертая допълнително 2 аспекта, с които всеки инженер се сблъсква при развитие или обновление на мрежата си:

      • работа с кабелни трасета — оптични и медни линии
      • IP адресиране

      Работа с оптичен кабел

      По-горе представих целевата схема, до която трябва да достигнем. За нейното изпълнение е необходимо следното количество връзки за оборудването:

      количество линкове за свързване

      Както се вижда от таблицата, минималното количество оптични влакна, необходимо за осигуряване на отказоустойчивост на нивата на мрежата (ядрото, центрове за данни и разпределения в 2 сгради) — 10 броя.

      На етапа на характеристиката на мрежата установихме, че в кабела между сградите има само 8 влакна. Какво да правим в такава ситуация?

      Ще предложа няколко решения:

      • първата очевидна стъпка — да се използват свободните влакна в кабела между сграда 1 — корпус 1 и корпус 1 — сграда 2 (както се вижда от таблицата — само 2 от 8 влакна се използват в всеки кабел). За това е достатъчно да се поставят оптични кросировки между кросовете в корпус 1 и при необходимост да се използват SFP модули с резерв от оптичния бюджет.
      • Вторият етап – възможно е да се използва технология CWDM – компресия на носещите вълни в пределите на едно влакно. Тази технология е значително по-евтина от DWDM и е сравнително лесна за изпълнение. Основните изисквания са свързани с качеството на оптичните влакна и SFP/SFP+ трансивери с определена дължина и бюджет. Както вече споменах в предишната статия – възможността комутационните устройства да разпознават трансиври на трети производители може да ни улесни значително и да намали капиталовите разходи за изграждане на допълнителни оптични кабели.
      • На третия етап е необходимо да се разгледа възможността за увеличаване на влакната чрез полагане на допълнителни оптични кабели.

      Следващото, което разглеждаме, е количеството влакна между сградите с инсталирани комутационни устройства и допълнителни корпуси 2-10. И тук ситуацията не е съвсем еднозначна:

      • Първо, липсват влакна за реализиране на целевата ни схема – по 2 влакна за всеки комутатор (както помним, кабелите ни имат 4 ОВ на всеки корпус).
      • Второ, дори в наличието на достатъчно количество влакна между сградите, вътре в корпусите се използват MMF влакна, които няма да ни позволят просто да свръзваме SMF и MMF влакна (говоря за разстояния между сградите над 300-400 метра).

      В такива случаи може да се разглеждат следните варианти:

      • осигуряване на всяко комутационно устройство с SMF влакна:
        • Ако разстоянието позволява – могат да се прекарат допълнителни дълги патчкордове между комутационните устройства. В миналото използвахме патчкордове с дължина 30-50 м.
        • Да се положи сравнително евтин оптичен SMF кабел с малка капацитетност между шкафовете.
        • В краен случай да се използват различни SMF-MMF преобразуватели.
      • За минимизиране на използваните влакна между сградите може да се направи следното:
        • да се използва функционалността на стековете на комутационни устройства x440-G2 – при което да се използва по 1 SMF влакно до всяко комутатор на етажа, което ще ни позволи вместо 6 влакна и портове да използваме 3 влакна и порт на всяка страна.
        • да се използват по 2 влакна за свързване на първия комутатор в клон и последния. Да се агрегат линковете на граничните комутационни устройства и да се използват протоколи STP в полученото кольцо.

      IP-адресация

      Тук ще представя примерен изчислениe на адресацията за нашата схема.

      В момента имаме няколко мрежи от клас B — 172.16.0.0/16. При изчисляването на IP адресното пространство, ще се ръководя от следните съображения:

      • 4 бита на втория октет ще обозначават сградите — 172.16.0.0/12.
      • Третият октет ще обозначава номера на етажа в сградата.
      • Третият октет = 255 ще бъде отделен за point-to-point линкове на оборудването и мрежата за управление.
      • един managment VLAN на етаж за управление на комутаторите.
      • един потребителски VLAN на комутатор (в средно 24 порта).
      • един Voice VLAN на комутатор (в средно 24 порта).
      • един VLAN за системата за видеонаблюдение на етаж.
      • един VLAN за Wi-Fi устройства на етаж.

      Получиха се приблизително такива таблици:
      мрежа 172.16.0.0/14
      мрежа 172.20.0.0/14

      В горната таблица посочих приблизително разпределение на мрежите по сгради и етажи от една страна и мрежи (потребителски, управления и служебни) от друга.

      Всъщност изборът на сива мрежа 172.16.0.0/12 не е най-оптимален, тъй като ни ограничава в броя на мрежите (от 16 до 31) за сградите, а има и дистанционни офиси, на които също е необходимо да се разпределят блокове от мрежи. Може би по-оптималният вариант ще бъде използването на мрежи от 10.0.0.0/8 или комбинираната употреба на мрежи 172.16.0.0/12 (например за служебни нужди и сървъри) и 10.0.0.0/8 (за потребителски мрежи).

      По принцип подходът към разпределението на IP мрежите също е модулен и е желателно да се спазват правилата за сумаризиране на подсетите в една summary мрежа на нивата на разпределение, както и на пограничните рутери в дистанционните клонове. Това се прави по няколко причини:

      • за минимизиране на таблиците за маршрутизиране на рутерите
      • за минимизиране на служебния трафик на маршрутизиращите протоколи (всевъзможни update съобщения, при недостъпност на вложените подсети)
      • за опростяване на администрирането и по-добра четимост на L3 мрежите

      Въпреки че по първите 2 точки си струва да се отбележи, че мощността на съвременните рутери е много по-висока от тази преди 15-20 години и позволява поддържане в оперативната памет на големи таблици за маршрутизиране, а също така съотношението между цена и пропускна способност на комуникационните канали е намалело в сравнение с цените от времето на масовото използване на потоци E1/T1 (G.703).

      Заключение

      Приятели, в тази статия се опитах да разкажа накратко основните принципи на проектиране на кампусни мрежи. Да, материалът стана доста обширен, и това е без да засягам теми като:

      • организация на границата на предприятието (а това е отделна история с собствените си комутатори, бордъри, firewall, IPS/IDS системи, DMZ, VPN и други неща)
      • организация на Wi-Fi мрежи
      • организация на VoIP мрежи
      • организация на ЦОД
      • сигурност (а това също е собствен свят, който по обем и изисквания не отстъпва на проектирането на чиста мрежова инфраструктура, а понякога дори я превъзхожда)
      • енергетика
      • списъкът може да продължи и продължи

      Всъщност проектирането и построяването на мрежа за предприятие е доста трудоемка задача, изискваща много време и ресурси.

      Но се надявам моята статия да ви помогне да оцените и в началния етап да разберете как да подходите към тази задача.

      Това далеч не е последната статия по Extreme Networks, така че следете за обновления (Telegram, Facebook, VK, TS Solution Blog)!

Източник: habr.com