3. Дизајн мреже предузећа на Ектреме прекидачима

Добар дан пријатељи! Данас ћу наставити серију посвећену Екстремни прекидачи чланак о дизајну мреже предузећа.

У овом чланку покушаћу да будем што краћи:

• описати модуларни приступ пројектовању Етнтерприсе мреже
• размотрити типове изградње једног од најважнијих модула мреже предузећа - језгре мреже (ип-цампус)
• описати предности и недостатке опција за резервисање критичних мрежних чворова
• користећи апстрактни пример за дизајнирање/ажурирање мале пословне мреже
• изаберите Ектреме свитцхес за имплементацију пројектоване мреже
• рад са влакнима и ИП адресирање

Овај чланак ће више занимати мрежне инжењере и администраторе мреже предузећа који тек почињу свој пут као „мрежаши“ него искусне инжењере који су годинама радили у телеком оператерима или у великим корпорацијама са географски дистрибуираним мрежама.

У сваком случају, за заинтересоване обратите се кат.

Модуларни приступ пројектовању мреже

Почећу свој чланак са прилично популарним модуларним приступом мрежном дизајну, који вам омогућава да саставите слагалицу од делова мреже у једну целу слику.

Прво, мало апстракције – овај приступ врло често замишљам као зумирање на гео-мапама, када је земља видљива у првом апроксимацији, региони у другом, градови у трећем итд.

Као пример, размотрите овај пример:

• 1. апроксимација - цела мрежа предузећа је скуп различитих нивоа:
  • кичму или кампус
  • гранични ниво
  • ниво телеком оператера
  • удаљеним подручјима

• 2. апроксимација - сваки од ових нивоа је детаљно разложен у посебне модуле
  • Основна мрежа или кампус се састоји од:
    • Модул од 3 или 2 нивоа који описује мрежу предузећа и њене нивое - приступ, дистрибуцију и/или језгро
    • модул који описује дата центар - центар за обраду података (у суштини серверски део инфраструктуре)

  • гранични ниво се заузврат састоји од:
    • Модул за интернет везу
    • ВАН и МАН модул, који је одговоран за повезивање географски распоређених објеката предузећа
    • модул за изградњу ВПН тунела и приступ удаљеном приступу
    • Често многа мала предузећа имају неколико ових модула, или чак све, комбиноване у један

  • ниво провајдера:
    • Овај ниво укључује везе „са спољним светом” – тамна оптичка влакна (изнајмљивање влакана од оператера), комуникациони канали (Етхернет, Г.703, итд.), приступ Интернету.

  • даљински ниво:
    • углавном, то су филијале предузећа које су распоређене унутар града, региона, земље или чак континента.
    • ова зона може укључивати и резервни дата центар, који дуплира рад главног
    • и наравно, недавно све популарнији - радници на даљину (послови на даљину)

• 3. апроксимација – сваки од модула је подељен на мање модуле или нивое. На пример, на мрежи кампуса:
  • Трослојна мрежа је подељена на:
    • ниво приступа
    • ниво дистрибуције
    • ниво кернела

  • У сложенијим случајевима, центар података се може поделити на:
    • Мрежни део на 2 или 3 нивоа
    • серверски део

  Покушаћу да прикажем све горе наведено на следећој поједностављеној слици:

  
  
  Као што се може видети са горње слике, модуларни приступ помаже да се детаљна и структурира целокупна слика у саставне елементе са којима се може радити у будућности.

  За потребе овог чланка, фокусираћу се на ниво предузећа Цампус и детаљније га описати.

  Врсте ИП-ЦАМПУС мрежа

  Када сам радио за провајдера, а посебно касније када сам радио као интегратор, био сам суочен са различитом „зрелошћу“ корисничких мрежа. Не користим џабе термин зрелост, јер често постоје случајеви када структура мреже расте са растом саме компаније, и то је, у принципу, природно.

  У малој компанији која се налази унутар једне зграде, мрежа предузећа може се састојати од само 1 рубног рутера који делује као заштитни зид, неколико приступних прекидача и неколико сервера.

  Такву мрежу називам „једнослојном“ мрежом – апсолутно нема експлицитног језгра мреже, слој дистрибуције је померен на ивични рутер (са заштитним зидом, ВПН-ом и евентуално прокси функцијама), а приступни прекидачи служе и рачунарима запослених и сервери.

  
  
  Када предузеће расте – повећавајући број запослених, услуга и сервера – често је потребно:

  • повећати број прекидача у мрежи и приступних портова
  • повећати капацитет сервера
  • борити се са доменима емитовања - имплементирати сегментацију мреже и рутирање између сегмената
  • бавити се кваровима на мрежи који узрокују застоје запослених, јер то подразумева додатне финансијске трошкове за менаџмент (запослени не ради, плате се исплаћују, а посао није обављен)
  • у процесу суочавања са кваровима, размислите о редунданцији критичних мрежних чворова - рутера, прекидача, сервера и сервиса
  • пооштрити безбедносну политику, јер могу настати комерцијални ризици и, опет, за стабилнији рад мреже

  Све ово доводи до чињенице да инжењер (администратор мреже) пре или касније размишља о правилној изградњи мреже и долази до модела на 2 нивоа.

  Овај модел већ јасно разликује 2 нивоа – ниво приступа и ниво дистрибуције, који је уједно и основни ниво (срушено језгро).

  Комбиновани слојеви дистрибуције и кернела обављају следеће функције:

  • агрегира везе са приступних прекидача
  • уводи рутирање мрежних сегмената - има толико корисника и уређаја да не могу да се уклопе у једну /24 мрежу, а ако се уклапају, емитоване олује изазивају сталне кварове (нарочито ако им корисници помажу стварањем петљи)
  • обезбеђује комуникацију између суседних сегмената прекидача (преко бржих веза)
  • обезбеђује комуникацију између корисника и њихових уређаја и фарме сервера, која до овог тренутка такође почиње да се издваја у посебан мрежни сегмент – центар података.
  • почиње да обезбеђује, заједно са приступним прекидачима, у једном или другом степену, безбедносну политику коју предузеће почиње да има до овог тренутка. Компанија расте, расту и комерцијални ризици (овде не мислим само на одредбе о пословној тајни, диференцијацији политика приступа итд., већ и на основне застоје мреже и запослених).

  Дакле, мрежа пре или касније прерасте у модел на 2 нивоа:

  
  
  Овај модел уводи посебне захтеве како за прекидаче нивоа приступа, који агрегирају везе корисника и мрежних уређаја (штампачи, приступне тачке, ВоИП уређаји, ИП телефони, ИП камере, итд.), тако и за прекидаче нивоа дистрибуције и језгра.

  Приступни прекидачи морају бити паметнији и способнији да испуне мрежне перформансе, безбедност и захтеве флексибилности и морају:

  • имају различите типове приступних и магистралних портова - по могућности са могућношћу резерве за раст саобраћаја и броја портова
  • имају довољан уклопни капацитет и пропусност
  • имају неопходну безбедносну функционалност која би задовољила тренутну безбедносну политику (и идеално, раст њених даљих захтева)
  • имају могућност да напајају тешко доступне мрежне уређаје са могућношћу да их даљински поново покрену користећи напајање (ПоЕ, ПоЕ+)
  • моћи да резервишете сопствено напајање да бисте га користили на местима где је потребно
  • имају (ако је могуће) даљи потенцијал за раст функционалности - чест пример када се приступни прекидач на крају претвори у дистрибутивни прекидач

  Прекидачи за дистрибуцију, заузврат, такође подлежу следећим захтевима:

  • како у погледу транк довнлинк портова према приступним прекидачима, тако и према равноправним интерфејсима суседних дистрибутивних комутатора (и у будућности, могућим интерфејсима узлазне везе према језгру)
  • у погледу Л2 и Л3 функционалности
  • у погледу безбедносне функционалности
  • у смислу обезбеђивања толеранције грешака (редунданција, груписање и редундантност напајања)
  • у смислу пружања флексибилности при балансирању саобраћаја
  • имају (ако је могуће) даљи потенцијал за раст функционалности (трансформација уређаја за агрегацију у језгро током времена)
  • у неким случајевима може бити прикладно користити ПоЕ, ПоЕ+ портове на дистрибутивним прекидачима.

  Даље - више: ако менаџмент води политику активног раста и развоја предузећа, мрежа ће такође наставити да се развија у будућности - предузеће може почети да изнајмљује суседне зграде, гради сопствене зграде или апсорбује мање конкуренте, чиме се повећава број радних места за запослене. Истовремено, мрежа такође расте, што захтева:

  • обезбеђивање радних места запосленима – потребни су нови приступни прекидачи са приступним портовима
  • доступност нових дистрибутивних прекидача за агрегирање веза са приступних прекидача
  • изградња нових, као и модернизација постојећих комуникационих линија

  Као резултат тога, саобраћај се повећава из следећих разлога:

  • због повећања приступних портова и, сходно томе, корисника мреже
  • услед повећања саобраћаја из суседних подсистема који бирају мрежу предузећа као транспорт – телефонија, безбедност, инжењерски системи итд.
  • због увођења додатних услуга – кадровским растом се појављују нова одељења која захтевају одређени софтвер
  • рачунарска снага дата центра се повећава како би се испунили захтеви инфраструктуре и апликација
  • сигурносни захтеви за мрежу и информације расту – чувена тријада ЦИА (шала), али озбиљно, ЦИА – поверљивост, интегритет и доступност:
    • С тим у вези, појављују се додатни захтеви за толеранцију грешака и редундантност за критичне нивое мреже – дистрибутивне и дата центре.
    • опет долази до повећања саобраћаја због увођења нових система безбедности – на пример РКВИ итд.

  Пре или касније, раст саобраћаја, услуга и броја корисника довешће до потребе за увођењем додатног мрежног слоја – језгра, који ће вршити брзо пребацивање/рутирање пакета коришћењем брзих комуникационих веза.

  У овом тренутку, предузеће може да пређе на модел мреже на 3 нивоа:

  
  
  Као што можете видети на горњој слици, у таквој мрежи постоји ниво језгра, који агрегира везе велике брзине са дистрибутивних прекидача. Дакле, прекидачи кернела такође се суочавају са захтевима за:

  • пропусни опсег интерфејса - 1ГЕ, 2.5ГЕ,10ГЕ, 40ГЕ, 100ГЕ
  • перформансе прекидача (капацитет пребацивања и перформансе прослеђивања)
  • типови интерфејса - 1000БАСЕ-Т, СФП, СФП+, КСФП, КСФП+
  • број и скуп интерфејса
  • могућности редундантности (слагање, груписање, редундантност контролних плоча (релевантно за модуларне прекидаче), редундантност напајања, итд.)
  • функционалност

  На овом нивоу мреже је свакако потребна техничка модификација:

  • редундантност чворова и веза кернела (веома, врло, врло пожељно)
  • редундантност чворова и веза на нивоу дистрибуције (у зависности од критичности)
  • редундантност комуникационих веза између приступних прекидача и нивоа дистрибуције (ако је потребно)
  • увођење динамичких протокола рутирања
  • балансирање саобраћаја како у језгру тако и на нивоу дистрибуције и приступа (ако је потребно)
  • увођење додатних услуга - и транспортних и безбедносних (по потреби)

  и правни, дефинишући политику мрежне безбедности предузећа, која допуњује општу безбедносну политику у смислу:

  • захтеви за имплементацију и конфигурацију одређених безбедносних функција на приступним и дистрибутивним прекидачима
  • захтеви за приступ, праћење и управљање мрежном опремом (протоколи за даљински приступ, мрежни сегменти дозвољени за управљање, подешавања евиденције итд.)
  • захтеви за резервацију
  • захтеви за формирање минимално потребног комплета резервних делова

  У овом одељку, укратко сам описао еволуцију мреже и предузећа од неколико прекидача и неколико десетина запослених до неколико десетина (а можда и стотина прекидача) и неколико стотина (или чак хиљада) само оних запослених који директно раде у мрежи предузећа (а уосталом постоје и производна одељења и инжењерске мреже).
  Јасно је да се у стварности такав „чудесан“ и брз развој предузећа не дешава.
  Обично су потребне године да предузеће и мрежа прерасте са свог почетног 1. нивоа на 3. ниво који описујем.

  Зашто пишем све ове труизме? Затим, желим да поменем овде термин РОИ - повраћај улагања (поврат/поврат инвестиције) и да размотрим ону његову страну која се директно тиче избора мрежне опреме.

  Приликом избора опреме, мрежни инжењери и њихови менаџери често бирају опрему на основу 2 фактора - тренутне цене опреме и минималне техничке функционалности која је тренутно потребна за решавање одређеног задатка или задатака (о куповини опреме за редундантност ћу касније ).

  Истовремено, ретко се разматрају могућности за даљи „раст“ опреме. Ако дође до ситуације када је опрема исцрпљена у смислу функционалности или перформанси, онда се у будућности купују снажнија и функционалнија, а стара се предаје у складиште или негде на мрежи по принципу „на штанд” (ово, иначе, изазива и појаву великог зоолошког врта опреме и набавку гомиле информационих система који са њом раде).

  Дакле, уместо куповине дела додатних лиценци. функционалност и перформансе, који су много јефтинији од нове опреме високих перформанси, морате купити нови хардвер и преплатити из следећих разлога:

  • мрежа често расте споро и проширење функционалности или перформансе прекидача у вашој мрежи могу бити довољне за дуго времена
  • Није тајна да је опрема страних произвођача везана за страну валуту (долар или евро). Искрено говорећи, раст долара или евра (или периодична мини-девалвација рубље, у зависности од тога како на то гледате) доводи до тога да су долар пре 10 година и долар сада потпуно различите ствари од тачка гледишта рубље

  Сумирајући све горе наведено, желео бих да напоменем да куповина мрежне опреме са широм функционалношћу сада може довести до уштеда у будућности.
  Овде разматрам трошкове куповине опреме у контексту улагања у моју мрежу и инфраструктуру.

  Дакле, многи добављачи (не само Ектреме) се придржавају принципа плати-ас-иоу-гров, упакујући много функционалности у опрему и могућности за повећање перформанси интерфејса, које се касније активирају куповином засебних лиценци. Они такође нуде модуларне прекидаче са широким спектром интерфејса и процесорских картица, као и могућност доследног повећања њиховог броја и перформанси.

  Редунданција критичних чворова

  У овом делу чланка желео бих укратко да опишем основне принципе редундансе тако важних мрежних чворова као што су језгро, центар података или дистрибутивни прекидачи. И желим да почнем тако што ћу размотрити уобичајене врсте резервација - слагање и груписање.

  Свака метода има своје предности и недостатке, о којима бих желео да причам.

  Испод је општа табела резимеа у којој се пореде 2 методе:

  
  

  • менаџмент — као што се може видети из табеле, у том погледу слагање има предност, пошто са становишта управљања, стек од неколико комутатора изгледа као један свич са великим бројем портова. Уместо да управљате, рецимо, 8 различитих прекидача са кластеризацијом, можете управљати само једним слагањем.
  • растојање - у овом тренутку, стриктно говорећи, предност кластеризације није толико очигледна, јер су се појавиле технологије за слагање комутатора преко портова за слагање или портова двоструке намене (на пример, СуммитСтацк-В за Ектреме, ВСС за Цисцо, итд.), који такође зависе од типова примопредајника. Овде се предност даје груписању по принципу да при слагању постоје опције у којима морате да користите обичне портове за слагање, који су често повезани специјалним кабловима ограничене дужине - 0.5, 1, 1.5, 3 или 5 метара.
  • Ажурирање софтвера - овде видимо да кластеровање има предност у односу на слагање и поента је у следећем - приликом ажурирања софтверске верзије опреме током слагања, ажурирате софтвер на главном прекидачу, који накнадно преузима улогу постављања новог софтвера на прекидачи резервних чланова стека. С једне стране, ово вам олакшава рад, али ажурирање софтвера често захтева хардверско поновно покретање опреме, што доводи до поновног покретања читавог стека, а самим тим и до прекида његовог рада и свих услуга повезаних са њим на одређени период. времена = време поновног покретања. Ово је обично веома критично за језгро и центар података. Са кластеризацијом, имате 2 уређаја независна један од другог, на којима можете ажурирати софтвер узастопно један за другим. У овом случају се могу избећи прекиди у услугама.
  • подешавања подешавања — овде, наравно, слагање има предност, јер у случају управљања треба само да уредите подешавања за један уређај и његову конфигурациону датотеку. Код груписања, број конфигурационих датотека ће бити једнак броју чворова кластера.
  • отпор према неуспеху — овде су обе технологије приближно једнаке, али кластеровање и даље има малу предност. Разлог овде лежи у следећем – ако посматрамо стек са становишта покренутих процеса и протокола, видећемо следеће:
    • постоји главни прекидач на коме се покрећу сви главни процеси и протоколи (на пример, динамички протокол за рутирање - ОСПФ)
    • постоје и други славе-свитцх прекидачи који покрећу главне процесе неопходне за рад у стеку и опслуживање саобраћаја који пролази кроз њих
    • Када главни прекидач поквари, следећи приоритетни подређени прекидач детектује грешку главног
    • иницира се као мастер и покреће све процесе који су били покренути на мастеру (укључујући ОСПФ протокол који смо приметили)
    • након неког времена да процеси почну (обично прилично кратко), сам ОСПФ протокол почиње да ради
    • Дакле, ако један од чворова поквари, ОСПФ ће радити мало брже током груписања него приликом слагања (за време потребно за покретање и иницијализацију процеса и протокола на славе прекидачу стека). Иако треба да приметим да савремени протоколи за слагање и комутатори раде веома брзо, често трајање прекида саобраћаја при пребацивању стека траје мање од једне секунде, али ипак номинално кластеровање побеђује у овом параметру.

  • сложеност — као што се види из табеле, слагање побеђује по сложености. Ово је директна последица ставки „контрола“ и „конфигурација подешавања“. Једном чвору је потребно много мање времена за конфигурисање и управљање. Такође, приликом груписања, често морате да конфигуришете додатне протоколе рутирања или протоколе за резервацију гатеваи-а - ВРРП, ХСРП и друге.
  • замена јединица — слагање овде има јасну предност. Веома често, да бисте заменили прекидач у стеку, потребно је извршити минимална потребна подешавања хардвера, на пример:
    • ажурирати софтвер новог прекидача на верзију стека софтвера (а то се може урадити одмах када свичеви стигну у пакет резервних делова)
    • конфигуришите неколико основних команди за слагање (а за неке типове прекидача чак и то можда неће бити потребно)
    • уклоните неуспели прекидач стека и повежите нови
    • повежите напајање и патцх каблове

  • еластичност — Ја за себе сматрам један од главних параметара. Уопштено говорећи, еластичност је комплексна карактеристика, која означава својство нечега да се мења под утицајем оптерећења и враћа се у првобитни облик након његовог нестанка. Чудно је да ће за груписање бити већи чак и ако се узме у обзир резултат 4:3 у смислу карактеристика у корист слагања. Све је у вези са људским фактором. Да, да, немојте се изненадити - снага таквих параметара слагања као што су обједињена контрола, конфигурација подешавања и лагана сложеност такође лежи у слабости слагања када људски фактор дође у игру.

  У свом раду у ИТ сектору, сусрео сам се са многим ситуацијама (и, искрено, чак сам и сам правио исту грешку, посебно на почетку) где би, током конфигурисања стека, инжењер направио грешку при уносу команде или омогућавању/онемогућавању функције на опреми, што би резултирало падом целог стека и захтевало ручно поновно покретање система. Вреди поменути фанове апликације Putty за... Windows (ох, ово копирање десним кликом).

  У ствари, обе технологије су прилично добре (посебно у поређењу са недостатком редунданције) и свака има своје предности и слабости, али за ниво језгра и за центар података са високим оптерећењем, ја бих ипак радије користио груписање.

  Иако је ово само моје мишљење. Многи професионални инжењери који се већ дуги низ година баве мрежном подршком на професионалном нивоу могу подједнако да користе обе технологије - све зависи од искуства и квалификација.

  Поред технологија за слагање и резервисање мрежних чворова, постоје и општи принципи за резервисање делова самог мрежног чвора и везе између чворова:

  Под резервацијом унутар мрежног чвора мислим на:

  • редундантност извора напајања - инсталирање 2 извора напајања који се међусобно дуплирају (и по могућности спојени на 1. категорију напајања) може вам знатно олакшати живот.
  • редундантност контролних плоча - у већој мери се односи на модуларне прекидаче, који омогућавају повезивање неколико контролних плоча које се међусобно дуплирају.
  • редундантност интерфејсних картица – такође се односи углавном на модуларне прекидаче.

  Резервација веза/линкова у основи значи присуство кабловских траса које се преклапају (или радио веза у случају отворених простора) са:

  • развод преко различитих кабловских шахтова и канала унутар објекта
  • географска дистрибуција на територији на нивоу 2 или више објеката, града, региона или земље (тзв. волуметријски прстенови)

  Истовремено, приликом изградње резервних комуникационих веза, потребно је поштовати низ препорука за опрему:

  • у случају дуплирања интерфејсних картица модуларног прекидача, или у присуству стека, потребно је распоредити везе између јединица - интерфејс картице у случају модуларних прекидача и прекидача у случају стека.
  • Препоручљиво је користити комуникационе протоколе за агрегацију (ЛАЦП, МЛТ, ПАгП, итд.) за комбиновање веза у групе и балансирање оптерећења између њих.
  • користите рутере који подржавају ЕЦМП (Екуал-Цост-Мулти-Патх) протоколе – када, када се неколико пакета испоручује дуж једне руте, ови пакети не пролазе кроз једну најбољу путању (и интерфејс) већ се дистрибуирају на неколико најбољих путања (и неколико интерфејса), који су одређени једнакошћу метрика протокола рутирања, који је заузврат одговоран за попуњавање коначне табеле рутирања.

  А сада ћу, као што сам обећао, описати прави случај из своје праксе и принцип штедње приликом резервисања критичних чворова, који се десио пре неколико година:

  • Једна компанија, назваћу је Кс, имала је стандардни 3-слојни мрежни модел:
    • са више језгара
    • неколико десетина агрегација
    • неколико хиљада приступних прекидача
    • неколико десетина хиљада корисника

  • мрежа је била прилично сложено изграђена:
    • са гомилом динамичких протокола и протокола за рутирање - ОСПФ, МП-БГП, МПЛС, ПИМ, ИГМП, ИПв6 итд.
    • гомила услуга - приступ Интернету, Л2 и Л3 ВПН, ВоИП, ИПТВ, изнајмљене линије итд.

  • али постојало је једно уско грло у мрежи - гранични рутер који је комбиновао функције БГП граничника и прекинуо неке корисничке услуге
  • да, коштало је колико и крило авиона (неколико милиона рубаља)
  • да, у то време је био један од врхунских уређаја у линији најпознатијег мрежног продавца
  • да, морао је бити веома поуздан - са одличним МТБФ рејтингом
  • да, имао је 4 напајања, склопљена по шеми 2к2 и повезана са различитих УЕПС-а и улаза.

  Али све ово није променило чињеницу да је то била једина тачка квара за мрежу.

  И једног дана, далеко од дивног за мене и моје колеге, овај рутер је дуго умро (касније смо сазнали да је дошло до неког квара на далеководу кроз УЕПС, што је довело до излаза 2 напајања на у исто време и када У овом случају је један од блокова спалио модул РП рутера и интерфејс картицу који су били повезани на заједничку магистралу података уређаја).

  Нисмо имали резервне плоче – РП и интерфејс картицу, али је постојао уговор о замени опреме или њених компоненти са једним од партнера по НБД шеми.

  Нажалост, у то време су партнери имали на лагеру само интерфејс картицу, али ниједну РП плочу је стигла само неколико дана касније (после 3 дана).

  Као резултат тога, присуство једне тачке квара у мрежи (чак и са уговором о подршци и заменом опреме) резултирало је следећим финансијским трошковима:

  • удео услуга компаније који се приписују или се односе на ову границу био је око 60-70%
  • како је касније израчунато, дневни профит је тада био око 900 хиљада рубаља (отприлике)
  • Дакле, за 3 дана застоја, теоретски, профит је изгубљен у износу од 1 милион 620 хиљада рубаља до 1 милион 890 хиљада рубаља

  Наравно, нето губици су били мањи, јер је надокнада већини корисника враћена не у виду новца, већ у виду услуга, али их је и даље било:

  • део накнаде за корпоративне кориснике
  • повећани трошкови за запослене у компанији који су радили сва ова 3-4 дана пуном снагом - прековремени рад, ноћне смене, повећане смене итд.
  • губитке угледа, што је такође важно
  • и што је најважније – живци и менаџмента и запослених, и клијената

  Као резултат тога, политика компаније је ревидирана:

  • одбио уговор о замени под условима НБД
  • напустио уговор о редовном сервису
  • купио резервни рутер који кошта око 1 - 1.3 милиона рубаља да резервише 90% функционалности главног

  Накнадно, набавка додатне опреме и резервација главне омогућили су балансирање оптерећења на спољним везама, саобраћају и корисницима између њих и обезбедили сигурносну маргину за компанију у даљим незгодама.

  Пример дизајна мреже предузећа

  У овом делу чланка покушаћу да изнесем главне тачке приликом израчунавања окосне мреже предузећа. Нећу вас преоптеретити целокупном техником ППДИОО (Припрема-Планирање-Десигн-Имплемент-Операте-Оптимизе), већ ћу само изнети њене главне тачке:

  • Припрема/Припрема - потребно је да са својим менаџментом одлучите о циљевима модернизације мреже које желите да постигнете - повећати толеранцију грешака, увести нове услуге или технологије. Овде ћу прескочити дефиницију ограничења – техничких и организационих – пошто претпостављам да сте запослени у организацији и да имате велики залих времена да их превазиђете. Вратићу се на тему буџетирања у наставку.
  • Планирање - овде ћете морати да направите комплетан опис ваше тренутне мреже (ако је већ не знате), тј. опишите мрежу каква је сада:
    • количина и врста опреме
    • број и врсте портова
    • постојеће кабловске трасе и склопне шеме унутар и између зграда
    • струјна кола
    • Л2 и Л3 адресирање
    • праве мапе Ви-Фи мрежа које указују на приступне тачке и контролере
    • опишите своју фарму сервера
    • Препоручљиво је да опишете све своје услуге и везе између њих
    • ако сте већ имплементирали политику безбедности мреже и политику контроле приступа мрежи у овом или оном облику, обавезно то узмите у обзир приликом пројектовања
    • Одмах ћу приметити да је други корак у суштини комплетан инвентар мреже, почевши од кабловске инфраструктуре и струјних кола, па до услуга (апликација и њихових портова). Овај корак је веома, веома дуготрајан, а понекад чак и досадан. Ако ви или ваш претходник нисте водили документацију или чак основни систем за праћење, онда је време да размислите о томе. Мрежа има тенденцију да се мења током времена различитим брзинама и само одржавање ажурне документације или система за праћење може вам помоћи да пратите њено стање и олакшате администрацију. Али ово се већ односи на корак операције.

  • Дизајн - Наоружани пуним знањем о вашој мрежи добијеним у претходном кораку, коначно седите и размислите о томе како да модернизујете своју мрежу. У наставку ћу покушати да демонстрирам мали пример израчунавања мреже.

  За себе сам саставио малу листу са почетним подацима који ће ме водити приликом израчунавања и пројектовања језгрене мреже.

  Хајде да замислимо корак припреме као листу онога што имамо на располагању и шта планирамо да урадимо:

  • постоји прилично велико предузеће са приближним бројем радних места, око 700-800 (овде мислим на оне запослене којима је потребан приступ мрежи предузећа)
  • На територији предузећа постоји неколико засебних зграда:
  • Главне зграде:
    • број зграда - 2 ком.
    • спратност у згради - 7 ком.
    • број телекомуникационих ормана по спрату у једном објекту - 3 (укупно 21) ком
    • број запослених у згради =~ 250 људи

  • Додатна кућишта:
    • број зграда - 10 ком.
    • спратност у згради/радионици - 2 ком.
    • број телекомуникационих ормана у згради - 3 ком.
    • број запослених у згради =~ 20 људи

  • Садашњи ниво језгра мреже (узгред, врло уобичајена шема са којом сам се сусрео више пута у овом или оном облику и саставу портова) је представљен:
    • 2 Л2 прекидача:
      • 1Гб РЈ-45 портови - 24 ком.
      • 1Гб СФП портови - 4 ком
    • 1. Л2 прекидач:
      • 1Гб СФП портови - 24 ком
    • топологија језгра – прстен
    • пеер-то-пеер везе између прекидача су омогућене помоћу оптичких влакана
    • прекидачи се налазе у малим серверским просторијама са ормарићима
  • Тренутни ниво дистрибуције:
    • у комбинацији са нивоом језгра мреже у смислу агрегације веза са приступних прекидача
    • Л3 адресирање се поставља на гранични рутер и/или заштитни зид
  • Тренутни ниво приступа:
    • Л2 прекидачи са 16 к 100 Мб РЈ-45 приступним портовима и 2 Гигабит уплинк комбинована порта РЈ-45/СФП
    • прекидачи се налазе у ормарићима на спратовима
    • топологија приступног прекидача:
      • звезда (главчина и крак - главчина и кракови) са прекидачем за језгро/дистрибуцију у средини
      • греда/крака је грана прекидача по поду - 3 комада у ланцу
    • постоје неуправљани приступни прекидачи
    • прекидачи у 9 додатних случајева повезани су преко медијских претварача (конвертор оптичких у електрични сигнал)
  • Тренутна кабловска инфраструктура:
    • Кабловски систем између зграда:
      • постоји оптички кабл између 2 главне зграде капацитета 8 влакана
      • постоји 1 оптички кабл између једне од додатних зграда (где је инсталиран прекидач за језгро) и сваке од главних зграда са капацитетом од 8 влакана свака
      • Постоји 1 оптички кабл између додавања. кућишта и кућишта са инсталираним прекидачима језгра капацитета 4 влакна (њихова дистрибуција је приказана на слици испод)
      • тип влакна у свим кабловима - сингле моде/СМФ
      • Користе се једномодни СФП примопредајници са 2 влакна
      • Неки од каблова се завршавају на оптичким унакрсним везама (ОДФ) у одвојеним просторијама (унакрсне сале/сервер собе), а неки од каблова се завршавају у СХТО на нивоу пода.

    • Кабловски систем унутар зграда:
      • Између серверских соба и првих кабинета на спратовима постоји мешовита кабловска структура:
      • Цат5е бакарни каблови - 10 ком (или 100 пари каблова)
      • оптички мултимодни/ММФ кабл за 4 или 8 влакана - 1 ком.
      • оптички мултимодни/ММФ кабл за 4 влакна између подних ормара
      • бакарни Цат5е каблови између подних ормара и приступних утичница
    • тренутни дата центар:
      • постоји неколико сервера, на пример 6 комада
      • укључени 1Гб портови у комутатор језгра у 1. главној згради
      • све пословне апликације су смештене на серверима
    • Л2, Л3 адресирање и рутирање:
      • мрежа има неколико ВЛАН-ова – 2,3 по згради
      • сервери су додељени посебној /24 мрежи
      • За интерне потребе користе се мреже сиве класе Б, укључене у опсег - 172.16.0.0/16
      • Л3 адресе се завршавају на граничном рутеру и/или заштитном зиду
      • користи се статичко рутирање
    • Додатне Информације:
      • телефонија:
        • У зградама и неким зградама, традиционална телефонија се примењује помоћу дигиталних централа старог стила (не ИП-ПБКС)
        • потребно је уградити телефоне у нове зграде, без трошкова полагања скупих бакарних кабловских водова одређеног капацитета и изградње дупликата СКС за телефонију унутар зграда
        • Временом се планира увођење ИП телефоније у цело предузеће, комбиновање са ЦРМ системима и пребацивање свих запослених на њега
      • капацитет порта:
        • потребно је анализирати тренутни капацитет магистралних портова и приступних портова и резервисати најмање 25-30% за будуће потребе
        • анализирати довољност тренутне пропусности приступних портова и транк линкова
        • обезбеди ПоЕ/ПоЕ+ приступне портове за уређаје из сродних система – видео надзор и телефонију
      • ЦЦТВ:
        • планирано је коришћење мреже предузећа као транспорта за мрежу видео надзора
        • потребно је обезбедити ПоЕ портове за ЦЦТВ камере
      • бежични системи:
        • У будућности се планира увођење бежичне инфраструктуре за мобилност запослених
        • потребно је обезбедити ПоЕ портове за приступне тачке
      • буџет, време и захтеви опреме:
        • максимално искористити расположиву опрему
        • при пројектовању мреже узети у обзир могућност проширења капацитета мреже Н година унапред
        • када дизајнирате мрежу, узмите у обзир подршку за све врсте безбедносних функција - ево листе функционалности, почевши од порт-безбедности до аутентификације и ауторизације корисника помоћу 802.1к.
        • резервисати што је могуће више критичних мрежних чворова од примарног значаја – језгра и дата центар, и обезбедити могућност резервисања чворова секундарног значаја – дистрибутивних чворова
        • буџет пројекта мора да обезбеди доследно финансирање у неколико фаза
        • износ буџета - овде свако предузеће одређује за себе, водећи се својим финансијским показатељима
        • рокови - у најидеалнијем случају неће бити очигледних рокова, пошто је ово интерни пројекат компаније који спроводе њени запослени, или ће они бити релативно удобни - на пример, 1 година (или више). У горем случају може бити од 3 месеца до шест месеци.
      • реши тренутне проблеме са мрежом:
        • губитак пакета
        • проблеми са ДХЦП-ом на више или мање интелигентним приступним прекидачима повезаним са употребом СТП породице протокола за борбу против петљи на приступним портовима.
        • ослободите се присуства интерфејса ДХЦП сервера у сваком ВЛАН-у запослених
        • појава комутационих петљи повезаних са неовлашћеним укључивањем управљаних/неуправљаних прекидача у канцеларијама и повезивањем различитих уређаја на њих
        • листа се наставља и наставља...

      Планирање корака - карактеризација стања ваше тренутне мреже, као што сам већ написао, зависи од присуства висококвалитетног система за праћење и степена његове документације. У овом кораку мораћете да:

      • у најмању руку скицирати постојећу мрежу за даљу анализу
      • прикупља податке са опреме:
        • саобраћај на магистралним лукама
        • грешке на портовима
        • Оптерећење процесора и потрошња меморије на прекидачима и рутерима
        • описати Л2-Л3 шеме по ВЛАН-овима и ИП адресама
      • подигните дијаграме кабловске трасе:
        • кола влакана и шеме ожичења за оптичке унакрсне везе
        • дијаграми дистрибуције бакарних каблова између серверских просторија и спратова
        • шеме дистрибуције бакарних каблова између спратова и просторија
        • проверите присуство оптичких унакрсних конекција и патцх панела у серверским просторијама и кабинетима
      • проверити струјна кола у серверским и подним орманима
      • проверите присуство УПС-а и батерије на критичним чворовима
      • анализирати све податке

      На основу података из припремне фазе, дошао сам до приближног логичког дијаграма:

      
      
      Затим, пратећи модуларни приступ, потребно је истаћи нивое и модуле предузећа:

      
      
      Нећу се дотицати Едге у ​​овом чланку, али ћу се укратко подсетити основних теза за сваки од модула Цампуса:

      • Приступ – на овом нивоу треба да обезбеди:
        • потребан број портова за приступ корисника мрежи
        • извршавање безбедносних политика – филтрирање саобраћаја и протокола
        • компресију домена емитовања и сегментацију мреже користећи ВЛАН
        • имплементација одвојених ВЛАН-ова за гласовни саобраћај
        • КоС подршка
        • подршка за ПоЕ приступне портове
        • ИП мултицаст подршка
        • толеранција на грешке узводних комуникационих веза заједно са нивоом дистрибуције (пожељно)
      • Дистрибуција - на овом нивоу треба обезбедити следеће:
        • потребан број портова за повезивање приступних прекидача
        • агрегација и редундантност линкова приступног прекидача
        • ИП рутирање
        • филтрирање пакета
        • КоС подршка
        • толеранција на грешке на нивоу веза, опреме и напајања (врло пожељно)
      • Језгро треба да обезбеди:
        • велике брзине комутације и рутирања пакета
        • потребан број портова за повезивање дистрибутивних прекидача
        • подршка за ИП рутирање и динамичке протоколе рутирања са брзом мрежном конвергенцијом
        • КоС подршка
        • безбедносна функционалност за заштиту приступа опреми и контролној равни
        • толеранција грешака на нивоу хардвера и напајања (обавезно)
      • Дата центар – мрежни слој овог модула мора да обезбеди:
        • брзе комуникационе везе
        • потребан број портова за повезивање сервера
        • редундантност комуникационих веза између сервера и прекидача центра података, као и између прекидача дата центра и мрежног језгра (обавезно)
        • редундантност опреме и напајања (обавезно)
        • КоС подршка

      Затим треба да пребројимо наше портове и комуникационе везе и одредимо захтеве.
      Ниво приступа - табела прорачуна порта

      Дакле, добили смо податке о дистрибуцији приступних прикључака по зградама. Сада треба да анализирате захтеве за ниво приступа и коментаре и наведете опције решења.
      Ниво приступа – захтеви и опције решења

      Затим ћемо избројати портове и комуникационе везе за следеће нивое:

      Ниво дистрибуције

      Ниво кернела

      Ниво дата центра

      Приликом израчунавања добили смо следеће:

      • ниво приступа — Потребни су приступни прекидачи са 24 и 48 портова, пожељно са 1Гб приступним портовима и оптичким уплинк СФП портовима са ПоЕ подршком и широком функционалношћу:
        • укупно ће обезбедити 504 приступна порта, што ће у принципу покрити захтеве за резервним портовима ако се донесе одлука да се користе 2 порта по радној станици – ИП телефон и порт за податке.
        • Могуће је користити један прекидач са 48 портова са ПоЕ функционалношћу на сваком спрату, обезбеђујући приступне портове за захтеве:
          • резерва - око 102 резервна прикључка (22%) на главним зградама. За додатне зграде мало више - 25%.
          • ЦЦТВ
          • бежична мрежа
      • ниво дистрибуције — потребни су свичеви са скупом СФП портова од 12 до 48 портова са најмање 2 СФП+ порта, са могућностима слагања и проширеном функционалношћу, као и присуством редундантних извора напајања.
      • ниво кернела — Потребни су брзи прекидачи са 12 на 24 СФП/СФП+ порта са подршком за слагање и груписање са МЦ-ЛАГ подршком. Треба напоменути да је такође могуће користити алате за рутирање за балансирање саобраћаја. Најновије генерације Л3 прекидача и рутера подржавају ЕЦМП са балансирањем саобраћаја на 4 или више рута са истом метриком.
      • ниво дата центра — потребни су свичеви са 8 до 24 СФП/СФП+ порта са подршком за слагање и груписање са МЦ-ЛАГ подршком.

      Дијаграм циљне мреже је на крају био такав

      Избор Ектреме прекидача за имплементацију пројекта

      Па, сада смо дошли до главне ствари - тренутка избора прекидача за имплементацију нашег пројекта. Следећи прекидачи Ектреме су погодни за резултирајуће циљно коло:

      Ниво
      Модел
      Портс
      Опис

      цоре
      к620-16к-Басе *

      к670-Г2-48к-4к-Басе*
      16 к 10ГЕ СФП+
       
       
       
      48к10ГЕ СФП+ и 4к40ГЕ КСФП+
      За основне потребе кернела:

      • везе велике брзине
      • напредне функције рутирања и безбедности
      • додатно резервно напајање напајања
      • подршка за слагање и груписање

      Са минималним захтевима, прекидач серије к620 ће бити довољан.
      Ако имате проширене захтеве за број портова и ширу функционалност, требало би да размислите о прекидачима серије к670-Г2.

      Центар за податке

      к620-16к-Басе*

      к590-24к-1к-2ц*

      к670-Г2-48к-4к-Басе*

      16 к 10ГЕ СФП+
       
       
       
      24x10GE SFP, 1xQSFP+, 2xQSFP28
       
       
      48к10ГЕ СФП+ и 4к40ГЕ КСФП+

      За основне потребе дата центра:

      • везе велике брзине
      • додатно резервно напајање напајања
      • подршка за слагање и груписање

      Са минималним захтевима, прекидач серије к620 ће бити довољан.
      У случају проширених захтева за бројем портова и широм функционалношћу, вреди размислити о прекидачима серије к670-Г2 и к590-24к-1к-2ц.

      дистрибуција

      X460-G2-24x-10GE4-Base*

      X460-G2-48x-10GE4-Base*

      24к1ГЕ СФП, 8к1000 РЈ-45, 4к10ГЕ СФП+
       
       
       
      48к1ГЕ СФП, 4к10ГЕ СФП+

      За основне потребе дистрибуције:

      • потребан број оптичких портова
      • додатно резервно напајање напајања
      • подршка за слагање и груписање
      • потребна Л3 функционалност

      Прекидачи серије к460-Г2 су идеални. Присуство редундантних извора напајања са могућношћу проширења и додавања 10Г, ЦКС (за слагање) и КСФП+ портова чини их идеалним прекидачима за дистрибутивни слој са портовима до 1 Гб.

      приступ

      X440-G2-24p-10GE4*

      X440-G2-24t-10GE4*

      X440-G2-48t-10GE4*

      X440-G2-48p-10GE4*

      24к1000БАСЕ-Т (4 к СФП комбо), 4к10ГЕ СФП+ (ПоЕ буџет 380 В)
       
      24к1000БАСЕ-Т (4 к СФП комбо), 4к10ГЕ СФП+
       
       
      24к1000БАСЕ-Т (4 к СФП комбиновани), 4к10ГЕ СФП+ комбиновани портови
       
      48к1000БАСЕ-Т (4 к СФП комбинована), 4к10ГЕ СФП+ комбинована порта (ПоЕ буџет 740 В)

      За потребе приступа:

      • потребан број приступних портова
      • ПоЕ/ПоЕ+ подршка
      • функционалност и могућност проширења портова
      • додатни бонус у виду подршке за слагање 10Гб портова из кутије

      Препоручујем да обратите пажњу на ову линију због њене флексибилности у погледу портова, перформанси и функционалности.

      *спецификације одабраних прекидача могу се наћи у првом чланку серије - преглед прекидача Ектреме

      Могао бих да завршим чланак овде, али бих желео да истакнем 2 додатна аспекта са којима ће се сваки инжењер сусрести приликом развоја или надоградње своје мреже:

      • рад са кабловским трасама – влакнима и бакарним водовима
      • ИП адресирање

      Рад са влакнима

      Изнад сам дао циљну шему до које треба доћи. За његову имплементацију потребан је следећи број прикључака за опрему:

      број комуникационих веза

      Као што се може видети из табеле, минимални број влакана потребан да би се обезбедила толеранција на грешке мрежних нивоа (језгро модула, дата центри и дистрибуције у 2 зграде) је 10 комада.

      У фази карактеризације мреже, открили смо да у каблу између зграда постоји само 8 влакана. Шта учинити у таквој ситуацији?

      Даћу неколико решења:

      • Први очигледан корак је коришћење слободних влакана у каблу између зграде 1 - зграде 1 и зграде 1 - зграде 2 (као што можете видети из табеле - користе се само 2 од 8 влакана у сваком каблу). Да бисте то урадили, довољно је инсталирати оптичке унакрсне везе између унакрсних спојева у случају 1 и, ако је потребно, користити СФП модуле са резервом оптичког буџета.
      • други корак је употреба ЦВДМ технологије – мултиплексирање таласних дужина носиоца унутар једног влакна. Ова технологија је много јефтинија од ДВМД-а и прилично је једноставна за имплементацију. У основи, захтеви су за квалитет оптичких влакана и СФП/СФП+ примопредајника одређене дужине и буџета. Као што сам рекао у претходном чланку, способност прекидача да препознају примопредајнике трећих страна може нам увелико олакшати живот и смањити капиталне трошкове за изградњу додатних оптичких каблова.
      • Трећи корак је разматрање могућности повећања влакана полагањем додатних оптичких каблова.

      Затим ћемо погледати број влакана између зграда са инсталираним разводним прекидачима и додатним. зграде 2-10. Ни овде није све тако јасно:

      • прво, нема довољно влакана за имплементацију наше циљне шеме - 2 влакна по прекидачу (као што се сећамо, имамо каблове са 4 ОБ-а по кућишту)
      • друго, чак и ако постоји довољан број влакана између зграда, ММФ влакна се користе унутар зграда, што нам неће дозволити да једноставно повежемо СМФ и ММФ влакна (говорим о удаљеностима између зграда преко 300-400 метара)

      У таквим случајевима могу се размотрити следеће опције:

      • обезбеђење сваког СМФ прекидача са влакнима:
        • ако раздаљина дозвољава, можете развући додатне дугачке патцх каблове између прекидача. Некада смо користили патцх каблове дужине 30-50 м.
        • поставити релативно јефтин оптички СМФ кабл малог капацитета између ормарића
        • као последње средство, користите разне СМФ-ММФ претвараче
      • Да бисте смањили количину влакана која се користи између зграда, можете:
        • користите функционалност слагања приступних прекидача к440-Г2 - док користите 1 СМФ влакно за сваки прекидач на поду, што ће вам омогућити да користите 6 влакна и порта на свакој страни уместо 3 влакана и портова
        • користите 2 влакна да повежете први прекидач у грани и последњи. Обједините везе на прекидачима за приступ ивици и користите СТП протоколе у ​​резултујућем прстену.

      ИП адресирање

      Овде ћу дати приближни прорачун адресирања за наше коло.

      Тренутно имамо неколико мрежа Б класе - 172.16.0.0/16. Приликом израчунавања ИП адресног простора, водићу се следећим разматрањима:

      • 4 бита другог октета ће означавати зграде - 172.16.0.0/12.
      • Октет 3 ће указати на број спрата у згради.
      • Октет 3 = 255 биће додељен за везе опреме од тачке до тачке и контролну мрежу.
      • један ВЛАН за управљање по спрату за управљање прекидачима.
      • један кориснички ВЛАН по свичу (просечно 24 порта).
      • један Воице ВЛАН по свичу (просечно 24 порта).
      • један ВЛАН за систем видео надзора по спрату.
      • један влан за Ви-Фи уређаје по спрату.

      Завршио сам са оваквим табелама:
      мрежа 172.16.0.0/14
      мрежа 172.20.0.0/14

      У горњој табели дао сам приближну дистрибуцију мрежа по зградама и спратовима с једне стране, и мрежама (корисничке, управљачке и сервисне) с друге стране.

      У ствари, избор сиве мреже 172.16.0.0/12 није најоптималнији, јер нас ограничава у броју мрежа (од 16 до 31) за зграде, а постоје и удаљене канцеларије које такође треба да исеку мрежне блокове. , можда ће бити оптималнија опција да се користи 10.0.0.0/8 мрежа или дељење 172.16.0.0/12 мрежа (на пример, за потребе услуга и сервера) и 10.0.0.0/8 (за корисничке мреже).

      Уопштено говорећи, приступ расподели ИП мрежа је такође модуларан и препоручљиво је придржавати се правила за сабирање подмрежа у једну збирну мрежу на дистрибутивним нивоима, као и на граничним рутерима у удаљеним филијалама. Ово се ради из неколико разлога:

      • да се минимизирају табеле рутирања на рутерима
      • да се минимизира сервисни саобраћај протокола за рутирање (све врсте порука о ажурирању, када угнежђене подмреже нису доступне)
      • да би се поједноставила администрација и боља читљивост Л3 мрежа

      Иако, што се тиче прве 2 тачке, вреди напоменути да је снага савремених рутера много већа од оних од пре 15-20 година и омогућава им да садрже велике табеле рутирања у својој РАМ меморији, као и однос цене и капацитета комуникационог канала. је опао у поређењу са ценама из времена широке употребе токова Е1/Т1 (Г.703).

      Закључак

      Пријатељи, у овом чланку покушао сам да што краће говорим о основним принципима пројектовања кампус мрежа. Да, било је доста материјала, и то упркос чињеници да се нисам дотакао тема као што су:

      • организација границе предузећа (а ово је посебна прича са његовим прекидачима, границама, заштитним зидом, ИПС/ИДС системима, ДМЗ, ВПН и другим стварима)
      • организација Ви-Фи мрежа
      • организација ВоИП мрежа
      • организација дата центара
      • безбедност (а ово је такође свој посебан свет, који по обиму и захтевима није инфериоран дизајну чисте мрежне инфраструктуре, а понекад га чак и превазилази)
      • енергетика
      • листа се наставља и наставља

      У ствари, пројектовање и изградња мреже предузећа је прилично мукотрпан задатак који захтева много времена и ресурса.

      Али надам се да ће вам мој чланак помоћи да процените и разумете на почетном нивоу како да приступите овом задатку.

      Ово није последњи чланак о Екстремне мреже, па останите са нама (Telegram, Facebook, VK, ТС Солутион Блог)!

Извор: ввв.хабр.цом