У прва два чланка сам покренуо питање аутоматизације и скицирао њен оквир, у другом сам се повукао у виртуелизацију мреже, као први приступ аутоматизацији конфигурације сервиса.
Сада је време да нацртамо дијаграм физичке мреже.

Ако нисте упознати са постављањем мрежа центара података, топло препоручујем да почнете са чланци о њима.

Сва питања:

• 0. АДСМ. Парт Зеро. Планирање
• 1. АДСМ. Први део (који је после нуле). Виртуелизација мреже
• 2. АДСМ. Други део. Дизајн мреже

Пракса описана у овој серији требало би да буде применљива на било коју врсту мреже, било које величине, са било којим различитим добављачима (не). Међутим, немогуће је описати универзални пример примене ових приступа. Стога ћу се фокусирати на модерну архитектуру ДЦ мреже: Фабрика Клоз.
Урадићемо ДЦИ на МПЛС Л3ВПН.

Оверлаи мрежа ради на врху физичке мреже са хоста (ово може бити ОпенСтацк-ов ВКСЛАН или Тунгстен Фабриц или било шта друго што захтева само основну ИП конекцију са мреже).

У овом случају добијамо релативно једноставан сценарио за аутоматизацију, јер имамо доста опреме која је конфигурисана на исти начин.

Ми ћемо изабрати сферни ДЦ у вакууму:

• Једна верзија дизајна свуда.
• Два добављача који формирају две мрежне равни.
• Један ДЦ је као други као два грашка у махуни.

Садржина

• Физичка топологија
• Роутинг
• ИП план
• Лаба
• Закључак
• Корисни линкови

Дозволите нашем добављачу услуга ЛАН_ДЦ, на пример, да угости видео снимке о преживљавању у заглављеним лифтовима.

У мегаградовима је ово веома популарно, тако да вам треба много физичких машина.

Прво ћу описати мрежу отприлике онако како бих желео да буде. А онда ћу то поједноставити за лабораторију.

Физичка топологија

Локације

ЛАН_ДЦ ће имати 6 ДЦ-ова:

• Русија (RU):
  • Москва (мск)
  • Казањ (кзн)

• Шпанија (SP):
  • Барселона (бцн)
  • Малага (млг)

• Кина (CN):
  • Шангај (сха)
  • Кси'ан (обоје)

Унутар ДЦ (Интра-ДЦ)

Сви ДЦ-ови имају идентичне интерне мреже повезивања засноване на Цлос топологији.
Какве су то Цлос мреже и зашто су у посебној Чланак.

Сваки ДЦ има 10 рекова са машинама, они ће бити нумерисани као A, B, C И тако даље.

Сваки сталак има 30 машина. Неће нас занимати.

Такође у сваком сталку постоји прекидач на који су све машине повезане - ово је Врх прекидача Рацк - ТоР или другачије, у смислу фабрике Цлос, назваћемо је Лист.

Општи дијаграм фабрике.

Позваћемо их КСКСКС-ЛистYГде КСКСКС - трословна скраћеница ДЦ, и Y - серијски број. На пример, кзн-леаф11.

У својим чланцима дозволићу себи да користим термине Леаф и ТоР прилично неозбиљно као синониме. Међутим, морамо запамтити да то није случај.
ТоР је прекидач инсталиран у рек на који су машине повезане.
Леаф је улога уређаја у физичкој мрежи или прекидача првог нивоа у смислу Цлоес топологије.
То јест, Леаф != ТоР.
Дакле, Леаф може бити ЕндофРав прекидач, на пример.
Међутим, у оквиру овог чланка и даље ћемо их третирати као синониме.

Сваки ТоР прекидач је заузврат повезан са четири прекидача за агрегацију вишег нивоа - Кичма. Један рацк у ДЦ-у је додељен за Спинес. Назваћемо га слично: КСКСКС-кичмаY.

Исти сталак ће садржати мрежну опрему за повезивање између ДЦ - 2 рутера са МПЛС на плочи. Али углавном, ово су исти задаци. То јест, са тачке гледишта Спине прекидача, уобичајени ТоР са повезаним машинама или рутером за ДЦИ уопште није битан - само прослеђивање.

Такви посебни задаци се називају Едге-леаф. Позваћемо их КСКСКС-ИвицаY.

То ће изгледати овако.

На дијаграму изнад, заправо сам поставио ивицу и лист на исти ниво. Класичне трослојне мреже Научили су нас да разматрамо уплинк (отуда и термин) као уплинк. И овде се испоставља да се ДЦИ „уплинк“ враћа назад, што за неке мало руши уобичајену логику. У случају великих мрежа, када су центри података подељени на још мање јединице - ПОД’с (Тачка испоруке), истакните појединачне Едге-ПОД'с за ДЦИ и приступ спољним мрежама.

Ради лакше перцепције у будућности, и даље ћу цртати ивицу преко кичме, с тим да ћемо имати на уму да нема интелигенције на кичми и да нема разлика у раду са регуларним листом и ивичним листом (иако овде може бити нијанси , али уопштено ово је тачно).

Шема фабрике са ивичним листовима.

Тројство листа, кичме и ивице чине подлогу или фабрику.

Задатак фабрике мреже (читај Ундерлаи), као што смо већ дефинисали у последње издање, веома, веома једноставно - обезбедити ИП конекцију између машина и унутар истог ДЦ-а и између њих.
Због тога се мрежа зове фабрика, као што је, на пример, фабрика комутатора унутар модуларних мрежних кутија, о чему више можете прочитати у СДСМ14.

Генерално, таква топологија се назива фабрика, јер тканина у преводу значи тканина. И тешко је не сложити се:

Фабрика је у потпуности Л3. Нема ВЛАН-а, нема Броадцаст-а – имамо тако дивне програмере у ЛАН_ДЦ-у, они знају да пишу апликације које живе у Л3 парадигми, а виртуелне машине не захтевају Ливе Мигратион са очувањем ИП адресе.

И још једном: одговор на питање зашто је фабрика и зашто је Л3 у посебном Чланак.

ДЦИ – Интерконекција центара података (Интер-ДЦ)

ДЦИ ће бити организован коришћењем Едге-Леаф-а, односно они су наша излазна тачка на аутопут.
Ради једноставности, претпостављамо да су ДЦ повезани један са другим директним везама.
Искључимо екстерну повезаност из разматрања.

Свестан сам да сваки пут када уклоним компоненту, значајно поједноставим мрежу. А када аутоматизујемо нашу апстрактну мрежу, све ће бити у реду, али на правој ће бити штаке.
Ово је истина. Ипак, поента ове серије је размишљање и рад на приступима, а не херојски решавање измишљених проблема.

На Едге-Леафс, подлога се поставља у ВПН и преноси преко МПЛС кичме (иста директна веза).

Ово је дијаграм највишег нивоа који добијамо.

Роутинг

За рутирање унутар ДЦ-а користићемо БГП.
На МПЛС транк ОСПФ+ЛДП.
За ДЦИ, односно организовање повезивања у подземљу - БГП Л3ВПН преко МПЛС-а.

Општа шема рутирања

У фабрици не постоји ОСПФ или ИСИС (протокол за рутирање забрањен у Руској Федерацији).

То значи да неће бити аутоматског откривања или израчунавања најкраћих путева – само ручно (у ствари аутоматско – овде говоримо о аутоматизацији) подешавање протокола, суседства и политика.

БГП шема рутирања унутар ДЦ-а

Зашто БГП?

На ову тему постоји цео РФЦ назван по Фејсбуку и Аристи, који говори како да се гради Веома велика мреже центара података који користе БГП. Чита се скоро као фикција, топло га препоручујем за тмурно вече.

А у мом чланку постоји и цео одељак посвећен томе. Где да те водим и Шаљем.

Али ипак, укратко, ниједан ИГП није прикладан за мреже великих дата центара, где број мрежних уређаја иде на хиљаде.

Поред тога, коришћење БГП-а свуда ће вам омогућити да не губите време на подршку неколико различитих протокола и синхронизацију између њих.

Руку на срце, у нашој фабрици, која са великим степеном вероватноће неће нагло расти, ОСПФ би био довољан за очи. То су заправо проблеми мегаскалера и облачних титана. Али замислимо само за неколико издања да нам је потребан, а ми ћемо користити БГП, као што је Пјотр Лапукхов завештао.

Политика рутирања

На Леаф прекидачима увозимо префиксе са Ундерлаи мрежних интерфејса у БГП.
Имаћемо БГП сесију између сваки пар Леаф-Спине, у коме ће ови Ундерлаи префикси бити објављени преко мреже напред и назад.

У оквиру једног дата центра дистрибуираћемо спецификације које смо увезли у ТоРе. На Едге-Леафс-у ћемо их агрегирати и објавити удаљеним ДЦ-овима и послати их у ТОР-ове. Односно, сваки ТоР ће тачно знати како да дође до другог ТоР у истом ДЦ-у и где је улазна тачка да се дође до ТоР-а у другом ДЦ-у.

У ДЦИ, руте ће се преносити као ВПНв4. Да би се то урадило, на Едге-Леаф-у, интерфејс према фабрици ће бити смештен у ВРФ, назовимо га УНДЕРЛАИ, а суседство са Спине он Едге-Леаф ће се уздизати унутар ВРФ-а, а између Едге-Леафс-а у ВПНв4- породица.

Такође ћемо забранити поновно објављивање рута примљених од кичме назад до њих.

На Леаф и Спине нећемо увозити Лоопбацкс. Они нам требају само да одредимо ИД рутера.

Али на Едге-Леафс га увозимо у Глобал БГП. Између Лоопбацк адреса, Едге-Леафс ће међусобно успоставити БГП сесију у ИПв4 ВПН породици.

Имаћемо ОСПФ+ЛДП окосницу између ЕДГЕ уређаја. Све је у једној зони. Изузетно једноставна конфигурација.

Ово је слика са рутирањем.

БГП АСН

Едге-Леаф АСН

Едге-Леафс ће имати један АСН у свим ДЦ-овима. Важно је да постоји иБГП између Едге-Леафс-а, а ми се не увлачимо у нијансе еБГП-а. Нека буде 65535. У стварности, ово би могао бити број јавног АС-а.

Спине АСН

На Спине-у ћемо имати један АСН по ДЦ. Почнимо овде са првим бројем из опсега приватног АС - 64512, 64513 и тако даље.

Зашто АСН на ДЦ?

Хајде да поделимо ово питање на два:

• Зашто су АСН-ови исти на свим кичмама једног ДЦ-а?
• Зашто се разликују у различитим ДЦ-има?

Зашто су исти АСН-ови на свим кичмама једног ДЦ-а?

Овако ће изгледати АС-пута руте подлоге на Едге-Леаф-у:
[leafX_ASN, spine_ASN, edge_ASN]
Када покушате да га оглашавате назад на Спине, он ће га одбацити јер је његов АС (Спине_АС) већ на листи.

Међутим, у оквиру ДЦ-а смо потпуно задовољни што руте Ундерлаи које се пењу до Ивице неће моћи да се спусте. Сва комуникација између домаћина унутар ДЦ-а мора се одвијати унутар нивоа кичме.

У исто време, агрегиране руте других ДЦ-ова ће у сваком случају лако доћи до ТоР-а - њихова АС-путања ће имати само АСН 65535 - број АС Едге-Леафс, јер су тамо створени.

Зашто се разликују у различитим ДЦ-има?

Теоретски, можда ћемо морати да превучемо Лоопбацк и неке сервисне виртуелне машине између ДЦ-ова.

На пример, на хосту ћемо покренути Роуте Рефлецтор или исти ВНГВ (Виртуелни мрежни пролаз), који ће се закључати са ТопР преко БГП-а и најавити повратну петљу, која би требало да буде доступна са свих ДЦ-ова.

Дакле, овако ће изгледати његов АС-пут:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

И нигде не би требало да буде дуплираних АСН-ова.

То јест, Спине_ДЦ1 и Спине_ДЦ2 морају бити различити, баш као леафКс_ДЦ1 и леафИ_ДЦ2, чему се управо приближавамо.

Као што вероватно знате, постоје хакови који вам омогућавају да прихватите руте са дуплираним АСН-овима упркос механизму за спречавање петље (алловас-ин на Цисцо-у). И чак има легитимну употребу. Али ово је потенцијални јаз у стабилности мреже. И ја сам лично упао у то пар пута.

И ако имамо прилику да не користимо опасне ствари, искористићемо је.

Леаф АСН

Имаћемо индивидуални АСН на сваком Леаф прекидачу широм мреже.
Ово радимо из горе наведених разлога: АС-пута без петљи, БГП конфигурација без обележивача.

Да би руте између листова пролазиле глатко, АС-пут би требао изгледати овако:
[leafX_ASN, spine_ASN, leafY_ASN]
где би леафКс_АСН и леафИ_АСН било лепо да се разликују.

Ово је такође потребно за ситуацију са најавом ВНФ петље између ДЦ-ова:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

Користићемо 4-бајтни АСН и генерисати га на основу АСН-а кичме и броја прекидача листа, наиме, овако: Спине_АСН.0000Кс.

Ово је слика са АСН-ом.

ИП план

У основи, морамо да доделимо адресе за следеће везе:

1. Подложне мрежне адресе између ТоР и машине. Они морају бити јединствени у оквиру целе мреже тако да свака машина може да комуницира са било којом другом. Греат фит 10/8. За сваки сталак има /26 са резервом. Доделићемо /19 по ДЦ и /17 по региону.
2. Адресе веза између Леаф/Тор и Спине.

   Желео бих да их алгоритамски доделим, односно да их израчунам из назива уређаја које треба повезати.

   Нека буде... 169.254.0.0/16.
   Наиме 169.254.00Кс.И/31Где X - број кичме, Y — П2П мрежа /31.
   Ово ће вам омогућити да покренете до 128 рекова и до 10 Спине-а у ДЦ-у. Адресе веза се могу (и хоће) понављати од ДЦ до ДЦ.

3. Организујемо спој Спине-Едге-Леаф на подмрежама 169.254.10Кс.И/31, где потпуно исто X - број кичме, Y — П2П мрежа /31.
4. Повежите адресе од Едге-Леаф до МПЛС кичме. Овде је ситуација нешто другачија - место где су сви делови повезани у једну питу, тако да поновно коришћење истих адреса неће радити - потребно је да изаберете следећу слободну подмрежу. Стога, узмимо за основу 192.168.0.0/16 а слободне ћемо из ње изграбити.
5. Лоопбацк Аддрессес. За њих ћемо дати цео асортиман 172.16.0.0/12.
   • Лист - /25 по ДЦ - истих 128 регала. Издвојићемо /23 по региону.
   • Кичма - /28 по ДЦ - до 16 Кичма. Одвојимо /26 по региону.
   • Едге-Леаф - /29 по ДЦ - до 8 кутија. Одвојимо /27 по региону.

Ако немамо довољно додељених опсега у ДЦ-у (а неће их бити - тврдимо да смо хиперскалери), једноставно бирамо следећи блок.

Ово је слика са ИП адресирањем.

Лоопбацкс:

Префикс
Улога уређаја
Регион
ДЦ

172.16.0.0/23
ивица
 
 

172.16.0.0/27
ru
 

172.16.0.0/29
мск

172.16.0.8/29
кзн

172.16.0.32/27
sp
 

172.16.0.32/29
бцн

172.16.0.40/29
млг

172.16.0.64/27
cn
 

172.16.0.64/29
сха

172.16.0.72/29
обоје

172.16.2.0/23
кичма
 
 

172.16.2.0/26
ru
 

172.16.2.0/28
мск

172.16.2.16/28
кзн

172.16.2.64/26
sp
 

172.16.2.64/28
бцн

172.16.2.80/28
млг

172.16.2.128/26
cn
 

172.16.2.128/28
сха

172.16.2.144/28
обоје

172.16.8.0/21
лист
 
 

172.16.8.0/23
ru
 

172.16.8.0/25
мск

172.16.8.128/25
кзн

172.16.10.0/23
sp
 

172.16.10.0/25
бцн

172.16.10.128/25
млг

172.16.12.0/23
cn
 

172.16.12.0/25
сха

172.16.12.128/25
обоје

Подлога:

Префикс
Регион
ДЦ

10.0.0.0/17
ru
 

10.0.0.0/19
мск

10.0.32.0/19
кзн

10.0.128.0/17
sp
 

10.0.128.0/19
бцн

10.0.160.0/19
млг

10.1.0.0/17
cn
 

10.1.0.0/19
сха

10.1.32.0/19
обоје

Лаба

Два продавца. Једна мрежа. АДСМ.

Јунипер + Ариста. Убунту. Добра стара Ева.

Количина ресурса на нашем виртуелном серверу у Мирани је и даље ограничена, па ћемо за вежбу користити мрежу која је до крајњих граница поједностављена.

Два дата центра: Казањ и Барселона.

• По две бодље: Јунипер и Ариста.
• По један торус (Леаф) у сваком - Јунипер и Ариста, са једним повезаним хостом (узмимо лагани Цисцо ИОЛ за ово).
• По један чвор Едге-Леаф (за сада само Јунипер).
• Један Цисцо прекидач да управља свима.
• Поред мрежних кутија, ради виртуелна контролна машина. Покретање Убунту-а.
  Има приступ свим уређајима, покретаће ИПАМ/ДЦИМ системе, гомилу Питхон скрипти, Ансибле и све остало што нам може затребати.

Потпуна конфигурација свих мрежних уређаја, које ћемо покушати да репродукујемо помоћу аутоматизације.

Закључак

Да ли је и то прихваћено? Да ли да напишем кратак закључак испод сваког чланка?

Па смо изабрали тростепени Клоз мрежа унутар ДЦ-а, пошто очекујемо доста саобраћаја Исток-Запад и желимо ЕЦМП.

Мрежа је подељена на физичку (ундерлаи) и виртуелну (оверлаи). У исто време, прекривање почиње од хоста - чиме се поједностављују захтеви за подлогу.

Изабрали смо БГП као протокол за рутирање за мрежне мреже због његове скалабилности и флексибилности политике.

Имаћемо одвојене чворове за организовање ДЦИ - Едге-леаф.
Окосница ће имати ОСПФ+ЛДП.
ДЦИ ће бити имплементиран на основу МПЛС Л3ВПН.
За П2П везе, израчунаћемо ИП адресе алгоритамски на основу имена уређаја.
Доделићемо петље према улози уређаја и њиховој локацији узастопно.
Доњи префикси - само на прекидачима Леаф узастопно на основу њихове локације.

Претпоставимо да тренутно још немамо инсталирану опрему.
Стога ће наши следећи кораци бити да их додамо у системе (ИПАМ, инвентар), организујемо приступ, генеришемо конфигурацију и применимо је.

У следећем чланку ћемо се позабавити Нетбок-ом – системом инвентара и управљања ИП простором у ДЦ-у.

Хвала вам

• Андреј Глазков ака @глазгоо за лектуру и исправке
• Александар Клименко ака @в00лк за лектуру и уређивање
• Артјом Чернобај за КДПВ

Извор: ввв.хабр.цом