Мәскеудегі кеңседе Huawei-де жаңа желіні қалай құрастырдық және енгіздік, 3-бөлім: сервер зауыты

Алдыңғы екі бөлімде (рет, два) біз жаңа тапсырыстық зауыттың салынған принциптерін қарастырдық және барлық жұмыс орындарының көші-қоны туралы айттық. Енді сервер зауыты туралы айтатын кез келді.

Бұрын бізде бөлек сервер инфрақұрылымы болған жоқ: сервер қосқыштары пайдаланушы тарату қосқыштары сияқты бір ядроға қосылған. Қолжетімділікті басқару виртуалды желілерді (VLAN) пайдалану арқылы жүзеге асырылды, VLAN маршрутизациясы бір нүктеде - ядрода (принципке сәйкес) жүзеге асырылды. Жығылған омыртқа).

Ескі желілік инфрақұрылым

Жаңа кеңсе желісімен бір мезгілде біз жаңа серверлік бөлме мен ол үшін жеке жаңа зауыт салуды шештік. Бұл кішкентай болып шықты (үш серверлік шкаф), бірақ барлық ережелерге сәйкес: CE8850 қосқыштарындағы жеке ядро, толық торлы (омыртқа жапырақты) топология, сөренің жоғарғы бөлігі (ToR) CE6870 қосқыштары, бөлек жұп желінің қалған бөліктерімен (шекаралық парақтар) интерфейске арналған коммутаторлар. Қысқасы, толық фарш.

Жаңа сервер зауытының желісі

Біз серверлерді тікелей ToR қосқыштарына қосу үшін SCS серверінен бас тартуды шештік. Неліктен? Бізде SCS серверінің көмегімен салынған екі серверлік бөлме бар және біз бұл екенін түсіндік:

• пайдалану ыңғайсыз (көптеген қайта қосулар, кабельдік журналды мұқият жаңарту керек);
• патч-панельдер алатын кеңістік бойынша қымбат;
• серверлердің қосылу жылдамдығын арттыру қажет болғанда кедергі болып табылады (мысалы, мыс арқылы 1 Гбит/с қосылымдардан оптикалық арқылы 10 Гбит/с-қа ауысу).

Жаңа сервер зауытына көшкен кезде біз серверлерді 1 Гбит/с жылдамдықпен қосудан бас тартуға тырыстық және өзімізді 10 Гбит интерфейстермен шектедік. Мұны істей алмайтын ескі серверлердің барлығы дерлік виртуализацияланған, ал қалғандары гигабиттік трансиверлер арқылы 10 гигабиттік порттарға қосылған. Біз есептеп шығардық және олар үшін бөлек гигабиттік қосқыштарды орнатудан гөрі арзанырақ болады деп шештік.

ToR қосқыштары

Сондай-ақ, біздің жаңа серверлік бөлмеде біз 24 порты бар бөлек жолақтан тыс басқару (OOM) қосқыштарын орнаттық, бір тірекке бір. Бұл идея өте жақсы болып шықты, бірақ порттар жеткіліксіз болды, келесі жолы 48 порты бар OOM коммутаторларын орнатамыз.

Біз iLO немесе Huawei терминологиясындағы iBMC сияқты серверлерді қашықтан басқаруға арналған интерфейстерді OOM желісіне қосамыз. Егер сервер желіге негізгі қосылымын жоғалтқан болса, онда оған осы интерфейс арқылы жетуге болады. Сондай-ақ, OOM қосқыштарына ToR қосқыштарының, температура сенсорларының, UPS басқару интерфейстерінің және басқа ұқсас құрылғылардың басқару интерфейстері қосылады. OOM желісіне жеке желіаралық қалқан интерфейсі арқылы қол жеткізуге болады.

OOM желі қосылымы

Сервер мен пайдаланушы желілерін жұптау

Таңдамалы зауытта бөлек VRF әртүрлі мақсаттарда қолданылады - пайдаланушының жұмыс станцияларын, бейнебақылау жүйелерін, мәжіліс залдарындағы мультимедиялық жүйелерді қосу үшін, стендтер мен демонстрациялық аймақтарды ұйымдастыру үшін және т.б.

Басқа VRF жиынтығы сервер зауытында жасалды:

• Корпоративтік қызметтер орналастырылған тұрақты серверлерді қосу үшін.
• Жеке VRF, оның ішінде Интернетке кіру мүмкіндігі бар серверлер орналастырылған.
• Басқа серверлер (мысалы, қолданба серверлері) ғана қатынасатын дерекқор серверлеріне арналған бөлек VRF.
• Пошта жүйеміз үшін бөлек VRF (MS Exchange + Бизнеске арналған Skype).

Сонымен, бізде пайдаланушының зауыттық жағында VRF жиынтығы және сервердің зауыттық жағында VRF жиынтығы бар. Екі жиын да корпоративтік брандмауэр (FW) кластерлеріне орнатылған. ME сервер құрылымының да, пайдаланушы құрылымының да шекара қосқыштарына (шектік парақтар) қосылған.

ME арқылы фабрикаларды біріктіру – физика

ME арқылы фабрикаларды біріктіру – логика

Көші-қон қалай өтті?

Тасымалдау кезінде біз жаңа және ескі сервер зауыттарын деректер байланысы деңгейінде, уақытша магистральдар арқылы байланыстырдық. Белгілі бір VLAN желісінде орналасқан серверлерді тасымалдау үшін біз ескі сервер зауытының VLAN және жаңа сервер зауытының VXLAN желісін қамтитын бөлек көпір доменін жасадық.

Конфигурация келесідей көрінеді, соңғы екі жол кілт болып табылады:

bridge-domain 22
 vxlan vni 600022
 evpn 
  route-distinguisher 10.xxx.xxx.xxx:60022
  vpn-target 6xxxx:60022 export-extcommunity
  vpn-target 6xxxx:60022 import-extcommunity

interface Eth-Trunk1
 mode lacp-static
 dfs-group 1 m-lag 1

interface Eth-Trunk1.1022 mode l2
 encapsulation dot1q vid 22
 bridge-domain 22

Виртуалды машиналарды көшіру

Содан кейін, VMware vMotion көмегімен осы VLAN жүйесіндегі виртуалды машиналар ескі гипервизорлардан (5.5 нұсқасы) жаңаларына (6.5 нұсқасы) көшірілді. Сонымен бірге аппараттық серверлер виртуализацияланды.

Қайталауға тырысқандаMTU-ны алдын ала конфигурациялаңыз және үлкен пакеттердің «ұшынан аяғына» өтуін тексеріңіз.

Ескі серверлік желіде біз VMware vShield виртуалды брандмауэрін қолдандық. VMware енді бұл құралды қолдамайтындықтан, біз жаңа виртуалды фермаға көшкен кезде vShield-тен аппараттық брандмауэрлерге ауыстық.

Ескі желіде белгілі бір VLAN желісінде серверлер қалмаған соң, біз маршруттауды ауыстырдық. Бұрын ол Collapsed Backbone технологиясы арқылы салынған ескі ядрода жүзеге асырылды, ал жаңа сервер зауытында біз Anycast Gateway технологиясын қолдандық.

Маршрутизацияны ауыстыру

Белгілі бір VLAN үшін маршруттауды ауыстырғаннан кейін ол көпір доменінен ажыратылды және ескі және жаңа желілер арасындағы магистральдан шығарылды, яғни ол толығымен жаңа сервер зауытына көшті. Осылайша, біз шамамен 20 VLAN-ды көшірдік.

Осылайша, біз жаңа желі, жаңа сервер және жаңа виртуализация фермасын жасадық. Келесі мақалалардың бірінде біз Wi-Fi арқылы не істегеніміз туралы айтатын боламыз.

Максим Клочков
Желілік аудит және кешенді жобалар тобының аға кеңесшісі
Желілік шешімдер орталығы
«Jet Infosystems»

Ақпарат көзі: www.habr.com