Како дизајниравме и имплементиравме нова мрежа на Huawei во канцеларијата во Москва, дел 3: фабрика за сервери

Во претходните два дела (време, два) ги разгледавме принципите врз кои е изградена новата фабрика за прилагодено, и зборувавме за миграцијата на сите работни места. Сега е време да зборуваме за фабриката за сервери.

Претходно, немавме посебна серверска инфраструктура: серверските прекинувачи беа поврзани со истото јадро како и прекинувачите за дистрибуција на корисниците. Контролата на пристапот беше спроведена со помош на виртуелни мрежи (VLAN), рутирањето на VLAN беше спроведено во една точка - на јадрото (според принципот Срушен 'рбет).

Стара мрежна инфраструктура

Истовремено со новата канцелариска мрежа, решивме да изградиме нова сервер соба и посебна нова фабрика за неа. Испадна дека е мал (три кабинети за сервери), но во согласност со сите канони: посебно јадро на прекинувачите CE8850, топологија целосно мрежена (лист од 'рбетот), прекинувачи на врвот на решетката (ToR), CE6870, посебен пар на прекинувачи за интерфејс со остатокот од мрежата (гранични листови). Накратко, целосно мелено месо.

Мрежа на новата фабрика за сервери

Решивме да го напуштиме серверот SCS во корист на поврзување на серверите директно со ToR прекинувачите. Зошто? Веќе имаме две серверски соби кои се изградени со помош на серверот SCS, и сфативме дека ова е:

• незгодно за употреба (многу повторно поврзувања, треба внимателно да го ажурирате дневникот на кабелот);
• скапи во однос на просторот окупиран од печ-панели;
• е пречка кога е неопходно да се зголеми брзината на поврзување на серверите (на пример, префрлете се од врски од 1 Gbit/s преку бакар на 10 Gbit/s преку оптички).

Кога се преселивме во нова фабрика за сервери, се обидовме да се оддалечиме од поврзување на сервери со брзина од 1 Gbit/s и се ограничивме на интерфејси од 10 Gbit. Речиси сите стари сервери кои не можат да го направат тоа беа виртуелизирани, а останатите беа поврзани преку гигабитни примопредаватели на 10 гигабитни порти. Ја направивме математиката и решивме дека ќе биде поевтино отколку да им инсталираме посебни гигабитни прекинувачи.

ToR прекинувачи

Исто така, во нашата нова серверска соба, инсталиравме посебни прекинувачи за управување надвор од опсегот (OOM) со 24 порти, по еден по решетката. Оваа идеја се покажа како многу добра, но немаше доволно порти, следниот пат ќе инсталираме OOM прекинувачи со 48 порти.

Ние поврзуваме интерфејси за далечинско управување со сервери како што се iLO, или iBMC во терминологијата на Huawei, со мрежата OOM. Ако серверот ја изгубил главната врска со мрежата, тогаш ќе биде можно да се стигне до него преку овој интерфејс. Исто така, контролните интерфејси на ToR прекинувачите, сензорите за температура, контролните интерфејси на UPS-от и други слични уреди се поврзани со OOM прекинувачите. Мрежата OOM е достапна преку посебен интерфејс за заштитен ѕид.

Мрежна врска OOM

Спарување сервер и кориснички мрежи

Во прилагодена фабрика, посебни VRF се користат за различни намени - за поврзување на работни станици на корисници, системи за видео надзор, мултимедијални системи во сали за состаноци, за организирање штандови и демо области итн.

Во фабриката за сервери е создаден уште еден сет на VRFs:

• За поврзување на редовни сервери на кои се распоредени корпоративни услуги.
• Посебен VRF, во кој се распоредени сервери со пристап од Интернет.
• Посебен VRF за сервери за бази на податоци до кои пристапуваат само други сервери (на пример, сервери за апликации).
• Посебен VRF за нашиот систем за пошта (MS Exchange + Skype за бизнис).

Значи, имаме сет на VRF на фабричката страна на корисникот и сет на VRF на фабричката страна на серверот. Двата сета се инсталирани на кластери за корпоративен заштитен ѕид (FW). ME се поврзани со гранични прекинувачи (гранични листови) и на ткаенината на серверот и на корисничката ткаенина.

Интерфејс на фабрики преку МЕ - физика

Интерфејс на фабрики преку МЕ - логика

Како помина миграцијата?

За време на миграцијата, ги поврзавме новите и старите фабрики за сервери на ниво на податочна врска, преку привремени трупови. За да мигрираме сервери лоцирани во специфичен VLAN, создадовме посебен домен за мост, кој вклучуваше VLAN на старата фабрика за сервери и VXLAN на новата фабрика за сервери.

Конфигурацијата изгледа вака, последните две линии се клучни:

bridge-domain 22
 vxlan vni 600022
 evpn 
  route-distinguisher 10.xxx.xxx.xxx:60022
  vpn-target 6xxxx:60022 export-extcommunity
  vpn-target 6xxxx:60022 import-extcommunity

interface Eth-Trunk1
 mode lacp-static
 dfs-group 1 m-lag 1

interface Eth-Trunk1.1022 mode l2
 encapsulation dot1q vid 22
 bridge-domain 22

Миграција на виртуелни машини

Потоа, користејќи VMware vMotion, виртуелните машини во овој VLAN беа мигрирани од старите хипервизори (верзија 5.5) на нови (верзија 6.5). Во исто време, хардверските сервери беа виртуелизирани.

Кога ќе се обидете повторноКонфигурирајте го MTU однапред и проверете го преминувањето на големи пакети „од крај до крај“.

Во старата серверска мрежа, го користевме виртуелниот заштитен ѕид VMware vShield. Бидејќи VMware повеќе не ја поддржува оваа алатка, се префрливме од vShield на хардверски заштитни ѕидови во исто време кога мигриравме на новата виртуелна фарма.

Откако немаше останати сервери во одреден VLAN на старата мрежа, го сменивме рутирањето. Претходно, се изведуваше на старото јадро, изградено со помош на технологијата Collapsed Backbone, а во новата фабрика за сервери користевме технологија Anycast Gateway.

Префрлување на рутирање

По префрлување на рутирање за специфичен VLAN, тој беше исклучен од доменот на мостот и исклучен од багажникот помеѓу старата и новата мрежа, т.е., целосно се пресели во новата фабрика за сервери. Така, мигриравме околу 20 VLAN.

Така создадовме нова мрежа, нов сервер и нова фарма за виртуелизација. Во една од следните статии ќе зборуваме за тоа што направивме со Wi-Fi.

Максим Клочков
Виш консултант на групата за мрежна ревизија и комплексни проекти
Центар за мрежни решенија
„Jet Infosystems“

Извор: www.habr.com