V predchádzajúcich dvoch častiach (, ) sme sa pozreli na princípy, na ktorých bola postavená nová zákazková továreň, a hovorili sme o migrácii všetkých pracovných miest. Teraz je čas hovoriť o továrni na servery.
Predtým sme nemali žiadnu samostatnú serverovú infraštruktúru: serverové prepínače boli pripojené k rovnakému jadru ako používateľské distribučné prepínače. Riadenie prístupu sa uskutočňovalo pomocou virtuálnych sietí (VLAN), smerovanie VLAN sa vykonávalo v jednom bode - na jadre (podľa princípu ).
Stará sieťová infraštruktúra
Súčasne s novou kancelárskou sieťou sme sa rozhodli vybudovať aj novú serverovňu a pre ňu samostatnú novú fabriku. Ukázalo sa, že je to malé (tri serverové skrine), ale v súlade so všetkými kánonmi: samostatné jadro na prepínačoch CE8850, úplne sieťovaná (chrbticová) topológia, prepínače CE6870 v hornej časti stojana (ToR), samostatný pár prepínačov na prepojenie so zvyškom siete (hraničné listy). Skrátka kompletné mleté mäso.
Sieť novej továrne na servery
Rozhodli sme sa opustiť server SCS v prospech pripojenia serverov priamo k prepínačom ToR. prečo? Už máme dve serverové miestnosti, ktoré sú postavené pomocou servera SCS, a uvedomili sme si, že toto je:
- nepohodlné použitie (veľa prepojení, musíte starostlivo aktualizovať denník káblov);
- drahé z hľadiska priestoru, ktorý zaberajú patch panely;
- je prekážkou, keď je potrebné zvýšiť rýchlosť pripojenia serverov (napríklad prejsť z 1 Gbit/s pripojenia cez medené na 10 Gbit/s cez optické).
Pri prechode do novej továrne na servery sme sa pokúsili upustiť od pripájania serverov rýchlosťou 1 Gbit/s a obmedzili sme sa na 10 Gbit rozhrania. Takmer všetky staré servery, ktoré to nedokázali, boli virtualizované a zvyšok bol pripojený cez gigabitové transceivery na 10 gigabitové porty. Spočítali sme si to a rozhodli sme sa, že to bude lacnejšie ako inštalovať samostatné gigabitové prepínače.
ToR prepínače
Aj v našej novej serverovni sme nainštalovali samostatné prepínače pre mimopásmovú správu (OOM) s 24 portami, jeden na stojan. Tento nápad sa ukázal ako veľmi dobrý, ale nebolo dosť portov, nabudúce nainštalujeme OOM switche so 48 portami.
Do siete OOM pripájame rozhrania pre vzdialenú správu serverov ako iLO, alebo iBMC v terminológii Huawei. Ak server stratil hlavné pripojenie k sieti, bude možné ho dosiahnuť cez toto rozhranie. K prepínačom OOM sú pripojené aj ovládacie rozhrania ToR prepínačov, teplotných snímačov, riadiacich rozhraní UPS a iných podobných zariadení. Sieť OOM je prístupná cez samostatné rozhranie brány firewall.
Sieťové pripojenie OOM
Párovanie serverových a užívateľských sietí
V zákazkovej továrni sa samostatné VRF používajú na rôzne účely – na pripojenie používateľských pracovných staníc, video monitorovacích systémov, multimediálnych systémov v zasadacích miestnostiach, na organizovanie stánkov a predvádzacích priestorov atď.
Ďalšia sada VRF bola vytvorená v továrni servera:
- Na pripojenie bežných serverov, na ktorých sú nasadené podnikové služby.
- Samostatný VRF, v rámci ktorého sú nasadené servery s prístupom z internetu.
- Samostatný VRF pre databázové servery, ku ktorým majú prístup iba iné servery (napríklad aplikačné servery).
- Samostatné VRF pre náš poštový systém (MS Exchange + Skype for Business).
Takže máme sadu VRF na strane továrne používateľa a sadu VRF na strane továrne servera. Obe sady sú nainštalované na klastroch podnikovej brány firewall (FW). ME sú pripojené k hraničným prepínačom (hraničným listom) serverovej aj používateľskej štruktúry.
Prepojenie tovární cez ME - fyzika
Prepojenie tovární cez ME - logika
Ako prebiehala migrácia?
Počas migrácie sme prepojili nové a staré serverové továrne na úrovni dátového spojenia prostredníctvom dočasných zväzkov. Na migráciu serverov umiestnených v špecifickej VLAN sme vytvorili samostatnú premosťovaciu doménu, ktorá zahŕňala VLAN starej serverovej továrne a VXLAN novej serverovej továrne.
Konfigurácia vyzerá asi takto, kľúčové sú posledné dva riadky:
bridge-domain 22
vxlan vni 600022
evpn
route-distinguisher 10.xxx.xxx.xxx:60022
vpn-target 6xxxx:60022 export-extcommunity
vpn-target 6xxxx:60022 import-extcommunity
interface Eth-Trunk1
mode lacp-static
dfs-group 1 m-lag 1
interface Eth-Trunk1.1022 mode l2
encapsulation dot1q vid 22
bridge-domain 22
Migrácia virtuálnych strojov
Potom pomocou VMware vMotion boli virtuálne stroje v tejto VLAN migrované zo starých hypervízorov (verzia 5.5) na nové (verzia 6.5). Zároveň sa virtualizovali hardvérové servery.
Keď to skúsite znovaVopred nakonfigurujte MTU a skontrolujte prechod veľkých paketov „end to end“.
V starej serverovej sieti sme používali virtuálny firewall VMware vShield. Keďže VMware už tento nástroj nepodporuje, prešli sme z vShield na hardvérové firewally a zároveň sme migrovali na novú virtuálnu farmu.
Potom, čo v určitej VLAN na starej sieti nezostali žiadne servery, zmenili sme smerovanie. Predtým sa to vykonávalo na starom jadre postavenom pomocou technológie Collapsed Backbone av novej továrni na servery sme používali technológiu Anycast Gateway.
Prepínanie smerovania
Po zmene smerovania pre konkrétnu VLAN bola odpojená od domény mosta a vylúčená z kmeňa medzi starou a novou sieťou, t. j. úplne sa presunula do novej továrne na server. Takto sme migrovali asi 20 VLAN.
Vytvorili sme teda novú sieť, nový server a novú virtualizačnú farmu. V jednom z nasledujúcich článkov si povieme, čo sme urobili s Wi-Fi.
Maxim Klochkov
Senior konzultant skupiny sieťového auditu a komplexných projektov
Centrum sieťových riešení
"Informačné systémy prúdových lietadiel"
Zdroj: hab.com