U prethodna dva dijela (, ) sagledali smo principe na kojima je izgrađena nova fabrika po meri i razgovarali o migraciji svih poslova. Sada je vrijeme da razgovaramo o fabrici servera.
Ranije nismo imali nikakvu zasebnu serversku infrastrukturu: serverski prekidači su bili povezani na isto jezgro kao i korisnički distributivni prekidači. Kontrola pristupa je vršena korišćenjem virtuelnih mreža (VLAN), VLAN rutiranje je vršeno u jednom trenutku - na jezgru (po principu ).
Stara mrežna infrastruktura
Uporedo sa novom kancelarijskom mrežom, odlučili smo da izgradimo i novu server sobu, a za nju i posebnu novu fabriku. Ispostavilo se da je mali (tri serverska ormarića), ali u skladu sa svim kanonima: odvojeno jezgro na CE8850 prekidačima, puna mrežasta (spine-leaf) topologija, vrh reka (ToR) CE6870 prekidači, odvojeni par prekidača za povezivanje sa ostatkom mreže (granični listovi). Ukratko, potpuni haos.
Nova fabrička mreža servera
Odlučili smo da napustimo server SCS u korist povezivanja servera direktno na ToR prekidače. Zašto? Već imamo dvije server sobe koje su izgrađene pomoću serverskog SCS-a, a shvatili smo da su to:
- nezgodno za upotrebu (mnogo prebacivanja, morate pažljivo ažurirati magazin kablova);
- skupo u smislu prostora koji zauzimaju patch paneli;
- je prepreka ako trebate povećati brzinu povezivanja servera (na primjer, prebaciti se sa 1 Gb/s veze preko bakra na 10 Gb/s preko optike).
Prilikom prelaska u novu fabriku servera, pokušali smo da se udaljimo od povezivanja servera brzinom od 1 Gb/s i ograničili smo se na 10 Gb interfejsa. Virtualizovani su skoro svi stari serveri koji ne znaju kako, a ostali preko gigabitnih primopredajnika spojenih na 10-gigabitne portove. Proračunali smo i odlučili da bi to bilo jeftinije od ugradnje zasebnih gigabitnih svičeva za njih.
ToR prekidači
Takođe smo instalirali odvojene prekidače za upravljanje van opsega sa 24 porta (OOM) u našoj novoj serverskoj sobi, po jedan po rack-u. Ova ideja se pokazala jako dobrom, samo što nije bilo dovoljno portova, sljedeći put ćemo instalirati OOM switcheve za 48 portova.
Povezujemo interfejse za daljinsko upravljanje serverima kao što je iLO, ili iBMC u Huawei terminologiji, na OOM mrežu. Ako je server izgubio svoju glavnu vezu sa mrežom, tada će biti moguće doći do njega preko ovog interfejsa. Takođe, na OOM prekidače su povezani upravljački interfejsi ToR prekidača, temperaturnih senzora, UPS upravljačkih interfejsa i drugih sličnih uređaja. OOM mreži je moguće pristupiti preko posebnog interfejsa zaštitnog zida.
Povezivanje na OOM mrežu
Povezivanje serverske i korisničke mreže
U fabrici korisnika koriste se odvojeni VRF-ovi za različite namene - za povezivanje radnih mesta korisnika, sistema video nadzora, multimedijalnih sistema u salama za sastanke, organizovanje štandova i demo zona itd.
Drugi set VRF-ova kreiran je u fabrici servera:
- Za povezivanje redovnih servera koji hostuju korporativne usluge.
- Zaseban VRF u okviru kojeg se postavljaju serveri sa pristupom sa Interneta.
- Odvojeni VRF za servere baze podataka kojima mogu pristupiti samo drugi serveri (kao što su serveri aplikacija).
- Odvojeni VRF za naš sistem pošte (MS Exchange + Skype for Business).
Dakle, imamo VRF set sa tvorničke strane korisnika i VRF set sa tvorničke strane servera. Oba skupa su povezana na klastere korporativnih zaštitnih zidova (ME). ME su povezani na granične prekidače (granične listove) i tvornice servera i tvornice korisnika.
Konjugacija fabrika kroz ME - fizika
Povezivanje fabrika preko ME - logika
Kakva je bila migracija
Tokom migracije smo povezali nove i stare fabrike servera na nivou data linka, preko privremenih trankova. Da bismo migrirali servere koji se nalaze u određenom VLAN-u, kreirali smo zasebnu bridge domenu, koja je uključivala VLAN stare fabrike servera i VXLAN nove fabrike servera.
Konfiguracija izgleda otprilike ovako, zadnja dva reda su ključna:
bridge-domain 22
vxlan vni 600022
evpn
route-distinguisher 10.xxx.xxx.xxx:60022
vpn-target 6xxxx:60022 export-extcommunity
vpn-target 6xxxx:60022 import-extcommunity
interface Eth-Trunk1
mode lacp-static
dfs-group 1 m-lag 1
interface Eth-Trunk1.1022 mode l2
encapsulation dot1q vid 22
bridge-domain 22
Migracija virtuelnih mašina
Zatim smo, koristeći VMware vMotion, migrirali virtuelne mašine u ovom VLAN-u sa starih hipervizora (verzija 5.5) na nove (verzija 6.5). Usput, virtuelizirani hardverski serveri.
Kada pokušate da ponovitePostavite MTU unaprijed i provjerite prolaz velikih paketa "od kraja do kraja".
U staroj mreži servera koristili smo virtuelni firewall VMware vShield. Budući da VMware više ne podržava ovaj alat, istovremeno s migracijom na novu virtualnu farmu, prešli smo s vShield-a na hardverske firewall.
Nakon što nije ostao nijedan server u određenom VLAN-u u staroj mreži, promijenili smo rutiranje. Ranije je to izvedeno na staroj jezgri, izgrađenoj tehnologijom Collapsed Backbone, au novoj tvornici servera koristili smo Anycast Gateway tehnologiju.
Prebacivanje rutiranja
Nakon prebacivanja rutiranja za određeni VLAN, on je isključen iz domene mosta i isključen iz trunk između stare i nove mreže, odnosno potpuno prebačen na novu tvornicu servera. Tako smo migrirali oko 20 VLAN-ova.
Tako smo kreirali novu mrežu, novi server i novu farmu virtuelizacije. U jednom od sljedećih članaka govorit ćemo o tome šta smo uradili sa Wi-Fi mrežom.
Maxim Klochkov
Viši konsultant, Grupa za reviziju mreže i složene projekte
Centar za mrežna rješenja
"Jet Infosystems"
izvor: www.habr.com