Come abbiamo progettato e implementato una nuova rete su Huawei nella sede di Mosca, parte 3: server factory

Nelle due parti precedenti (tempo, два) abbiamo esaminato i principi su cui è stata costruita la nuova fabbrica personalizzata e abbiamo parlato della migrazione di tutti i posti di lavoro. Ora è il momento di parlare della fabbrica dei server.

In precedenza non disponevamo di un'infrastruttura server separata: gli switch server erano collegati allo stesso core degli switch di distribuzione degli utenti. Il controllo degli accessi è stato effettuato utilizzando reti virtuali (VLAN), il routing VLAN è stato effettuato ad un certo punto - sul core (secondo il principio Spina dorsale crollata).

Vecchia infrastruttura di rete

Contemporaneamente alla nuova rete di uffici abbiamo deciso di costruire una nuova sala server e un nuovo stabilimento separato. Si è rivelato piccolo (tre armadi server), ma conforme a tutti i canoni: un core separato sugli switch CE8850, una topologia completamente mesh (spine-leaf), switch CE6870 top of rack (ToR), una coppia separata di switch per l'interfacciamento con il resto della rete (foglie di confine). In breve, carne macinata completa.

Rete della nuova fabbrica di server

Abbiamo deciso di abbandonare il server SCS a favore della connessione dei server direttamente agli switch ToR. Perché? Abbiamo già due sale server realizzate utilizzando il server SCS e ci siamo resi conto che si tratta di:

• scomodo da usare (molte riconnessioni, è necessario aggiornare attentamente il log dei cavi);
• costoso in termini di spazio occupato dai patch panel;
• costituisce un ostacolo quando è necessario aumentare la velocità di connessione dei server (ad esempio, passare da connessioni a 1 Gbit/s su rame a 10 Gbit/s su ottica).

Quando ci siamo trasferiti in una nuova fabbrica di server, abbiamo cercato di abbandonare la connessione dei server con una velocità di 1 Gbit/s e di limitarci a interfacce da 10 Gbit. Quasi tutti i vecchi server che non potevano farlo sono stati virtualizzati e il resto è stato collegato tramite ricetrasmettitori Gigabit a porte da 10 Gigabit. Abbiamo fatto i conti e abbiamo deciso che sarebbe stato più economico che installare switch Gigabit separati per loro.

Interruttori ToR

Inoltre, nella nostra nuova sala server, abbiamo installato switch separati per la gestione fuori banda (OOM) con 24 porte, una per rack. Questa idea si è rivelata molto buona, ma non c'erano abbastanza porte, la prossima volta installeremo switch OOM con 48 porte.

Colleghiamo alla rete OOM interfacce per la gestione remota di server come iLO, o iBMC nella terminologia Huawei. Se il server ha perso la connessione principale alla rete, sarà possibile raggiungerlo tramite questa interfaccia. Inoltre, agli interruttori OOM sono collegate le interfacce di controllo degli interruttori ToR, i sensori di temperatura, le interfacce di controllo dell'UPS e altri dispositivi simili. La rete OOM è accessibile tramite un'interfaccia firewall separata.

Connessione di rete OOM

Associazione di server e reti utente

In una fabbrica personalizzata, i VRF separati vengono utilizzati per scopi diversi: per collegare le postazioni di lavoro degli utenti, i sistemi di videosorveglianza, i sistemi multimediali nelle sale riunioni, per l'organizzazione di stand e aree dimostrative, ecc.

Un altro set di VRF è stato creato nella server factory:

• Per connettere server regolari su cui vengono distribuiti i servizi aziendali.
• Un VRF separato, all'interno del quale vengono distribuiti server con accesso da Internet.
• Un VRF separato per i server di database a cui accedono solo altri server (ad esempio, server delle applicazioni).
• VRF separato per il nostro sistema di posta (MS Exchange + Skype for Business).

Quindi abbiamo una serie di VRF sul lato fabbrica dell'utente e una serie di VRF sul lato fabbrica del server. Entrambi i set sono installati sui cluster firewall aziendali (FW). I ME sono collegati agli switch di confine (foglie di confine) sia della struttura del server che della struttura dell'utente.

Interfacciare le fabbriche attraverso ME - fisica

Interfacciare le fabbriche attraverso la logica ME

Come è andata la migrazione?

Durante la migrazione, abbiamo collegato le nuove e le vecchie server factory a livello di collegamento dati, tramite trunk temporanei. Per migrare i server situati in una VLAN specifica, abbiamo creato un dominio bridge separato, che includeva la VLAN della vecchia Server Factory e la VXLAN della nuova Server Factory.

La configurazione è simile a questa, le ultime due righe sono fondamentali:

bridge-domain 22
 vxlan vni 600022
 evpn 
  route-distinguisher 10.xxx.xxx.xxx:60022
  vpn-target 6xxxx:60022 export-extcommunity
  vpn-target 6xxxx:60022 import-extcommunity

interface Eth-Trunk1
 mode lacp-static
 dfs-group 1 m-lag 1

interface Eth-Trunk1.1022 mode l2
 encapsulation dot1q vid 22
 bridge-domain 22

Migrazione di macchine virtuali

Quindi, utilizzando VMware vMotion, le macchine virtuali in questa VLAN sono state migrate dai vecchi hypervisor (versione 5.5) a quelli nuovi (versione 6.5). Allo stesso tempo, i server hardware sono stati virtualizzati.

Quando riproviConfigurare preventivamente la MTU e verificare il passaggio di pacchetti di grandi dimensioni “end to end”.

Nella vecchia rete di server utilizzavamo il firewall virtuale VMware vShield. Poiché VMware non supporta più questo strumento, siamo passati da vShield ai firewall hardware contestualmente alla migrazione alla nuova farm virtuale.

Dopo che non sono rimasti più server in una particolare VLAN sulla vecchia rete, abbiamo cambiato il routing. In precedenza, veniva eseguito sul vecchio core, costruito utilizzando la tecnologia Collapsed Backbone, e nella nuova fabbrica di server utilizzavamo la tecnologia Anycast Gateway.

Cambiare percorso

Dopo aver cambiato il routing per una determinata VLAN, questa è stata disconnessa dal dominio bridge ed esclusa dal trunk tra la vecchia e la nuova rete, ovvero è stata completamente spostata nella nuova server factory. Pertanto, abbiamo migrato circa 20 VLAN.

Quindi abbiamo creato una nuova rete, un nuovo server e una nuova farm di virtualizzazione. In uno dei seguenti articoli parleremo di cosa abbiamo fatto con il Wi-Fi.

Maxim Klochkov
Consulente senior del gruppo audit di rete e progetti complessi
Centro soluzioni di rete
"Sistemi informativi dei jet"

Fonte: habr.com