Bagaimana kami merancang dan mengimplementasikan jaringan baru pada Huawei di kantor Moskow, bagian 3: pabrik server

Dalam dua bagian sebelumnya (waktu, два) kami melihat prinsip-prinsip yang mendasari pembangunan pabrik kustom baru, dan berbicara tentang migrasi semua pekerjaan. Sekarang saatnya berbicara tentang pabrik server.

Sebelumnya, kami tidak memiliki infrastruktur server terpisah: switch server terhubung ke inti yang sama dengan switch distribusi pengguna. Kontrol akses dilakukan menggunakan jaringan virtual (VLAN), routing VLAN dilakukan pada satu titik - pada inti (sesuai prinsip Tulang Punggung Runtuh).

Infrastruktur jaringan lama

Bersamaan dengan jaringan kantor baru, kami memutuskan untuk membangun ruang server baru dan pabrik baru yang terpisah untuknya. Ternyata ukurannya kecil (tiga lemari server), tetapi sesuai dengan semua aturan: inti terpisah pada sakelar CE8850, topologi yang sepenuhnya menyatu (daun tulang belakang), sakelar rak atas (ToR) CE6870, sepasang terpisah saklar untuk berinteraksi dengan seluruh jaringan (daun perbatasan). Singkatnya, daging cincang lengkap.

Jaringan pabrik server baru

Kami memutuskan untuk meninggalkan server SCS demi menghubungkan server langsung ke switch ToR. Mengapa? Kami telah memiliki dua ruang server yang dibangun menggunakan server SCS, dan kami menyadari bahwa ini adalah:

• tidak nyaman untuk digunakan (banyak penyambungan ulang, Anda perlu memperbarui log kabel dengan hati-hati);
• mahal dalam hal ruang yang ditempati oleh panel tempel;
• merupakan kendala ketika kecepatan koneksi server perlu ditingkatkan (misalnya, beralih dari koneksi 1 Gbit/dtk melalui tembaga ke 10 Gbit/dtk melalui optik).

Saat pindah ke pabrik server baru, kami mencoba beralih dari menghubungkan server dengan kecepatan 1 Gbit/s dan membatasi diri pada antarmuka 10 Gbit. Hampir semua server lama yang tidak dapat melakukan ini telah divirtualisasikan, dan sisanya dihubungkan melalui transceiver gigabit ke port 10 gigabit. Kami menghitungnya dan memutuskan bahwa ini akan lebih murah daripada memasang sakelar gigabit terpisah untuknya.

saklar ToR

Juga di ruang server baru kami, kami memasang sakelar manajemen out-of-band (OOM) terpisah dengan 24 port, satu per rak. Ide ini ternyata sangat bagus, tetapi portnya tidak cukup, lain kali kita akan memasang switch OOM dengan 48 port.

Kami menghubungkan antarmuka untuk manajemen server jarak jauh seperti iLO, atau iBMC dalam terminologi Huawei, ke jaringan OOM. Jika server kehilangan koneksi utamanya ke jaringan, maka server dapat dijangkau melalui antarmuka ini. Selain itu, antarmuka kontrol sakelar ToR, sensor suhu, antarmuka kontrol UPS, dan perangkat serupa lainnya dihubungkan ke sakelar OOM. Jaringan OOM dapat diakses melalui antarmuka firewall terpisah.

Koneksi Jaringan OOM

Memasangkan server dan jaringan pengguna

Di pabrik khusus, VRF terpisah digunakan untuk tujuan berbeda - untuk menghubungkan stasiun kerja pengguna, sistem pengawasan video, sistem multimedia di ruang rapat, untuk mengatur stand dan area demo, dll.

Kumpulan VRF lainnya telah dibuat di pabrik server:

• Untuk menghubungkan server reguler tempat layanan perusahaan dikerahkan.
• VRF terpisah, di mana server dengan akses dari Internet dikerahkan.
• VRF terpisah untuk server database yang hanya diakses oleh server lain (misalnya server aplikasi).
• Pisahkan VRF untuk sistem email kami (MS Exchange + Skype for Business).

Jadi kami memiliki satu set VRF di sisi pabrik pengguna dan satu set VRF di sisi pabrik server. Kedua set diinstal pada cluster firewall perusahaan (FW). ME terhubung ke switch perbatasan (daun perbatasan) dari server fabric dan user fabric.

Menghubungkan pabrik melalui AKU - fisika

Menghubungkan pabrik melalui SAYA - logika

Bagaimana migrasinya?

Selama migrasi, kami menghubungkan pabrik server baru dan lama di tingkat tautan data, melalui trunk sementara. Untuk memigrasikan server yang terletak di VLAN tertentu, kami membuat domain jembatan terpisah, yang mencakup VLAN pabrik server lama dan VXLAN pabrik server baru.

Konfigurasinya terlihat seperti ini, dua baris terakhir adalah kuncinya:

bridge-domain 22
 vxlan vni 600022
 evpn 
  route-distinguisher 10.xxx.xxx.xxx:60022
  vpn-target 6xxxx:60022 export-extcommunity
  vpn-target 6xxxx:60022 import-extcommunity

interface Eth-Trunk1
 mode lacp-static
 dfs-group 1 m-lag 1

interface Eth-Trunk1.1022 mode l2
 encapsulation dot1q vid 22
 bridge-domain 22

Migrasi mesin virtual

Kemudian, dengan menggunakan VMware vMotion, mesin virtual di VLAN ini dimigrasikan dari hypervisor lama (versi 5.5) ke yang baru (versi 6.5). Pada saat yang sama, server perangkat keras divirtualisasikan.

Ketika Anda mencoba lagiKonfigurasikan MTU terlebih dahulu dan periksa jalannya paket besar “end to end”.

Di jaringan server lama, kami menggunakan firewall virtual VMware vShield. Karena VMware tidak lagi mendukung alat ini, kami beralih dari vShield ke firewall perangkat keras pada saat yang sama kami bermigrasi ke peternakan virtual baru.

Setelah tidak ada lagi server yang tersisa di VLAN tertentu di jaringan lama, kami mengganti routing. Sebelumnya dilakukan pada core lama yang dibangun menggunakan teknologi Collapsed Backbone, dan pada pabrik server baru kami menggunakan teknologi Anycast Gateway.

Beralih perutean

Setelah mengalihkan perutean untuk VLAN tertentu, VLAN tersebut terputus dari domain jembatan dan dikeluarkan dari trunk antara jaringan lama dan baru, yaitu, sepenuhnya dipindahkan ke pabrik server baru. Jadi, kami memigrasikan sekitar 20 VLAN.

Jadi kami membuat jaringan baru, server baru, dan lahan virtualisasi baru. Di salah satu artikel berikut ini kami akan membahas tentang apa yang kami lakukan dengan Wi-Fi.

Maxim Klochkov
Konsultan senior dari grup audit jaringan dan proyek kompleks
Pusat Solusi Jaringan
"Sistem Info Jet"

Sumber: www.habr.com