Oldingi ikki qismda (, ) biz yangi buyurtma zavodi qurilgan tamoyillarni ko'rib chiqdik va barcha ish o'rinlarining ko'chishi haqida gaplashdik. Endi server zavodi haqida gapirish vaqti keldi.
Ilgari bizda alohida server infratuzilmasi yo'q edi: server kalitlari foydalanuvchi tarqatish kalitlari bilan bir xil yadroga ulangan. Kirish nazorati virtual tarmoqlar (VLAN) yordamida amalga oshirildi, VLAN marshrutlash bir nuqtada - yadroda (printsip bo'yicha) amalga oshirildi. ).
Eski tarmoq infratuzilmasi
Yangi ofis tarmog'i bilan bir vaqtda biz yangi server xonasi va u uchun alohida yangi zavod qurishga qaror qildik. Bu kichik bo'lib chiqdi (uchta server shkafi), ammo barcha qonunlarga muvofiq: CE8850 kalitlarida alohida yadro, to'liq o'ralgan (umurtqa pog'onali) topologiya, rafning yuqori qismi (ToR) CE6870 kalitlari, alohida juftlik. tarmoqning qolgan qismi bilan aloqa o'rnatish uchun kalitlar (chegara barglari). Qisqasi, to'liq qiyma.
Yangi server zavodi tarmog'i
Biz serverlarni ToR kalitlariga to'g'ridan-to'g'ri ulash foydasiga SCS serveridan voz kechishga qaror qildik. Nega? Bizda SCS serveridan foydalangan holda qurilgan ikkita server xonasi mavjud va biz buni tushundik:
- foydalanish uchun noqulay (ko'plab qayta ulanishlar, siz kabel jurnalini diqqat bilan yangilashingiz kerak);
- patch panellar egallagan joy jihatidan qimmat;
- serverlarning ulanish tezligini oshirish zarur bo'lganda to'siq bo'ladi (masalan, mis orqali 1 Gbit/s ulanishdan optik orqali 10 Gbit/s ga o'tish).
Yangi server zavodiga o'tayotganda biz 1 Gbit/s tezlikda serverlarni ulashdan uzoqlashishga harakat qildik va o'zimizni 10 Gbit interfeyslar bilan chekladik. Buni qila olmaydigan deyarli barcha eski serverlar virtualizatsiya qilingan, qolganlari esa gigabit qabul qiluvchilar orqali 10 gigabitli portlarga ulangan. Biz hisob-kitob qildik va ular uchun alohida gigabit kalitlarni o'rnatishdan ko'ra arzonroq bo'lishiga qaror qildik.
ToR kalitlari
Shuningdek, bizning yangi server xonamizda biz 24 ta portli, har bir rafga bittadan iborat bo'lgan alohida tarmoqdan tashqari boshqaruv (OOM) kalitlarini o'rnatdik. Bu g'oya juda yaxshi bo'lib chiqdi, lekin portlar etarli emas edi, keyingi safar biz 48 portli OOM kalitlarini o'rnatamiz.
Biz iLO yoki Huawei terminologiyasida iBMC kabi serverlarni masofadan boshqarish uchun interfeyslarni OOM tarmog'iga ulaymiz. Agar server tarmoqqa asosiy ulanishini yo'qotgan bo'lsa, unga ushbu interfeys orqali kirish mumkin bo'ladi. Shuningdek, ToR kalitlarining boshqaruv interfeyslari, harorat sensorlari, UPS boshqaruv interfeyslari va boshqa shunga o'xshash qurilmalar OOM kalitlariga ulangan. OOM tarmog'iga alohida xavfsizlik devori interfeysi orqali kirish mumkin.
OOM tarmoq ulanishi
Server va foydalanuvchi tarmoqlarini ulash
Maxsus zavodda alohida VRF-lar turli maqsadlarda qo'llaniladi - foydalanuvchi ish stantsiyalarini, video kuzatuv tizimlarini, yig'ilish xonalarida multimedia tizimlarini ulash, stendlar va demo maydonlarni tashkil qilish uchun va hokazo.
Server zavodida yana bir VRF to'plami yaratilgan:
- Korporativ xizmatlar joylashtirilgan oddiy serverlarni ulash uchun.
- Alohida VRF, uning ichida Internetga kirish imkoniga ega serverlar joylashtirilgan.
- Faqat boshqa serverlar (masalan, dastur serverlari) tomonidan foydalaniladigan ma'lumotlar bazasi serverlari uchun alohida VRF.
- Pochta tizimimiz uchun alohida VRF (MS Exchange + Biznes uchun Skype).
Shunday qilib, bizda foydalanuvchi zavod tomonida VRF to'plami va server zavod tomonida VRF to'plami mavjud. Ikkala to'plam ham korporativ xavfsizlik devori (FW) klasterlariga o'rnatiladi. ME'lar ham server matosining, ham foydalanuvchi to'qimasining chegara kalitlariga (chegara barglari) ulangan.
ME - fizika orqali fabrikalar bilan o'zaro bog'lanish
ME orqali zavodlarni o'zaro bog'lash - mantiq
Migratsiya qanday o'tdi?
Migratsiya paytida biz yangi va eski server zavodlarini vaqtinchalik magistrallar orqali ma'lumotlar uzatish darajasida bog'ladik. Muayyan VLAN-da joylashgan serverlarni ko'chirish uchun biz eski server zavodining VLAN va yangi server zavodining VXLAN-ni o'z ichiga olgan alohida ko'prik domenini yaratdik.
Konfiguratsiya quyidagicha ko'rinadi, oxirgi ikki qator asosiy hisoblanadi:
bridge-domain 22
vxlan vni 600022
evpn
route-distinguisher 10.xxx.xxx.xxx:60022
vpn-target 6xxxx:60022 export-extcommunity
vpn-target 6xxxx:60022 import-extcommunity
interface Eth-Trunk1
mode lacp-static
dfs-group 1 m-lag 1
interface Eth-Trunk1.1022 mode l2
encapsulation dot1q vid 22
bridge-domain 22
Virtual mashinalar migratsiyasi
Keyin, VMware vMotion-dan foydalanib, ushbu VLAN-dagi virtual mashinalar eski gipervisorlardan (5.5-versiya) yangilariga (6.5-versiya) ko'chirildi. Shu bilan birga, apparat serverlari virtualizatsiya qilindi.
Qayta uringaningizdaMTU-ni oldindan sozlang va katta paketlarning "uchdan oxirigacha" o'tishini tekshiring.
Eski server tarmog'ida biz VMware vShield virtual xavfsizlik devoridan foydalanganmiz. VMware endi ushbu vositani qo'llab-quvvatlamaganligi sababli, biz vShield-dan apparat xavfsizlik devoriga o'tdik, bir vaqtning o'zida biz yangi virtual fermaga o'tdik.
Eski tarmoqdagi ma'lum bir VLAN-da serverlar qolmaganidan so'ng, biz marshrutlashni almashtirdik. Ilgari u Collapsed Backbone texnologiyasidan foydalangan holda qurilgan eski yadroda amalga oshirilgan va yangi server zavodida biz Anycast Gateway texnologiyasidan foydalanganmiz.
Marshrutni almashtirish
Muayyan VLAN uchun marshrutlashni almashtirgandan so'ng, u ko'prik domenidan uzildi va eski va yangi tarmoqlar o'rtasidagi magistraldan chiqarib tashlandi, ya'ni u butunlay yangi server zavodiga o'tdi. Shunday qilib, biz 20 ga yaqin VLAN-ni ko'chirdik.
Shunday qilib, biz yangi tarmoq, yangi server va yangi virtualizatsiya fermasini yaratdik. Keyingi maqolalardan birida biz Wi-Fi bilan nima qilganimiz haqida gapiramiz.
Maksim Klochkov
Tarmoq auditi va kompleks loyihalar guruhining katta maslahatchisi
Tarmoq yechimlari markazi
"Jet Infotizimlari"
Manba: www.habr.com