در دو قسمت قبل (, ) به اصولی نگاه کردیم که کارخانه جدید سفارشی بر اساس آن ساخته شد و در مورد مهاجرت همه مشاغل صحبت کردیم. اکنون زمان آن است که در مورد کارخانه سرور صحبت کنیم.
قبلاً هیچ زیرساخت سرور جداگانه ای نداشتیم: سوئیچ های سرور به همان هسته سوئیچ های توزیع کاربر متصل بودند. کنترل دسترسی با استفاده از شبکه های مجازی (VLAN) انجام شد، مسیریابی VLAN در یک نقطه - روی هسته (طبق اصل) انجام شد ).
زیرساخت شبکه قدیمی
همزمان با شبکه اداری جدید تصمیم گرفتیم یک اتاق سرور جدید و یک کارخانه جدید جداگانه برای آن بسازیم. معلوم شد که کوچک است (سه کابینت سرور)، اما مطابق با تمام قوانین: یک هسته جداگانه روی سوئیچ های CE8850، یک توپولوژی کاملا مشبک (برگ ستون فقرات)، سوئیچ های بالای رک (ToR) CE6870، یک جفت جداگانه سوئیچ ها برای ارتباط با بقیه شبکه (برگ های مرزی). خلاصه گوشت چرخ کرده کامل.
شبکه کارخانه سرور جدید
ما تصمیم گرفتیم سرور SCS را کنار بگذاریم و سرورها را مستقیماً به سوئیچ‌های ToR متصل کنیم. چرا؟ ما در حال حاضر دو اتاق سرور داریم که با استفاده از سرور SCS ساخته شده اند، و متوجه شدیم که این است:
- استفاده ناخوشایند (بسیاری از اتصالات مجدد، شما باید گزارش کابل را با دقت به روز کنید).
- گران از نظر فضای اشغال شده توسط پچ پنل ها.
- زمانی که لازم است سرعت اتصال سرورها افزایش یابد، مانعی است (به عنوان مثال، از اتصالات 1 گیگابیت بر ثانیه روی مس به 10 گیگابیت بر ثانیه روی نوری تغییر دهید).
هنگام انتقال به یک کارخانه سرور جدید، سعی کردیم از اتصال سرورها با سرعت 1 گیگابیت بر ثانیه فاصله بگیریم و خود را به رابط های 10 گیگابیت محدود کنیم. تقریباً تمام سرورهای قدیمی که نمی توانند این کار را انجام دهند مجازی سازی شدند و بقیه از طریق فرستنده گیرنده گیگابیتی به پورت های 10 گیگابیتی متصل شدند. ما محاسبات را انجام دادیم و تصمیم گرفتیم که ارزان‌تر از نصب سوئیچ‌های گیگابیتی جداگانه برای آنها است.
سوئیچ های ToR
همچنین در اتاق سرور جدیدمان، سوئیچ‌های مدیریت خارج از باند (OOM) جداگانه با 24 پورت، یکی در هر رک نصب کردیم. این ایده بسیار خوب بود، اما پورت های کافی وجود نداشت، دفعه بعد سوئیچ های OOM را با 48 پورت نصب خواهیم کرد.
ما رابط هایی را برای مدیریت از راه دور سرورهایی مانند iLO یا iBMC در اصطلاح هواوی به شبکه OOM متصل می کنیم. اگر سرور اتصال اصلی خود به شبکه را از دست داده باشد، دسترسی به آن از طریق این رابط امکان پذیر خواهد بود. همچنین رابط های کنترلی سوئیچ های ToR، سنسورهای دما، رابط های کنترل UPS و سایر دستگاه های مشابه به سوئیچ های OOM متصل می شوند. شبکه OOM از طریق یک رابط فایروال جداگانه قابل دسترسی است.
اتصال شبکه OOM
جفت شدن شبکه های سرور و کاربر
در یک کارخانه سفارشی، VRF های جداگانه برای اهداف مختلف استفاده می شود - برای اتصال ایستگاه های کاری کاربر، سیستم های نظارت تصویری، سیستم های چند رسانه ای در اتاق های جلسات، برای سازماندهی غرفه ها و مناطق نمایشی و غیره.
مجموعه دیگری از VRF ها در کارخانه سرور ایجاد شده است:
- برای اتصال سرورهای معمولی که خدمات شرکتی بر روی آنها مستقر هستند.
- یک VRF جداگانه که در آن سرورهایی با دسترسی از اینترنت مستقر می شوند.
- یک VRF جداگانه برای سرورهای پایگاه داده که فقط توسط سرورهای دیگر (مثلاً سرورهای برنامه) قابل دسترسی هستند.
- VRF جداگانه برای سیستم پستی ما (MS Exchange + Skype for Business).
بنابراین مجموعه ای از VRF ها در سمت کارخانه کاربر و مجموعه ای از VRF ها در سمت کارخانه سرور داریم. هر دو مجموعه بر روی کلاسترهای فایروال شرکتی (FW) نصب می شوند. ME ها به سوئیچ های مرزی (برگ های حاشیه) هر دو فابریک سرور و فابریک کاربر متصل می شوند.
رابط کارخانه ها از طریق ME - فیزیک
رابط کارخانه ها از طریق ME - منطق
مهاجرت چگونه گذشت؟
در حین مهاجرت، کارخانه های سرور جدید و قدیمی را در سطح پیوند داده، از طریق ترانک های موقت به هم وصل کردیم. برای انتقال سرورهای مستقر در یک VLAN خاص، یک دامنه پل مجزا ایجاد کردیم که شامل VLAN کارخانه سرور قدیمی و VXLAN کارخانه سرور جدید بود.
پیکربندی چیزی شبیه به این است، دو خط آخر کلید هستند:
bridge-domain 22
vxlan vni 600022
evpn
route-distinguisher 10.xxx.xxx.xxx:60022
vpn-target 6xxxx:60022 export-extcommunity
vpn-target 6xxxx:60022 import-extcommunity
interface Eth-Trunk1
mode lacp-static
dfs-group 1 m-lag 1
interface Eth-Trunk1.1022 mode l2
encapsulation dot1q vid 22
bridge-domain 22
مهاجرت ماشین های مجازی
سپس با استفاده از VMware vMotion، ماشین های مجازی در این VLAN از هایپروایزرهای قدیمی (نسخه 5.5) به جدید (نسخه 6.5) منتقل شدند. در همان زمان سرورهای سخت افزاری مجازی سازی شدند.
وقتی سعی می کنید تکرار کنیدMTU را از قبل پیکربندی کنید و عبور بسته های بزرگ را از انتها به انتها بررسی کنید.
در شبکه سرور قدیمی، از فایروال مجازی VMware vShield استفاده کردیم. از آنجایی که VMware دیگر از این ابزار پشتیبانی نمی کند، همزمان با مهاجرت به مزرعه مجازی جدید، از vShield به فایروال های سخت افزاری تغییر مکان دادیم.
بعد از اینکه هیچ سروری در یک VLAN خاص در شبکه قدیمی باقی نماند، مسیریابی را تغییر دادیم. قبلاً روی هسته قدیمی که با استفاده از فناوری Collapsed Backbone ساخته شده بود انجام می شد و در کارخانه سرور جدید از فناوری Anycast Gateway استفاده می کردیم.
تغییر مسیریابی
پس از تغییر مسیریابی برای یک VLAN خاص، از دامنه پل جدا شد و از ترانک بین شبکه های قدیمی و جدید حذف شد، یعنی به طور کامل به کارخانه سرور جدید منتقل شد. بنابراین، ما حدود 20 VLAN را مهاجرت کردیم.
بنابراین ما یک شبکه جدید، یک سرور جدید و یک مزرعه مجازی سازی جدید ایجاد کردیم. در یکی از مقالات بعدی در مورد کارهایی که با وای فای انجام دادیم صحبت خواهیم کرد.
ماکسیم کلوچکوف
مشاور ارشد گروه ممیزی شبکه و پروژه های مجتمع
مرکز راه حل های شبکه
"جت اینفوسیستمز"
منبع: www.habr.com