മോസ്കോ ഓഫീസിലെ ഹുവാവേയിൽ ഞങ്ങൾ എങ്ങനെയാണ് ഒരു പുതിയ നെറ്റ്‌വർക്ക് രൂപകൽപ്പന ചെയ്‌ത് നടപ്പിലാക്കിയത്, ഭാഗം 3: സെർവർ ഫാക്ടറി

മുമ്പത്തെ രണ്ട് ഭാഗങ്ങളിൽ (തവണ, два) പുതിയ ഇഷ്‌ടാനുസൃത ഫാക്ടറി നിർമ്മിച്ച തത്വങ്ങൾ ഞങ്ങൾ നോക്കി, എല്ലാ ജോലികളുടെയും മൈഗ്രേഷനെ കുറിച്ച് സംസാരിച്ചു. ഇപ്പോൾ സെർവർ ഫാക്ടറിയെക്കുറിച്ച് സംസാരിക്കാൻ സമയമായി.

മുമ്പ്, ഞങ്ങൾക്ക് പ്രത്യേക സെർവർ ഇൻഫ്രാസ്ട്രക്ചർ ഇല്ലായിരുന്നു: സെർവർ സ്വിച്ചുകൾ ഉപയോക്തൃ വിതരണ സ്വിച്ചുകളുടെ അതേ കോറുമായി ബന്ധിപ്പിച്ചിരിക്കുന്നു. വെർച്വൽ നെറ്റ്‌വർക്കുകൾ (വിഎൽഎഎൻ) ഉപയോഗിച്ചാണ് ആക്‌സസ് നിയന്ത്രണം നടത്തിയത്, വിഎൽഎഎൻ റൂട്ടിംഗ് ഒരു ഘട്ടത്തിൽ നടത്തി - കാമ്പിൽ (തത്ത്വമനുസരിച്ച് തകർന്ന നട്ടെല്ല്).

പഴയ നെറ്റ്‌വർക്ക് ഇൻഫ്രാസ്ട്രക്ചർ

പുതിയ ഓഫീസ് നെറ്റ്‌വർക്കിനൊപ്പം, ഒരു പുതിയ സെർവർ റൂമും അതിനായി ഒരു പ്രത്യേക പുതിയ ഫാക്ടറിയും നിർമ്മിക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു. ഇത് ചെറിയ (മൂന്ന് സെർവർ കാബിനറ്റുകൾ) ആയി മാറി, പക്ഷേ എല്ലാ നിയമങ്ങൾക്കും അനുസൃതമായി: CE8850 സ്വിച്ചുകളിലെ ഒരു പ്രത്യേക കോർ, പൂർണ്ണമായും മെഷ് ചെയ്ത (നട്ടെല്ല്-ഇല) ടോപ്പോളജി, റാക്കിന് മുകളിൽ (ToR) CE6870 സ്വിച്ചുകൾ, ഒരു പ്രത്യേക ജോഡി ബാക്കിയുള്ള നെറ്റ്‌വർക്കുമായി ഇന്റർഫേസ് ചെയ്യുന്നതിനുള്ള സ്വിച്ചുകൾ (ബോർഡർ ഇലകൾ). ചുരുക്കത്തിൽ, പൂർണ്ണമായ mincemeat.

പുതിയ സെർവർ ഫാക്ടറിയുടെ ശൃംഖല

സെർവറുകൾ നേരിട്ട് ToR സ്വിച്ചുകളുമായി ബന്ധിപ്പിക്കുന്നതിന് അനുകൂലമായി സെർവർ SCS ഉപേക്ഷിക്കാൻ ഞങ്ങൾ തീരുമാനിച്ചു. എന്തുകൊണ്ട്? സെർവർ എസ്‌സി‌എസ് ഉപയോഗിച്ച് നിർമ്മിച്ച രണ്ട് സെർവർ റൂമുകൾ ഞങ്ങൾക്ക് ഇതിനകം ഉണ്ട്, ഇത് ഇതാണെന്ന് ഞങ്ങൾ മനസ്സിലാക്കി:

• ഉപയോഗിക്കുന്നതിന് അസൗകര്യം (നിരവധി വീണ്ടും കണക്ഷനുകൾ, നിങ്ങൾ കേബിൾ ലോഗ് ശ്രദ്ധാപൂർവ്വം അപ്ഡേറ്റ് ചെയ്യണം);
• പാച്ച് പാനലുകൾ കൈവശപ്പെടുത്തിയ സ്ഥലത്തിന്റെ കാര്യത്തിൽ ചെലവേറിയത്;
• സെർവറുകളുടെ കണക്ഷൻ വേഗത വർദ്ധിപ്പിക്കേണ്ടത് ആവശ്യമായി വരുമ്പോൾ ഒരു തടസ്സമാണ് (ഉദാഹരണത്തിന്, ചെമ്പ് വഴിയുള്ള 1 Gbit/s കണക്ഷനുകളിൽ നിന്ന് ഒപ്റ്റിക്കലിലൂടെ 10 Gbit/s ആയി മാറുക).

ഒരു പുതിയ സെർവർ ഫാക്ടറിയിലേക്ക് മാറുമ്പോൾ, 1 Gbit/s വേഗതയിൽ സെർവറുകൾ കണക്റ്റുചെയ്യുന്നതിൽ നിന്ന് ഞങ്ങൾ മാറാൻ ശ്രമിക്കുകയും 10 Gbit ഇന്റർഫേസുകളിലേക്ക് സ്വയം പരിമിതപ്പെടുത്തുകയും ചെയ്തു. ഇത് ചെയ്യാൻ കഴിയാത്ത മിക്കവാറും എല്ലാ പഴയ സെർവറുകളും വിർച്വലൈസ് ചെയ്തു, ബാക്കിയുള്ളവ 10 ഗിഗാബിറ്റ് പോർട്ടുകളിലേക്ക് ജിഗാബിറ്റ് ട്രാൻസ്‌സീവറുകൾ വഴി ബന്ധിപ്പിച്ചിരിക്കുന്നു. ഞങ്ങൾ കണക്ക് ചെയ്തു, അവർക്കായി പ്രത്യേക ഗിഗാബൈറ്റ് സ്വിച്ചുകൾ ഇൻസ്റ്റാൾ ചെയ്യുന്നതിനേക്കാൾ വിലകുറഞ്ഞതാണെന്ന് ഞങ്ങൾ തീരുമാനിച്ചു.

ToR സ്വിച്ചുകൾ

ഞങ്ങളുടെ പുതിയ സെർവർ റൂമിലും, ഞങ്ങൾ 24 പോർട്ടുകളുള്ള പ്രത്യേക ഔട്ട്-ഓഫ്-ബാൻഡ് മാനേജ്‌മെന്റ് (OOM) സ്വിച്ചുകൾ ഇൻസ്റ്റാൾ ചെയ്തു, ഓരോ റാക്കും. ഈ ആശയം വളരെ മികച്ചതായി മാറി, പക്ഷേ ആവശ്യത്തിന് പോർട്ടുകൾ ഇല്ലായിരുന്നു, അടുത്ത തവണ ഞങ്ങൾ 48 പോർട്ടുകളുള്ള OOM സ്വിച്ചുകൾ ഇൻസ്റ്റാൾ ചെയ്യും.

ഹുവായ് ടെർമിനോളജിയിലെ iLO, അല്ലെങ്കിൽ iBMC പോലുള്ള സെർവറുകളുടെ റിമോട്ട് മാനേജ്‌മെന്റിനായുള്ള ഇന്റർഫേസുകൾ ഞങ്ങൾ OOM നെറ്റ്‌വർക്കിലേക്ക് ബന്ധിപ്പിക്കുന്നു. സെർവറിന് നെറ്റ്‌വർക്കിലേക്കുള്ള പ്രധാന കണക്ഷൻ നഷ്‌ടപ്പെട്ടാൽ, ഈ ഇന്റർഫേസ് വഴി അതിൽ എത്തിച്ചേരാൻ സാധിക്കും. കൂടാതെ, ToR സ്വിച്ചുകൾ, താപനില സെൻസറുകൾ, UPS കൺട്രോൾ ഇന്റർഫേസുകൾ, മറ്റ് സമാന ഉപകരണങ്ങൾ എന്നിവയുടെ നിയന്ത്രണ ഇന്റർഫേസുകൾ OOM സ്വിച്ചുകളുമായി ബന്ധിപ്പിച്ചിരിക്കുന്നു. ഒരു പ്രത്യേക ഫയർവാൾ ഇന്റർഫേസിലൂടെ OOM നെറ്റ്‌വർക്ക് ആക്സസ് ചെയ്യാൻ കഴിയും.

OOM നെറ്റ്‌വർക്ക് കണക്ഷൻ

സെർവറും ഉപയോക്തൃ നെറ്റ്‌വർക്കുകളും ജോടിയാക്കുന്നു

ഒരു ഇഷ്‌ടാനുസൃത ഫാക്ടറിയിൽ, വ്യത്യസ്ത ആവശ്യങ്ങൾക്കായി പ്രത്യേക വിആർഎഫുകൾ ഉപയോഗിക്കുന്നു - ഉപയോക്തൃ വർക്ക്‌സ്റ്റേഷനുകൾ, വീഡിയോ നിരീക്ഷണ സംവിധാനങ്ങൾ, മീറ്റിംഗ് റൂമുകളിലെ മൾട്ടിമീഡിയ സംവിധാനങ്ങൾ, സ്റ്റാൻഡുകളും ഡെമോ ഏരിയകളും സംഘടിപ്പിക്കുന്നതിന്, മുതലായവ.

സെർവർ ഫാക്ടറിയിൽ മറ്റൊരു കൂട്ടം VRF-കൾ സൃഷ്ടിച്ചു:

• കോർപ്പറേറ്റ് സേവനങ്ങൾ വിന്യസിച്ചിരിക്കുന്ന സാധാരണ സെർവറുകളെ ബന്ധിപ്പിക്കുന്നതിന്.
• ഇൻറർനെറ്റിൽ നിന്നുള്ള ആക്‌സസ് ഉള്ള സെർവറുകൾ വിന്യസിച്ചിരിക്കുന്ന ഒരു പ്രത്യേക വിആർഎഫ്.
• മറ്റ് സെർവറുകൾ (ഉദാഹരണത്തിന്, ആപ്ലിക്കേഷൻ സെർവറുകൾ) മാത്രം ആക്‌സസ് ചെയ്യുന്ന ഡാറ്റാബേസ് സെർവറുകൾക്കായി ഒരു പ്രത്യേക വിആർഎഫ്.
• ഞങ്ങളുടെ മെയിൽ സിസ്റ്റത്തിന് (MS Exchange + Skype for Business) VRF വേർതിരിക്കുക.

അതിനാൽ ഞങ്ങൾക്ക് ഉപയോക്തൃ ഫാക്ടറി ഭാഗത്ത് ഒരു കൂട്ടം വിആർഎഫുകളും സെർവർ ഫാക്ടറി ഭാഗത്ത് ഒരു കൂട്ടം വിആർഎഫുകളും ഉണ്ട്. രണ്ട് സെറ്റുകളും കോർപ്പറേറ്റ് ഫയർവാൾ (FW) ക്ലസ്റ്ററുകളിൽ ഇൻസ്റ്റാൾ ചെയ്തിട്ടുണ്ട്. സെർവർ ഫാബ്രിക്കിന്റെയും യൂസർ ഫാബ്രിക്കിന്റെയും ബോർഡർ സ്വിച്ചുകളുമായി (ബോർഡർ ഇലകൾ) ME-കൾ ബന്ധിപ്പിച്ചിരിക്കുന്നു.

ME - ഫിസിക്സ് വഴി ഫാക്ടറികൾ ഇന്റർഫേസ് ചെയ്യുന്നു

ME - ലോജിക് വഴി ഫാക്ടറികൾ ഇന്റർഫേസ് ചെയ്യുന്നു

കുടിയേറ്റം എങ്ങനെ നടന്നു?

മൈഗ്രേഷൻ സമയത്ത്, ഞങ്ങൾ പുതിയതും പഴയതുമായ സെർവർ ഫാക്ടറികളെ ഡാറ്റ ലിങ്ക് തലത്തിൽ താൽക്കാലിക ട്രങ്കുകൾ വഴി ബന്ധിപ്പിച്ചു. ഒരു നിർദ്ദിഷ്‌ട VLAN-ൽ സ്ഥിതിചെയ്യുന്ന സെർവറുകൾ മൈഗ്രേറ്റ് ചെയ്യുന്നതിന്, ഞങ്ങൾ ഒരു പ്രത്യേക ബ്രിഡ്ജ് ഡൊമെയ്‌ൻ സൃഷ്‌ടിച്ചു, അതിൽ പഴയ സെർവർ ഫാക്ടറിയുടെ VLAN ഉം പുതിയ സെർവർ ഫാക്ടറിയുടെ VXLAN ഉം ഉൾപ്പെടുന്നു.

കോൺഫിഗറേഷൻ ഇതുപോലെയാണ് കാണപ്പെടുന്നത്, അവസാനത്തെ രണ്ട് വരികൾ പ്രധാനമാണ്:

bridge-domain 22
 vxlan vni 600022
 evpn 
  route-distinguisher 10.xxx.xxx.xxx:60022
  vpn-target 6xxxx:60022 export-extcommunity
  vpn-target 6xxxx:60022 import-extcommunity

interface Eth-Trunk1
 mode lacp-static
 dfs-group 1 m-lag 1

interface Eth-Trunk1.1022 mode l2
 encapsulation dot1q vid 22
 bridge-domain 22

വെർച്വൽ മെഷീനുകളുടെ മൈഗ്രേഷൻ

തുടർന്ന്, VMware vMotion ഉപയോഗിച്ച്, ഈ VLAN-ലെ വെർച്വൽ മെഷീനുകൾ പഴയ ഹൈപ്പർവൈസറുകളിൽ നിന്ന് (പതിപ്പ് 5.5) പുതിയവയിലേക്ക് (പതിപ്പ് 6.5) മൈഗ്രേറ്റ് ചെയ്തു. അതേസമയം, ഹാർഡ്‌വെയർ സെർവറുകൾ വിർച്വലൈസ് ചെയ്തു.

നിങ്ങൾ വീണ്ടും ശ്രമിക്കുമ്പോൾMTU മുൻ‌കൂട്ടി കോൺഫിഗർ ചെയ്‌ത് വലിയ പാക്കറ്റുകളുടെ "അവസാനം മുതൽ അവസാനം വരെ" കടന്നുപോകുന്നത് പരിശോധിക്കുക.

പഴയ സെർവർ നെറ്റ്‌വർക്കിൽ, ഞങ്ങൾ VMware vShield വെർച്വൽ ഫയർവാൾ ഉപയോഗിച്ചു. VMware ഈ ടൂളിനെ പിന്തുണയ്‌ക്കാത്തതിനാൽ, ഞങ്ങൾ പുതിയ വെർച്വൽ ഫാമിലേക്ക് മൈഗ്രേറ്റ് ചെയ്‌ത അതേ സമയം തന്നെ vShield-ൽ നിന്ന് ഹാർഡ്‌വെയർ ഫയർവാളുകളിലേക്ക് മാറി.

പഴയ നെറ്റ്‌വർക്കിൽ ഒരു പ്രത്യേക VLAN-ൽ സെർവറുകളൊന്നും അവശേഷിച്ചില്ലെങ്കിൽ, ഞങ്ങൾ റൂട്ടിംഗ് മാറ്റി. മുമ്പ്, ഇത് പഴയ കോർ ഉപയോഗിച്ചാണ് നടത്തിയത്, തകർന്ന ബാക്ക്‌ബോൺ സാങ്കേതികവിദ്യ ഉപയോഗിച്ച് നിർമ്മിച്ചതാണ്, പുതിയ സെർവർ ഫാക്ടറിയിൽ ഞങ്ങൾ Anycast ഗേറ്റ്‌വേ സാങ്കേതികവിദ്യ ഉപയോഗിച്ചു.

റൂട്ടിംഗ് മാറ്റുന്നു

ഒരു നിർദ്ദിഷ്‌ട VLAN-നായി റൂട്ടിംഗ് മാറിയതിനുശേഷം, അത് ബ്രിഡ്ജ് ഡൊമെയ്‌നിൽ നിന്ന് വിച്ഛേദിക്കുകയും പഴയതും പുതിയതുമായ നെറ്റ്‌വർക്കുകൾക്കിടയിലുള്ള ട്രങ്കിൽ നിന്ന് ഒഴിവാക്കുകയും ചെയ്തു, അതായത്, ഇത് പൂർണ്ണമായും പുതിയ സെർവർ ഫാക്ടറിയിലേക്ക് മാറ്റി. അങ്ങനെ, ഞങ്ങൾ ഏകദേശം 20 VLAN-കൾ മൈഗ്രേറ്റ് ചെയ്തു.

അതിനാൽ ഞങ്ങൾ ഒരു പുതിയ നെറ്റ്‌വർക്ക്, ഒരു പുതിയ സെർവർ, ഒരു പുതിയ വിർച്ച്വലൈസേഷൻ ഫാം എന്നിവ സൃഷ്ടിച്ചു. ഇനിപ്പറയുന്ന ലേഖനങ്ങളിലൊന്നിൽ ഞങ്ങൾ Wi-Fi ഉപയോഗിച്ച് എന്താണ് ചെയ്തതെന്ന് സംസാരിക്കും.

മാക്സിം ക്ലോച്ച്കോവ്
നെറ്റ്‌വർക്ക് ഓഡിറ്റിന്റെയും സങ്കീർണ്ണമായ പ്രോജക്റ്റ് ഗ്രൂപ്പിന്റെയും സീനിയർ കൺസൾട്ടന്റ്
നെറ്റ്‌വർക്ക് സൊല്യൂഷൻസ് സെന്റർ
"ജെറ്റ് ഇൻഫോസിസ്റ്റംസ്"

അവലംബം: www.habr.com