ആദ്യ രണ്ട് ലേഖനങ്ങളിൽ, ഞാൻ ഓട്ടോമേഷന്റെ പ്രശ്നം ഉന്നയിക്കുകയും അതിന്റെ ചട്ടക്കൂട് വരച്ചുകാട്ടുകയും ചെയ്തു, രണ്ടാമത്തേതിൽ ഞാൻ സേവനങ്ങളുടെ കോൺഫിഗറേഷൻ ഓട്ടോമേറ്റ് ചെയ്യുന്നതിനുള്ള ആദ്യ സമീപനമായി നെറ്റ്‌വർക്ക് വിർച്ച്വലൈസേഷനിലേക്ക് ഒരു പിൻവാങ്ങൽ നടത്തി.
ഫിസിക്കൽ നെറ്റ്‌വർക്കിന്റെ ഒരു ഡയഗ്രം വരയ്ക്കാനുള്ള സമയമാണിത്.

ഡാറ്റാ സെന്റർ നെറ്റ്‌വർക്കുകൾ സജ്ജീകരിക്കുന്നത് നിങ്ങൾക്ക് പരിചിതമല്ലെങ്കിൽ, ആരംഭിക്കാൻ ഞാൻ ശക്തമായി ശുപാർശ ചെയ്യുന്നു അവരെക്കുറിച്ചുള്ള ലേഖനങ്ങൾ.

എല്ലാ പ്രശ്നങ്ങളും:

• 0. എ.ഡി.എസ്.എം. ഭാഗം പൂജ്യം. ആസൂത്രണം
• 1. എ.ഡി.എസ്.എം. ഭാഗം ഒന്ന് (അത് പൂജ്യത്തിന് ശേഷമുള്ളതാണ്). നെറ്റ്‌വർക്ക് വെർച്വലൈസേഷൻ
• 2. എ.ഡി.എസ്.എം. രണ്ടാം ഭാഗം. നെറ്റ്‌വർക്ക് ഡിസൈൻ

ഈ ശ്രേണിയിൽ വിവരിച്ചിരിക്കുന്ന രീതികൾ ഏത് തരത്തിലുള്ള നെറ്റ്‌വർക്കിനും, ഏത് വലുപ്പത്തിനും, ഏത് തരത്തിലുള്ള വെണ്ടർമാർക്കും (അല്ല) ബാധകമായിരിക്കണം. എന്നിരുന്നാലും, ഈ സമീപനങ്ങളുടെ പ്രയോഗത്തിന്റെ സാർവത്രിക ഉദാഹരണം വിവരിക്കുക അസാധ്യമാണ്. അതിനാൽ, ഡിസി നെറ്റ്‌വർക്കിന്റെ ആധുനിക വാസ്തുവിദ്യയിൽ ഞാൻ ശ്രദ്ധ കേന്ദ്രീകരിക്കും: ക്ലോസ് ഫാക്ടറി.
MPLS L3VPN-ൽ ഞങ്ങൾ DCI ചെയ്യും.

ഹോസ്റ്റിൽ നിന്നുള്ള ഫിസിക്കൽ നെറ്റ്‌വർക്കിന് മുകളിൽ ഒരു ഓവർലേ നെറ്റ്‌വർക്ക് പ്രവർത്തിക്കുന്നു (ഇത് ഓപ്പൺസ്റ്റാക്കിന്റെ VXLAN അല്ലെങ്കിൽ Tungsten Fabric അല്ലെങ്കിൽ നെറ്റ്‌വർക്കിൽ നിന്ന് അടിസ്ഥാന IP കണക്റ്റിവിറ്റി മാത്രം ആവശ്യമുള്ള മറ്റെന്തെങ്കിലും ആകാം).

ഈ സാഹചര്യത്തിൽ, ഓട്ടോമേഷനായി നമുക്ക് താരതമ്യേന ലളിതമായ ഒരു സാഹചര്യം ലഭിക്കുന്നു, കാരണം ഒരേ രീതിയിൽ ക്രമീകരിച്ചിരിക്കുന്ന ധാരാളം ഉപകരണങ്ങൾ ഞങ്ങളുടെ പക്കലുണ്ട്.

ഞങ്ങൾ ഒരു ശൂന്യതയിൽ ഒരു ഗോളാകൃതിയിലുള്ള DC തിരഞ്ഞെടുക്കും:

• എല്ലായിടത്തും ഒരു ഡിസൈൻ പതിപ്പ്.
• രണ്ട് വെണ്ടർമാർ രണ്ട് നെറ്റ്‌വർക്ക് വിമാനങ്ങൾ രൂപീകരിക്കുന്നു.
• ഒരു പോഡിലെ രണ്ട് കടല പോലെയാണ് ഒരു ഡിസി മറ്റൊന്ന്.

ഉള്ളടക്കം

• ഫിസിക്കൽ ടോപ്പോളജി
• റൂട്ടിംഗ്
• IP പ്ലാൻ
• ലാബ
• തീരുമാനം
• ഉപയോഗപ്രദമായ ലിങ്കുകൾ

ഞങ്ങളുടെ സേവന ദാതാവായ LAN_DC-യെ അനുവദിക്കുക, ഉദാഹരണത്തിന്, കുടുങ്ങിയ എലിവേറ്ററുകളിൽ അതിജീവിക്കുന്നതിനെക്കുറിച്ചുള്ള പരിശീലന വീഡിയോകൾ ഹോസ്റ്റുചെയ്യുക.

മെഗാസിറ്റികളിൽ ഇത് വളരെ ജനപ്രിയമാണ്, അതിനാൽ നിങ്ങൾക്ക് ധാരാളം ഫിസിക്കൽ മെഷീനുകൾ ആവശ്യമാണ്.

ആദ്യം, ഞാൻ ആഗ്രഹിക്കുന്നതുപോലെ നെറ്റ്‌വർക്ക് ഏകദേശം വിവരിക്കും. എന്നിട്ട് ഞാൻ അത് ലാബിനായി ലളിതമാക്കും.

ഫിസിക്കൽ ടോപ്പോളജി

സ്ഥാനങ്ങൾ

LAN_DC-ന് 6 DC-കൾ ഉണ്ടായിരിക്കും:

• റഷ്യ (RU):
  • മോസ്കോ (msk)
  • കസാൻ (kzn)

• സ്പെയിൻ (SP):
  • ബാഴ്സലോണ (bcn)
  • മലഗ (മില്ലിഗ്രാം)

• ചൈന (CN):
  • ഷാങ്ഹായ് (ഷ)
  • സിയാൻ (സിയ)

ഇൻസൈഡ് ഡിസി (ഇൻട്രാ-ഡിസി)

ക്ലോസ് ടോപ്പോളജി അടിസ്ഥാനമാക്കി എല്ലാ ഡിസികൾക്കും ഒരേ ആന്തരിക കണക്റ്റിവിറ്റി നെറ്റ്‌വർക്കുകൾ ഉണ്ട്.
ഏത് തരത്തിലുള്ള ക്ലോസ് നെറ്റ്‌വർക്കുകളാണ് അവ, എന്തിനാണ് അവ വേറിട്ട് നിൽക്കുന്നത് ലേഖനം.

ഓരോ ഡിസിയിലും മെഷീനുകളുള്ള 10 റാക്കുകൾ ഉണ്ട്, അവ ഇപ്രകാരം അക്കമിട്ടിരിക്കും A, B, C അങ്ങനെയാണ്.

ഓരോ റാക്കിലും 30 യന്ത്രങ്ങളുണ്ട്. അവർക്ക് ഞങ്ങൾക്ക് താൽപ്പര്യമുണ്ടാകില്ല.

ഓരോ റാക്കിലും എല്ലാ മെഷീനുകളും ബന്ധിപ്പിച്ചിരിക്കുന്ന ഒരു സ്വിച്ച് ഉണ്ട് - ഇതാണ് റാക്ക് സ്വിച്ചിന്റെ മുകളിൽ - ToR അല്ലെങ്കിൽ, ക്ലോസ് ഫാക്ടറിയുടെ കാര്യത്തിൽ, ഞങ്ങൾ അതിനെ വിളിക്കും ലീഫ്.

ഫാക്ടറിയുടെ പൊതുവായ ഡയഗ്രം.

ഞങ്ങൾ അവരെ വിളിക്കും XXX,- ഇലYഎവിടെ XXX, - മൂന്ന് അക്ഷരങ്ങളുടെ ചുരുക്കെഴുത്ത് DC, ഒപ്പം Y - സീരിയൽ നമ്പർ. ഉദാഹരണത്തിന്, kzn-leaf11.

എന്റെ ലേഖനങ്ങളിൽ Leaf, ToR എന്നീ പദങ്ങൾ പര്യായപദങ്ങളായി നിസ്സാരമായി ഉപയോഗിക്കാൻ ഞാൻ എന്നെ അനുവദിക്കും. എന്നിരുന്നാലും, ഇത് അങ്ങനെയല്ലെന്ന് നാം ഓർക്കണം.
മെഷീനുകൾ ബന്ധിപ്പിച്ചിരിക്കുന്ന ഒരു റാക്കിൽ ഇൻസ്റ്റാൾ ചെയ്ത ഒരു സ്വിച്ച് ആണ് ToR.
ഒരു ഫിസിക്കൽ നെറ്റ്‌വർക്കിലെ ഉപകരണത്തിന്റെ പങ്ക് അല്ലെങ്കിൽ ക്ലോസ് ടോപ്പോളജിയുടെ അടിസ്ഥാനത്തിൽ ഒരു ഫസ്റ്റ്-ലെവൽ സ്വിച്ചാണ് ഇല.
അതായത്, ഇല != ToR.
അതിനാൽ ലീഫ് ഒരു EndofRaw സ്വിച്ച് ആകാം, ഉദാഹരണത്തിന്.
എന്നിരുന്നാലും, ഈ ലേഖനത്തിന്റെ ചട്ടക്കൂടിനുള്ളിൽ ഞങ്ങൾ അവയെ പര്യായപദങ്ങളായി പരിഗണിക്കും.

ഓരോ ToR സ്വിച്ചും നാല് ഉയർന്ന തലത്തിലുള്ള അഗ്രഗേഷൻ സ്വിച്ചുകളുമായി ബന്ധിപ്പിച്ചിരിക്കുന്നു - നട്ടെല്ല്. ഡിസിയിലെ ഒരു റാക്ക് സ്പൈനുകൾക്കായി അനുവദിച്ചിരിക്കുന്നു. ഞങ്ങൾ ഇതിന് സമാനമായി പേരിടും: XXX,- നട്ടെല്ല്Y.

അതേ റാക്കിൽ MPLS ഉള്ള DC - 2 റൂട്ടറുകൾ തമ്മിലുള്ള കണക്റ്റിവിറ്റിക്കുള്ള നെറ്റ്‌വർക്ക് ഉപകരണങ്ങൾ അടങ്ങിയിരിക്കും. എന്നാൽ വലിയതോതിൽ, ഇവ ഒരേ ToR-കളാണ്. അതായത്, നട്ടെല്ല് സ്വിച്ചുകളുടെ വീക്ഷണകോണിൽ നിന്ന്, കണക്റ്റുചെയ്‌ത മെഷീനുകളുള്ള സാധാരണ ToR അല്ലെങ്കിൽ DCI-യ്‌ക്കുള്ള റൂട്ടർ ഒട്ടും പ്രശ്‌നമല്ല - ഫോർവേഡിംഗ് മാത്രം.

അത്തരം പ്രത്യേക ToR-കളെ വിളിക്കുന്നു എഡ്ജ്-ഇല. ഞങ്ങൾ അവരെ വിളിക്കും XXX,-എഡ്ജ്Y.

ഇത് ഇതുപോലെ കാണപ്പെടും.

മുകളിലുള്ള ഡയഗ്രാമിൽ, ഞാൻ യഥാർത്ഥത്തിൽ അരികും ഇലയും ഒരേ തലത്തിൽ സ്ഥാപിച്ചു. ക്ലാസിക് ത്രീ-ലെയർ നെറ്റ്‌വർക്കുകൾ അപ്‌ലിങ്കിംഗ് (അതിനാൽ ഈ പദം) അപ്‌ലിങ്കുകളായി കണക്കാക്കാൻ അവർ ഞങ്ങളെ പഠിപ്പിച്ചു. ഇവിടെ ഡിസിഐ “അപ്ലിങ്ക്” വീണ്ടും താഴേക്ക് പോകുന്നു, ഇത് ചിലർക്ക് സാധാരണ യുക്തിയെ ചെറുതായി തകർക്കുന്നു. വലിയ നെറ്റ്‌വർക്കുകളുടെ കാര്യത്തിൽ, ഡാറ്റാ സെന്ററുകളെ ചെറിയ യൂണിറ്റുകളായി വിഭജിക്കുമ്പോൾ - പാകമായ's (പോയിന്റ് ഓഫ് ഡെലിവറി), വ്യക്തിയെ ഹൈലൈറ്റ് ചെയ്യുക എഡ്ജ്-പിഒഡിഡിസിഐ, ബാഹ്യ നെറ്റ്‌വർക്കുകളിലേക്കുള്ള ആക്‌സസ് എന്നിവയ്‌ക്കുള്ളതാണ്.

ഭാവിയിൽ ധാരണയുടെ എളുപ്പത്തിനായി, ഞാൻ ഇപ്പോഴും നട്ടെല്ലിന് മുകളിൽ എഡ്ജ് വരയ്ക്കും, അതേസമയം നട്ടെല്ലിന് ബുദ്ധിയില്ലെന്നും സാധാരണ ലീഫിലും എഡ്ജ്-ലീഫിലും പ്രവർത്തിക്കുമ്പോൾ വ്യത്യാസങ്ങളൊന്നുമില്ലെന്നും ഞങ്ങൾ ഓർമ്മിക്കും (ഇവിടെ സൂക്ഷ്മതകളുണ്ടെങ്കിലും , എന്നാൽ പൊതുവേ ഇത് ശരിയാണ്).

എഡ്ജ്-ഇലകളുള്ള ഒരു ഫാക്ടറിയുടെ സ്കീം.

ഇല, നട്ടെല്ല്, അഗ്രം എന്നിവയുടെ ത്രിത്വം ഒരു അണ്ടർലേ നെറ്റ്‌വർക്ക് അല്ലെങ്കിൽ ഫാക്ടറി രൂപീകരിക്കുന്നു.

ഒരു നെറ്റ്‌വർക്ക് ഫാക്ടറിയുടെ ചുമതല (അണ്ടർലേ വായിക്കുക), ഞങ്ങൾ ഇതിനകം നിർവചിച്ചിരിക്കുന്നത് പോലെ അവസാന ലക്കം, വളരെ വളരെ ലളിതമാണ് - ഒരേ ഡിസിക്കുള്ളിലും അവയ്ക്കിടയിലും മെഷീനുകൾക്കിടയിൽ ഐപി കണക്റ്റിവിറ്റി നൽകുന്നതിന്.
അതുകൊണ്ടാണ് നെറ്റ്‌വർക്കിനെ ഫാക്ടറി എന്ന് വിളിക്കുന്നത്, ഉദാഹരണത്തിന്, മോഡുലാർ നെറ്റ്‌വർക്ക് ബോക്സുകൾക്കുള്ളിലെ ഒരു സ്വിച്ചിംഗ് ഫാക്ടറി പോലെ, നിങ്ങൾക്ക് ഇതിൽ കൂടുതൽ വായിക്കാൻ കഴിയും SDSM14.

പൊതുവേ, അത്തരമൊരു ടോപ്പോളജിയെ ഒരു ഫാക്ടറി എന്ന് വിളിക്കുന്നു, കാരണം വിവർത്തനത്തിലെ ഫാബ്രിക് എന്നാൽ ഫാബ്രിക് എന്നാണ്. വിയോജിക്കാൻ പ്രയാസമാണ്:

ഫാക്ടറി പൂർണ്ണമായും L3 ആണ്. VLAN ഇല്ല, ബ്രോഡ്‌കാസ്റ്റ് ഇല്ല - LAN_DC-യിൽ ഞങ്ങൾക്ക് അത്തരം അത്ഭുതകരമായ പ്രോഗ്രാമർമാർ ഉണ്ട്, L3 മാതൃകയിൽ ജീവിക്കുന്ന ആപ്ലിക്കേഷനുകൾ എങ്ങനെ എഴുതണമെന്ന് അവർക്ക് അറിയാം, കൂടാതെ വെർച്വൽ മെഷീനുകൾക്ക് IP വിലാസം സംരക്ഷിക്കുന്ന ലൈവ് മൈഗ്രേഷൻ ആവശ്യമില്ല.

ഒരിക്കൽ കൂടി: എന്തുകൊണ്ട് ഫാക്ടറി, എന്തിനാണ് L3 എന്ന ചോദ്യത്തിനുള്ള ഉത്തരം ലേഖനം.

DCI - ഡാറ്റാ സെന്റർ ഇന്റർകണക്റ്റ് (ഇന്റർ-ഡിസി)

എഡ്ജ്-ലീഫ് ഉപയോഗിച്ച് DCI സംഘടിപ്പിക്കും, അതായത്, അവ ഹൈവേയിലേക്കുള്ള ഞങ്ങളുടെ എക്സിറ്റ് പോയിന്റാണ്.
ലാളിത്യത്തിനായി, ഡിസികൾ നേരിട്ടുള്ള ലിങ്കുകൾ വഴി പരസ്പരം ബന്ധിപ്പിച്ചിട്ടുണ്ടെന്ന് ഞങ്ങൾ അനുമാനിക്കുന്നു.
നമുക്ക് ബാഹ്യ കണക്റ്റിവിറ്റി പരിഗണനയിൽ നിന്ന് ഒഴിവാക്കാം.

ഓരോ തവണയും ഞാൻ ഒരു ഘടകം നീക്കംചെയ്യുമ്പോൾ, ഞാൻ നെറ്റ്‌വർക്ക് ഗണ്യമായി ലഘൂകരിക്കുന്നുവെന്ന് എനിക്കറിയാം. ഞങ്ങളുടെ അമൂർത്തമായ നെറ്റ്‌വർക്ക് ഓട്ടോമേറ്റ് ചെയ്യുമ്പോൾ, എല്ലാം ശരിയാകും, പക്ഷേ യഥാർത്ഥത്തിൽ ക്രച്ചുകൾ ഉണ്ടാകും.
ഇത് സത്യമാണ്. അപ്പോഴും, ഈ പരമ്പരയുടെ ലക്ഷ്യം, സാങ്കൽപ്പിക പ്രശ്നങ്ങൾ വീരോചിതമായി പരിഹരിക്കുകയല്ല, സമീപനങ്ങളിൽ ചിന്തിക്കുകയും പ്രവർത്തിക്കുകയും ചെയ്യുക എന്നതാണ്.

എഡ്ജ്-ലീഫുകളിൽ, അടിവസ്ത്രം VPN-ൽ സ്ഥാപിക്കുകയും MPLS നട്ടെല്ല് (അതേ നേരിട്ടുള്ള ലിങ്ക്) വഴി കൈമാറുകയും ചെയ്യുന്നു.

ഇതാണ് നമുക്ക് ലഭിക്കുന്ന ടോപ്പ് ലെവൽ ഡയഗ്രം.

റൂട്ടിംഗ്

ഡിസിക്കുള്ളിൽ റൂട്ടിംഗിനായി ഞങ്ങൾ BGP ഉപയോഗിക്കും.
MPLS ട്രങ്കിൽ OSPF+LDP.
DCI-യ്‌ക്ക്, അതായത്, ഭൂഗർഭത്തിൽ കണക്റ്റിവിറ്റി സംഘടിപ്പിക്കുന്നു - MPLS വഴി BGP L3VPN.

പൊതുവായ റൂട്ടിംഗ് സ്കീം

ഫാക്ടറിയിൽ OSPF അല്ലെങ്കിൽ ISIS (റഷ്യൻ ഫെഡറേഷനിൽ നിരോധിച്ചിരിക്കുന്ന റൂട്ടിംഗ് പ്രോട്ടോക്കോൾ) ഇല്ല.

പ്രോട്ടോക്കോൾ, അയൽപക്കങ്ങൾ, നയങ്ങൾ എന്നിവ സജ്ജീകരിക്കുന്നത് മാനുവൽ (യഥാർത്ഥത്തിൽ ഓട്ടോമാറ്റിക് - ഞങ്ങൾ ഇവിടെ ഓട്ടോമേഷനെക്കുറിച്ചാണ് സംസാരിക്കുന്നത്) - സ്വയമേവ കണ്ടെത്തലോ ചെറിയ പാതകളുടെ കണക്കുകൂട്ടലോ ഉണ്ടാകില്ല എന്നാണ് ഇതിനർത്ഥം.

ഡിസിക്കുള്ളിലെ ബിജിപി റൂട്ടിംഗ് സ്കീം

എന്തുകൊണ്ട് BGP?

ഈ വിഷയത്തിൽ ഉണ്ട് മുഴുവൻ RFC എങ്ങനെ നിർമ്മിക്കാമെന്ന് പറയുന്ന ഫേസ്ബുക്കിന്റെയും അരിസ്റ്റയുടെയും പേരിലാണ് പേര് വളരെ വലിയ BGP ഉപയോഗിക്കുന്ന ഡാറ്റാ സെന്റർ നെറ്റ്‌വർക്കുകൾ. ഇത് ഏതാണ്ട് ഫിക്ഷൻ പോലെ വായിക്കുന്നു, ക്ഷീണിച്ച ഒരു സായാഹ്നത്തിനായി ഞാൻ ഇത് വളരെ ശുപാർശ ചെയ്യുന്നു.

എന്റെ ലേഖനത്തിൽ ഇതിനായി സമർപ്പിച്ചിരിക്കുന്ന ഒരു മുഴുവൻ ഭാഗവും ഉണ്ട്. ഞാൻ നിങ്ങളെ എവിടേക്ക് കൊണ്ടുപോകും ഒപ്പം ഞാൻ അയക്കുന്നു.

എന്നിരുന്നാലും, ചുരുക്കത്തിൽ, വലിയ ഡാറ്റാ സെന്ററുകളുടെ നെറ്റ്‌വർക്കുകൾക്ക് ഒരു ഐജിപിയും അനുയോജ്യമല്ല, അവിടെ നെറ്റ്‌വർക്ക് ഉപകരണങ്ങളുടെ എണ്ണം ആയിരക്കണക്കിന് വരും.

കൂടാതെ, എല്ലായിടത്തും ബിജിപി ഉപയോഗിക്കുന്നത് വിവിധ പ്രോട്ടോക്കോളുകളെ പിന്തുണയ്ക്കുന്നതിനും അവയ്ക്കിടയിൽ സമന്വയിപ്പിക്കുന്നതിനും സമയം പാഴാക്കാതിരിക്കാൻ നിങ്ങളെ അനുവദിക്കും.

ഉയർന്ന തോതിലുള്ള പ്രോബബിലിറ്റി ഉള്ള ഞങ്ങളുടെ ഫാക്ടറിയിൽ, പെട്ടെന്ന് വളരാൻ കഴിയാത്ത, OSPF കണ്ണുകൾക്ക് മതിയാകും. ഇവ യഥാർത്ഥത്തിൽ മെഗാസ്‌കേലർമാരുടെയും ക്ലൗഡ് ടൈറ്റാനുകളുടെയും പ്രശ്‌നങ്ങളാണ്. എന്നാൽ നമുക്ക് അത് ആവശ്യമാണെന്ന് കുറച്ച് റിലീസുകൾക്കായി സങ്കൽപ്പിക്കുക, പ്യോട്ടർ ലാപുഖോവ് വസ്വിയ്യത്ത് ചെയ്തതുപോലെ ഞങ്ങൾ ബിജിപി ഉപയോഗിക്കും.

റൂട്ടിംഗ് നയങ്ങൾ

ലീഫ് സ്വിച്ചുകളിൽ, ഞങ്ങൾ അണ്ടർലേ നെറ്റ്‌വർക്ക് ഇന്റർഫേസുകളിൽ നിന്ന് ബിജിപിയിലേക്ക് പ്രിഫിക്‌സുകൾ ഇറക്കുമതി ചെയ്യുന്നു.
ഞങ്ങൾക്കിടയിൽ ഒരു ബിജിപി സെഷൻ ഉണ്ടായിരിക്കും ഓരോന്നും ഒരു ലീഫ്-സ്‌പൈൻ ജോടി, അതിൽ ഈ അണ്ടർലേ പ്രിഫിക്‌സുകൾ നെറ്റ്‌വർക്കിലൂടെ അങ്ങോട്ടും ഇങ്ങോട്ടും പ്രഖ്യാപിക്കും.

ഒരു ഡാറ്റാ സെന്ററിനുള്ളിൽ, ഞങ്ങൾ ToRe-ലേക്ക് ഇമ്പോർട്ടുചെയ്‌ത സവിശേഷതകൾ ഞങ്ങൾ വിതരണം ചെയ്യും. എഡ്ജ്-ലീഫുകളിൽ ഞങ്ങൾ അവയെ സമാഹരിച്ച് റിമോട്ട് ഡിസികളിലേക്ക് പ്രഖ്യാപിക്കുകയും TOR-കളിലേക്ക് അയയ്ക്കുകയും ചെയ്യും. അതായത്, ഓരോ ToR-നും അതേ DC-യിലെ മറ്റൊരു ToR-ലേക്ക് എങ്ങനെ എത്തിച്ചേരാമെന്നും മറ്റൊരു DC-യിലെ ToR-ലേക്ക് എവിടെയാണ് പ്രവേശിക്കേണ്ടതെന്നും കൃത്യമായി അറിയാം.

ഡിസിഐയിൽ, റൂട്ടുകൾ VPNv4 ആയി കൈമാറും. ഇത് ചെയ്യുന്നതിന്, Edge-Leaf-ൽ, ഫാക്ടറിക്ക് നേരെയുള്ള ഇന്റർഫേസ് ഒരു VRF-ൽ സ്ഥാപിക്കും, നമുക്ക് അതിനെ UNDERLAY എന്ന് വിളിക്കാം, VRF-നുള്ളിലും VPNv4-ലെ Edge-Leaf-കൾക്കിടയിലും Spine on Edge-Leaf ഉള്ള അയൽപക്കം ഉയരും. കുടുംബം.

നട്ടെല്ലിൽ നിന്ന് അവയിലേക്കുള്ള വഴികൾ വീണ്ടും പ്രഖ്യാപിക്കുന്നതും ഞങ്ങൾ നിരോധിക്കും.

ഇലയിലും നട്ടെല്ലിലും ഞങ്ങൾ ലൂപ്പ്ബാക്കുകൾ ഇറക്കുമതി ചെയ്യില്ല. റൂട്ടർ ഐഡി നിർണ്ണയിക്കാൻ മാത്രമേ ഞങ്ങൾക്ക് അവ ആവശ്യമുള്ളൂ.

എന്നാൽ Edge-Leafs-ൽ ഞങ്ങൾ അത് Global BGP-ലേക്ക് ഇറക്കുമതി ചെയ്യുന്നു. ലൂപ്പ്ബാക്ക് വിലാസങ്ങൾക്കിടയിൽ, എഡ്ജ്-ലീഫ്സ് പരസ്പരം IPv4 VPN-ഫാമിലിയിൽ ഒരു BGP സെഷൻ സ്ഥാപിക്കും.

EDGE ഉപകരണങ്ങൾക്കിടയിൽ ഞങ്ങൾക്ക് ഒരു OSPF+LDP നട്ടെല്ല് ഉണ്ടായിരിക്കും. എല്ലാം ഒരു സോണിലാണ്. വളരെ ലളിതമായ കോൺഫിഗറേഷൻ.

റൂട്ടിംഗ് ഉള്ള ചിത്രമാണിത്.

ബിജിപി എഎസ്എൻ

എഡ്ജ്-ലീഫ് എഎസ്എൻ

എഡ്ജ്-ലീഫുകൾക്ക് എല്ലാ ഡിസികളിലും ഒരു എഎസ്എൻ ഉണ്ടായിരിക്കും. എഡ്ജ്-ലീഫുകൾക്കിടയിൽ iBGP ഉണ്ടെന്നത് പ്രധാനമാണ്, eBGP-യുടെ സൂക്ഷ്മതകളിൽ നമ്മൾ കുടുങ്ങിപ്പോകരുത്. ഇത് 65535 ആയിരിക്കട്ടെ. യഥാർത്ഥത്തിൽ, ഇത് ഒരു പൊതു AS-ന്റെ സംഖ്യയായിരിക്കാം.

നട്ടെല്ല് ASN

നട്ടെല്ലിൽ ഞങ്ങൾക്ക് ഒരു ഡിസിക്ക് ഒരു എഎസ്എൻ ഉണ്ടായിരിക്കും. പ്രൈവറ്റ് എഎസ് - 64512, 64513 എന്നിങ്ങനെയുള്ള ശ്രേണിയിൽ നിന്നുള്ള ആദ്യത്തെ നമ്പർ ഉപയോഗിച്ച് നമുക്ക് ഇവിടെ തുടങ്ങാം.

എന്തുകൊണ്ട് ഡിസിയിൽ ASN?

നമുക്ക് ഈ ചോദ്യം രണ്ടായി തിരിക്കാം:

• ഒരു DC യുടെ എല്ലാ നട്ടെല്ലുകളിലും ASN-കൾ ഒരുപോലെയായിരിക്കുന്നത് എന്തുകൊണ്ട്?
• വ്യത്യസ്ത ഡിസികളിൽ അവ വ്യത്യസ്തമായിരിക്കുന്നത് എന്തുകൊണ്ട്?

എന്തുകൊണ്ടാണ് ഒരു ഡിസിയുടെ എല്ലാ സ്‌പൈനുകളിലും ഒരേ ASN-കൾ ഉള്ളത്?

എഡ്ജ്-ലീഫിലെ അണ്ടർലേ റൂട്ടിന്റെ എഎസ്-പാത്ത് ഇങ്ങനെയായിരിക്കും:
[leafX_ASN, spine_ASN, edge_ASN]
നിങ്ങൾ അത് തിരികെ സ്‌പൈനിലേക്ക് പരസ്യപ്പെടുത്താൻ ശ്രമിക്കുമ്പോൾ, അതിന്റെ AS (Spine_AS) ഇതിനകം ലിസ്റ്റിൽ ഉള്ളതിനാൽ അത് നിരസിക്കും.

എന്നിരുന്നാലും, എഡ്ജിലേക്ക് കയറുന്ന അണ്ടർലേ റൂട്ടുകൾക്ക് താഴേക്ക് പോകാൻ കഴിയില്ലെന്ന് ഡിസിക്കുള്ളിൽ ഞങ്ങൾ പൂർണ്ണമായും സംതൃപ്തരാണ്. ഡിസിയിലെ ഹോസ്റ്റുകൾ തമ്മിലുള്ള എല്ലാ ആശയവിനിമയങ്ങളും നട്ടെല്ല് തലത്തിൽ സംഭവിക്കണം.

അതേ സമയം, മറ്റ് DC-കളുടെ സമാഹരിച്ച റൂട്ടുകൾ ഏത് സാഹചര്യത്തിലും എളുപ്പത്തിൽ ToR-കളിൽ എത്തിച്ചേരും - അവരുടെ AS-Path-ൽ ASN 65535 മാത്രമേ ഉണ്ടാകൂ - AS എഡ്ജ്-ലീഫുകളുടെ എണ്ണം, കാരണം അവ സൃഷ്ടിച്ചത് അവിടെയാണ്.

വ്യത്യസ്ത ഡിസികളിൽ അവ വ്യത്യസ്തമായിരിക്കുന്നത് എന്തുകൊണ്ട്?

സൈദ്ധാന്തികമായി, നമുക്ക് ലൂപ്പ്ബാക്കും ചില സേവന വെർച്വൽ മെഷീനുകളും DC-കൾക്കിടയിൽ വലിച്ചിടേണ്ടി വന്നേക്കാം.

ഉദാഹരണത്തിന്, ഹോസ്റ്റിൽ ഞങ്ങൾ റൂട്ട് റിഫ്ലക്ടർ പ്രവർത്തിപ്പിക്കും അല്ലെങ്കിൽ അതേ VNGW (വെർച്വൽ നെറ്റ്‌വർക്ക് ഗേറ്റ്‌വേ), അത് BGP വഴി TopR-ൽ ലോക്ക് ചെയ്യുകയും അതിന്റെ ലൂപ്പ്ബാക്ക് പ്രഖ്യാപിക്കുകയും ചെയ്യും, അത് എല്ലാ DC-കളിൽ നിന്നും ആക്‌സസ് ചെയ്യാവുന്നതാണ്.

അതിനാൽ അതിന്റെ എഎസ്-പാത്ത് ഇതുപോലെയായിരിക്കും:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

കൂടാതെ ഡ്യൂപ്ലിക്കേറ്റ് ASN-കൾ എവിടെയും ഉണ്ടാകരുത്.

അതായത്, Spine_DC1 ഉം Spine_DC2 ഉം വ്യത്യസ്‌തമായിരിക്കണം, ഇലX_DC1, ഇല Y_DC2 എന്നിവ പോലെ, അതാണ് നമ്മൾ സമീപിക്കുന്നത്.

നിങ്ങൾക്കറിയാവുന്നതുപോലെ, ലൂപ്പ് പ്രിവൻഷൻ മെക്കാനിസം (സിസ്‌കോയിൽ അനുവദിക്കുക) ഉണ്ടായിരുന്നിട്ടും ഡ്യൂപ്ലിക്കേറ്റ് ASN-കളുള്ള റൂട്ടുകൾ സ്വീകരിക്കാൻ നിങ്ങളെ അനുവദിക്കുന്ന ഹാക്കുകൾ ഉണ്ട്. കൂടാതെ ഇതിന് നിയമാനുസൃതമായ ഉപയോഗങ്ങളുമുണ്ട്. എന്നാൽ ഇത് നെറ്റ്‌വർക്കിന്റെ സ്ഥിരതയിൽ സാധ്യതയുള്ള വിടവാണ്. ഞാൻ വ്യക്തിപരമായി രണ്ട് തവണ അതിൽ വീണു.

അപകടകരമായ കാര്യങ്ങൾ ഉപയോഗിക്കാതിരിക്കാനുള്ള അവസരമുണ്ടെങ്കിൽ, ഞങ്ങൾ അത് പ്രയോജനപ്പെടുത്തും.

ഇല ASN

നെറ്റ്‌വർക്കിലുടനീളം ഓരോ ലീഫ് സ്വിച്ചിലും ഞങ്ങൾക്ക് ഒരു വ്യക്തിഗത ASN ഉണ്ടായിരിക്കും.
മുകളിൽ നൽകിയിരിക്കുന്ന കാരണങ്ങളാൽ ഞങ്ങൾ ഇത് ചെയ്യുന്നു: ലൂപ്പുകളില്ലാത്ത AS-പാത്ത്, ബുക്ക്മാർക്കുകളില്ലാത്ത BGP കോൺഫിഗറേഷൻ.

ഇലകൾക്കിടയിലുള്ള റൂട്ടുകൾ സുഗമമായി കടന്നുപോകുന്നതിന്, AS-പാത്ത് ഇതുപോലെയായിരിക്കണം:
[leafX_ASN, spine_ASN, leafY_ASN]
ഇലX_ASN ഉം ഇല Y_ASN ഉം വ്യത്യസ്തമായാൽ നന്നായിരിക്കും.

ഡിസികൾക്കിടയിൽ ഒരു വിഎൻഎഫ് ലൂപ്പ്ബാക്ക് പ്രഖ്യാപിക്കുന്ന സാഹചര്യത്തിനും ഇത് ആവശ്യമാണ്:
[VNF_ASN, leafX_DC1_ASN, spine_DC1_ASN, edge_ASN, spine_DC2_ASN, leafY_DC2_ASN]

ഞങ്ങൾ ഒരു 4-ബൈറ്റ് ASN ഉപയോഗിക്കുകയും നട്ടെല്ലിന്റെ ASN, ലീഫ് സ്വിച്ച് നമ്പർ എന്നിവയെ അടിസ്ഥാനമാക്കി അത് സൃഷ്ടിക്കുകയും ചെയ്യും, അതായത്, ഇതുപോലെ: Spine_ASN.0000X.

ASN-നൊപ്പമുള്ള ചിത്രമാണിത്.

IP പ്ലാൻ

അടിസ്ഥാനപരമായി, ഇനിപ്പറയുന്ന കണക്ഷനുകൾക്കായി ഞങ്ങൾ വിലാസങ്ങൾ അനുവദിക്കേണ്ടതുണ്ട്:

1. ToR-നും മെഷീനും ഇടയിൽ നെറ്റ്‌വർക്ക് വിലാസങ്ങൾ അടിവരയിടുക. ഏത് മെഷീനും മറ്റേതുമായും ആശയവിനിമയം നടത്താൻ കഴിയുന്ന തരത്തിൽ മുഴുവൻ നെറ്റ്‌വർക്കിലും അവ അദ്വിതീയമായിരിക്കണം. മികച്ച ഫിറ്റ് 10/8. ഓരോ റാക്കിനും ഒരു റിസർവ് ഉള്ള /26 ഉണ്ട്. ഒരു ഡിസിക്ക് /19 ഉം ഓരോ മേഖലയ്ക്കും /17 ഉം ഞങ്ങൾ അനുവദിക്കും.
2. ലീഫ്/ടോർ, നട്ടെല്ല് എന്നിവ തമ്മിലുള്ള ലിങ്ക് വിലാസങ്ങൾ.

   അവയെ അൽഗോരിതമായി അസൈൻ ചെയ്യാൻ ഞാൻ ആഗ്രഹിക്കുന്നു, അതായത്, കണക്റ്റുചെയ്യേണ്ട ഉപകരണങ്ങളുടെ പേരുകളിൽ നിന്ന് അവ കണക്കാക്കുക.

   അത് ആയിരിക്കട്ടെ... 169.254.0.0/16.
   അതായത് 169.254.00X.Y/31എവിടെ X - നട്ടെല്ല് നമ്പർ, Y — P2P നെറ്റ്‌വർക്ക് /31.
   ഡിസിയിൽ 128 റാക്കുകളും 10 സ്പൈനുകളും വരെ സമാരംഭിക്കാൻ ഇത് നിങ്ങളെ അനുവദിക്കും. ലിങ്ക് വിലാസങ്ങൾ DC-യിൽ നിന്ന് DC-യിലേക്ക് ആവർത്തിക്കാം (അതും ചെയ്യും).

3. ഞങ്ങൾ സബ്നെറ്റുകളിൽ സ്പൈൻ-എഡ്ജ്-ലീഫ് ജംഗ്ഷൻ സംഘടിപ്പിക്കുന്നു 169.254.10X.Y/31, കൃത്യമായി എവിടെ X - നട്ടെല്ല് നമ്പർ, Y — P2P നെറ്റ്‌വർക്ക് /31.
4. എഡ്ജ്-ലീഫിൽ നിന്ന് MPLS ബാക്ക്‌ബോണിലേക്ക് വിലാസങ്ങൾ ലിങ്ക് ചെയ്യുക. ഇവിടെ സ്ഥിതി കുറച്ച് വ്യത്യസ്തമാണ് - എല്ലാ ഭാഗങ്ങളും ഒരു പൈയിലേക്ക് ബന്ധിപ്പിച്ചിരിക്കുന്ന സ്ഥലം, അതിനാൽ ഒരേ വിലാസങ്ങൾ വീണ്ടും ഉപയോഗിക്കുന്നത് പ്രവർത്തിക്കില്ല - നിങ്ങൾ അടുത്ത സൗജന്യ സബ്നെറ്റ് തിരഞ്ഞെടുക്കേണ്ടതുണ്ട്. അതിനാൽ, നമുക്ക് അടിസ്ഥാനമായി എടുക്കാം 192.168.0.0/16 സ്വതന്ത്രരായവരെ ഞങ്ങൾ അതിൽ നിന്ന് പുറത്താക്കും.
5. ലൂപ്പ്ബാക്ക് വിലാസങ്ങൾ. അവർക്കായി ഞങ്ങൾ മുഴുവൻ ശ്രേണിയും നൽകും 172.16.0.0/12.
   • ലീഫ് - / ഡിസിക്ക് 25 - അതേ 128 റാക്കുകൾ. ഓരോ പ്രദേശത്തിനും ഞങ്ങൾ /23 വീതം അനുവദിക്കും.
   • നട്ടെല്ല് - / ഡിസിക്ക് 28 - 16 നട്ടെല്ല് വരെ. ഓരോ പ്രദേശത്തിനും /26 വീതം അനുവദിക്കാം.
   • എഡ്ജ്-ലീഫ് - /29 ഓരോ ഡിസി - 8 ബോക്സുകൾ വരെ. ഓരോ പ്രദേശത്തിനും /27 വീതം അനുവദിക്കാം.

ഞങ്ങൾക്ക് DC-യിൽ മതിയായ അലോക്കേറ്റഡ് ശ്രേണികൾ ഇല്ലെങ്കിൽ (അതൊന്നും ഉണ്ടാകില്ല - ഞങ്ങൾ ഹൈപ്പർസ്‌കെയിലറുകൾ എന്ന് അവകാശപ്പെടുന്നു), ഞങ്ങൾ അടുത്ത ബ്ലോക്ക് തിരഞ്ഞെടുക്കുക.

ഐപി അഡ്രസ്സിങ് ഉള്ള ചിത്രമാണിത്.

ലൂപ്പ്ബാക്കുകൾ:

ഉപസർഗ്ഗം
ഉപകരണ റോൾ
പ്രദേശം
ഡിസി

172.16.0.0/23
അറ്റം
 
 

172.16.0.0/27
ru
 

172.16.0.0/29
msk

172.16.0.8/29
kzn

172.16.0.32/27
sp
 

172.16.0.32/29
bcn

172.16.0.40/29
മില്ലിഗ്രാം

172.16.0.64/27
cn
 

172.16.0.64/29
ഷ

172.16.0.72/29
സിയ

172.16.2.0/23
നട്ടെല്ല്
 
 

172.16.2.0/26
ru
 

172.16.2.0/28
msk

172.16.2.16/28
kzn

172.16.2.64/26
sp
 

172.16.2.64/28
bcn

172.16.2.80/28
മില്ലിഗ്രാം

172.16.2.128/26
cn
 

172.16.2.128/28
ഷ

172.16.2.144/28
സിയ

172.16.8.0/21
ഇല
 
 

172.16.8.0/23
ru
 

172.16.8.0/25
msk

172.16.8.128/25
kzn

172.16.10.0/23
sp
 

172.16.10.0/25
bcn

172.16.10.128/25
മില്ലിഗ്രാം

172.16.12.0/23
cn
 

172.16.12.0/25
ഷ

172.16.12.128/25
സിയ

അടിവസ്ത്രം:

ഉപസർഗ്ഗം
പ്രദേശം
ഡിസി

10.0.0.0/17
ru
 

10.0.0.0/19
msk

10.0.32.0/19
kzn

10.0.128.0/17
sp
 

10.0.128.0/19
bcn

10.0.160.0/19
മില്ലിഗ്രാം

10.1.0.0/17
cn
 

10.1.0.0/19
ഷ

10.1.32.0/19
സിയ

ലാബ

രണ്ട് കച്ചവടക്കാർ. ഒരു നെറ്റ്‌വർക്ക്. എ.ഡി.എസ്.എം.

ചൂരച്ചെടി + അരിസ്റ്റ. ഉബുണ്ടു. നല്ല പഴയ ഈവ്.

മിറാനയിലെ ഞങ്ങളുടെ വെർച്വൽ സെർവറിലെ ഉറവിടങ്ങളുടെ അളവ് ഇപ്പോഴും പരിമിതമാണ്, അതിനാൽ പരിശീലനത്തിനായി ഞങ്ങൾ പരിധിയിലേക്ക് ലളിതമാക്കിയ ഒരു നെറ്റ്‌വർക്ക് ഉപയോഗിക്കും.

രണ്ട് ഡാറ്റാ സെന്ററുകൾ: കസാൻ, ബാഴ്സലോണ.

• രണ്ട് മുള്ളുകൾ വീതം: ചൂരച്ചെടിയും അരിസ്റ്റയും.
• ഓരോന്നിലും ഒരു ടോറസ് (ഇല) - ജുനൈപ്പറും അരിസ്റ്റയും, ഒരു ബന്ധിപ്പിച്ച ഹോസ്റ്റ് (ഇതിനായി നമുക്ക് ഒരു ഭാരം കുറഞ്ഞ സിസ്കോ IOL എടുക്കാം).
• ഓരോ എഡ്ജ്-ലീഫ് നോഡ് (ഇപ്പോൾ ജുനൈപ്പർ മാത്രം).
• അവയെല്ലാം ഭരിക്കാൻ ഒരു സിസ്കോ സ്വിച്ച്.
• നെറ്റ്വർക്ക് ബോക്സുകൾക്ക് പുറമേ, ഒരു വെർച്വൽ കൺട്രോൾ മെഷീൻ പ്രവർത്തിക്കുന്നു. ഉബുണ്ടു പ്രവർത്തിപ്പിക്കുന്നു.
  ഇതിന് എല്ലാ ഉപകരണങ്ങളിലേക്കും ആക്‌സസ് ഉണ്ട്, ഇത് IPAM/DCIM സിസ്റ്റങ്ങൾ, ഒരു കൂട്ടം പൈത്തൺ സ്‌ക്രിപ്റ്റുകൾ, അൻസിബിൾ എന്നിവയും നമുക്ക് ആവശ്യമുള്ള മറ്റെന്തും പ്രവർത്തിപ്പിക്കും.

പൂർണ്ണ കോൺഫിഗറേഷൻ എല്ലാ നെറ്റ്‌വർക്ക് ഉപകരണങ്ങളിലും, ഞങ്ങൾ ഓട്ടോമേഷൻ ഉപയോഗിച്ച് പുനർനിർമ്മിക്കാൻ ശ്രമിക്കും.

തീരുമാനം

അതും സ്വീകാര്യമാണോ? ഓരോ ലേഖനത്തിനും കീഴിൽ ഞാൻ ഒരു ചെറിയ ഉപസംഹാരം എഴുതണോ?

അങ്ങനെ ഞങ്ങൾ തിരഞ്ഞെടുത്തു മൂന്ന്-നില DC-യുടെ ഉള്ളിൽ Kloz നെറ്റ്‌വർക്ക്, ഞങ്ങൾ ധാരാളം ഈസ്റ്റ്-വെസ്റ്റ് ട്രാഫിക് പ്രതീക്ഷിക്കുന്നതിനാൽ ECMP ആവശ്യമാണ്.

നെറ്റ്‌വർക്ക് ഫിസിക്കൽ (അണ്ടർലേ), വെർച്വൽ (ഓവർലേ) എന്നിങ്ങനെ തിരിച്ചിരിക്കുന്നു. അതേ സമയം, ഓവർലേ ഹോസ്റ്റിൽ നിന്ന് ആരംഭിക്കുന്നു - അതുവഴി അടിവസ്ത്രത്തിനുള്ള ആവശ്യകതകൾ ലളിതമാക്കുന്നു.

നെറ്റ്‌വർക്ക് നെറ്റ്‌വർക്കുകൾക്കുള്ള റൂട്ടിംഗ് പ്രോട്ടോക്കോളായി ഞങ്ങൾ BGP തിരഞ്ഞെടുത്തു, അതിന്റെ സ്കേലബിളിറ്റിക്കും പോളിസി ഫ്ലെക്സിബിലിറ്റിക്കും.

DCI - എഡ്ജ്-ലീഫ് സംഘടിപ്പിക്കുന്നതിന് ഞങ്ങൾക്ക് പ്രത്യേക നോഡുകൾ ഉണ്ടായിരിക്കും.
നട്ടെല്ലിന് OSPF+LDP ഉണ്ടായിരിക്കും.
MPLS L3VPN അടിസ്ഥാനമാക്കി DCI നടപ്പിലാക്കും.
P2P ലിങ്കുകൾക്കായി, ഉപകരണത്തിന്റെ പേരുകൾ അടിസ്ഥാനമാക്കി ഞങ്ങൾ IP വിലാസങ്ങൾ അൽഗോരിതമായി കണക്കാക്കും.
ഉപകരണങ്ങളുടെ റോളും അവയുടെ സ്ഥാനവും ക്രമാനുഗതമായി ഞങ്ങൾ ലൂപ്പ്ബാക്കുകൾ നൽകും.
അണ്ടർലേ പ്രിഫിക്‌സുകൾ - ലീഫ് സ്വിച്ചുകളിൽ അവയുടെ സ്ഥാനം അടിസ്ഥാനമാക്കി തുടർച്ചയായി മാത്രം.

ഇപ്പോൾ ഞങ്ങൾക്ക് ഉപകരണങ്ങൾ ഇതുവരെ ഇൻസ്റ്റാൾ ചെയ്തിട്ടില്ലെന്ന് കരുതുക.
അതിനാൽ, ഞങ്ങളുടെ അടുത്ത ഘട്ടങ്ങൾ അവരെ സിസ്റ്റങ്ങളിലേക്ക് (IPAM, ഇൻവെന്ററി) ചേർക്കുക, ആക്സസ് സംഘടിപ്പിക്കുക, ഒരു കോൺഫിഗറേഷൻ സൃഷ്ടിക്കുക, വിന്യസിക്കുക എന്നിവയായിരിക്കും.

അടുത്ത ലേഖനത്തിൽ നമ്മൾ നെറ്റ്ബോക്സ് കൈകാര്യം ചെയ്യും - ഒരു ഡിസിയിലെ ഐപി സ്ഥലത്തിനായുള്ള ഇൻവെന്ററി, മാനേജ്മെന്റ് സിസ്റ്റം.

നന്ദി

• പ്രൂഫ് റീഡിംഗിനും തിരുത്തലുകൾക്കുമായി ആൻഡ്രി ഗ്ലാസ്‌കോവ് എന്ന @glazgoo
• പ്രൂഫ് റീഡിംഗിനും എഡിറ്റുകൾക്കുമായി അലക്സാണ്ടർ ക്ലിമെൻകോ എന്ന @v00lk
• കെഡിപിവിക്ക് വേണ്ടി ആർട്ടിയോം ചെർണോബെ

അവലംബം: www.habr.com