როგორ დავაპროექტეთ და განვახორციელეთ ახალი ქსელი Huawei-ზე მოსკოვის ოფისში, ნაწილი 3: სერვერების ქარხანა

წინა ორ ნაწილში (დრო, два) ჩვენ გადავხედეთ პრინციპებს, რომლებზედაც აშენდა ახალი საბაჟო ქარხანა და ვისაუბრეთ ყველა სამუშაოს მიგრაციაზე. ახლა დროა ვისაუბროთ სერვერის ქარხანაზე.

ადრე ჩვენ არ გვქონდა ცალკეული სერვერის ინფრასტრუქტურა: სერვერის გადამრთველები დაკავშირებული იყო იმავე ბირთვთან, როგორც მომხმარებლის განაწილების კონცენტრატორები. წვდომის კონტროლი განხორციელდა ვირტუალური ქსელების (VLAN) გამოყენებით, VLAN მარშრუტიზაცია განხორციელდა ერთ წერტილში - ბირთვზე (პრინციპის მიხედვით ჩამონგრეული ხერხემალი).

ძველი ქსელის ინფრასტრუქტურა

ახალი საოფისე ქსელის პარალელურად, გადავწყვიტეთ აგვეშენებინა ახალი სერვერის ოთახი და მისთვის ცალკე ახალი ქარხანა. აღმოჩნდა პატარა (სამი სერვერის კაბინეტი), მაგრამ ყველა კანონის დაცვით: ცალკე ბირთვი CE8850 კონცენტრატორებზე, სრულად დაბნეული (ხერხემლის ფოთოლი) ტოპოლოგია, თაროს ზედა (ToR) CE6870 კონცენტრატორები, ცალკე წყვილი. გადამრთველების დანარჩენ ქსელთან ინტერფეისისთვის (სასაზღვრო ფოთლები). მოკლედ, სრული ხორცი.

ახალი სერვერის ქარხნის ქსელი

ჩვენ გადავწყვიტეთ დაგვეტოვებინა სერვერი SCS, სერვერების უშუალოდ ToR კონცენტრატორების დასაკავშირებლად. რატომ? ჩვენ უკვე გვაქვს ორი სერვერის ოთახი, რომლებიც აშენებულია სერვერის SCS-ის გამოყენებით და მივხვდით, რომ ეს არის:

• არასასიამოვნო გამოყენება (ბევრი ხელახალი კავშირი, საჭიროა საკაბელო ჟურნალის ფრთხილად განახლება);
• ძვირია პატჩი პანელების მიერ დაკავებული სივრცის თვალსაზრისით;
• არის დაბრკოლება, როდესაც საჭიროა სერვერების დაკავშირების სიჩქარის გაზრდა (მაგალითად, 1 გბიტ/წმ კავშირებიდან სპილენძზე გადართვა 10 გბიტ/წმ ოპტიკურზე).

სერვერის ახალ ქარხანაში გადასვლისას, ჩვენ ვცდილობდით 1 გბიტი/წმ სიჩქარით სერვერების დაკავშირებას და შემოვიფარგლებოდით 10 გბიტიანი ინტერფეისით. თითქმის ყველა ძველი სერვერი, რომელსაც ამის გაკეთება არ შეუძლია, ვირტუალიზებული იყო, დანარჩენი კი გიგაბიტიანი გადამცემების საშუალებით იყო დაკავშირებული 10 გიგაბიტიან პორტებთან. ჩვენ გავაკეთეთ მათემატიკა და გადავწყვიტეთ, რომ ეს უფრო იაფი იქნებოდა, ვიდრე მათთვის ცალკე გიგაბიტიანი კონცენტრატორების დაყენება.

ToR კონცენტრატორები

ასევე ჩვენს ახალ სერვერულ ოთახში, ჩვენ დავაყენეთ ცალკეული ზოლის მართვის (OOM) კონცენტრატორები 24 პორტით, თითო თაროზე. ეს იდეა ძალიან კარგი აღმოჩნდა, მაგრამ არ იყო საკმარისი პორტები, შემდეგ ჯერზე დავაყენებთ OOM კონცენტრატორებს 48 პორტით.

ჩვენ ვუკავშირდებით ინტერფეისებს სერვერების დისტანციური მართვისთვის, როგორიცაა iLO, ან Huawei ტერმინოლოგიით iBMC, OOM ქსელს. თუ სერვერმა დაკარგა ძირითადი კავშირი ქსელთან, მაშინ შესაძლებელი იქნება მასთან დაკავშირება ამ ინტერფეისის საშუალებით. ასევე, ToR კონცენტრატორების, ტემპერატურის სენსორების, UPS-ის კონტროლის ინტერფეისების და სხვა მსგავსი მოწყობილობების საკონტროლო ინტერფეისები დაკავშირებულია OOM გადამრთველებთან. OOM ქსელზე წვდომა შესაძლებელია ცალკე ფაირვოლ ინტერფეისის მეშვეობით.

OOM ქსელის კავშირი

სერვერისა და მომხმარებლის ქსელების დაწყვილება

საბაჟო ქარხანაში ცალკეული VRF გამოიყენება სხვადასხვა მიზნებისთვის - მომხმარებლის სამუშაო სადგურების, ვიდეოთვალთვალის სისტემების, მულტიმედიური სისტემების შეხვედრების ოთახებში დასაკავშირებლად, სტენდებისა და დემო ზონების ორგანიზებისთვის და ა.შ.

სერვერის ქარხანაში შეიქმნა VRF-ების კიდევ ერთი ნაკრები:

• ჩვეულებრივი სერვერების დასაკავშირებლად, რომლებზეც განლაგებულია კორპორატიული სერვისები.
• ცალკე VRF, რომლის ფარგლებშიც განლაგებულია სერვერები ინტერნეტიდან წვდომით.
• ცალკე VRF მონაცემთა ბაზის სერვერებისთვის, რომლებზეც წვდომა აქვთ მხოლოდ სხვა სერვერებს (მაგალითად, აპლიკაციის სერვერები).
• ცალკე VRF ჩვენი საფოსტო სისტემისთვის (MS Exchange + Skype for Business).

ასე რომ, ჩვენ გვაქვს VRF-ების ნაკრები მომხმარებლის ქარხნის მხარეს და VRF-ების ნაკრები სერვერის ქარხნის მხარეს. ორივე ნაკრები დაინსტალირებულია კორპორატიული firewall (FW) კლასტერებზე. ME-ები დაკავშირებულია როგორც სერვერის ქსოვილის, ასევე მომხმარებლის ქსოვილის სასაზღვრო გადამრთველებთან (საზღვრის ფოთლებთან).

ქარხნების ინტერფეისი ME-ს მეშვეობით - ფიზიკა

ქარხნების ინტერფეისი ME-ს მეშვეობით - ლოგიკა

როგორ წავიდა მიგრაცია?

მიგრაციის დროს ჩვენ დავაკავშირეთ ახალი და ძველი სერვერის ქარხნები მონაცემთა ბმულის დონეზე, დროებითი ტრანკების საშუალებით. კონკრეტულ VLAN-ში მდებარე სერვერების მიგრაციისთვის ჩვენ შევქმენით ცალკე ხიდის დომენი, რომელიც მოიცავდა ძველი სერვერის ქარხნის VLAN-ს და ახალი სერვერის ქარხნის VXLAN-ს.

კონფიგურაცია ასე გამოიყურება, ბოლო ორი ხაზი არის გასაღები:

bridge-domain 22
 vxlan vni 600022
 evpn 
  route-distinguisher 10.xxx.xxx.xxx:60022
  vpn-target 6xxxx:60022 export-extcommunity
  vpn-target 6xxxx:60022 import-extcommunity

interface Eth-Trunk1
 mode lacp-static
 dfs-group 1 m-lag 1

interface Eth-Trunk1.1022 mode l2
 encapsulation dot1q vid 22
 bridge-domain 22

ვირტუალური მანქანების მიგრაცია

შემდეგ, VMware vMotion-ის გამოყენებით, ამ VLAN-ში ვირტუალური მანქანები გადავიდა ძველი ჰიპერვიზორებიდან (ვერსია 5.5) ახალზე (ვერსია 6.5). პარალელურად მოხდა ტექნიკის სერვერების ვირტუალიზაცია.

როცა ისევ ცდებიწინასწარ დააკონფიგურირეთ MTU და შეამოწმეთ დიდი პაკეტების გავლა "ბოლომდე".

ძველ სერვერულ ქსელში ვიყენებდით VMware vShield ვირტუალურ ბუხარს. ვინაიდან VMware აღარ უჭერს მხარს ამ ხელსაწყოს, ჩვენ გადავედით vShield-დან ტექნიკის ფაიერვოლებზე, ამავდროულად გადავედით ახალ ვირტუალურ ფერმაში.

მას შემდეგ, რაც ძველ ქსელში კონკრეტულ VLAN-ში სერვერები არ დარჩა, ჩვენ შევცვალეთ მარშრუტიზაცია. ადრე ის ტარდებოდა ძველ ბირთვზე, რომელიც აშენებული იყო Collapsed Backbone ტექნოლოგიის გამოყენებით, ხოლო ახალ სერვერის ქარხანაში ვიყენებდით Anycast Gateway ტექნოლოგიას.

მარშრუტის გადართვა

კონკრეტული VLAN-ისთვის მარშრუტიზაციის გადართვის შემდეგ, იგი გათიშული იქნა ხიდის დომენიდან და გამოირიცხა ტრანკიდან ძველ და ახალ ქსელებს შორის, ანუ მთლიანად გადავიდა სერვერის ახალ ქარხანაში. ამრიგად, ჩვენ გადავიტანეთ დაახლოებით 20 VLAN.

ასე რომ, ჩვენ შევქმენით ახალი ქსელი, ახალი სერვერი და ახალი ვირტუალიზაციის ფერმა. ერთ-ერთ შემდეგ სტატიაში ვისაუბრებთ იმაზე, თუ რა გავაკეთეთ Wi-Fi-ით.

მაქსიმ კლოჩკოვი
ქსელის აუდიტისა და კომპლექსური პროექტების ჯგუფის უფროსი კონსულტანტი
ქსელური გადაწყვეტილებების ცენტრი
"Jet Infosystems"

წყარო: www.habr.com