როგორ დავაპროექტეთ და განვახორციელეთ ახალი ქსელი Huawei-ზე მოსკოვის ოფისში, ნაწილი 1

დღეს გეტყვით იმაზე, თუ როგორ გაჩნდა და განხორციელდა ჩვენი კომპანიისთვის ახალი შიდა ქსელის შექმნის იდეა. მენეჯმენტის პოზიციაა, რომ თქვენ უნდა გააკეთოთ იგივე სრულფასოვანი პროექტი თქვენთვის, როგორც კლიენტისთვის. თუ ჩვენ ამას კარგად გავაკეთებთ ჩვენთვის, შეგვიძლია მოვიწვიოთ მომხმარებელი და ვაჩვენოთ, რამდენად მუშაობს და მუშაობს ის, რასაც მას ვთავაზობთ. ამიტომ, ჩვენ ძალიან საფუძვლიანად მივუდექით მოსკოვის ოფისისთვის ახალი ქსელის კონცეფციის შემუშავებას, სრული წარმოების ციკლის გამოყენებით: განყოფილების საჭიროებების ანალიზი → ტექნიკური გადაწყვეტის შერჩევა → დიზაინი → განხორციელება → ტესტირება. ასე რომ, დავიწყოთ.

ტექნიკური გადაწყვეტის შერჩევა: მუტანტის თავშესაფარი

კომპლექსურ ავტომატიზირებულ სისტემაზე მუშაობის პროცედურა ამჟამად საუკეთესოდ არის აღწერილი GOST 34.601-90 ”ავტომატური სისტემები. შემოქმედების ეტაპები”, ამიტომ ვიმუშავეთ მის მიხედვით. და უკვე მოთხოვნების ფორმირებისა და კონცეფციის შემუშავების ეტაპებზე შეგვხვდა პირველი სირთულეები. სხვადასხვა პროფილის ორგანიზაციებს - ბანკებს, სადაზღვევო კომპანიებს, პროგრამული უზრუნველყოფის დეველოპერებს და ა.შ. - თავიანთი ამოცანებისა და სტანდარტებისთვის მათ სჭირდებათ გარკვეული ტიპის ქსელები, რომელთა სპეციფიკა ნათელი და სტანდარტიზებულია. თუმცა, ეს ჩვენთან არ გამოდგება.

რატომ?

Jet Infosystems არის დიდი დივერსიფიცირებული IT კომპანია. ამავდროულად, ჩვენი შიდა მხარდაჭერის განყოფილება მცირეა (მაგრამ ამაყი), ის უზრუნველყოფს ძირითადი სერვისებისა და სისტემების ფუნქციონირებას. კომპანია შეიცავს ბევრ განყოფილებას, რომლებიც ასრულებენ სხვადასხვა ფუნქციებს: ეს არის რამდენიმე ძლიერი აუთსორსინგის გუნდი და ბიზნეს სისტემების შიდა დეველოპერები და ინფორმაციული უსაფრთხოება, და კომპიუტერული სისტემების არქიტექტორები - ზოგადად, ვინც არ უნდა იყოს. შესაბამისად, მათი ამოცანები, სისტემები და უსაფრთხოების პოლიტიკაც განსხვავებულია. რაც, როგორც მოსალოდნელი იყო, სირთულეებს ქმნიდა საჭიროებების ანალიზისა და სტანდარტიზაციის პროცესში.

მაგალითად, აქ არის განვითარების განყოფილება: მისი თანამშრომლები წერენ და ამოწმებენ კოდს მომხმარებლების დიდი რაოდენობით. ხშირად საჭიროა სატესტო გარემოს სწრაფად ორგანიზება და გულწრფელად რომ ვთქვათ, ყოველთვის არ არის შესაძლებელი თითოეული პროექტისთვის მოთხოვნების ჩამოყალიბება, რესურსების მოთხოვნა და ცალკე სატესტო გარემოს აშენება ყველა შიდა რეგლამენტის შესაბამისად. ეს იწვევს კურიოზულ სიტუაციებს: ერთ დღეს თქვენმა თავმდაბალმა მსახურმა შეიხედა დეველოპერების ოთახში და მაგიდის ქვეშ იპოვა 20 დესკტოპისგან შემდგარი Hadoop კლასტერი, რომელიც აუხსნელად იყო დაკავშირებული საერთო ქსელთან. არ მგონია ღირს იმის გარკვევა, რომ კომპანიის IT დეპარტამენტმა არ იცოდა მისი არსებობის შესახებ. ეს გარემოება, ისევე როგორც მრავალი სხვა, იყო პასუხისმგებელი იმ ფაქტზე, რომ პროექტის შემუშავებისას დაიბადა ტერმინი „მუტანტის რეზერვი“, რომელიც აღწერს მრავალტანჯული საოფისე ინფრასტრუქტურის მდგომარეობას.

ან აი კიდევ ერთი მაგალითი. პერიოდულად, განყოფილებაში დგება საცდელი სკამი. ასე იყო Jira-სა და Confluence-ის შემთხვევაში, რომლებიც შეზღუდული რაოდენობით გამოიყენებოდა პროგრამული უზრუნველყოფის განვითარების ცენტრის მიერ ზოგიერთ პროექტში. გარკვეული პერიოდის შემდეგ, სხვა დეპარტამენტებმა შეიტყვეს ამ სასარგებლო რესურსების შესახებ, შეაფასეს ისინი და 2018 წლის ბოლოს ჯირა და კონფლუენსი გადავიდნენ „ადგილობრივი პროგრამისტების სათამაშოს“ სტატუსიდან „კომპანიის რესურსების“ სტატუსზე. ახლა ამ სისტემებზე უნდა დაინიშნოს მფლობელი, SLA-ები, წვდომის/ინფორმაციის უსაფრთხოების პოლიტიკა, სარეზერვო პოლიტიკა, მონიტორინგი, პრობლემების გადასაჭრელად მოთხოვნების მარშრუტიზაციის წესები უნდა განისაზღვროს - ზოგადად, სრულფასოვანი საინფორმაციო სისტემის ყველა ატრიბუტი უნდა იყოს წარმოდგენილი. .
თითოეული ჩვენი განყოფილება ასევე არის ინკუბატორი, რომელიც აწარმოებს საკუთარ პროდუქტებს. ზოგიერთი მათგანი კვდება განვითარების ეტაპზე, ზოგს ვიყენებთ პროექტებზე მუშაობისას, ზოგი კი ფესვებს იღებს და ხდება გადაწყვეტილებების გამეორება, რომელთა გამოყენებას თავად ვიწყებთ და კლიენტებს ვუყიდით. თითოეული ასეთი სისტემისთვის სასურველია ჰქონდეს საკუთარი ქსელური გარემო, სადაც ის განვითარდება სხვა სისტემებში ჩარევის გარეშე და რაღაც მომენტში შეიძლება ინტეგრირებული იყოს კომპანიის ინფრასტრუქტურაში.

განვითარების გარდა, ჩვენ გვაქვს ძალიან დიდი სერვის ცენტრი 500-ზე მეტი თანამშრომლით, გუნდებად ჩამოყალიბებული თითოეული მომხმარებლისთვის. ისინი ჩართულნი არიან ქსელებისა და სხვა სისტემების შენარჩუნებაში, დისტანციურ მონიტორინგში, პრეტენზიების გადაჭრაში და ა.შ. ანუ სკ-ის ინფრასტრუქტურა, ფაქტობრივად, არის იმ მომხმარებლის ინფრასტრუქტურა, ვისთანაც ამჟამად მუშაობენ. ქსელის ამ მონაკვეთთან მუშაობის თავისებურება ის არის, რომ მათი სამუშაო სადგურები ჩვენი კომპანიისთვის ნაწილობრივ გარეა, ნაწილობრივ კი შიდა. ამიტომ, SC-სთვის ჩვენ განვახორციელეთ შემდეგი მიდგომა - კომპანია უზრუნველყოფს შესაბამის განყოფილებას ქსელით და სხვა რესურსებით, ამ განყოფილებების სამუშაო სადგურებს გარე კავშირებად მიიჩნევს (ანალოგიით ფილიალებსა და დისტანციურ მომხმარებლებს).

გზატკეცილის დიზაინი: ჩვენ ვართ ოპერატორი (სიურპრიზი)

ყველა ხარვეზის შეფასების შემდეგ მივხვდით, რომ ერთ ოფისში ვიღებთ სატელეკომუნიკაციო ოპერატორის ქსელს და დავიწყეთ შესაბამისად მოქმედება.

ჩვენ შევქმენით ძირითადი ქსელი, რომლის დახმარებით ნებისმიერ შიდა, და მომავალში ასევე გარე მომხმარებელს მიეწოდება საჭირო სერვისი: L2 VPN, L3 VPN ან რეგულარული L3 მარშრუტიზაცია. ზოგიერთ დეპარტამენტს სჭირდება უსაფრთხო ინტერნეტი, ზოგს კი სჭირდება სუფთა წვდომა ფაირვოლების გარეშე, მაგრამ ამავე დროს ჩვენი კორპორატიული რესურსების და ძირითადი ქსელის დაცვა მათი ტრაფიკისგან.

ჩვენ არაფორმალურად "დავაფორმეთ SLA" თითოეულ განყოფილებასთან. მისი შესაბამისად, ყველა ინციდენტი, რომელიც წარმოიქმნება, უნდა აღმოიფხვრას გარკვეული, წინასწარ შეთანხმებულ ვადაში. კომპანიის მოთხოვნები მისი ქსელის მიმართ მკაცრი აღმოჩნდა. ტელეფონისა და ელექტრონული ფოსტის გაუმართაობის შემთხვევაში ინციდენტზე რეაგირების მაქსიმალური დრო იყო 5 წუთი. ქსელის ფუნქციონირების აღდგენის დრო ტიპიური წარუმატებლობის დროს არის არაუმეტეს ერთი წუთისა.

ვინაიდან ჩვენ გვაქვს ოპერატორის კლასის ქსელი, თქვენ შეგიძლიათ დაუკავშირდეთ მას მხოლოდ წესების მკაცრი დაცვით. სერვისის ერთეულები ადგენენ პოლიტიკას და უზრუნველყოფენ მომსახურებას. მათ არც კი სჭირდებათ ინფორმაცია კონკრეტული სერვერების, ვირტუალური მანქანებისა და სამუშაო სადგურების კავშირების შესახებ. მაგრამ ამავე დროს, საჭიროა დაცვის მექანიზმები, რადგან არც ერთმა კავშირმა არ უნდა გამორთოს ქსელი. თუ შემთხვევით შეიქმნა მარყუჟი, სხვა მომხმარებლებმა არ უნდა შეამჩნიონ ეს, ანუ საჭიროა ქსელის ადეკვატური პასუხი. ნებისმიერი სატელეკომუნიკაციო ოპერატორი მუდმივად წყვეტს მსგავს, ერთი შეხედვით რთულ პრობლემებს თავის ძირითად ქსელში. ის მომსახურებას უწევს მრავალ კლიენტს განსხვავებული საჭიროებებითა და ტრაფიკით. ამავდროულად, სხვადასხვა აბონენტმა არ უნდა განიცადოს დისკომფორტი სხვების ტრაფიკისგან.
სახლში, ჩვენ გადავწყვიტეთ ეს პრობლემა შემდეგი გზით: IS-IS პროტოკოლის გამოყენებით ავაშენეთ backbone L3 ქსელი სრული სიჭარბით. ტექნოლოგიის საფუძველზე ბირთვის თავზე აშენდა გადაფარვის ქსელი EVPN/VXLAN, მარშრუტიზაციის პროტოკოლის გამოყენებით MP-BGP. მარშრუტიზაციის პროტოკოლების კონვერგენციის დასაჩქარებლად გამოყენებული იქნა BFD ტექნოლოგია.

ქსელის სტრუქტურა

ტესტებში ეს სქემა აჩვენა, რომ შესანიშნავი იყო - როდესაც რომელიმე არხი ან გადამრთველი გათიშულია, კონვერგენციის დრო არ აღემატება 0.1-0.2 წმ-ს, იკარგება პაკეტების მინიმუმი (ხშირად არცერთი), TCP სესიები არ იშლება, სატელეფონო საუბრები არ წყდება.

ფენის ფენა - მარშრუტირება

გადაფარვის ფენა - მარშრუტირება

Huawei CE6870 გადამრთველები VXLAN ლიცენზიით გამოიყენებოდა განაწილების გადამრთველად. ამ მოწყობილობას აქვს ფასი/ხარისხის ოპტიმალური თანაფარდობა, რაც საშუალებას გაძლევთ დააკავშიროთ აბონენტები 10 გბიტი/წმ სიჩქარით და დაკავშირება ხერხემალთან 40–100 გბიტ/წმ სიჩქარით, გამოყენებული გადამცემების მიხედვით.

Huawei CE6870 კონცენტრატორები

ძირითადი გადამრთველად გამოიყენებოდა Huawei CE8850 კონცენტრატორები. მიზანია ტრაფიკის სწრაფად და საიმედოდ გადაცემა. არცერთი მოწყობილობა არ არის დაკავშირებული მათთან, გარდა სადისტრიბუციო გადამრთველებისა, მათ არაფერი იციან VXLAN-ის შესახებ, ამიტომ არჩეული იქნა მოდელი 32 40/100 Gbps პორტით, ძირითადი ლიცენზიით, რომელიც უზრუნველყოფს L3 მარშრუტიზაციას და მხარდაჭერას IS-IS და MP-BGP. პროტოკოლები.

ქვედა არის Huawei CE8850 core switch

დიზაინის ეტაპზე, გუნდში დაიწყო დისკუსია ტექნოლოგიების შესახებ, რომლებიც შეიძლება გამოყენებულ იქნას ქსელის ძირითად კვანძებთან შეცდომის ტოლერანტული კავშირის განსახორციელებლად. ჩვენი მოსკოვის ოფისი განლაგებულია სამ კორპუსში, გვაქვს 7 სადისტრიბუციო ოთახი, რომელთაგან თითოეულში დამონტაჟდა ორი Huawei CE6870 სადისტრიბუციო ჩამრთველი (რამდენიმე სადისტრიბუციო ოთახში დამონტაჟდა მხოლოდ წვდომის კონცენტრატორები). ქსელის კონცეფციის შემუშავებისას განიხილება ზედმეტობის ორი ვარიანტი:

• სადისტრიბუციო გადამრთველების კონსოლიდაცია დეფექტის ტოლერანტულ დასტაში თითოეულ ჯვარედინი შეერთების ოთახში. დადებითი: სიმარტივე და დაყენების სიმარტივე. ნაკლოვანებები: არსებობს მთელი სტეკის უკმარისობის უფრო მაღალი ალბათობა, როდესაც შეცდომები ხდება ქსელური მოწყობილობების პროგრამულ უზრუნველყოფაში ("მეხსიერების გაჟონვა" და მსგავსი).
• გამოიყენეთ M-LAG და Anycast კარიბჭის ტექნოლოგიები მოწყობილობების სადისტრიბუციო გადამრთველებთან დასაკავშირებლად.

საბოლოოდ, ჩვენ მეორე ვარიანტზე დავრჩით. მისი კონფიგურაცია გარკვეულწილად რთულია, მაგრამ პრაქტიკაში აჩვენა მისი შესრულება და მაღალი საიმედოობა.
ჯერ განვიხილოთ ბოლო მოწყობილობების დაკავშირება სადისტრიბუციო გადამრთველებთან:

ჯვარი

წვდომის გადამრთველი, სერვერი ან ნებისმიერი სხვა მოწყობილობა, რომელიც საჭიროებს შეცდომის ტოლერანტ კავშირს, შედის ორ განაწილების გადამრთველში. M-LAG ტექნოლოგია უზრუნველყოფს ზედმეტობას მონაცემთა ბმულის დონეზე. ვარაუდობენ, რომ ორი სადისტრიბუციო ჩამრთველი გამოჩნდება დაკავშირებულ მოწყობილობაზე, როგორც ერთი მოწყობილობა. ჭარბი რაოდენობა და დატვირთვის დაბალანსება ხორციელდება LACP პროტოკოლის გამოყენებით.

Anycast gateway ტექნოლოგია უზრუნველყოფს ჭარბი რაოდენობას ქსელის დონეზე. VRF-ების საკმაოდ დიდი რაოდენობა კონფიგურირებულია თითოეულ სადისტრიბუციო გადამრთველზე (თითოეული VRF განკუთვნილია საკუთარი მიზნებისთვის - ცალკე "რეგულარული" მომხმარებლებისთვის, ცალკე ტელეფონისთვის, ცალ-ცალკე სხვადასხვა სატესტო და განვითარების გარემოსთვის და ა.შ.) და თითოეულში. VRF-ს აქვს რამდენიმე VLAN კონფიგურირებული. ჩვენს ქსელში, განაწილების გადამრთველები არის ნაგულისხმევი კარიბჭე მათთან დაკავშირებული ყველა მოწყობილობისთვის. IP მისამართები, რომლებიც შეესაბამება VLAN ინტერფეისებს, იგივეა ორივე განაწილების გადამრთველისთვის. მოძრაობა მარშრუტდება უახლოესი გადამრთველის მეშვეობით.

ახლა მოდით შევხედოთ სადისტრიბუციო კონცენტრატორების ბირთვთან დაკავშირებას:
შეცდომების ტოლერანტობა უზრუნველყოფილია ქსელის დონეზე IS-IS პროტოკოლის გამოყენებით. გთხოვთ გაითვალისწინოთ, რომ გადამრთველებს შორის გათვალისწინებულია ცალკე L3 საკომუნიკაციო ხაზი, 100 გ სიჩქარით. ფიზიკურად, ეს საკომუნიკაციო ხაზი არის პირდაპირი წვდომის კაბელი; ის მარჯვნივ ჩანს Huawei CE6870 გადამრთველების ფოტოზე.

ალტერნატივა იქნება "პატიოსანი" სრულად დაკავშირებული ორმაგი ვარსკვლავის ტოპოლოგიის ორგანიზება, მაგრამ, როგორც ზემოთ აღინიშნა, ჩვენ გვაქვს 7 ჯვარედინი კავშირის ოთახი სამ შენობაში. შესაბამისად, „ორმაგი ვარსკვლავის“ ტოპოლოგია რომ ავირჩიოთ, ზუსტად ორჯერ მეტი „შორი დისტანციის“ 40G გადამცემი დაგვჭირდებოდა. დანაზოგი აქ ძალიან მნიშვნელოვანია.

რამდენიმე სიტყვა უნდა ითქვას იმაზე, თუ როგორ მუშაობს VXLAN და Anycast კარიბჭის ტექნოლოგიები ერთად. VXLAN, დეტალების გარეშე, არის გვირაბი Ethernet ჩარჩოების გადასატანად UDP პაკეტებში. სადისტრიბუციო გადამრთველების მარყუჟის ინტერფეისები გამოიყენება VXLAN გვირაბის დანიშნულების IP მისამართად. თითოეულ კროსოვერს აქვს ორი გადამრთველი ერთიდაიგივე მარყუჟის ინტერფეისის მისამართებით, ასე რომ, პაკეტს შეუძლია მიაღწიოს ნებისმიერ მათგანს და შეიძლება გამოიტანოს მისგან Ethernet ჩარჩო.

თუ გადამრთველმა იცის მოძიებული ჩარჩოს დანიშნულების MAC მისამართის შესახებ, ფრეიმი სწორად მიეწოდება დანიშნულების ადგილს. იმის უზრუნველსაყოფად, რომ ერთსა და იმავე ჯვარედინი კავშირში დაყენებულ ორივე სადისტრიბუციო გადამრთველს აქვს განახლებული ინფორმაცია ყველა MAC მისამართების შესახებ, რომლებიც „მოდიან“ წვდომის კონცენტრატორებიდან, M-LAG მექანიზმი პასუხისმგებელია MAC მისამართების ცხრილების სინქრონიზაციაზე (ასევე ARP). ცხრილები) ორივე გადამრთველზე M-LAG წყვილი.

სატრანსპორტო დაბალანსება მიიღწევა სადისტრიბუციო გადამრთველების მარყუჟის ინტერფეისამდე რამდენიმე მარშრუტის ქვედა ქსელში არსებობის გამო.

იმის ნაცვლად, რომ დასკვნა

როგორც ზემოთ აღვნიშნეთ, ტესტირებისა და ექსპლუატაციის დროს ქსელმა აჩვენა მაღალი საიმედოობა (ტიპიური წარუმატებლობის აღდგენის დრო არაუმეტეს ასობით მილიწამისა) და კარგი შესრულება - თითოეული ჯვარედინი კავშირი დაკავშირებულია ბირთვთან ორი 40 გბიტი/წმ არხით. ჩვენს ქსელში წვდომის გადამრთველები დაწყობილია და დაკავშირებულია სადისტრიბუციო გადამრთველებთან LACP/M-LAG-ით ორი 10 გბიტი/წმ არხით. სტეკი ჩვეულებრივ შეიცავს 5 გადამრთველს თითოეული 48 პორტით და 10-მდე წვდომის სტეკი დაკავშირებულია განაწილებასთან თითოეულ ჯვარედინი დაკავშირებაში. ამრიგად, ხერხემალი უზრუნველყოფს დაახლოებით 30 მბიტ/წმ თითო მომხმარებელს მაქსიმალურ თეორიულ დატვირთვაზეც კი, რაც წერის დროს საკმარისია ყველა ჩვენი პრაქტიკული აპლიკაციისთვის.

ქსელი საშუალებას გაძლევთ შეუფერხებლად მოაწყოთ ნებისმიერი თვითნებური დაკავშირებული მოწყობილობის დაწყვილება როგორც L2, ასევე L3-ის საშუალებით, რაც უზრუნველყოფს ტრაფიკის სრულ იზოლაციას (რაც მოსწონს ინფორმაციის უსაფრთხოების სამსახურს) და გაუმართაობის დომენებს (რაც მოსწონს ოპერაციების გუნდს).

შემდეგ ნაწილში ჩვენ გეტყვით, თუ როგორ გადავედით ახალ ქსელში. Ადევნეთ თვალყური!

მაქსიმ კლოჩკოვი
ქსელის აუდიტისა და კომპლექსური პროექტების ჯგუფის უფროსი კონსულტანტი
ქსელური გადაწყვეტილებების ცენტრი
"Jet Infosystems"

წყარო: www.habr.com