ახალი IT ინფრასტრუქტურა რუსული ფოსტის მონაცემთა ცენტრისთვის

დარწმუნებული ვარ, რომ Habr-ის ყველა მკითხველმა ერთხელ მაინც შეუკვეთა საქონელი საზღვარგარეთ ონლაინ მაღაზიებში და შემდეგ წავიდა ამანათების მისაღებად რუსეთის ფოსტაში. წარმოგიდგენიათ ამ ამოცანის მასშტაბები ლოგისტიკის ორგანიზების თვალსაზრისით? გაამრავლეთ მყიდველების რაოდენობა მათი შესყიდვების რაოდენობაზე, წარმოიდგინეთ ჩვენი უზარმაზარი ქვეყნის რუკა და მასზე - 40 ათასზე მეტი ფოსტა... სხვათა შორის, 2018 წელს რუსეთის ფოსტამ დაამუშავა 345 მილიონი საერთაშორისო ამანათი.

ამ სტატიაში ჩვენ გეტყვით, თუ რა პრობლემები შეექმნა Post-ს და როგორ გადაჭრა ისინი LANIT-Integration-ის გუნდმა, შექმნა ახალი IT ინფრასტრუქტურა მონაცემთა ცენტრებისთვის.

რუსული ფოსტის ერთ-ერთი თანამედროვე ლოგისტიკური ცენტრი
 

პროექტის დაწყებამდე

ჩინეთში, დასავლეთ ევროპასა და ჩრდილოეთ ამერიკაში უცხოური მაღაზიებიდან ამანათების რაოდენობის მკვეთრი ზრდის გამო, რუსული ფოსტის ლოგისტიკურ ობიექტებზე დატვირთვა გაიზარდა. ამიტომ აშენდა ახალი თაობის ლოგისტიკური ცენტრები, რომლებიც იყენებენ მაღალი ტევადობის დამხარისხებელ მანქანებს. მათ სჭირდებათ კომპიუტერული ინფრასტრუქტურის მხარდაჭერა.

მონაცემთა ცენტრის ინფრასტრუქტურა მოძველებული იყო და არ უზრუნველყოფდა აუცილებელ შესრულებას და საიმედოობას საწარმოს საინფორმაციო სისტემების მუშაობაში. ასევე, რუსული ფოსტა განიცდიდა გამოთვლითი სიმძლავრის ნაკლებობას ახალი სერვისების დასაწყებად.
 

მომხმარებელთა მონაცემთა ცენტრები და მათი პრობლემები

რუსული ფოსტის მონაცემთა ცენტრები ემსახურება 40-ზე მეტ ობიექტს, 000 ტერიტორიულ ოფისს. მონაცემთა ცენტრებში ფუნქციონირებს ათობით ბიზნეს სერვისი, მათ შორის ელექტრონული კომერციის სერვისები.

უკვე დღეს საწარმო იყენებს სისტემებს დიდი მონაცემების შესანახად, ანალიზისა და დამუშავებისთვის. ასეთი სისტემებისთვის ხელოვნური ინტელექტისა და მანქანათმცოდნეობის ალგორითმების გამოყენება მნიშვნელოვან როლს ასრულებს. დღეისათვის საწარმოსთვის ერთ-ერთი უმნიშვნელოვანესი შემთხვევაა ლოგისტიკური ნაკადების მართვის ოპტიმიზაცია და ფოსტაებში მომხმარებელთა მომსახურების დაჩქარება.

განახლების პროექტის დაწყებამდე მთავარ და სარეზერვო მონაცემთა ცენტრებში დაახლოებით 3000 ვირტუალური მანქანა იყო, შენახული ინფორმაციის რაოდენობა 2 პეტაბაიტს აჭარბებდა. მონაცემთა ცენტრებს ჰქონდათ ტრაფიკის მარშრუტის რთული სტრუქტურა, რომელიც დაკავშირებულია სხვადასხვა სეგმენტებად დაყოფასთან უსაფრთხოების დონის მიხედვით.

აპლიკაციების შემუშავებით და ახალი სერვისების დანერგვით, მონაცემთა ცენტრებში ქსელური აღჭურვილობის არსებული გამტარუნარიანობა არასაკმარისი გახდა. საჭირო იყო ახალი სიჩქარით ინტერფეისებზე გადასვლა: 10 გბ/წმ, ნაცვლად 1 გბ/წმ წვდომისთვის და 40 გბ/წმ ძირითად დონეზე, აღჭურვილობისა და საკომუნიკაციო არხების სრული სიჭარბით.

ინფორმაციული უსაფრთხოების დეპარტამენტიდან მიღებული იქნა მოთხოვნა ინფრასტრუქტურის დაყოფის სეგმენტებად ტრაფიკისა და აპლიკაციების ინფორმაციული უსაფრთხოების მაღალი დონით (PN - კერძო ქსელი და DMZ - დემილიტარიზებული ზონა). Firewall-ებმა (ITU) გაიარა ტრაფიკი, რომლის გაფილტვრაც საჭირო არ იყო. VRF არ იყო გამოყენებული გადამრთველებზე ასეთი ტრაფიკისთვის. წესები ITU-ში იყო არაოპტიმალური (ათიათასობით წესი თითოეულ მონაცემთა ცენტრში).

ვირტუალური მანქანების (VM) უწყვეტი მიგრაცია მონაცემთა ცენტრებს შორის IP მისამართის და სეგმენტებს შორის ტრაფიკის ოპტიმალური გზის შენარჩუნებისას, კორპორატიული მონაცემთა ქსელის (CDTN) ჩათვლით, შეუძლებელი იყო.

MSTP გამოიყენებოდა ზედმეტობისთვის, ზოგიერთი პორტი დაბლოკილია (ცხელი ლოდინი). ძირითადი და წვდომის გადამრთველები არ იყო დაჯგუფებული და არ იყო გამოყენებული ინტერფეისის აგრეგაცია (LAG).

მესამე მონაცემთა ცენტრის მოსვლასთან ერთად, ახალი არქიტექტურისა და აღჭურვილობის კონფიგურაცია იყო საჭირო მონაცემთა ცენტრებს შორის რგოლის მუშაობისთვის (შემოთავაზებული იყო EVPN).

არ არსებობდა მონაცემთა ცენტრების განვითარების ერთი კონცეფცია, დოკუმენტირებული პროექტის სახით და შეთანხმებული დამკვეთის ყველა განყოფილებასთან. ქსელის მუშაობის მიმდინარე დოკუმენტაცია არასრული და მოძველებული იყო.
 

მომხმარებელთა მოლოდინები

პროექტის გუნდს ჰქონდა შემდეგი დავალებები:

• მესამე მონაცემთა ცენტრის ქსელისა და სერვერული ინფრასტრუქტურის ასაშენებლად არქიტექტურისა და განვითარების კონცეფციის მომზადება;
• ჩაატაროს მომხმარებლის არსებული ქსელის ოპერატიული აუდიტი;
• ქსელის ძირითადი სიმძლავრის გაფართოება 1500-ზე მეტი 10/40 გბ/წმ Ethernet პორტით თითოეულ მონაცემთა ცენტრში (სულ 4500 პორტი);
• უზრუნველყოს რგოლის მუშაობა სამ მონაცემთა ცენტრს შორის სიჩქარის გაზრდის შესაძლებლობით 80 გბ/წმ-მდე თითოეულ სეგმენტში, რათა დააკავშიროთ მომხმარებლის გამოთვლითი რესურსები სხვადასხვა მონაცემთა ცენტრიდან ერთ IT სისტემაში;
• უზრუნველყოს ქსელის ყველა ელემენტის 100% ორმაგი რეზერვი, რათა მიაღწიოს სამიზნე Uptime-ს 99,995% დონეზე;
• შეამციროს ტრაფიკის შეფერხებები ვირტუალურ მანქანებს შორის, ბიზნეს აპლიკაციების დაჩქარების მიზნით;
• სტატისტიკის შეგროვება, ანალიზი და ტრაფიკის ფილტრაციის წესების შემდგომი ოპტიმიზაცია მონაცემთა ცენტრებში (თავდაპირველად დაახლოებით 80 000 წესი იყო);
• შეიმუშავეთ სამიზნე არქიტექტურა, რათა უზრუნველყოს მომხმარებლის კრიტიკული ბიზნეს აპლიკაციების უწყვეტი მიგრაცია სამივე მონაცემთა ცენტრში.

ამრიგად, ჩვენ გვქონდა სამუშაო.

Оборудование

მოდით უფრო დეტალურად განვიხილოთ, თუ რა აღჭურვილობა გამოვიყენეთ პროექტში.

Firewall (NGWF) USG9560:

• დაყოფა VSYS-ით;
• 720 გბ/წმ-მდე;
• 720 მილიონამდე ერთდროული სესია;
• 8 სლოტი.

 
როუტერი NE40E-X8:

• 7,08 ტბიტ/წმ-მდე გადართვის სიმძლავრე;
• 2,880 Mpps-მდე გადამისამართების შესრულება;
• 8 სლოტი ხაზის ბარათებისთვის (LPU);
• 10M-მდე BGP IPv4 მარშრუტი თითო MPU-ზე;
• 1500K-მდე OSPF IPv4 მარშრუტი თითო MPU-ზე;
• 3000K-მდე - IPv4 FIB (დამოკიდებულია LPU-ზე).

CE12800 სერიის გადამრთველები:

• მოწყობილობის ვირტუალიზაცია: VS (1:16 ვირტუალიზაცია), Cluster Switch System (CSS), Super Virtual Fabric (SVF);
• ქსელის ვირტუალიზაცია: M-LAG, TRILL, VXLAN და VXLAN ხიდი, QinQ VXLAN-ში, EVN (Ethernet ვირტუალური ქსელი);
• VRP V2-ით დაწყებული, EVPN მხარდაჭერა შედის;
• M-LAG - vPC-ის (ვირტუალური პორტის არხი) ანალოგი Cisco Nexus-ისთვის;
• Virtual Spanning Tree Protocol (VSTP) - თავსებადია Cisco PVST-თან.

CE12804

CE12808

პროგრამული უზრუნველყოფა

პროექტში ჩვენ გამოვიყენეთ:

• კონფიგურაციის ფაილების გადამყვანი სხვა მომწოდებლების ფაირვოლებისთვის ახალი აღჭურვილობის ბრძანების ფორმატში;
• ჩვენი საკუთარი დიზაინის სკრიპტები ფაირვოლების კონფიგურაციის ოპტიმიზაციისა და ტრანსფორმაციისთვის.

კონვერტორის გარეგნობა კონფიგურაციის ფაილების კონვერტაციისთვის
 
მონაცემთა ცენტრებს შორის კომუნიკაციის სქემა (EVPN VXLAN)
 

აღჭურვილობის დაყენების ნიუანსი

CE12808
 

• EVPN (სტანდარტული) ნაცვლად EVN-ის (Huawei საკუთრება) მონაცემთა ცენტრებს შორის კომუნიკაციისთვის:

  ○ L2 L3-ზე მეტი iBGP საკონტროლო სიბრტყეში;
  ○ MAC ტრენინგი და განცხადება iBGP EVPN ოჯახის მეშვეობით (MAC მარშრუტები, ტიპი 2);
  ○ VXLAN გვირაბების ავტომატური მშენებლობა სამაუწყებლო/უცნობი unicast ტრაფიკისთვის (Inclusive Multicast Routes, ტიპი 3).

• VS-ზე გაყოფის ორი რეჟიმი:

  ○ პორტების საფუძველზე (პორტ-რეჟის პორტი) ან ASIC-ზე (პორტის რეჟიმის ჯგუფი, მოწყობილობის ჩვენების პორტ-რუქა);
  ○ პორტის გაყოფილი განზომილების ინტერფეისი 40GE მუშაობს მხოლოდ Admin VS-ში (განურჩევლად პორტის რეჟიმისა).

USG9560
 

• VSYS-ით გაყოფის შესაძლებლობა,
• VSYS დინამიურ მარშრუტიზაციასა და მარშრუტის გაჟონვას შორის შეუძლებელია!

CE12804
 
ყველა აქტიური GW (VRRP Master/Master/Master) MAC VRRP ფილტრირებით მონაცემთა ცენტრებს შორის
 
acl number 4000
  rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 15 permit
 
interface Eth-Trunk1
  traffic-filter acl 4000 outbound

რესურსების ურთიერთქმედების სქემა მონაცემთა ცენტრებს შორის (VXLAN EVPN და All Active GW)
 

პროექტის სირთულე

მთავარი სირთულე იყო არსებული აპლიკაციების სარეზერვო ასლის საჭიროება გამოთვლითი ინფრასტრუქტურის გამოყენებით. მომხმარებელს ჰქონდა 100-ზე მეტი სხვადასხვა აპლიკაცია, რომელთაგან ზოგიერთი დაიწერა თითქმის 10 წლის წინ. მაგალითად, თუ Yandex-ს შეუძლია მარტივად დახუროს რამდენიმე ასეული ვირტუალური მანქანა საბოლოო მომხმარებლისთვის ზიანის მიყენების გარეშე, მაშინ Russian Post-ში ასეთი მიდგომა მოითხოვს ნულიდან მრავალი აპლიკაციის შემუშავებას და საწარმოს საინფორმაციო სისტემების არქიტექტურაში ცვლილებებს. მიგრაციისა და ოპტიმიზაციის პროცესში წარმოქმნილი პრობლემები გამოთვლითი ინფრასტრუქტურის ერთობლივი აუდიტის ეტაპზე გადავჭრით. საწარმოსთვის ახალი ქსელის ყველა ტექნოლოგია (როგორიცაა EVPN) წინასწარ იქნა გამოცდილი ლაბორატორიაში.
 

პროექტის შედეგები

პროექტის გუნდში შედიოდნენ სპეციალისტები "LANIT-ინტეგრაცია", მომხმარებელს და მის პარტნიორებს გამოთვლითი ინფრასტრუქტურის ექსპლუატაციაში. ასევე ჩამოყალიბდა მხარდაჭერის გუნდები მომწოდებლებისგან (Check Point და Huawei). პროექტს ორი წელი დასჭირდა. აი, რა გაკეთდა ამ ხნის განმავლობაში.

• შემუშავდა მონაცემთა ცენტრების ქსელის, კორპორატიული მონაცემთა გადაცემის ქსელის (CSTN) და მონაცემთა ცენტრებს შორის რგოლის განვითარების სტრატეგია და შეთანხმებული იქნა მომხმარებლის ყველა განყოფილებასთან.
• სერვისის ხელმისაწვდომობის გაზრდა. ეს აღნიშნა მომხმარებლის ბიზნესმა და განაპირობა ტრაფიკის კიდევ უფრო დიდი ზრდა ახალი სერვისების დანერგვის გამო.
• 40-ზე მეტი წესი იქნა მიგრირებული და ოპტიმიზირებული FWSM/ASA-დან USG 000-ში. სხვადასხვა ASA კონტექსტი UGG 9560-ზე გაერთიანდა უსაფრთხოების ერთ პოლიტიკაში.
• მონაცემთა ცენტრის პორტების გამტარუნარიანობა გაიზარდა 1G-დან 10/40G-მდე CE12800/CE6850-ის გამოყენებით. ამან შესაძლებელი გახადა ინტერფეისის გადატვირთვისა და პაკეტების დაკარგვის აღმოფხვრა.
• Carrier-ის კლასის მარშრუტიზატორები NE40E-X8 სრულად ფარავდნენ მომხმარებლის მონაცემთა ცენტრის და KSPD-ის საჭიროებებს, მომავალი ბიზნესის განვითარების გათვალისწინებით.
• რვა ახალი ფუნქციის მოთხოვნა მოთხოვნილია USG 9560-ისთვის. აქედან შვიდი უკვე დანერგილია და შედის VRP-ის მიმდინარე ვერსიაში. 1 FR ახორციელებს Huawei R&D-ს. ეს არის რვა შასის კლასტერი, სესიების სინქრონიზაციის გარეშე კონფიგურაციის სინქრონიზაციისთვის საჭირო ფუნქციების კონფიგურაციის შესაძლებლობით. საჭიროა, თუ ტრაფიკის შეფერხება მონაცემთა ერთ-ერთ ცენტრში ძალიან მაღალია (ადლერი - მოსკოვი 1300 კმ მთავარი მარშრუტის გასწვრივ და 2800 კმ სარეზერვო მარშრუტის გასწვრივ).

პროექტს ანალოგი არ აქვს რუსეთის სხვა საფოსტო კომპანიებთან შედარებით.

მონაცემთა ცენტრის ქსელის ინფრასტრუქტურის მოდერნიზებამ ახალი შესაძლებლობები გაუხსნა საწარმოს ციფრული სერვისების განვითარებისთვის.

• ფიზიკური და იურიდიული პირებისთვის პირადი ანგარიშის და მობილური აპლიკაციის უზრუნველყოფა.
• ინტეგრაცია ელექტრონულ მაღაზიებთან საქონლის მიტანის სერვისების უზრუნველსაყოფად.
• შესრულება არის საქონლის შენახვა, ელექტრონული მაღაზიებიდან შეკვეთების ფორმირება და მიწოდება.
• შეკვეთების გაცემის პუნქტების გაფართოება, მათ შორის პარტნიორი ქსელების გამოყენებით.
• იურიდიულად მნიშვნელოვანი დოკუმენტების ნაკადი კონტრაქტორებთან. ეს გამორიცხავს ქაღალდის დოკუმენტების ნელი და ძვირადღირებული მიწოდებას.
• რეგისტრირებული წერილების მიღება ელექტრონული ფორმით მიწოდებით როგორც ელექტრონული, ასევე ქაღალდის სახით (საქონელი საბოლოო მიმღებთან მაქსიმალურად ახლოს ბეჭდვით). ელექტრონული რეგისტრირებული წერილების სერვისი საჯარო სერვისების პორტალზე.
• პლატფორმა ტელემედიცინის სერვისების მიწოდებისთვის.
• რეგისტრირებული საფოსტო გზავნილების გამარტივებული მიღება და გამარტივებული მიწოდება მარტივი ელექტრონული ხელმოწერის გამოყენებით.
• საფოსტო განყოფილების ქსელის დიგიტალიზაცია.
• თვითმომსახურების (ტერმინალების და ამანათების აპარატების) დამუშავება.
• საკურიერო სერვისის მართვის ციფრული პლატფორმისა და ახალი მობილური აპლიკაციის შექმნა საკურიერო სერვისის მომხმარებლებისთვის.

მოდი ჩვენთან სამუშაოდ!

• საწარმოს ინფრასტრუქტურის ინჟინერი
• წამყვანი Linux / DevOps ინჟინერი

წყარო: www.habr.com