โครงสร้างพื้นฐานด้านไอทีใหม่สำหรับศูนย์ข้อมูล Russian Post

ฉันแน่ใจว่าผู้อ่าน Habr ทุกคนเคยสั่งซื้อสินค้าจากร้านค้าออนไลน์ในต่างประเทศอย่างน้อยหนึ่งครั้งจากนั้นก็ไปรับพัสดุที่ที่ทำการไปรษณีย์รัสเซีย คุณจินตนาการถึงขนาดของงานนี้จากมุมมองของการจัดการด้านลอจิสติกส์ได้หรือไม่? คูณจำนวนผู้ซื้อด้วยจำนวนการซื้อ ลองนึกภาพแผนที่ของประเทศอันกว้างใหญ่ของเรา และมีที่ทำการไปรษณีย์มากกว่า 40 แห่งบนนั้น... อย่างไรก็ตาม ในปี 2018 Russian Post ได้ประมวลผลพัสดุระหว่างประเทศ 345 ล้านชิ้น

ในบทความนี้ เราจะบอกคุณว่าปัญหาใดบ้างที่ Pochta เผชิญ และวิธีที่ทีม LANIT Integration แก้ไขโดยการสร้างโครงสร้างพื้นฐานด้านไอทีใหม่สำหรับศูนย์ข้อมูล

หนึ่งในศูนย์โลจิสติกส์ที่ทันสมัยของ Russian Post
 

ก่อนเริ่มโครงการ

เนื่องจากจำนวนพัสดุที่เพิ่มขึ้นอย่างรวดเร็วจากร้านค้าต่างประเทศในจีน ยุโรปตะวันตก และอเมริกาเหนือ ภาระในสิ่งอำนวยความสะดวกด้านลอจิสติกส์ของ Russian Post จึงเพิ่มขึ้น ดังนั้นจึงมีการสร้างศูนย์โลจิสติกส์รุ่นใหม่ซึ่งใช้เครื่องคัดแยกประสิทธิภาพสูง พวกเขาต้องการการสนับสนุนจากโครงสร้างพื้นฐานด้านคอมพิวเตอร์

โครงสร้างพื้นฐานของศูนย์ข้อมูลล้าสมัยและไม่ได้ให้ประสิทธิภาพและความน่าเชื่อถือที่จำเป็นในการทำงานของระบบข้อมูลองค์กร นอกจากนี้ Russian Post ยังประสบปัญหาขาดพลังในการประมวลผลในการเปิดตัวบริการใหม่ๆ
 

ศูนย์ข้อมูลลูกค้าและปัญหาของพวกเขา

ศูนย์ข้อมูล Russian Post ให้บริการสิ่งอำนวยความสะดวกมากกว่า 40 แห่งและแผนกอาณาเขต 000 แห่ง ศูนย์ข้อมูลให้บริการทางธุรกิจตลอด 85 ชั่วโมงทุกวัน รวมถึงบริการอีคอมเมิร์ซ

ปัจจุบัน องค์กรต่างๆ ใช้ระบบในการจัดเก็บ วิเคราะห์ และประมวลผลข้อมูลขนาดใหญ่ สำหรับระบบดังกล่าว การใช้ปัญญาประดิษฐ์และอัลกอริธึมการเรียนรู้ของเครื่องจักรมีบทบาทสำคัญ ปัจจุบัน หนึ่งในกรณีที่สำคัญที่สุดสำหรับองค์กรคือการเพิ่มประสิทธิภาพการจัดการกระแสโลจิสติกส์และเร่งบริการลูกค้าในที่ทำการไปรษณีย์

ก่อนเริ่มโครงการปรับปรุงให้ทันสมัย ​​มีเครื่องเสมือนประมาณ 3000 เครื่องในศูนย์ข้อมูลหลักและศูนย์ข้อมูลสำรอง ปริมาณข้อมูลที่จัดเก็บเกิน 2 เพตาไบต์ ศูนย์ข้อมูลมีโครงสร้างการกำหนดเส้นทางการรับส่งข้อมูลที่ซับซ้อน ซึ่งเกี่ยวข้องกับการแบ่งออกเป็นส่วนต่างๆ ตามระดับความปลอดภัย

ด้วยการพัฒนาแอพพลิเคชั่นและการเปิดตัวบริการใหม่ ๆ แบนด์วิดท์ที่มีอยู่ในอุปกรณ์เครือข่ายในศูนย์ข้อมูลจึงไม่เพียงพอ จำเป็นต้องเปลี่ยนไปใช้อินเทอร์เฟซด้วยความเร็วใหม่: 10 Gbit/s แทนที่จะเป็น 1 Gbit/s ในการเข้าถึง และ 40 Gbit/s ที่ระดับแกนหลัก พร้อมอุปกรณ์สำรองและช่องทางการสื่อสารเต็มรูปแบบ

แผนกความปลอดภัยของข้อมูลได้รับข้อกำหนดในการแบ่งโครงสร้างพื้นฐานออกเป็นส่วน ๆ โดยมีความปลอดภัยของข้อมูลการรับส่งข้อมูลและแอปพลิเคชันระดับสูง (PN - เครือข่ายส่วนตัวและ DMZ - เขตปลอดทหาร) การรับส่งข้อมูลที่ส่งผ่านไฟร์วอลล์ (FWU) ที่ไม่จำเป็นต้องกรอง VRF บนสวิตช์ไม่ได้ใช้สำหรับการรับส่งข้อมูลนี้ กฎบนไฟร์วอลล์นั้นไม่ค่อยเหมาะสม (กฎหลายหมื่นกฎในแต่ละศูนย์ข้อมูล)

การโยกย้ายเครื่องเสมือน (VM) ระหว่างศูนย์ข้อมูลอย่างราบรื่นในขณะที่ยังคงรักษาที่อยู่ IP และเส้นทางที่เหมาะสมที่สุดสำหรับการรับส่งข้อมูลระหว่างเซ็กเมนต์ รวมถึงเครือข่ายข้อมูลองค์กร (CDN) นั้นเป็นไปไม่ได้

MSTP ใช้สำหรับการสำรองข้อมูล บางพอร์ตถูกบล็อก (สแตนด์บายแบบ hot standby) สวิตช์หลักและการเข้าถึงไม่ได้รวมกันเป็นคลัสเตอร์ล้มเหลว และไม่ได้ใช้ Interface Aggregation (LAG)

ด้วยการถือกำเนิดของศูนย์ข้อมูลแห่งที่สาม สถาปัตยกรรมใหม่และการกำหนดค่าอุปกรณ์จึงจำเป็นเพื่อควบคุมวงแหวนระหว่างศูนย์ข้อมูล (เสนอ EVPN)

ไม่มีแนวคิดที่เป็นหนึ่งเดียวสำหรับการพัฒนาศูนย์ข้อมูล ซึ่งจัดทำเป็นเอกสารในรูปแบบของโครงการและตกลงกับทุกแผนกของลูกค้า เอกสารประกอบการดำเนินงานเครือข่ายปัจจุบันไม่สมบูรณ์และล้าสมัย
 

ความคาดหวังของลูกค้า

ทีมงานโครงการเผชิญกับงานดังต่อไปนี้:

• จัดทำแนวคิดสถาปัตยกรรมและการพัฒนาสำหรับการสร้างโครงสร้างพื้นฐานเครือข่ายและเซิร์ฟเวอร์ของศูนย์ข้อมูลแห่งที่ XNUMX
• ดำเนินการตรวจสอบการปฏิบัติงานของเครือข่ายที่มีอยู่ของลูกค้า
• ขยายความจุหลักเครือข่ายได้มากกว่า 1500 พอร์ตอีเธอร์เน็ต 10/40 Gbit/s ในแต่ละศูนย์ข้อมูล (รวมทั้งหมด 4500 พอร์ต)
• รับประกันการทำงานของวงแหวนระหว่างศูนย์ข้อมูลสามแห่งด้วยความสามารถในการเพิ่มความเร็วสูงสุด 80 Gbit/s ในแต่ละเซ็กเมนต์ เพื่อรวมทรัพยากรการประมวลผลของลูกค้าจากศูนย์ข้อมูลต่างๆ ให้เป็นระบบไอทีเดียว
• จัดเตรียมองค์ประกอบเครือข่ายทั้งหมดสำรองสองเท่า 100% เพื่อให้บรรลุเป้าหมาย Uptime ที่ระดับ 99,995%
• ลดความล่าช้าของการรับส่งข้อมูลระหว่างเครื่องเสมือนเพื่อเพิ่มความเร็วให้กับแอปพลิเคชันทางธุรกิจ
• รวบรวมสถิติ ทำการวิเคราะห์ และดำเนินการเพิ่มประสิทธิภาพกฎการกรองการรับส่งข้อมูลในศูนย์ข้อมูลในภายหลัง (เริ่มแรกมีกฎประมาณ 80 กฎ)
• พัฒนาสถาปัตยกรรมเป้าหมายเพื่อให้แน่ใจว่าการโยกย้ายแอปพลิเคชันทางธุรกิจที่สำคัญของลูกค้าไปยังศูนย์ข้อมูลแห่งใดแห่งหนึ่งในสามแห่งเป็นไปอย่างราบรื่น

ดังนั้นเราจึงมีบางอย่างที่ต้องทำ

Оборудование

มาดูกันดีกว่าว่าเราใช้อุปกรณ์อะไรบ้างในโครงการ

ไฟร์วอลล์ (NGWF) USG9560:

• แบ่งตาม VSYS;
• สูงสุด 720 Gbps;
• มากถึง 720 ล้านเซสชันพร้อมกัน
• 8 ช่อง

 
เราเตอร์ NE40E-X8:

• ความสามารถในการสลับสูงสุด 7,08 Tbit/s;
• ประสิทธิภาพการส่งต่อสูงสุด 2,880 Mpps;
• 8 ช่องสำหรับไลน์การ์ด (LPU);
• มากถึง 10M BGP IPv4 เส้นทางต่อ MPU;
• มากถึง 1500K OSPF IPv4 เส้นทางต่อ MPU;
• สูงถึง 3000K – IPv4 FIB (ขึ้นอยู่กับ LPU)

สวิตช์ซีรีส์ CE12800:

• การจำลองเสมือนของอุปกรณ์: VS (การจำลองเสมือน 1:16), ระบบสวิตช์คลัสเตอร์ (CSS), Super Virtual Fabric (SVF);
• การจำลองเสมือนเครือข่าย: การเชื่อมต่อ M-LAG, TRILL, VXLAN และ VXLAN, QinQ ใน VXLAN, EVN (Ethernet Virtual Network);
• เริ่มต้นจาก VRP V2 รองรับ EVPN รวมอยู่ด้วย
• M-LAG – อะนาล็อกของ vPC (ช่องพอร์ตเสมือน) สำหรับ Cisco Nexus
• Virtual Spanning Tree Protocol (VSTP) – เข้ากันได้กับ Cisco PVST

CE12804

CE12808

ซอฟต์แวร์

ในโครงการที่เราใช้:

• การแปลงไฟล์การกำหนดค่าไฟร์วอลล์จากผู้ขายรายอื่นเป็นรูปแบบคำสั่งสำหรับอุปกรณ์ใหม่
• สคริปต์ที่เป็นกรรมสิทธิ์สำหรับการเพิ่มประสิทธิภาพและการแปลงการกำหนดค่าไฟร์วอลล์

ลักษณะที่ปรากฏของตัวแปลงสำหรับการแปลงไฟล์คอนฟิกูเรชัน
 
โครงการจัดการสื่อสารระหว่างศูนย์ข้อมูล (EVPN VXLAN)
 

ความแตกต่างของการตั้งค่าอุปกรณ์

CE12808
 

• EVPN (มาตรฐาน) แทน EVN (กรรมสิทธิ์ของ Huawei) สำหรับการสื่อสารระหว่างศูนย์ข้อมูล:

  ○ L2 บน L3 โดยใช้ iBGP ในระนาบควบคุม
  ○ การฝึกอบรม MAC และการโฆษณาผ่านตระกูล iBGP EVPN (เส้นทาง MAC ประเภท 2)
  ○ การสร้างอุโมงค์ VXLAN โดยอัตโนมัติสำหรับการออกอากาศ / การรับส่งข้อมูลแบบผู้รับเดียวที่ไม่รู้จัก (รวมเส้นทางหลายผู้รับ ประเภท 3)

• สองโหมดการแบ่งบน VS:

  ○ ขึ้นอยู่กับพอร์ต (พอร์ตโหมดพอร์ต) หรือขึ้นอยู่กับ ASIC (กลุ่มโหมดพอร์ต, พอร์ตอุปกรณ์แสดงผล - แมป);
  ○ อินเทอร์เฟซการแยกพอร์ตขนาด 40GE ใช้งานได้ใน Admin VS เท่านั้น (โดยไม่คำนึงถึงโหมดพอร์ต)

USG9560
 

• ความเป็นไปได้ของการแบ่งโดย VSYS
• การกำหนดเส้นทางแบบไดนามิกและการรั่วไหลของเส้นทางเป็นไปไม่ได้ระหว่าง VSYS!

CE12804
 
Active GW ทั้งหมด (VRRP Master/Master/Master) พร้อมการกรอง MAC VRRP ระหว่างศูนย์ข้อมูล
 
acl number 4000
  rule 5 deny source-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 10 deny destination-mac 0000-5e00-0100 ffff-ffff-ff00
  rule 15 permit
 
interface Eth-Trunk1
  traffic-filter acl 4000 outbound

แผนการทำงานร่วมกันของทรัพยากรระหว่างศูนย์ข้อมูล (VXLAN EVPN และ All Active GW)
 

ความยากลำบากของโครงการ

ปัญหาหลักคือความจำเป็นในการสำรองข้อมูลแอปพลิเคชันที่มีอยู่โดยใช้โครงสร้างพื้นฐานทางคอมพิวเตอร์ ลูกค้ามีแอปพลิเคชันที่แตกต่างกันมากกว่า 100 รายการ ซึ่งบางส่วนเขียนเมื่อเกือบ 10 ปีที่แล้ว ตัวอย่างเช่น หากสำหรับ Yandex คุณสามารถปิดเครื่องเสมือนหลายร้อยเครื่องได้อย่างง่ายดายโดยไม่เป็นอันตรายต่อผู้ใช้ ดังนั้นใน Russian Post วิธีการดังกล่าวจะต้องมีการพัฒนาแอปพลิเคชันจำนวนหนึ่งตั้งแต่เริ่มต้นและการเปลี่ยนแปลงสถาปัตยกรรมของระบบข้อมูลองค์กร เราได้แก้ไขปัญหาที่เกิดขึ้นระหว่างกระบวนการโยกย้ายและการปรับให้เหมาะสมในขั้นตอนของการตรวจสอบร่วมกันของโครงสร้างพื้นฐานการประมวลผล เทคโนโลยีเครือข่ายทั้งหมดที่ยังใหม่ต่อองค์กร (เช่น EVPN) ได้ผ่านการทดสอบเบื้องต้นในห้องปฏิบัติการแล้ว
 

ผลลัพธ์ของโครงการ

ทีมงานโครงการประกอบด้วยผู้เชี่ยวชาญ "LANIT-บูรณาการ"ลูกค้าและคู่ค้าในการดำเนินงานโครงสร้างพื้นฐานด้านคอมพิวเตอร์ มีการจัดตั้งทีมสนับสนุนเฉพาะจากผู้ขาย (Check Point และ Huawei) ด้วยเช่นกัน โครงการนี้ใช้เวลาสองปี นี่คือสิ่งที่ทำในช่วงเวลานี้

• กลยุทธ์สำหรับการพัฒนาเครือข่ายศูนย์ข้อมูล เครือข่ายข้อมูลองค์กร (CDTN) และวงแหวนระหว่างศูนย์ข้อมูลได้รับการพัฒนาและตกลงกับทุกแผนกของลูกค้า
• ความพร้อมใช้งานของบริการเพิ่มขึ้น ธุรกิจของลูกค้าสังเกตเห็นสิ่งนี้และนำไปสู่การเพิ่มปริมาณการรับส่งข้อมูลมากขึ้นเนื่องจากมีการแนะนำบริการใหม่
• มีการย้ายและเพิ่มประสิทธิภาพกฎมากกว่า 40 กฎจาก FWSM/ASA ไปเป็น USG 000 บริบท ASA ที่แตกต่างกันใน UGG 9560 ได้รับการรวมเข้าเป็นนโยบายความปลอดภัยเดียว
• ปริมาณงานของพอร์ตศูนย์ข้อมูลเพิ่มขึ้นจาก 1G เป็น 10/40G โดยใช้ CE12800/CE6850 ทำให้สามารถกำจัดอินเทอร์เฟซที่โอเวอร์โหลดและการสูญเสียแพ็กเก็ตได้
• เราเตอร์ระดับผู้ให้บริการ NE40E-X8 ครอบคลุมความต้องการของศูนย์ข้อมูลและศูนย์ถ่ายโอนข้อมูลของลูกค้าอย่างครบถ้วน โดยคำนึงถึงการพัฒนาธุรกิจในอนาคต
• มีการร้องขอคุณลักษณะใหม่แปดคำขอสำหรับ USG 9560 ในจำนวนนี้ มีการใช้งานเจ็ดคำขอแล้วและรวมอยู่ใน VRP เวอร์ชันปัจจุบัน 1 FR - สำหรับการนำไปใช้ในการวิจัยและพัฒนาของ Huawei นี่คือคลัสเตอร์แปดแชสซีที่มีความสามารถในการกำหนดค่าฟังก์ชันการทำงานที่จำเป็นสำหรับการซิงโครไนซ์การกำหนดค่าโดยไม่ต้องซิงโครไนซ์เซสชัน จำเป็นหากความล่าช้าในการรับส่งข้อมูลไปยังศูนย์ข้อมูลแห่งใดแห่งหนึ่งมากเกินไป (Adler - มอสโก 1300 กม. ตามเส้นทางหลักและ 2800 กม. ตามเส้นทางสำรอง)

โครงการนี้ไม่มีการเปรียบเทียบเมื่อเปรียบเทียบกับบริษัทไปรษณีย์รัสเซียอื่นๆ

การปรับปรุงโครงสร้างพื้นฐานเครือข่ายของศูนย์ข้อมูลให้ทันสมัยได้เปิดโอกาสใหม่สำหรับองค์กรในการพัฒนาบริการดิจิทัล

• จัดทำบัญชีส่วนบุคคลและแอปพลิเคชันมือถือสำหรับบุคคลและนิติบุคคล
• บูรณาการกับร้านค้าอิเล็กทรอนิกส์เพื่อให้บริการจัดส่งสินค้า
• การปฏิบัติตาม - การจัดเก็บสินค้าการจัดทำและการส่งมอบคำสั่งซื้อจากร้านค้าอิเล็กทรอนิกส์
• ขยายจุดรับออเดอร์รวมถึงการใช้เครือข่ายพันธมิตร
• การไหลของเอกสารสำคัญทางกฎหมายกับคู่สัญญา สิ่งนี้จะช่วยลดการส่งเอกสารกระดาษที่ช้าและมีค่าใช้จ่ายสูง
• การรับจดหมายลงทะเบียนในรูปแบบอิเล็กทรอนิกส์พร้อมการจัดส่งทั้งทางอิเล็กทรอนิกส์และในรูปแบบกระดาษ (พร้อมการพิมพ์รายการให้ใกล้เคียงที่สุดกับผู้รับคนสุดท้าย) บริการจดหมายลงทะเบียนอิเล็กทรอนิกส์บนพอร์ทัลบริการสาธารณะ
• แพลตฟอร์มสำหรับการให้บริการการแพทย์ทางไกล
• การรับและการส่งไปรษณีย์ลงทะเบียนที่ง่ายขึ้นโดยใช้ลายเซ็นอิเล็กทรอนิกส์แบบง่าย
• การแปลงเครือข่ายที่ทำการไปรษณีย์ให้เป็นดิจิทัล
• การออกแบบบริการตนเองใหม่ (อาคารผู้โดยสารและอาคารพัสดุ)
• การสร้างแพลตฟอร์มดิจิทัลสำหรับจัดการบริการจัดส่งและแอปพลิเคชันมือถือใหม่สำหรับลูกค้าบริการจัดส่ง

มาร่วมงานกับเรา!

• วิศวกรโครงสร้างพื้นฐานองค์กร
• หัวหน้าวิศวกร Linux/DevOps

ที่มา: will.com