วิธีที่เราออกแบบและใช้งานเครือข่ายใหม่บน Huawei ในสำนักงานมอสโก ตอนที่ 1

วันนี้ฉันจะบอกคุณเกี่ยวกับแนวคิดในการสร้างเครือข่ายภายในใหม่สำหรับบริษัทของเราเกิดขึ้นและนำไปใช้ได้อย่างไร ตำแหน่งของผู้บริหารคือคุณต้องทำโปรเจ็กต์ที่ครบถ้วนเหมือนกันสำหรับตัวคุณเองเช่นเดียวกับลูกค้า หากเราทำดีเพื่อตัวเราเอง เราก็สามารถเชิญลูกค้าและแสดงให้เห็นว่าสิ่งที่เราเสนอให้เขาได้ผลและได้ผลดีเพียงใด ดังนั้นเราจึงเข้าใกล้การพัฒนาแนวคิดของเครือข่ายใหม่สำหรับสำนักงานในมอสโกอย่างละเอียด โดยใช้วงจรการผลิตเต็มรูปแบบ: การวิเคราะห์ความต้องการของแผนก → การเลือกโซลูชันทางเทคนิค → การออกแบบ → การนำไปปฏิบัติ → การทดสอบ มาเริ่มกันเลย

การเลือกวิธีแก้ปัญหาทางเทคนิค: เขตศักดิ์สิทธิ์กลายพันธุ์

ขั้นตอนการทำงานกับระบบอัตโนมัติที่ซับซ้อนปัจจุบันอธิบายไว้ใน GOST 34.601-90 “ระบบอัตโนมัติ” ขั้นตอนของการสร้างสรรค์” ดังนั้นเราจึงทำงานตามนั้น และในขั้นตอนของการสร้างข้อกำหนดและการพัฒนาแนวคิด เราก็พบปัญหาแรกแล้ว องค์กรที่มีโปรไฟล์ต่างๆ เช่น ธนาคาร บริษัทประกันภัย นักพัฒนาซอฟต์แวร์ ฯลฯ สำหรับงานและมาตรฐาน พวกเขาต้องการเครือข่ายบางประเภท ซึ่งมีข้อมูลเฉพาะที่ชัดเจนและเป็นมาตรฐาน อย่างไรก็ตามสิ่งนี้จะไม่ได้ผลกับเรา

ทำไม?

Jet Infosystems เป็นบริษัทไอทีขนาดใหญ่ที่มีความหลากหลาย ในขณะเดียวกัน แผนกสนับสนุนภายในของเรามีขนาดเล็ก (แต่น่าภาคภูมิใจ) ซึ่งรับประกันการทำงานของบริการและระบบพื้นฐาน บริษัทประกอบด้วยแผนกต่างๆ มากมายที่ทำหน้าที่ต่างๆ กัน ได้แก่ ทีมเอาท์ซอร์สที่ทรงพลังหลายทีม ผู้พัฒนาระบบธุรกิจและความปลอดภัยของข้อมูลภายในองค์กร และสถาปนิกระบบคอมพิวเตอร์ โดยทั่วไป ไม่ว่าจะเป็นใครก็ตาม ดังนั้นงาน ระบบ และนโยบายความปลอดภัยจึงแตกต่างกันเช่นกัน ซึ่งเป็นไปตามที่คาดไว้ สร้างความยุ่งยากในกระบวนการวิเคราะห์ความต้องการและมาตรฐาน

ตัวอย่างเช่นนี่คือแผนกพัฒนา: พนักงานเขียนและทดสอบโค้ดสำหรับลูกค้าจำนวนมาก บ่อยครั้งที่มีความจำเป็นต้องจัดระเบียบสภาพแวดล้อมการทดสอบอย่างรวดเร็ว และพูดตามตรง เป็นไปไม่ได้เสมอไปที่จะกำหนดข้อกำหนดสำหรับแต่ละโครงการ ขอทรัพยากร และสร้างสภาพแวดล้อมการทดสอบแยกต่างหากตามกฎระเบียบภายในทั้งหมด สิ่งนี้ทำให้เกิดสถานการณ์ที่น่าสงสัย: วันหนึ่งคนรับใช้ผู้ต่ำต้อยของคุณมองเข้าไปในห้องของนักพัฒนาและพบว่าใต้โต๊ะมีคลัสเตอร์ Hadoop ที่ทำงานอย่างถูกต้องจำนวน 20 เดสก์ท็อป ซึ่งเชื่อมต่อกับเครือข่ายทั่วไปอย่างอธิบายไม่ได้ ฉันไม่คิดว่ามันคุ้มค่าที่จะชี้แจงว่าแผนกไอทีของบริษัทไม่รู้เกี่ยวกับการมีอยู่ของมัน เหตุการณ์นี้เหมือนกับเหตุการณ์อื่น ๆ อีกมากมายที่รับผิดชอบต่อความจริงที่ว่าในระหว่างการพัฒนาโครงการคำว่า "สำรองกลายพันธุ์" เกิดขึ้นโดยอธิบายถึงสถานะของโครงสร้างพื้นฐานสำนักงานที่ต้องทนทุกข์ทรมานมายาวนาน

หรือนี่คืออีกตัวอย่างหนึ่ง มีการจัดม้านั่งทดสอบภายในแผนกเป็นระยะๆ นี่เป็นกรณีของ Jira และ Confluence ซึ่งถูกใช้ในขอบเขตที่จำกัดโดยศูนย์พัฒนาซอฟต์แวร์ในบางโครงการ หลังจากนั้นไม่นาน แผนกอื่นๆ ได้เรียนรู้เกี่ยวกับทรัพยากรที่มีประโยชน์เหล่านี้ และประเมินผล และเมื่อสิ้นปี 2018 Jira และ Confluence ได้ย้ายจากสถานะ "ของเล่นของโปรแกรมเมอร์ในพื้นที่" ไปเป็นสถานะ "ทรัพยากรของบริษัท" ตอนนี้เจ้าของจะต้องได้รับมอบหมายให้กับระบบเหล่านี้ SLA นโยบายความปลอดภัยในการเข้าถึง/ข้อมูล นโยบายการสำรองข้อมูล การตรวจสอบ กฎสำหรับการร้องขอการกำหนดเส้นทางเพื่อแก้ไขปัญหาจะต้องได้รับการกำหนด - โดยทั่วไปแล้ว คุณลักษณะทั้งหมดของระบบข้อมูลที่ครบถ้วนจะต้องมีอยู่ .
แต่ละแผนกของเรายังเป็นศูนย์บ่มเพาะที่ปลูกผลิตภัณฑ์ของตนเองอีกด้วย บางส่วนเสียชีวิตในขั้นตอนการพัฒนา บางส่วนเราใช้ในขณะที่ทำงานในโครงการ ในขณะที่บางส่วนหยั่งรากและกลายเป็นโซลูชันจำลองที่เราเริ่มใช้เองและขายให้กับลูกค้า สำหรับแต่ละระบบดังกล่าว ควรมีสภาพแวดล้อมเครือข่ายของตัวเอง ซึ่งจะพัฒนาโดยไม่รบกวนระบบอื่นๆ และในบางจุดก็สามารถรวมเข้ากับโครงสร้างพื้นฐานของบริษัทได้

นอกจากการพัฒนาแล้วเรายังมีขนาดใหญ่มาก ศูนย์บริการ ด้วยพนักงานมากกว่า 500 คน จัดตั้งเป็นทีมสำหรับลูกค้าแต่ละราย พวกเขามีส่วนร่วมในการดูแลรักษาเครือข่ายและระบบอื่นๆ การตรวจสอบระยะไกล การแก้ไขข้อเรียกร้อง และอื่นๆ นั่นคือโครงสร้างพื้นฐานของ SC จริงๆ แล้วคือโครงสร้างพื้นฐานของลูกค้าที่พวกเขาทำงานด้วยในปัจจุบัน ลักษณะเฉพาะของการทำงานกับเครือข่ายส่วนนี้คือเวิร์กสเตชันสำหรับบริษัทของเราเป็นแบบภายนอกบางส่วนและภายในบางส่วน ดังนั้นสำหรับ SC เราจึงนำแนวทางต่อไปนี้ไปใช้ - บริษัทจัดเตรียมเครือข่ายและทรัพยากรอื่น ๆ ให้กับแผนกที่เกี่ยวข้อง โดยพิจารณาจากเวิร์กสเตชันของแผนกเหล่านี้เป็นการเชื่อมต่อภายนอก (โดยการเปรียบเทียบกับสาขาและผู้ใช้ระยะไกล)

การออกแบบทางหลวง เราคือผู้ดำเนินการ (เซอร์ไพรส์)

หลังจากประเมินข้อผิดพลาดทั้งหมดแล้ว เราก็พบว่าเราได้รับเครือข่ายของผู้ให้บริการโทรคมนาคมภายในสำนักงานแห่งเดียว และเราก็เริ่มดำเนินการตามนั้น

เราสร้างเครือข่ายหลักด้วยความช่วยเหลือซึ่งผู้บริโภคทั้งภายในและภายนอกจะได้รับบริการที่จำเป็น: L2 VPN, L3 VPN หรือการกำหนดเส้นทาง L3 ปกติ บางแผนกต้องการการเข้าถึงอินเทอร์เน็ตที่ปลอดภัย ในขณะที่บางแผนกต้องการการเข้าถึงที่ปลอดภัยโดยไม่ต้องใช้ไฟร์วอลล์ แต่ในขณะเดียวกันก็ปกป้องทรัพยากรองค์กรและเครือข่ายหลักของเราจากการรับส่งข้อมูล

เรา "สรุป SLA" อย่างไม่เป็นทางการกับแต่ละแผนก เพื่อให้เป็นไปตามนั้น เหตุการณ์ทั้งหมดที่เกิดขึ้นจะต้องถูกกำจัดภายในระยะเวลาที่ตกลงไว้ล่วงหน้า ข้อกำหนดของบริษัทสำหรับเครือข่ายกลายเป็นเรื่องเข้มงวด เวลาตอบสนองสูงสุดต่อเหตุการณ์ในกรณีที่โทรศัพท์และอีเมลล้มเหลวคือ 5 นาที เวลาในการคืนค่าฟังก์ชันการทำงานของเครือข่ายระหว่างความล้มเหลวทั่วไปคือไม่เกินหนึ่งนาที

เนื่องจากเรามีเครือข่ายระดับผู้ให้บริการ คุณจึงสามารถเชื่อมต่อได้ตามกฎอย่างเคร่งครัดเท่านั้น หน่วยบริการกำหนดนโยบายและให้บริการ พวกเขาไม่ต้องการแม้แต่ข้อมูลเกี่ยวกับการเชื่อมต่อของเซิร์ฟเวอร์ เครื่องเสมือน และเวิร์คสเตชั่นที่เฉพาะเจาะจง แต่ในขณะเดียวกันก็จำเป็นต้องมีกลไกการป้องกัน เนื่องจากไม่ควรมีการเชื่อมต่อเดียวที่จะปิดการใช้งานเครือข่าย หากมีการสร้างลูปโดยไม่ได้ตั้งใจ ผู้ใช้รายอื่นไม่ควรสังเกตเห็นสิ่งนี้ กล่าวคือ จำเป็นต้องมีการตอบสนองที่เพียงพอจากเครือข่าย ผู้ให้บริการโทรคมนาคมรายใดก็ตามมักจะแก้ไขปัญหาที่ดูเหมือนจะซับซ้อนคล้ายกันภายในเครือข่ายหลักของตนอย่างต่อเนื่อง ให้บริการแก่ลูกค้าจำนวนมากที่มีความต้องการและการรับส่งข้อมูลที่แตกต่างกัน ในเวลาเดียวกัน สมาชิกที่แตกต่างกันไม่ควรประสบกับความไม่สะดวกจากการรับส่งข้อมูลของผู้อื่น
ที่บ้าน เราแก้ไขปัญหานี้ด้วยวิธีต่อไปนี้: เราสร้างเครือข่ายแกนหลัก L3 ที่มีความซ้ำซ้อนเต็มรูปแบบ โดยใช้โปรโตคอล IS-IS เครือข่ายโอเวอร์เลย์ถูกสร้างขึ้นบนแกนหลักโดยใช้เทคโนโลยี EVPN/วีเอ็กซ์แลนโดยใช้โปรโตคอลการกำหนดเส้นทาง MP-BGP. เพื่อเร่งการบรรจบกันของโปรโตคอลการกำหนดเส้นทาง จึงใช้เทคโนโลยี BFD

โครงสร้างเครือข่าย

ในการทดสอบรูปแบบนี้แสดงให้เห็นว่ายอดเยี่ยม - เมื่อช่องหรือสวิตช์ใด ๆ ถูกตัดการเชื่อมต่อเวลาในการบรรจบกันจะไม่เกิน 0.1-0.2 วินาทีแพ็กเก็ตขั้นต่ำจะหายไป (มักไม่มีเลย) เซสชัน TCP จะไม่ขาดการสนทนาทางโทรศัพท์ จะไม่ถูกขัดจังหวะ

เลเยอร์ด้านล่าง - การกำหนดเส้นทาง

เลเยอร์ซ้อนทับ - การกำหนดเส้นทาง

สวิตช์ Huawei CE6870 ที่มีใบอนุญาต VXLAN ถูกใช้เป็นสวิตช์การกระจาย อุปกรณ์นี้มีอัตราส่วนราคา/คุณภาพที่เหมาะสม ช่วยให้คุณสามารถเชื่อมต่อสมาชิกด้วยความเร็ว 10 Gbit/s และเชื่อมต่อกับแกนหลักที่ความเร็ว 40–100 Gbit/s ขึ้นอยู่กับตัวรับส่งสัญญาณที่ใช้

สวิตช์หัวเหว่ย CE6870

สวิตช์ Huawei CE8850 ถูกใช้เป็นสวิตช์หลัก เป้าหมายคือการส่งข้อมูลอย่างรวดเร็วและเชื่อถือได้ ไม่มีอุปกรณ์ใดเชื่อมต่ออยู่ยกเว้นสวิตช์กระจาย พวกเขาไม่รู้อะไรเลยเกี่ยวกับ VXLAN ดังนั้นจึงเลือกรุ่นที่มีพอร์ต 32 40/100 Gbps พร้อมใบอนุญาตพื้นฐานที่ให้การกำหนดเส้นทาง L3 และรองรับ IS-IS และ MP-BGP โปรโตคอล

ตัวล่างเป็นสวิตช์หลัก Huawei CE8850

ในขั้นตอนการออกแบบ มีการพูดคุยกันภายในทีมเกี่ยวกับเทคโนโลยีที่สามารถใช้เพื่อดำเนินการเชื่อมต่อกับโหนดเครือข่ายหลักที่ทนต่อข้อผิดพลาดได้ สำนักงานในมอสโกของเราตั้งอยู่ในอาคาร 7 หลัง เรามีห้องกระจายสินค้า 6870 ห้อง โดยแต่ละห้องมีการติดตั้งสวิตช์กระจายสัญญาณ Huawei CEXNUMX จำนวน XNUMX ตัว (มีการติดตั้งเฉพาะสวิตช์การเข้าถึงในห้องกระจายสัญญาณหลายแห่ง) เมื่อพัฒนาแนวคิดเครือข่าย จะพิจารณาตัวเลือกความซ้ำซ้อนสองตัวเลือก:

• การรวมสวิตช์การกระจายเข้าเป็นสแต็กที่ทนทานต่อข้อผิดพลาดในห้องที่มีการเชื่อมต่อข้ามแต่ละห้อง ข้อดี: ความเรียบง่ายและง่ายต่อการติดตั้ง ข้อเสีย: มีความเป็นไปได้สูงกว่าที่จะเกิดความล้มเหลวของสแต็กทั้งหมดเมื่อมีข้อผิดพลาดเกิดขึ้นในเฟิร์มแวร์ของอุปกรณ์เครือข่าย (“หน่วยความจำรั่ว” และอื่น ๆ ที่คล้ายกัน)
• ใช้เทคโนโลยีเกตเวย์ M-LAG และ Anycast เพื่อเชื่อมต่ออุปกรณ์กับสวิตช์กระจาย

ในที่สุด เราก็ตัดสินใจเลือกทางเลือกที่สอง การกำหนดค่าค่อนข้างยากกว่า แต่ได้แสดงให้เห็นในทางปฏิบัติแล้วถึงประสิทธิภาพและความน่าเชื่อถือสูง
ขั้นแรกให้พิจารณาการเชื่อมต่ออุปกรณ์ปลายทางกับสวิตช์กระจาย:

ข้าม

สวิตช์การเข้าถึง เซิร์ฟเวอร์ หรืออุปกรณ์อื่นใดที่ต้องใช้การเชื่อมต่อที่ทนต่อข้อผิดพลาดจะรวมอยู่ในสวิตช์กระจายสองตัว เทคโนโลยี M-LAG ให้ความซ้ำซ้อนในระดับดาต้าลิงค์ สันนิษฐานว่าสวิตช์กระจายสองตัวปรากฏต่ออุปกรณ์ที่เชื่อมต่อเป็นอุปกรณ์เดียว ความซ้ำซ้อนและการปรับสมดุลโหลดดำเนินการโดยใช้โปรโตคอล LACP

เทคโนโลยีเกตเวย์ Anycast ให้ความซ้ำซ้อนในระดับเครือข่าย VRF จำนวนมากได้รับการกำหนดค่าบนสวิตช์กระจายแต่ละตัว (VRF แต่ละตัวมีจุดประสงค์เพื่อวัตถุประสงค์ของตัวเอง - แยกกันสำหรับผู้ใช้ "ปกติ" แยกกันสำหรับระบบโทรศัพท์ แยกกันสำหรับสภาพแวดล้อมการทดสอบและการพัฒนาต่างๆ เป็นต้น) และในแต่ละ VRF มีการกำหนดค่า VLAN หลายตัว ในเครือข่ายของเรา สวิตช์การกระจายเป็นเกตเวย์เริ่มต้นสำหรับอุปกรณ์ทั้งหมดที่เชื่อมต่ออยู่ ที่อยู่ IP ที่สอดคล้องกับอินเทอร์เฟซ VLAN จะเหมือนกันสำหรับสวิตช์การกระจายทั้งสองตัว การจราจรถูกกำหนดเส้นทางผ่านสวิตช์ที่ใกล้ที่สุด

ตอนนี้เรามาดูการเชื่อมต่อสวิตช์การแจกจ่ายกับเคอร์เนล:
ความทนทานต่อข้อผิดพลาดมีให้ในระดับเครือข่ายโดยใช้โปรโตคอล IS-IS โปรดทราบว่ามีสายสื่อสาร L3 แยกต่างหากระหว่างสวิตช์ที่ความเร็ว 100G ในทางกายภาพ สายสื่อสารนี้เป็นสายเคเบิล Direct Access ซึ่งสามารถเห็นได้ทางด้านขวาในรูปภาพของสวิตช์ Huawei CE6870

อีกทางเลือกหนึ่งคือการจัดโครงสร้างโทโพโลยีดาวคู่ที่เชื่อมต่อกันอย่าง "ซื่อสัตย์" แต่ดังที่ได้กล่าวไว้ข้างต้น เรามีห้องที่เชื่อมต่อกัน 7 ห้องในอาคาร 40 หลัง ดังนั้น หากเราเลือกโทโพโลยี "ดาวคู่" เราคงจำเป็นต้องมีตัวรับส่งสัญญาณ XNUMXG "ระยะไกล" มากกว่าสองเท่าอย่างแน่นอน การประหยัดที่นี่มีความสำคัญมาก

ต้องพูดอะไรสักสองสามคำเกี่ยวกับวิธีที่เทคโนโลยีเกตเวย์ VXLAN และ Anycast ทำงานร่วมกัน VXLAN เป็นช่องทางสำหรับการขนส่งเฟรมอีเธอร์เน็ตภายในแพ็กเก็ต UDP โดยไม่ต้องลงรายละเอียด อินเทอร์เฟซแบบย้อนกลับของสวิตช์การกระจายถูกใช้เป็นที่อยู่ IP ปลายทางของอุโมงค์ VXLAN ครอสโอเวอร์แต่ละตัวมีสวิตช์สองตัวที่มีที่อยู่อินเทอร์เฟซแบบวนรอบเดียวกัน ดังนั้นแพ็กเก็ตจึงสามารถมาถึงสวิตช์ตัวใดตัวหนึ่งได้ และสามารถดึงเฟรมอีเทอร์เน็ตออกมาได้

หากสวิตช์รู้เกี่ยวกับที่อยู่ MAC ปลายทางของเฟรมที่ดึงข้อมูล เฟรมจะถูกส่งไปยังปลายทางอย่างถูกต้อง เพื่อให้แน่ใจว่าสวิตช์กระจายทั้งสองตัวที่ติดตั้งในการเชื่อมต่อข้ามเดียวกันมีข้อมูลล่าสุดเกี่ยวกับที่อยู่ MAC ทั้งหมดที่ "มาถึง" จากสวิตช์การเข้าถึง กลไก M-LAG มีหน้าที่รับผิดชอบในการซิงโครไนซ์ตารางที่อยู่ MAC (เช่นเดียวกับ ARP ตาราง) บนสวิตช์ทั้งสองคู่ M-LAG

การปรับสมดุลการรับส่งข้อมูลทำได้เนื่องจากการมีอยู่ในเครือข่ายด้านล่างของหลายเส้นทางไปยังอินเทอร์เฟซลูปแบ็คของสวิตช์การกระจาย

แทนการสรุป

ตามที่กล่าวไว้ข้างต้น ในระหว่างการทดสอบและการใช้งาน เครือข่ายแสดงความน่าเชื่อถือสูง (เวลาการกู้คืนสำหรับความล้มเหลวทั่วไปไม่เกินหลายร้อยมิลลิวินาที) และประสิทธิภาพที่ดี - การเชื่อมต่อข้ามแต่ละอันเชื่อมต่อกับคอร์ด้วยช่องสัญญาณ 40 Gbit/s สองช่อง สวิตช์การเข้าถึงในเครือข่ายของเรามีการซ้อนกันและเชื่อมต่อกับสวิตช์การกระจายผ่าน LACP/M-LAG พร้อมช่องสัญญาณ 10 Gbit/s สองช่อง โดยทั่วไปสแต็กประกอบด้วยสวิตช์ 5 ตัว โดยแต่ละพอร์ตมี 48 พอร์ต และสแต็กการเข้าถึงสูงสุด 10 สแต็กเชื่อมต่อกับการกระจายในการเชื่อมต่อข้ามแต่ละรายการ ดังนั้น แบ็คโบนจึงให้ความเร็วประมาณ 30 Mbit/s ต่อผู้ใช้แม้ที่โหลดทางทฤษฎีสูงสุด ซึ่งในขณะที่เขียนก็เพียงพอสำหรับการใช้งานจริงทั้งหมดของเรา

เครือข่ายช่วยให้คุณสามารถจัดระเบียบการจับคู่อุปกรณ์ที่เชื่อมต่อโดยพลการผ่านทั้ง L2 และ L3 ได้อย่างราบรื่น โดยให้การแยกการรับส่งข้อมูลอย่างสมบูรณ์ (ซึ่งบริการรักษาความปลอดภัยข้อมูลชอบ) และโดเมนข้อบกพร่อง (ซึ่งทีมปฏิบัติการชอบ)

ในส่วนถัดไป เราจะบอกคุณว่าเราย้ายไปยังเครือข่ายใหม่อย่างไร คอยติดตาม!

แม็กซิม โคลชคอฟ
ที่ปรึกษาอาวุโสกลุ่มตรวจสอบเครือข่ายและโครงการที่ซับซ้อน
ศูนย์โซลูชั่นเครือข่าย
"เจ็ทอินโฟซิสเต็มส์"

ที่มา: will.com