วิธีอัพเดตอุปกรณ์เครือข่ายในองค์กรขนาดใหญ่โดยไม่ต้องหยุดการผลิต? เขาพูดถึงโปรเจ็กต์ขนาดใหญ่ในโหมด "การผ่าตัดหัวใจแบบเปิด" Oleg Fedorov ผู้จัดการฝ่ายบริหารโครงการ Linxdatacenter
ในช่วงไม่กี่ปีที่ผ่านมา เราได้สังเกตเห็นความต้องการของลูกค้าที่เพิ่มขึ้นสำหรับบริการที่เกี่ยวข้องกับส่วนประกอบเครือข่ายของโครงสร้างพื้นฐานด้านไอที ความจำเป็นในการเชื่อมต่อระบบไอที บริการ แอพพลิเคชั่น การตรวจสอบและการจัดการธุรกิจการดำเนินงานในเกือบทุกด้านกำลังบังคับให้บริษัทต่างๆ ในปัจจุบันต้องให้ความสนใจกับเครือข่ายเพิ่มมากขึ้น
ช่วงของคำขอมีตั้งแต่การรับรองความทนทานต่อข้อผิดพลาดของเครือข่ายไปจนถึงการสร้างและการจัดการระบบอัตโนมัติของไคลเอ็นต์ด้วยการซื้อบล็อกที่อยู่ IP การตั้งค่าโปรโตคอลการกำหนดเส้นทาง และการจัดการการรับส่งข้อมูลตามนโยบายองค์กร
นอกจากนี้ยังมีความต้องการโซลูชันที่ครอบคลุมสำหรับการสร้างและบำรุงรักษาโครงสร้างพื้นฐานเครือข่ายเพิ่มมากขึ้น โดยส่วนใหญ่มาจากลูกค้าที่มีการสร้างโครงสร้างพื้นฐานเครือข่ายตั้งแต่เริ่มต้นหรือล้าสมัย ซึ่งต้องมีการปรับเปลี่ยนอย่างจริงจัง
แนวโน้มนี้เกิดขึ้นพร้อมกับช่วงเวลาของการพัฒนาและความซับซ้อนของโครงสร้างพื้นฐานเครือข่ายของ Linxdatacenter เราขยายขอบเขตทางภูมิศาสตร์ของการมีอยู่ของเราในยุโรปโดยการเชื่อมต่อกับไซต์ระยะไกล ซึ่งจำเป็นต้องปรับปรุงโครงสร้างพื้นฐานเครือข่าย
บริษัทได้เปิดตัวบริการใหม่สำหรับลูกค้า Network-as-a-Service: เราดูแลทุกปัญหาเครือข่ายของลูกค้า ทำให้พวกเขามุ่งเน้นไปที่ธุรกิจหลักของตนได้
ในฤดูร้อนปี 2020 โครงการใหญ่โครงการแรกในทิศทางนี้แล้วเสร็จซึ่งผมอยากพูดถึง
จุดเริ่มต้น
ศูนย์อุตสาหกรรมขนาดใหญ่หันมาหาเราเพื่อปรับปรุงส่วนเครือข่ายของโครงสร้างพื้นฐานในองค์กรแห่งหนึ่งให้ทันสมัย จำเป็นต้องเปลี่ยนอุปกรณ์เก่าด้วยอุปกรณ์ใหม่ รวมถึงแกนเครือข่ายด้วย
การปรับปรุงอุปกรณ์ครั้งล่าสุดในองค์กรเกิดขึ้นเมื่อประมาณ 10 ปีที่แล้ว ฝ่ายบริหารชุดใหม่ขององค์กรตัดสินใจปรับปรุงการเชื่อมต่อ โดยเริ่มจากการอัปเดตโครงสร้างพื้นฐานในระดับทางกายภาพขั้นพื้นฐานที่สุด
โครงการแบ่งออกเป็นสองส่วน: การอัพเกรดที่จอดเซิร์ฟเวอร์และอุปกรณ์เครือข่าย เรารับผิดชอบในส่วนที่สอง
ข้อกำหนดพื้นฐานสำหรับงานรวมถึงการลดการหยุดทำงานของสายการผลิตขององค์กรในระหว่างการปฏิบัติงาน (และในบางพื้นที่จะกำจัดการหยุดทำงานโดยสิ้นเชิง) การหยุดทำงานใดๆ หมายถึงการสูญเสียทางการเงินโดยตรงต่อลูกค้า ซึ่งไม่ควรเกิดขึ้นไม่ว่าในกรณีใดๆ เนื่องจากสถานที่มีโหมดการทำงานของ 24x7x365 รวมถึงการคำนึงถึงการหยุดทำงานตามแผนในการปฏิบัติงานขององค์กรโดยสมบูรณ์ เราจึงได้รับมอบหมายให้ทำการผ่าตัดหัวใจแบบเปิดเป็นหลัก นี่กลายเป็นลักษณะเด่นหลักของโครงการ
ไป
งานนี้ได้รับการวางแผนตามหลักการเคลื่อนย้ายจากโหนดเครือข่ายระยะไกลจากแกนหลักไปยังโหนดที่ใกล้ชิด รวมถึงจากโหนดที่มีอิทธิพลน้อยกว่าในสายการผลิตไปจนถึงโหนดที่มีอิทธิพลโดยตรงต่องานนี้
ตัวอย่างเช่น หากเราใช้โหนดเครือข่ายในแผนกขาย การหยุดชะงักของการสื่อสารอันเป็นผลมาจากการทำงานในแผนกนี้จะไม่ส่งผลกระทบต่อการผลิตแต่อย่างใด ในเวลาเดียวกัน เหตุการณ์ดังกล่าวจะช่วยเราในฐานะผู้รับเหมาในการตรวจสอบความถูกต้องของแนวทางที่เลือกในการทำงานกับหน่วยงานดังกล่าว และหลังจากปรับการดำเนินการแล้ว ให้ทำงานในขั้นตอนต่อไปของโครงการ
จำเป็นไม่เพียงแต่ต้องเปลี่ยนโหนดและสายไฟในเครือข่ายเท่านั้น แต่ยังต้องกำหนดค่าส่วนประกอบทั้งหมดให้ถูกต้องเพื่อการทำงานที่ถูกต้องของโซลูชันโดยรวม การกำหนดค่าที่ได้รับการทดสอบในลักษณะนี้ คือ การเริ่มต้นทำงานโดยห่างจากแกนกลาง ดูเหมือนว่าเราจะให้ "สิทธิ์ในการทำผิดพลาด" แก่ตัวเองโดยไม่ตกอยู่ในความเสี่ยงที่มีความสำคัญต่อการดำเนินงานขององค์กร
เราระบุพื้นที่ที่ไม่ส่งผลกระทบต่อกระบวนการผลิต รวมถึงพื้นที่สำคัญ เช่น เวิร์กช็อป หน่วยขนถ่าย คลังสินค้า ฯลฯ ในพื้นที่สำคัญ ระยะเวลาหยุดทำงานที่ยอมรับได้สำหรับแต่ละโหนดเครือข่ายได้รับการตกลงกับลูกค้าแยกกัน: ตั้งแต่ 1 ถึง 15 นาที เป็นไปไม่ได้ที่จะหลีกเลี่ยงการตัดการเชื่อมต่อแต่ละโหนดเครือข่ายโดยสิ้นเชิงเนื่องจากต้องเปลี่ยนสายเคเบิลจากอุปกรณ์เก่าไปเป็นอุปกรณ์ใหม่และในระหว่างกระบวนการเปลี่ยนก็จำเป็นต้องแก้ "เครา" ของสายไฟที่เกิดขึ้นระหว่างการทำงานหลายปีโดยไม่เหมาะสม การดูแล (หนึ่งในผลที่ตามมาของงานจ้างเหมาติดตั้งสายเคเบิล)
งานแบ่งออกเป็นหลายขั้นตอน
ขั้นตอนที่ 1 – การตรวจสอบ การเตรียมการและประสานงานแนวทางการทำงาน การวางแผนและประเมินความพร้อมของทีมงาน ได้แก่ ลูกค้า ผู้รับเหมาติดตั้ง และทีมงานของเรา
ขั้นตอนที่ 2 – การพัฒนารูปแบบการดำเนินงานพร้อมการวิเคราะห์และการวางแผนเชิงลึก เราเลือกรูปแบบรายการตรวจสอบที่มีการบ่งชี้ลำดับและลำดับการดำเนินการที่แม่นยำ ไปจนถึงลำดับการสลับสายแพตช์ตามพอร์ต
ขั้นตอนที่ 3 – ดำเนินงานในตู้ที่ไม่กระทบต่อการผลิต การประมาณค่าและการปรับเวลาหยุดทำงานสำหรับขั้นตอนต่อไปของงาน
ขั้นตอนที่ 4 – ดำเนินงานในตู้ที่ส่งผลโดยตรงต่อการผลิต การประมาณและการปรับเวลาหยุดทำงานสำหรับขั้นตอนสุดท้ายของการทำงาน
ขั้นตอนที่ 5 – ดำเนินงานในห้องเซิร์ฟเวอร์เพื่อสลับอุปกรณ์ที่เหลือ เปิดตัวตามเส้นทางบนเคอร์เนลใหม่
ขั้นตอนที่ 6 – การสลับแกนระบบอย่างต่อเนื่องจากการกำหนดค่าเครือข่ายเก่าไปเป็นการกำหนดค่าใหม่ เพื่อให้การเปลี่ยนแปลงที่ซับซ้อนของระบบทั้งหมดเป็นไปอย่างราบรื่น (VLAN, การกำหนดเส้นทาง ฯลฯ) ในขั้นตอนนี้ เราได้เชื่อมต่อผู้ใช้ทั้งหมดและโอนบริการทั้งหมดไปยังฮาร์ดแวร์ใหม่ ตรวจสอบว่าการเชื่อมต่อถูกต้อง ตรวจสอบให้แน่ใจว่าไม่มีการหยุดบริการระดับองค์กร รับประกันว่าหากเกิดปัญหาใดๆ พวกเขาจะเชื่อมต่อโดยตรงกับเคอร์เนล ซึ่งทำให้แก้ไขปัญหาที่เป็นไปได้และการตั้งค่าขั้นสุดท้ายได้ง่ายขึ้น
ทรงผมเคราลวด
โครงการนี้กลายเป็นเรื่องยากเนื่องจากเงื่อนไขเริ่มต้นที่ยากลำบาก
ประการแรก มีโหนดและส่วนต่างๆ จำนวนมากของเครือข่าย โดยมีโทโพโลยีที่ซับซ้อนและการจำแนกสายไฟตามวัตถุประสงค์ ต้องนำ "เครา" ดังกล่าวออกจากตู้และ "หวี" อย่างระมัดระวังโดยพิจารณาว่าสายไฟใดมาจากไหนและนำไปที่ไหน
ดูเหมือนว่านี้:
เช่นนี้
หรือแบบนี้:
ประการที่สอง สำหรับแต่ละงานจำเป็นต้องเตรียมไฟล์ที่อธิบายกระบวนการ “เราใช้สายไฟ X จากพอร์ต 1 ของอุปกรณ์เก่า เสียบเข้ากับพอร์ต 18 ของอุปกรณ์ใหม่” ฟังดูง่าย แต่เมื่อคุณมีพอร์ตที่อุดตันอย่างสมบูรณ์ 48 พอร์ตในข้อมูลต้นฉบับของคุณ และไม่มีตัวเลือกการหยุดทำงาน (เราจำได้ประมาณ 24x7x365) ทางออกเดียวคือทำงานเป็นบล็อก ยิ่งคุณสามารถดึงสายไฟออกจากอุปกรณ์เก่าในคราวเดียวได้มากเท่าไร คุณก็จะยิ่งสามารถรวมสายไฟและใส่เข้ากับฮาร์ดแวร์เครือข่ายใหม่ได้เร็วยิ่งขึ้น เพื่อหลีกเลี่ยงความล้มเหลวและการหยุดทำงานของเครือข่าย
ดังนั้นในขั้นตอนการเตรียมการเราจึงแบ่งเครือข่ายออกเป็นบล็อก - แต่ละบล็อกเป็นของ VLAN ที่เฉพาะเจาะจง แต่ละพอร์ต (หรือเซ็ตย่อย) บนอุปกรณ์เก่าเป็นหนึ่งใน VLAN ในโทโพโลยีเครือข่ายใหม่ เราจัดกลุ่มไว้ดังนี้: พอร์ตแรกของเครือข่ายผู้ใช้ที่เก็บสวิตช์ เครือข่ายการผลิตระดับกลาง และพอร์ตสุดท้ายคือจุดเข้าใช้งานและอัปลิงก์
วิธีการนี้ทำให้สามารถดึงและหวีอุปกรณ์เก่าออกได้ ไม่ใช่แค่ลวด 1 เส้น แต่ใช้ 10-15 เส้นในคราวเดียว ทำให้กระบวนการทำงานเร็วขึ้นหลายครั้ง
อย่างไรก็ตามนี่คือลักษณะของสายไฟในตู้หลังจากหวี:
หรือตัวอย่างเช่นเช่นนี้:
หลังจากเสร็จสิ้นขั้นตอนที่ 2 เราได้หยุดพักเพื่อวิเคราะห์ข้อผิดพลาดและไดนามิกของโครงการ ตัวอย่างเช่น ข้อบกพร่องเล็กน้อยเกิดขึ้นทันทีเนื่องจากความไม่ถูกต้องในไดอะแกรมเครือข่ายที่ให้ไว้กับเรา (ตัวเชื่อมต่อที่ไม่ถูกต้องบนไดอะแกรมหมายถึงสายแพตช์ที่ซื้อมาไม่ถูกต้องและจำเป็นต้องเปลี่ยนใหม่)
การหยุดชั่วคราวเป็นสิ่งจำเป็น เนื่องจากเมื่อทำงานจากฝั่งเซิร์ฟเวอร์ แม้แต่ข้อผิดพลาดเล็กๆ น้อยๆ ในกระบวนการก็เป็นสิ่งที่ยอมรับไม่ได้ หากเป้าหมายคือเพื่อให้แน่ใจว่าการหยุดทำงานในส่วนของเครือข่ายไม่เกิน 5 นาที ก็จะต้องไม่เกินนั้น การเบี่ยงเบนที่เป็นไปได้จากกำหนดการจะต้องได้รับการตกลงกับลูกค้า
อย่างไรก็ตาม การวางแผนล่วงหน้าและการแบ่งโครงการออกเป็นช่วงๆ ช่วยให้สามารถตอบสนองการหยุดทำงานตามแผนในทุกด้านได้ และในกรณีส่วนใหญ่ ควรหลีกเลี่ยงโดยสิ้นเชิง
ความท้าทายแห่งยุค – โครงการภายใต้โควิด
อย่างไรก็ตาม มันก็ไม่ได้ปราศจากความยากลำบากเพิ่มเติม แน่นอนว่าไวรัสโคโรนาก็เป็นหนึ่งในอุปสรรค
งานมีความซับซ้อนเนื่องจากการระบาดเริ่มต้นขึ้น และเป็นไปไม่ได้ที่ผู้เชี่ยวชาญทุกคนที่เกี่ยวข้องกับกระบวนการจะปรากฏตัวในระหว่างการทำงานที่ไซต์ของลูกค้า มีเพียงพนักงานขององค์กรติดตั้งเท่านั้นที่ได้รับอนุญาตให้เข้าไปในไซต์งาน และควบคุมได้ดำเนินการผ่านห้อง Zoom - ในนั้นมีวิศวกรเครือข่ายจาก Linxdatacenter ตัวฉันเองเป็นผู้จัดการโครงการ วิศวกรเครือข่ายจากลูกค้าที่รับผิดชอบงาน และ ทีมงานดำเนินการติดตั้ง
ไม่ทราบถึงปัญหาที่เกิดขึ้นระหว่างการทำงาน และต้องทำการปรับเปลี่ยนทันที ด้วยวิธีนี้ จึงเป็นไปได้ที่จะป้องกันอิทธิพลของปัจจัยมนุษย์ได้อย่างรวดเร็ว (ข้อผิดพลาดในวงจร ข้อผิดพลาดในการกำหนดสถานะของกิจกรรมอินเทอร์เฟซ ฯลฯ)
แม้ว่ารูปแบบการทำงานระยะไกลจะดูไม่ปกติในช่วงเริ่มต้นของโปรเจ็กต์ แต่เราปรับตัวเข้ากับเงื่อนไขใหม่อย่างรวดเร็วและมาถึงขั้นตอนสุดท้ายของการทำงาน
เราได้เปิดตัวการกำหนดค่าชั่วคราวของการตั้งค่าเครือข่ายเพื่อให้แกนเครือข่ายสองแกน - เก่าและใหม่ - ทำงานพร้อมกันเพื่อให้เกิดการเปลี่ยนแปลงที่ราบรื่น อย่างไรก็ตาม ปรากฎว่าไม่ได้ลบบรรทัดพิเศษหนึ่งบรรทัดออกจากไฟล์กำหนดค่าของเคอร์เนลใหม่ และไม่มีการเปลี่ยนแปลงเกิดขึ้น สิ่งนี้ทำให้เราต้องใช้เวลาค้นหาปัญหา
ปรากฎว่าการรับส่งข้อมูลหลักถูกส่งอย่างถูกต้อง และการรับส่งข้อมูลการควบคุมไปไม่ถึงโหนดผ่านคอร์ใหม่ ด้วยการแบ่งโครงการออกเป็นขั้นตอนต่างๆ อย่างชัดเจน ทำให้สามารถระบุส่วนของเครือข่ายที่เกิดปัญหาได้อย่างรวดเร็ว ระบุปัญหา และกำจัดปัญหาได้อย่างรวดเร็ว
และเป็นผลให้
ผลลัพธ์ทางเทคนิคของโครงการ
ประการแรก มีการสร้างคอร์ใหม่ของเครือข่ายองค์กรใหม่ ซึ่งเราสร้างวงแหวนทางกายภาพ/ลอจิคัล ซึ่งทำได้ในลักษณะที่สวิตช์แต่ละตัวในเครือข่ายมี "แขนที่สอง" ในเครือข่ายแบบเก่า สวิตช์จำนวนมากเชื่อมต่อกับแกนหลักตามเส้นทางเดียว คือ แขนข้างเดียว (อัปลิงก์) ถ้ามันพัง สวิตช์ก็จะไม่สามารถเข้าถึงได้อย่างสมบูรณ์ และหากมีการเชื่อมต่อสวิตช์หลายตัวผ่านอัปลิงค์เดียว อุบัติเหตุดังกล่าวจะทำให้ทั้งแผนกหรือสายการผลิตในองค์กรต้องหยุดชะงัก
ในเครือข่ายใหม่ แม้ว่าเหตุการณ์เครือข่ายที่ค่อนข้างร้ายแรงจะไม่สามารถทำให้เครือข่ายทั้งหมดหรือส่วนสำคัญของเครือข่ายล่มได้ไม่ว่าในสถานการณ์ใดก็ตาม
90% ของอุปกรณ์เครือข่ายทั้งหมดได้รับการอัปเดต ตัวแปลงมีเดีย (ตัวแปลงสื่อการแพร่กระจายสัญญาณ) ได้ถูกเลิกใช้แล้ว และความต้องการสายไฟเฉพาะสำหรับอุปกรณ์จ่ายไฟได้หมดลงโดยการเชื่อมต่อกับสวิตช์ PoE ซึ่งจ่ายไฟผ่านสายอีเธอร์เน็ต
นอกจากนี้ การเชื่อมต่อแบบออปติกทั้งหมดในห้องเซิร์ฟเวอร์และในตู้ภาคสนามจะมีการทำเครื่องหมายไว้ที่โหนดการสื่อสารหลักทั้งหมด ทำให้สามารถจัดเตรียมแผนภาพทอพอโลยีของอุปกรณ์และการเชื่อมต่อในเครือข่ายได้ ซึ่งสะท้อนถึงสถานะที่แท้จริงในปัจจุบัน
แผนภาพเครือข่าย
ผลลัพธ์ที่สำคัญที่สุดในแง่เทคนิค: งานโครงสร้างพื้นฐานขนาดใหญ่พอสมควรดำเนินไปอย่างรวดเร็วโดยไม่สร้างการแทรกแซงใด ๆ ในงานขององค์กรและแทบจะไม่มีใครสังเกตเห็นโดยบุคลากร
ผลลัพธ์ทางธุรกิจของโครงการ
ในความคิดของฉัน โครงการนี้มีความน่าสนใจเป็นหลักไม่ใช่จากด้านเทคนิค แต่จากด้านองค์กร ความยากลำบากส่วนใหญ่อยู่ที่การวางแผนและการคิดตามขั้นตอนต่างๆ เพื่อดำเนินงานโครงการ
ความสำเร็จของโครงการทำให้เราสามารถพูดได้ว่าความคิดริเริ่มของเราในการพัฒนาพื้นที่เครือข่ายภายในกลุ่มบริการ Linxdatacenter เป็นตัวเลือกที่เหมาะสมสำหรับเวกเตอร์การพัฒนาของบริษัท แนวทางที่มีความรับผิดชอบในการจัดการโครงการ กลยุทธ์ที่มีความสามารถ และการวางแผนที่ชัดเจนทำให้เราสามารถทำงานให้เสร็จสิ้นในระดับที่เหมาะสมได้
การยืนยันคุณภาพของงานเป็นการร้องขอจากลูกค้าเพื่อให้บริการปรับปรุงเครือข่ายให้ทันสมัยต่อไปที่ไซต์ที่เหลือในรัสเซีย
ที่มา: will.com