เราโต้แย้งในรายละเอียดว่าอะไรทำให้ OceanStor Dorado 18000 V6 เป็นระบบจัดเก็บข้อมูลระดับไฮเอนด์อย่างแท้จริงพร้อมการสำรองที่เหมาะสมสำหรับปีต่อๆ ไป ในขณะเดียวกัน เราปัดเป่าความกลัวทั่วไปเกี่ยวกับพื้นที่จัดเก็บข้อมูลแบบ All-Flash และแสดงให้เห็นว่า Huawei ใช้ประโยชน์จากสิ่งเหล่านี้ให้ได้มากที่สุดอย่างไร: NVMe ตั้งแต่ต้นทางถึงปลายทาง การแคชเพิ่มเติมบน SCM และโซลูชันอื่นๆ อีกมากมาย
ภูมิทัศน์ข้อมูลใหม่ - การจัดเก็บข้อมูลใหม่
ความเข้มของข้อมูลเพิ่มขึ้นในทุกอุตสาหกรรม และภาคการธนาคารเป็นตัวอย่างที่ชัดเจนของเรื่องนี้ ในช่วงไม่กี่ปีที่ผ่านมา จำนวนการทำธุรกรรมทางธนาคารเพิ่มขึ้นมากกว่าสิบเท่า ตามที่แสดง เฉพาะในรัสเซียในช่วงปี 2010 ถึง 2018 จำนวนการทำธุรกรรมที่ไม่ใช่เงินสดโดยใช้บัตรพลาสติกเพิ่มขึ้นมากกว่าสามสิบเท่า - จาก 5,8 เป็น 172 ต่อคนต่อปี ประการแรก ชัยชนะของไมโครเพย์เมนต์: พวกเราส่วนใหญ่มีความเกี่ยวข้องกับธนาคารออนไลน์ และตอนนี้ธนาคารก็อยู่ใกล้แค่ปลายนิ้ว - ทางโทรศัพท์
โครงสร้างพื้นฐานด้านไอทีของสถาบันสินเชื่อต้องพร้อมสำหรับความท้าทายดังกล่าว และนี่คือความท้าทายจริงๆ เหนือสิ่งอื่นใด หากก่อนหน้านี้ธนาคารจำเป็นต้องตรวจสอบให้แน่ใจว่าข้อมูลพร้อมใช้งานเฉพาะในช่วงเวลาทำการเท่านั้น ตอนนี้ก็คือทุกวันตลอด 24 ชั่วโมง จนกระทั่งเมื่อไม่นานมานี้ 7 มิลลิวินาทีถือเป็นอัตราเวลาแฝงที่ยอมรับได้ แล้วอะไรล่ะ? ตอนนี้แม้แต่ 5 มิลลิวินาทีก็มากเกินไป สำหรับระบบจัดเก็บข้อมูลสมัยใหม่ เป้าหมายคือ 1 ms
เช่นเดียวกับความน่าเชื่อถือ: ในปี 2010 มีการสร้างความเข้าใจเชิงประจักษ์ว่าเพียงพอที่จะเพิ่มระดับเป็น "ห้าสิบ" - 99,999% จริงอยู่ ความเข้าใจนี้ล้าสมัยไปแล้ว ในปี 2020 เป็นเรื่องปกติอย่างยิ่งที่ธุรกิจจะต้องการพื้นที่จัดเก็บ 99,9999% และสถาปัตยกรรมโดยรวม 99,99999% และนี่ไม่ใช่ความตั้งใจ แต่เป็นความจำเป็นเร่งด่วน: อาจไม่มีช่วงเวลาสำหรับการบำรุงรักษาโครงสร้างพื้นฐานหรือเป็นเรื่องเล็กน้อย
เพื่อความชัดเจน มันสะดวกที่จะฉายตัวบ่งชี้เหล่านี้บนระนาบของเงิน วิธีที่ง่ายที่สุดคือตัวอย่างสถาบันการเงิน แผนภูมิด้านบนแสดงจำนวนเงินที่ธนาคารชั้นนำของโลก 10 แห่งทำรายได้ต่อชั่วโมง สำหรับ Industrial and Commercial Bank of China เพียงแห่งเดียว มีมูลค่าไม่ต่ำกว่า 5 ล้านดอลลาร์ นี่คือต้นทุนของการหยุดทำงานของโครงสร้างพื้นฐานด้านไอทีขององค์กรสินเชื่อที่ใหญ่ที่สุดในจีนเป็นเวลาหนึ่งชั่วโมง การคำนวณ!) จากมุมมองนี้ เป็นที่ชัดเจนว่าการลดลงของเวลาหยุดทำงานและการเพิ่มความน่าเชื่อถือ ไม่เพียงแต่ไม่กี่เปอร์เซ็นต์เท่านั้น แต่ยังเป็นเศษส่วนของเปอร์เซ็นต์อีกด้วย ไม่เพียงเพื่อเหตุผลในการเพิ่มขีดความสามารถในการแข่งขัน แต่เพียงเพื่อรักษาตำแหน่งทางการตลาด
การเปลี่ยนแปลงที่คล้ายกันกำลังเกิดขึ้นในอุตสาหกรรมอื่นๆ ตัวอย่างเช่น ในการขนส่งทางอากาศ: ก่อนเกิดโรคระบาด การเดินทางทางอากาศเพิ่งได้รับแรงผลักดันทุกปี และหลายคนเริ่มใช้มันเกือบจะเหมือนกับแท็กซี่ สำหรับรูปแบบของผู้บริโภค นิสัยของความพร้อมในการให้บริการทั้งหมดได้หยั่งรากในสังคม: เมื่อมาถึงสนามบิน เราจำเป็นต้องเชื่อมต่อกับ Wi-Fi การเข้าถึงบริการชำระเงิน การเข้าถึงแผนที่ของพื้นที่ ฯลฯ ในฐานะ ส่งผลให้ภาระของโครงสร้างพื้นฐานและบริการในพื้นที่สาธารณะเพิ่มขึ้นหลายเท่าตัว และแนวทางเหล่านั้นสำหรับโครงสร้างพื้นฐาน การก่อสร้าง ซึ่งเราถือว่ายอมรับได้แม้เมื่อปีที่แล้ว กำลังล้าสมัยอย่างรวดเร็ว
เร็วเกินไปที่จะเปลี่ยนไปใช้ All-Flash หรือไม่
เพื่อแก้ปัญหาที่กล่าวมาข้างต้น ในแง่ของประสิทธิภาพ AFA - all-flash arrays นั่นคือ arrays ที่สร้างจากแฟลชทั้งหมด - เหมาะสมที่สุด จนกระทั่งเมื่อไม่นานมานี้มีข้อสงสัยว่าความน่าเชื่อถือเทียบเคียงได้หรือไม่กับที่ประกอบขึ้นจาก HDD และไฮบริด ท้ายที่สุดแล้ว หน่วยความจำแฟลชโซลิดสเตตมีเมตริกที่เรียกว่า เวลาเฉลี่ยระหว่างความล้มเหลว หรือ MTBF (เวลาเฉลี่ยระหว่างความล้มเหลว) อนิจจาการเสื่อมสภาพของเซลล์เนื่องจากการทำงานของ I / O
ดังนั้นโอกาสสำหรับ All-Flash จึงถูกบดบังด้วยคำถามเกี่ยวกับวิธีป้องกันข้อมูลสูญหายในกรณีที่ SSD สั่งให้ใช้งานเป็นเวลานาน การสำรองข้อมูลเป็นตัวเลือกที่คุ้นเคย เฉพาะเวลาในการกู้คืนเท่านั้นที่จะมากเกินกว่าจะยอมรับได้ตามความต้องการสมัยใหม่ ทางออกอีกทางหนึ่งคือการตั้งค่าที่เก็บข้อมูลระดับที่สองบนไดรฟ์สปินเดิล อย่างไรก็ตาม ด้วยโครงร่างดังกล่าว ข้อดีบางประการของระบบ "แฟลชอย่างเคร่งครัด" จะหายไป
อย่างไรก็ตาม ตัวเลขพูดเป็นอย่างอื่น: สถิติของยักษ์ใหญ่แห่งเศรษฐกิจดิจิทัลรวมถึง Google ในช่วงไม่กี่ปีที่ผ่านมาแสดงให้เห็นว่าแฟลชมีความน่าเชื่อถือมากกว่าฮาร์ดไดรฟ์หลายเท่า ยิ่งไปกว่านั้น ทั้งในระยะเวลาสั้นๆ และระยะยาว: โดยเฉลี่ยแล้ว XNUMX-XNUMX ปีก่อนที่แฟลชไดรฟ์จะล้มเหลว ในแง่ของความน่าเชื่อถือในการจัดเก็บข้อมูล พวกเขาไม่ได้ด้อยกว่าไดรฟ์บนจานแม่เหล็กแกนหมุนหรือแม้แต่เหนือกว่าด้วยซ้ำ
ข้อโต้แย้งแบบดั้งเดิมอีกอย่างหนึ่งที่สนับสนุนสปินเดิลไดรฟ์คือความสามารถในการจ่ายได้ ไม่ต้องสงสัยเลยว่าค่าใช้จ่ายในการจัดเก็บเทราไบต์บนฮาร์ดไดรฟ์ยังคงค่อนข้างต่ำ และถ้าคุณคำนึงถึงเฉพาะค่าอุปกรณ์ การเก็บเทราไบต์ไว้ในไดรฟ์สปินเดิลจะถูกกว่าใน SSD อย่างไรก็ตาม ในบริบทของการวางแผนทางการเงิน มันไม่ได้สำคัญแค่ว่าซื้ออุปกรณ์มาเท่าไหร่เท่านั้น แต่ยังสำคัญด้วยว่าต้นทุนรวมของการเป็นเจ้าของอุปกรณ์นั้นในระยะยาวคือเท่าใด - ตั้งแต่สามถึงเจ็ดปี
จากมุมนี้มันแตกต่างอย่างสิ้นเชิง แม้ว่าเราจะเพิกเฉยต่อการลดข้อมูลซ้ำซ้อนและการบีบอัด ซึ่งตามกฎแล้วจะใช้บนแฟลชอาร์เรย์และทำให้การดำเนินงานมีกำไรในเชิงเศรษฐกิจมากขึ้น แต่ก็ยังคงมีลักษณะเช่นพื้นที่ชั้นวางซึ่งถูกครอบครองโดยสื่อ การกระจายความร้อน และการใช้พลังงาน และจากข้อมูลเหล่านี้ ฟลัชมีประสิทธิภาพดีกว่ารุ่นก่อนๆ ด้วยเหตุนี้ TCO ของระบบจัดเก็บข้อมูลแฟลชโดยคำนึงถึงพารามิเตอร์ทั้งหมด มักจะสูงเกือบครึ่งหนึ่งในกรณีของอาร์เรย์บนสปินเดิลไดรฟ์หรือไฮบริด
ตามรายงานของ ESG ระบบจัดเก็บข้อมูล Dorado V6 All-Flash สามารถลดต้นทุนการเป็นเจ้าของได้มากถึง 78% ในช่วงเวลาห้าปี ซึ่งรวมถึงการขจัดข้อมูลซ้ำซ้อนและการบีบอัดที่มีประสิทธิภาพ และเนื่องจากการใช้พลังงานต่ำและการกระจายความร้อน บริษัทวิเคราะห์ DCIG ของเยอรมันยังแนะนำให้ใช้เป็นสิ่งที่ดีที่สุดในแง่ของ TCO ที่มีอยู่ในปัจจุบัน
การใช้ไดรฟ์โซลิดสเทตทำให้สามารถประหยัดพื้นที่ใช้งาน ลดจำนวนความล้มเหลว ลดเวลาในการบำรุงรักษาโซลูชัน ลดการใช้พลังงานและการกระจายความร้อนของระบบจัดเก็บข้อมูล และปรากฎว่าอย่างน้อยที่สุด AFA ก็เทียบได้กับอาร์เรย์แบบดั้งเดิมบนสปินเดิลไดรฟ์ และมักจะเหนือกว่าด้วยซ้ำ
หัวเว่ยรอยัลฟลัช
ในบรรดาที่จัดเก็บข้อมูลแบบ All-Flash ของเรา อันดับสูงสุดเป็นของระบบระดับไฮเอนด์ OceanStor Dorado 18000 V6 และไม่ใช่เฉพาะในกลุ่มของเราเท่านั้น โดยทั่วไปแล้ว ในอุตสาหกรรมนี้ มีบันทึกความเร็ว - สูงถึง 20 ล้าน IPOS ในการกำหนดค่าสูงสุด นอกจากนี้ยังมีความน่าเชื่อถืออย่างมาก แม้ว่าตัวควบคุมสองตัวจะบินพร้อมกัน หรือตัวควบคุมสูงสุดเจ็ดตัวต่อกัน หรือเครื่องยนต์ทั้งหมดพร้อมกัน ข้อมูลก็จะยังคงอยู่ ข้อได้เปรียบที่สำคัญของ "หนึ่งหมื่นแปดพัน" นั้นได้รับจาก AI ซึ่งรวมถึงความยืดหยุ่นในการจัดการกระบวนการภายใน เรามาดูกันว่าสิ่งนี้สำเร็จได้อย่างไร
โดยส่วนใหญ่แล้ว Huawei มีจุดเริ่มต้นที่ดีเนื่องจากเป็นผู้ผลิตเพียงรายเดียวในตลาดที่สร้างระบบจัดเก็บข้อมูลด้วยตัวเองอย่างสมบูรณ์และครบถ้วน เรามีวงจรของเราเอง ไมโครโค้ดของเราเอง บริการของเราเอง
ตัวควบคุมในระบบ OceanStor Dorado สร้างขึ้นบนโปรเซสเซอร์ของ Kunpeng 920 ที่ออกแบบและผลิตโดย Huawei เอง ซึ่งใช้โมดูลควบคุม Intelligent Baseboard Management Controller (iBMC) ซึ่งเป็นของเราเช่นกัน ชิป AI ได้แก่ Ascend 310 ซึ่งปรับการคาดการณ์ความล้มเหลวให้เหมาะสมและให้คำแนะนำสำหรับการตั้งค่าก็เป็นของ Huawei เช่นเดียวกับบอร์ด I / O - โมดูล Smart I / O ในที่สุด ตัวควบคุมใน SSD ได้รับการออกแบบและผลิตโดยเรา ทั้งหมดนี้เป็นพื้นฐานในการสร้างโซลูชันที่มีความสมดุลและประสิทธิภาพสูง
ในปีที่ผ่านมา เราได้ดำเนินโครงการเพื่อแนะนำระบบจัดเก็บข้อมูลระดับบนสุดของเราในธนาคารรัสเซียที่ใหญ่ที่สุดแห่งหนึ่ง ด้วยเหตุนี้ OceanStor Dorado 40 V18000 จำนวนมากกว่า 6 เครื่องในเมโทรคลัสเตอร์จึงแสดงประสิทธิภาพที่เสถียร: สามารถลบ IOPS ได้มากกว่าหนึ่งล้านรายการออกจากแต่ละระบบ และคำนึงถึงความล่าช้าเนื่องจากระยะทางด้วย
NVMe แบบครบวงจร
ระบบจัดเก็บข้อมูลล่าสุดของ Huawei รองรับ NVMe แบบ end-to-end ซึ่งเราให้ความสำคัญด้วยเหตุผล โปรโตคอลที่ใช้แบบดั้งเดิมสำหรับการเข้าถึงไดรฟ์ได้รับการพัฒนาในสมัยโบราณของ IT: พวกมันใช้คำสั่ง SCSI (สวัสดี 1980s!) ซึ่งดึงฟังก์ชั่นจำนวนมากเพื่อให้แน่ใจว่าเข้ากันได้แบบย้อนกลับ ไม่ว่าคุณจะใช้วิธีใดในการเข้าถึง ค่าใช้จ่ายของโปรโตคอลในกรณีนี้ก็ใหญ่โต ดังนั้นสำหรับหน่วยเก็บข้อมูลที่ใช้โปรโตคอลที่เชื่อมโยงกับ SCSI ความล่าช้าของ I / O ต้องไม่ต่ำกว่า 0,4–0,5 ms ในทางกลับกัน เนื่องจากเป็นโปรโตคอลที่ออกแบบมาเพื่อทำงานกับหน่วยความจำแฟลชและปราศจากไม้ค้ำเพื่อความเข้ากันได้แบบย้อนหลังที่ฉาวโฉ่ NVMe - Non-Volatile Memory Express - ลดเวลาแฝงลงเหลือ 0,1 มิลลิวินาที ยิ่งกว่านั้นไม่ได้อยู่ในระบบจัดเก็บข้อมูล แต่เปิด สแต็กทั้งหมดตั้งแต่โฮสต์ไปจนถึงไดรฟ์ ไม่น่าแปลกใจที่ NVMe สอดคล้องกับแนวโน้มการพัฒนาพื้นที่จัดเก็บข้อมูลในอนาคตอันใกล้ เรายังพึ่งพา NVMe - และค่อยๆ เลิกใช้ SCSI ระบบจัดเก็บข้อมูลของ Huawei ทั้งหมดที่ผลิตในปัจจุบัน รวมถึงสายผลิตภัณฑ์ Dorado รองรับ NVMe (อย่างไรก็ตาม ในฐานะที่เป็น end-to-end ระบบจะใช้กับรุ่นขั้นสูงของซีรีส์ Dorado V6 เท่านั้น)
FlashLink: กำมือของเทคโนโลยี
เทคโนโลยีหลักที่สำคัญสำหรับสายผลิตภัณฑ์ OceanStor Dorado ทั้งหมดคือ FlashLink แม่นยำยิ่งขึ้น เป็นคำที่รวมชุดของเทคโนโลยีที่ครบถ้วนซึ่งทำหน้าที่รับประกันประสิทธิภาพและความน่าเชื่อถือสูง ซึ่งรวมถึงเทคโนโลยีการขจัดข้อมูลซ้ำซ้อนและการบีบอัด การทำงานของระบบกระจายข้อมูล RAID 2.0+ การแยกข้อมูล "เย็น" และ "ร้อน" การบันทึกข้อมูลตามลำดับแบบเต็มแถบ (การเขียนแบบสุ่ม ข้อมูลใหม่และข้อมูลที่เปลี่ยนแปลง กองใหญ่และเขียนตามลำดับ ซึ่งเพิ่มความเร็วในการอ่าน-เขียน)
เหนือสิ่งอื่นใด FlashLink มีส่วนประกอบที่สำคัญสองส่วน ได้แก่ Wear Leveling และ Global Garbage Collection ควรจัดการแยกกัน
ในความเป็นจริงแล้ว โซลิดสเตตไดร์ฟเป็นระบบจัดเก็บข้อมูลขนาดเล็กที่มีบล็อกจำนวนมากและตัวควบคุมที่รับประกันความพร้อมใช้งานของข้อมูล และมีให้เหนือสิ่งอื่นใดเนื่องจากข้อมูลจากเซลล์ที่ "ถูกฆ่า" จะถูกถ่ายโอนไปยังเซลล์ที่ "ไม่ถูกฆ่า" สิ่งนี้ทำให้มั่นใจได้ว่าสามารถอ่านได้ มีอัลกอริธึมต่าง ๆ สำหรับการถ่ายโอนดังกล่าว ในกรณีทั่วไป คอนโทรลเลอร์จะพยายามปรับสมดุลการสึกหรอของเซลล์เก็บข้อมูลทั้งหมด วิธีนี้มีข้อเสีย เมื่อข้อมูลถูกย้ายภายใน SSD จำนวนของการดำเนินการ I/O ที่ดำเนินการนั้นจะลดลงอย่างมาก สำหรับตอนนี้ มันเป็นสิ่งชั่วร้ายที่จำเป็น
ดังนั้นหากมี SSD จำนวนมากในระบบ "เลื่อย" จะปรากฏบนกราฟประสิทธิภาพโดยมีการขึ้นและลงที่คมชัด ปัญหาคือไดรฟ์หนึ่งจากพูลสามารถเริ่มการย้ายข้อมูลได้ตลอดเวลา และประสิทธิภาพโดยรวมจะถูกลบออกจาก SSD ทั้งหมดในอาร์เรย์ในเวลาเดียวกัน แต่วิศวกรของ Huawei ค้นพบวิธีหลีกเลี่ยง "เลื่อย"
โชคดีที่ทั้งตัวควบคุมในไดรฟ์ ตัวควบคุมที่เก็บข้อมูล และเฟิร์มแวร์ของ Huawei เป็น "ดั้งเดิม" กระบวนการเหล่านี้ใน OceanStor Dorado 18000 V6 เปิดใช้งานจากส่วนกลาง ซิงโครนัสบนไดรฟ์ทั้งหมดในอาร์เรย์ ยิ่งไปกว่านั้น ตามคำสั่งของคอนโทรลเลอร์สตอเรจ และแม่นยำเมื่อไม่มีโหลด I/O จำนวนมาก
ชิปปัญญาประดิษฐ์ยังมีส่วนร่วมในการเลือกช่วงเวลาที่เหมาะสมในการถ่ายโอนข้อมูล: จากสถิติของการเข้าใช้งานในช่วง XNUMX-XNUMX เดือนที่ผ่านมา มันสามารถคาดการณ์ด้วยความน่าจะเป็นสูงสุดว่าจะคาดหวัง I / O ที่ใช้งานอยู่ในอนาคตอันใกล้หรือไม่ และ หากคำตอบเป็นลบและภาระในระบบในขณะนั้นมีน้อย ตัวควบคุมจะสั่งไดรฟ์ทั้งหมด: ผู้ที่ต้องการ Wear Leveling ควรทำทันทีและพร้อมกัน
นอกจากนี้ ตัวควบคุมระบบยังเห็นสิ่งที่เกิดขึ้นในแต่ละเซลล์ของไดรฟ์ ซึ่งแตกต่างจากระบบจัดเก็บข้อมูลของผู้ผลิตคู่แข่ง: พวกเขาถูกบังคับให้ซื้อสื่อโซลิดสเตตจากผู้จำหน่ายบุคคลที่สาม ซึ่งเป็นสาเหตุที่รายละเอียดระดับเซลล์ไม่พร้อมใช้งาน ผู้ควบคุมการจัดเก็บดังกล่าว
ด้วยเหตุนี้ OceanStor Dorado 18000 V6 จึงมีการลดลงของประสิทธิภาพการทำงานในช่วง Wear Leveling ที่สั้นมาก และจะดำเนินการโดยส่วนใหญ่เมื่อไม่รบกวนกระบวนการอื่นๆ สิ่งนี้ให้ประสิทธิภาพที่เสถียรสูงอย่างต่อเนื่อง
สิ่งที่ทำให้ OceanStor Dorado 18000 V6 เชื่อถือได้
มีสี่ระดับของความน่าเชื่อถือในระบบจัดเก็บข้อมูลสมัยใหม่:
- ฮาร์ดแวร์ที่ระดับไดรฟ์
- สถาปัตยกรรมในระดับอุปกรณ์
- สถาปัตยกรรมร่วมกับส่วนของซอฟต์แวร์
- สะสมที่เกี่ยวข้องกับการแก้ปัญหาโดยรวม
เนื่องจากเราจำได้ว่าบริษัทของเราออกแบบและผลิตส่วนประกอบทั้งหมดของระบบจัดเก็บข้อมูลเอง เราจึงให้ความน่าเชื่อถือในแต่ละระดับจากสี่ระดับ พร้อมความสามารถในการตรวจสอบอย่างละเอียดว่าเกิดอะไรขึ้นที่ส่วนใดของส่วนนั้นในขณะนี้
ความน่าเชื่อถือของไดร์ฟได้รับการรับประกันเป็นหลักโดย Wear Leveling และ Global Garbage Collection ที่อธิบายไว้ก่อนหน้านี้ เมื่อ SSD ดูเหมือนกล่องดำในระบบ มันไม่รู้ว่าเซลล์ในนั้นสึกหรอแค่ไหน สำหรับ OceanStor Dorado 18000 V6 นั้น ไดร์ฟเป็นแบบโปร่งใส ซึ่งทำให้สามารถปรับสมดุลไดร์ฟทั้งหมดในอาร์เรย์ได้เท่าๆ กัน ดังนั้นจึงเป็นการยืดอายุการใช้งานของ SSD อย่างมีนัยสำคัญและรักษาความน่าเชื่อถือในระดับสูงของการทำงาน
นอกจากนี้ ความน่าเชื่อถือของไดรฟ์ยังได้รับผลกระทบจากเซลล์สำรองเพิ่มเติมในนั้นด้วย ระบบสตอเรจใช้สิ่งที่เรียกว่าเซลล์ DIF ซึ่งประกอบด้วยการสำรองแบบธรรมดา รวมถึงรหัสเพิ่มเติมเพื่อป้องกันแต่ละบล็อกจากข้อผิดพลาดเดียว นอกเหนือจากการป้องกันในระดับอาร์เรย์ RAID
กุญแจสู่ความน่าเชื่อถือทางสถาปัตยกรรมคือโซลูชัน SmartMatrix กล่าวโดยสรุปคือตัวควบคุมสี่ตัวที่อยู่บนแบ็คเพลนแบบพาสซีฟซึ่งเป็นส่วนหนึ่งของเครื่องยนต์เดียว (เครื่องยนต์) เครื่องยนต์สองตัวนี้ - ตามลำดับพร้อมตัวควบคุมแปดตัว - เชื่อมต่อกับชั้นวางทั่วไปพร้อมไดรฟ์ ต้องขอบคุณ SmartMatrix แม้ว่าคอนโทรลเลอร์ XNUMX ใน XNUMX ตัวจะหยุดทำงาน การเข้าถึงข้อมูลทั้งหมด ทั้งการอ่านและการเขียนจะยังคงอยู่ และด้วยการสูญเสียคอนโทรลเลอร์หกในแปดตัว มันจึงเป็นไปได้ที่จะดำเนินการแคชต่อไป
บอร์ด I / O บนแบ็คเพลนแบบพาสซีฟเดียวกันพร้อมใช้งานสำหรับคอนโทรลเลอร์ทั้งหมด ทั้งในส่วนหน้าและส่วนหลัง ด้วยโครงร่างการเชื่อมต่อแบบเต็มตาข่าย ไม่ว่าอะไรจะเกิดขึ้น การเข้าถึงไดรฟ์จะถูกรักษาไว้เสมอ
เป็นการเหมาะสมที่สุดที่จะพูดถึงความน่าเชื่อถือของสถาปัตยกรรมในบริบทของโหมดความล้มเหลวที่ระบบจัดเก็บข้อมูลสามารถป้องกันได้
ที่เก็บข้อมูลจะอยู่รอดได้โดยไม่สูญเสียหากตัวควบคุมสองตัว "ตก" รวมถึงในเวลาเดียวกัน ความเสถียรดังกล่าวเกิดขึ้นได้เนื่องจากบล็อกแคชใด ๆ มีสำเนาอีกสองชุดในตัวควบคุมที่แตกต่างกันนั่นคือมีทั้งหมดสามชุด และอย่างน้อยหนึ่งเครื่องอยู่ในเครื่องยนต์อื่น ดังนั้นแม้ว่าเอ็นจิ้นทั้งหมดจะหยุดทำงาน - ด้วยคอนโทรลเลอร์ทั้งสี่ตัว - ก็รับประกันได้ว่าข้อมูลทั้งหมดที่อยู่ในหน่วยความจำแคชจะถูกบันทึกไว้ เนื่องจากแคชจะถูกทำซ้ำในคอนโทรลเลอร์อย่างน้อยหนึ่งตัวจากเอ็นจิ้นที่เหลือ สุดท้าย ด้วยการเชื่อมต่อแบบอนุกรม คุณสามารถสูญเสียคอนโทรลเลอร์ได้ถึงเจ็ดตัว และแม้ว่าพวกมันจะถูกกำจัดออกเป็นสองบล็อก - และอีกครั้ง I / O ทั้งหมด และข้อมูลทั้งหมดจากแคชจะยังคงอยู่
เมื่อเปรียบเทียบกับสตอเรจระดับไฮเอนด์จากผู้ผลิตรายอื่น จะเห็นได้ว่ามีเพียง Huawei เท่านั้นที่ให้การปกป้องข้อมูลเต็มรูปแบบและความพร้อมใช้งานเต็มรูปแบบ แม้ว่าคอนโทรลเลอร์สองตัวหรือเครื่องยนต์ทั้งหมดจะเสียชีวิต ผู้ค้าส่วนใหญ่ใช้โครงร่างที่เรียกว่าคู่คอนโทรลเลอร์ซึ่งเชื่อมต่อกับไดรฟ์ ขออภัย ในการกำหนดค่านี้ หากคอนโทรลเลอร์สองตัวทำงานล้มเหลว มีความเสี่ยงที่จะสูญเสียการเข้าถึง I/O ไปยังไดรฟ์
อนิจจา ความล้มเหลวขององค์ประกอบเดียวไม่ได้รับการยกเว้นอย่างเป็นกลาง ในกรณีนี้ ประสิทธิภาพจะลดลงชั่วระยะเวลาหนึ่ง: จำเป็นต้องสร้างพาธใหม่และการเข้าถึงการดำเนินการ I/O จะกลับมาทำงานต่อตามบล็อกที่เข้ามาเขียน แต่ยังไม่ได้เขียน หรือถูกร้องขอให้ อ่าน OceanStor Dorado 18000 V6 มีเวลาในการสร้างใหม่โดยเฉลี่ยประมาณหนึ่งวินาที ซึ่งน้อยกว่าอะนาล็อกที่ใกล้เคียงที่สุดในอุตสาหกรรมอย่างมาก (4 วินาที) สิ่งนี้เกิดขึ้นได้ด้วยแบ็คเพลนแบบพาสซีฟเดียวกัน: เมื่อคอนโทรลเลอร์ล้มเหลว ส่วนที่เหลือจะเห็นอินพุต / เอาท์พุตของมันทันที และโดยเฉพาะอย่างยิ่งบล็อกข้อมูลใดที่ยังไม่ได้เขียนถึง เป็นผลให้ผู้ควบคุมที่ใกล้ที่สุดรับกระบวนการ ดังนั้นความสามารถในการคืนค่าประสิทธิภาพในเวลาเพียงเสี้ยววินาที ฉันต้องเพิ่ม ช่วงเวลาคงที่: วินาทีสำหรับตัวควบคุมหนึ่ง วินาทีสำหรับอีกตัวควบคุมหนึ่ง ฯลฯ
ในแบ็คเพลนแบบพาสซีฟ OceanStor Dorado 18000 V6 บอร์ดทั้งหมดพร้อมใช้งานสำหรับคอนโทรลเลอร์ทั้งหมดโดยไม่ต้องระบุที่อยู่เพิ่มเติม ซึ่งหมายความว่าคอนโทรลเลอร์ใด ๆ สามารถรับ I / O บนพอร์ตใดก็ได้ ไม่ว่าพอร์ต I/O ของฟรอนต์เอนด์ใดเข้ามา คอนโทรลเลอร์ก็พร้อมที่จะประมวลผล ดังนั้น - จำนวนการถ่ายโอนภายในขั้นต่ำและการทำให้สมดุลง่ายขึ้นอย่างเห็นได้ชัด
การปรับสมดุลส่วนหน้าดำเนินการโดยใช้ไดรเวอร์หลายเส้นทางและการปรับสมดุลเพิ่มเติมจะดำเนินการภายในระบบเอง เนื่องจากตัวควบคุมทั้งหมดมองเห็นพอร์ต I / O ทั้งหมด
ตามเนื้อผ้า อาร์เรย์ของ Huawei ทั้งหมดได้รับการออกแบบในลักษณะที่ไม่มีจุดเสียแม้แต่จุดเดียว การแลกเปลี่ยนความร้อนโดยไม่ต้องรีบูตระบบทำให้ส่วนประกอบทั้งหมดยืมตัวเอง: ตัวควบคุม, โมดูลพลังงาน, โมดูลระบายความร้อน, บอร์ด I / O ฯลฯ
เพิ่มความน่าเชื่อถือของระบบโดยรวมและเทคโนโลยี เช่น RAID-TP นี่คือชื่อของกลุ่ม RAID ซึ่งช่วยให้คุณประกันความล้มเหลวพร้อมกันของไดรฟ์สูงสุดสามตัว และ การสร้างใหม่ 1 TB ใช้เวลาน้อยกว่า 30 นาทีอย่างสม่ำเสมอ ผลลัพธ์ที่บันทึกได้ดีที่สุดนั้นเร็วกว่าด้วยจำนวนข้อมูลเท่ากันบนสปินเดิลไดรฟ์ถึงแปดเท่า ดังนั้นจึงเป็นไปได้ที่จะใช้ไดรฟ์ที่มีความจุสูง เช่น 7,68 หรือแม้แต่ 15 TB และไม่ต้องกังวลเกี่ยวกับความน่าเชื่อถือของระบบ
สิ่งสำคัญคือการสร้างใหม่ไม่ได้ดำเนินการในไดรฟ์สำรอง แต่ในพื้นที่สำรอง - ความจุสำรอง แต่ละไดรฟ์มีพื้นที่เฉพาะที่ใช้สำหรับการกู้คืนข้อมูลหลังจากเกิดความล้มเหลว ดังนั้นการกู้คืนไม่ได้ดำเนินการตามรูปแบบ "กลุ่มต่อหนึ่ง" แต่เป็นไปตามรูปแบบ "กลุ่มต่อกลุ่ม" เนื่องจากเป็นไปได้ที่จะเร่งกระบวนการให้เร็วขึ้นอย่างมาก และตราบใดที่มีความจุว่าง การกู้คืนก็ดำเนินต่อไปได้
นอกจากนี้ เราควรกล่าวถึงความน่าเชื่อถือของโซลูชันจากสตอเรจหลายแห่ง - ในเมโทรคลัสเตอร์ หรือในศัพท์เฉพาะของ Huawei คือ HyperMetro รูปแบบดังกล่าวได้รับการสนับสนุนในทุกรุ่นของระบบจัดเก็บข้อมูลของเรา และอนุญาตให้เข้าถึงทั้งไฟล์และบล็อก นอกจากนี้ ในบล็อกหนึ่ง ยังทำงานผ่าน Fibre Channel และ Ethernet (รวมถึงผ่าน iSCSI)
โดยพื้นฐานแล้ว เรากำลังพูดถึงการจำลองแบบสองทิศทางจากระบบจัดเก็บข้อมูลหนึ่งไปยังอีกระบบหนึ่ง ซึ่ง LUN ที่จำลองแล้วจะได้รับ LUN-ID เดียวกันกับระบบหลัก เทคโนโลยีนี้ทำงานเป็นหลักเนื่องจากความสอดคล้องกันของแคชจากสองระบบที่แตกต่างกัน ดังนั้นสำหรับโฮสต์นั้นไม่สำคัญว่าจะอยู่ด้านใด: ทั้งที่นี่และที่นั่นจะเห็นไดรฟ์แบบลอจิคัลเดียวกัน ด้วยเหตุนี้ จึงไม่มีอะไรขัดขวางคุณจากการปรับใช้คลัสเตอร์เฟลโอเวอร์ที่ครอบคลุมสองไซต์
สำหรับองค์ประชุม จะใช้เครื่อง Linux จริงหรือเสมือน สามารถอยู่ในไซต์ที่สามและข้อกำหนดสำหรับทรัพยากรมีขนาดเล็ก สถานการณ์ทั่วไปคือการเช่าไซต์เสมือนสำหรับการโฮสต์ Quorum VM โดยเฉพาะ
เทคโนโลยีนี้ยังช่วยให้สามารถขยายได้: ที่เก็บข้อมูลสองแห่ง - ในเมโทรคลัสเตอร์, ไซต์เพิ่มเติม - พร้อมการจำลองแบบอะซิงโครนัส
ในอดีต ลูกค้าจำนวนมากได้ก่อตั้ง "Storage Zoo": ระบบจัดเก็บข้อมูลจำนวนมากจากผู้ผลิตหลายราย รุ่นต่างๆ รุ่นต่างๆ และฟังก์ชันการทำงานที่แตกต่างกัน อย่างไรก็ตาม จำนวนของโฮสต์สามารถน่าประทับใจได้ และบ่อยครั้งที่พวกเขาถูกทำให้เป็นเวอร์ช่วลไลซ์ ในสถานการณ์ดังกล่าว หนึ่งในลำดับความสำคัญของการดูแลระบบคือการจัดเตรียมโลจิคัลดิสก์ให้กับโฮสต์อย่างรวดเร็ว สม่ำเสมอ และสะดวก โดยควรใช้วิธีที่ไม่เจาะจงว่าดิสก์เหล่านี้ตั้งอยู่จริงที่ใด นั่นคือสิ่งที่โซลูชันซอฟต์แวร์ OceanStor DJ ของเราได้รับการออกแบบมา ซึ่งสามารถจัดการระบบจัดเก็บข้อมูลต่างๆ อย่างเป็นเอกฉันท์และให้บริการจากระบบเหล่านี้โดยไม่ต้องเชื่อมโยงกับรูปแบบการจัดเก็บเฉพาะ
เอไอตัวเดียวกัน
ตามที่ได้กล่าวไปแล้ว OceanStor Dorado 18000 V6 มีโปรเซสเซอร์ในตัวพร้อมอัลกอริธึมปัญญาประดิษฐ์ - Ascend พวกมันถูกใช้ ประการแรก เพื่อทำนายความล้มเหลว และประการที่สอง เพื่อสร้างคำแนะนำสำหรับการปรับแต่ง ซึ่งจะเพิ่มประสิทธิภาพและความน่าเชื่อถือของที่เก็บข้อมูลด้วย
ขอบเขตการคาดการณ์คือสองเดือน: เครื่องจักร AI จะถือว่าสิ่งที่จะเกิดขึ้นโดยมีความเป็นไปได้สูงในช่วงเวลานี้ ไม่ว่าจะเป็นเวลาที่ต้องขยาย เปลี่ยนแปลงนโยบายการเข้าถึง ฯลฯ มีการออกคำแนะนำล่วงหน้า ซึ่งช่วยให้คุณวางแผนช่วงเวลาสำหรับการบำรุงรักษาระบบได้ล่วงหน้า ของเวลา
ขั้นตอนต่อไปของการพัฒนา AI จาก Huawei คือการนำ AI ไปสู่ระดับโลก ในระหว่างการบำรุงรักษาบริการ - การเปลี่ยนระบบเมื่อเกิดข้อผิดพลาดหรือคำแนะนำ - Huawei รวบรวมข้อมูลจากระบบการบันทึกจากที่เก็บข้อมูลของลูกค้าทั้งหมดของเรา จากข้อมูลที่รวบรวมได้ การวิเคราะห์ความล้มเหลวที่เกิดขึ้นหรือที่อาจเกิดขึ้นได้ดำเนินการและให้คำแนะนำทั่วโลก - ไม่ได้ขึ้นอยู่กับการทำงานของระบบจัดเก็บข้อมูลเฉพาะเพียงระบบเดียวหรือแม้แต่ระบบเดียว แต่ขึ้นอยู่กับสิ่งที่เกิดขึ้นและเกิดขึ้นกับระบบดังกล่าวหลายพันรายการ อุปกรณ์ ตัวอย่างมีขนาดใหญ่มาก อัลกอริทึม AI เริ่มเรียนรู้เร็วมาก ด้วยเหตุนี้ความแม่นยำของการคาดคะเนจึงเพิ่มขึ้นอย่างมาก
ความเข้ากันได้
ในปี 2019-2020 มีการกล่าวเป็นนัยมากมายเกี่ยวกับการทำงานร่วมกันระหว่างอุปกรณ์ของเรากับผลิตภัณฑ์ VMware เราขอประกาศด้วยความรับผิดชอบว่า: VMware เป็นพันธมิตรของ Huawei เพื่อหยุดการกระทำเหล่านี้ในท้ายที่สุด การทดสอบที่เป็นไปได้ทั้งหมดดำเนินการเพื่อความเข้ากันได้ของฮาร์ดแวร์ของเรากับซอฟต์แวร์ และด้วยเหตุนี้ เอกสารความเข้ากันได้ของฮาร์ดแวร์จึงแสดงรายการระบบจัดเก็บข้อมูลที่มีอยู่ในปัจจุบันของการผลิตของเราบนเว็บไซต์ VMware โดยไม่มีการจองใดๆ กล่าวอีกนัยหนึ่ง ด้วยสภาพแวดล้อมซอฟต์แวร์ VMware คุณสามารถใช้ที่เก็บข้อมูลของ Huawei รวมถึง Dorado V6 พร้อมการสนับสนุนเต็มรูปแบบ
เช่นเดียวกับความร่วมมือของเรากับ Brocade เราโต้ตอบและทดสอบผลิตภัณฑ์ของเราอย่างต่อเนื่องสำหรับความเข้ากันได้ และสามารถระบุได้อย่างมั่นใจว่าระบบจัดเก็บข้อมูลของเราเข้ากันได้กับสวิตช์ Brocade FC รุ่นล่าสุดอย่างสมบูรณ์
ทำอะไรต่อไป
เราพัฒนาและปรับปรุงโปรเซสเซอร์ของเราอย่างต่อเนื่อง: เร็วขึ้น เชื่อถือได้มากขึ้น ประสิทธิภาพเพิ่มขึ้น นอกจากนี้ เรายังปรับปรุงชิป AI โดยอาศัยชิปเหล่านี้ โมดูลยังผลิตขึ้นเพื่อเพิ่มความเร็วในการขจัดข้อมูลซ้ำซ้อนและการบีบอัดข้อมูล ผู้ที่สามารถเข้าถึงเครื่องมือกำหนดค่าของเราอาจสังเกตเห็นว่าการ์ดเหล่านี้พร้อมให้สั่งซื้อแล้วในรุ่น Dorado V6
นอกจากนี้ เรากำลังมุ่งไปสู่การแคชเพิ่มเติมบน Storage Class Memory ซึ่งเป็นหน่วยความจำแบบไม่ลบเลือนที่มีความหน่วงแฝงต่ำเป็นพิเศษ ประมาณ XNUMX ไมโครวินาทีต่อการอ่านหนึ่งครั้ง เหนือสิ่งอื่นใด SCM ให้การเพิ่มประสิทธิภาพ โดยหลักแล้วเมื่อทำงานกับข้อมูลขนาดใหญ่และเมื่อแก้ไขงาน OLTP หลังจากการอัปเดตครั้งถัดไป บัตร SCM ควรพร้อมสำหรับการสั่งซื้อ
และแน่นอน ฟังก์ชันการเข้าถึงไฟล์จะขยายไปทั่วทั้งพื้นที่จัดเก็บข้อมูลของ Huawei โปรดติดตามการอัปเดตของเรา
ที่มา: will.com