ระบบจัดเก็บข้อมูล HSE แบบโอเพ่นซอร์สของ Micron ปรับให้เหมาะสมสำหรับ SSD

Micron Technology บริษัท DRAM และหน่วยความจำแฟลช นำเสนอ เครื่องยนต์จัดเก็บข้อมูลใหม่ HSE (Heterogeneous-memory Storage Engine) ได้รับการออกแบบโดยคำนึงถึงลักษณะเฉพาะการใช้งานบนไดรฟ์ SSD ที่ใช้แฟลช NAND (X100, TLC, QLC 3D NAND) หรือหน่วยความจำถาวร (NVDIMM) เอ็นจิ้นได้รับการออกแบบให้เป็นไลบรารีสำหรับฝังลงในแอปพลิเคชันอื่นและรองรับการประมวลผลข้อมูลในรูปแบบคีย์-ค่า รหัส HSE เขียนด้วยภาษา C และ จัดจำหน่ายโดย ได้รับอนุญาตภายใต้ Apache 2.0

ในด้านการใช้งานของเครื่องยนต์นั้น มีการกล่าวถึงการจัดเก็บข้อมูลระดับต่ำใน NoSQL DBMS, การจัดเก็บซอฟต์แวร์ (SDS, ที่เก็บข้อมูลที่กำหนดโดยซอฟต์แวร์) เช่น Ceph และ Scality RING, แพลตฟอร์มสำหรับการประมวลผลข้อมูลจำนวนมาก (Big Data) , ระบบคอมพิวเตอร์ประสิทธิภาพสูง (HPC), อุปกรณ์อินเทอร์เน็ต (IoT) และโซลูชันสำหรับระบบการเรียนรู้ของเครื่อง

HSE ได้รับการปรับให้เหมาะสมไม่เพียงแต่เพื่อประสิทธิภาพสูงสุดเท่านั้น แต่ยังเพื่ออายุการใช้งานที่ยาวนานในคลาส SSD ที่หลากหลายอีกด้วย ความเร็วในการทำงานสูงทำได้ผ่านโมเดลการจัดเก็บข้อมูลแบบไฮบริด - ข้อมูลที่เกี่ยวข้องมากที่สุดจะถูกแคชไว้ใน RAM ซึ่งจะช่วยลดจำนวนการเข้าถึงไดรฟ์ เป็นตัวอย่างของการรวมเอ็นจิ้นใหม่เข้ากับโปรเจ็กต์ของบุคคลที่สาม เตรียมไว้ เวอร์ชันของ DBMS MongoDB เชิงเอกสาร ซึ่งแปลเป็น HSE

ในทางเทคโนโลยี HSE อาศัยโมดูลเคอร์เนลเพิ่มเติม เอ็มพูลซึ่งใช้อินเทอร์เฟซหน่วยเก็บข้อมูลออบเจ็กต์พิเศษสำหรับไดรฟ์โซลิดสเทตโดยคำนึงถึงความสามารถและคุณสมบัติต่างๆ ซึ่งช่วยให้คุณได้รับประสิทธิภาพและคุณลักษณะความทนทานที่แตกต่างกันโดยพื้นฐาน Mpool ยังเป็นการพัฒนาของ Micron Technology ซึ่งเปิดพร้อมๆ กับ HSE แต่แยกออกเป็นโครงการโครงสร้างพื้นฐานอิสระ Mpool ถือว่าการใช้งาน หน่วยความจำถาวร и สิ่งอำนวยความสะดวกการจัดเก็บโซนแต่ปัจจุบันรองรับเฉพาะ SSD แบบเดิมเท่านั้น

การทดสอบประสิทธิภาพโดยใช้แพ็คเกจ วายซีเอสบี (เกณฑ์มาตรฐานการให้บริการคลาวด์ของ Yahoo) แสดงให้เห็นประสิทธิภาพที่เพิ่มขึ้นอย่างมากเมื่อใช้พื้นที่เก็บข้อมูลขนาด 2 TB พร้อมการประมวลผลบล็อกข้อมูลขนาด 1 KB ประสิทธิภาพที่เพิ่มขึ้นอย่างมีนัยสำคัญโดยเฉพาะอย่างยิ่งพบได้ในการทดสอบโดยมีการกระจายการดำเนินการอ่านและเขียนที่สม่ำเสมอ (ทดสอบ "A" ในกราฟ)

ตัวอย่างเช่น MongoDB ที่มีเอ็นจิ้น HSE ปรากฏว่าเร็วกว่ารุ่นที่มีเอ็นจิ้น WiredTiger มาตรฐานประมาณ 8 เท่า และ RocksDB DBMS นั้นเร็วกว่าเอ็นจิ้น HSE มากกว่า 6 เท่า ประสิทธิภาพที่ยอดเยี่ยมยังมองเห็นได้ในการทดสอบที่เกี่ยวข้องกับการดำเนินการอ่าน 95% และการดำเนินการแก้ไขหรือผนวก 5% (ทดสอบ "B" และ "D" ในกราฟ) การทดสอบ C ซึ่งเกี่ยวข้องกับการดำเนินการอ่านเท่านั้น แสดงค่าเพิ่มขึ้นประมาณ 40% ความสามารถในการอยู่รอดที่เพิ่มขึ้นของไดรฟ์ SSD ในระหว่างการดำเนินการเขียนเมื่อเปรียบเทียบกับโซลูชันที่ใช้ RocksDB คาดว่าจะเป็น 7 เท่า

คุณสมบัติที่สำคัญของ HSE:

• รองรับตัวดำเนินการมาตรฐานและแบบขยายสำหรับการประมวลผลข้อมูลในรูปแบบคีย์/ค่า
• รองรับธุรกรรมเต็มรูปแบบและมีความสามารถในการแยกส่วนพื้นที่จัดเก็บข้อมูลผ่านการสร้างสแน็ปช็อต (สแน็ปช็อตยังสามารถใช้เพื่อรักษาคอลเลกชันอิสระในที่เก็บข้อมูลเดียว)
• ความสามารถในการใช้เคอร์เซอร์เพื่อสำรวจข้อมูลในมุมมองแบบสแน็ปช็อต
• โมเดลข้อมูลได้รับการปรับให้เหมาะสมสำหรับประเภทโหลดแบบผสมในพื้นที่จัดเก็บข้อมูลเดียว
• กลไกที่ยืดหยุ่นสำหรับการจัดการความน่าเชื่อถือในการจัดเก็บข้อมูล
• รูปแบบการประสานข้อมูลที่ปรับแต่งได้ (การกระจายไปตามหน่วยความจำประเภทต่างๆ ที่มีอยู่ในที่จัดเก็บข้อมูล)
• ไลบรารีที่มี C API ที่สามารถลิงก์ไปยังแอปพลิเคชันใดๆ แบบไดนามิก
• ความสามารถในการขยายขนาดข้อมูลเป็นเทราไบต์และคีย์นับแสนล้านคีย์ในพื้นที่จัดเก็บ
• การประมวลผลที่มีประสิทธิภาพของการดำเนินการแบบขนานหลายพันรายการ
• ปริมาณงานที่เพิ่มขึ้นอย่างมีนัยสำคัญ เวลาแฝงที่ลดลง และประสิทธิภาพการเขียน/การอ่านที่เพิ่มขึ้นสำหรับเวิร์กโหลดประเภทต่างๆ เมื่อเปรียบเทียบกับโซลูชันทางเลือกมาตรฐาน
• ความสามารถในการใช้ไดรฟ์ SSD ประเภทต่างๆ ในที่จัดเก็บข้อมูลเดียวเพื่อเพิ่มประสิทธิภาพและความทนทาน

ที่มา: opennet.ru