Micron Technology บริษัทที่เชี่ยวชาญด้านการผลิต DRAM และหน่วยความจำแฟลช ได้เผยแพร่การเปิดตัวกลไกจัดเก็บข้อมูล HSE 3.0 (Heterogeneous-memory Storage Engine) ซึ่งได้รับการออกแบบโดยคำนึงถึงลักษณะเฉพาะของการใช้งานบนไดรฟ์ SSD และหน่วยความจำแบบอ่านอย่างเดียว ( NVDIMM) เอ็นจิ้นได้รับการออกแบบให้เป็นไลบรารีสำหรับฝังลงในแอปพลิเคชันอื่นและรองรับการประมวลผลข้อมูลในรูปแบบคีย์-ค่า รหัส HSE เขียนด้วยภาษา C และได้รับอนุญาตภายใต้ใบอนุญาต Apache 2.0
HSE ได้รับการปรับให้เหมาะสมไม่เพียงแต่เพื่อประสิทธิภาพสูงสุดเท่านั้น แต่ยังเพื่ออายุการใช้งานที่ยาวนานในคลาส SSD ที่หลากหลายอีกด้วย ความเร็วในการทำงานสูงทำได้ผ่านโมเดลการจัดเก็บข้อมูลแบบไฮบริด - ข้อมูลที่เกี่ยวข้องมากที่สุดจะถูกแคชไว้ใน RAM ซึ่งจะช่วยลดจำนวนการเข้าถึงไดรฟ์ เอ็นจิ้นสามารถใช้สำหรับการจัดเก็บข้อมูลระดับต่ำใน NoSQL DBMS, การจัดเก็บซอฟต์แวร์ (SDS, ที่เก็บข้อมูลที่กำหนดโดยซอฟต์แวร์) เช่น Ceph และ Scality RING, แพลตฟอร์มสำหรับการประมวลผลข้อมูลจำนวนมาก (Big Data), การประมวลผลประสิทธิภาพสูง (HPC ) ระบบ อุปกรณ์ Internet of Things (IoT) และโซลูชันสำหรับระบบการเรียนรู้ของเครื่อง ตัวอย่างของการบูรณาการกลไกเข้ากับโปรเจ็กต์ของบริษัทอื่น เวอร์ชันของ DBMS MongoDB เชิงเอกสารได้รับการจัดเตรียม และแปลงเพื่อใช้ HSE
คุณสมบัติหลักของ HSE:
- รองรับตัวดำเนินการมาตรฐานและแบบขยายสำหรับการประมวลผลข้อมูลในรูปแบบคีย์/ค่า
- รองรับธุรกรรมเต็มรูปแบบด้วยความสามารถในการแยกส่วนพื้นที่จัดเก็บข้อมูลผ่านการสร้างสแน็ปช็อต (สแน็ปช็อตยังสามารถใช้เพื่อรักษาคอลเลกชันอิสระในที่เก็บข้อมูลเดียว)
- ความสามารถในการใช้เคอร์เซอร์เพื่อวนซ้ำข้อมูลในมุมมองแบบสแน็ปช็อต
- โมเดลข้อมูลได้รับการปรับให้เหมาะสมสำหรับประเภทเวิร์กโหลดแบบผสม
- กลไกที่ยืดหยุ่นสำหรับการจัดการความน่าเชื่อถือในการจัดเก็บข้อมูล
- รูปแบบการประสานข้อมูลที่ปรับแต่งได้ (การกระจายไปตามหน่วยความจำประเภทต่างๆ ที่มีอยู่ในที่จัดเก็บข้อมูล)
- ไลบรารีที่มี C API ที่สามารถลิงก์ไปยังแอปพลิเคชันใดๆ แบบไดนามิกได้ ความพร้อมใช้งานของการโยงสำหรับ Python และ Java;
- รองรับการจัดเก็บคีย์และข้อมูลในรูปแบบบีบอัด
- ความสามารถในการขยายขนาดข้อมูลเป็นเทราไบต์และคีย์นับแสนล้านคีย์ในพื้นที่จัดเก็บ
- การประมวลผลที่มีประสิทธิภาพของการดำเนินการแบบขนานหลายพันรายการ
- ความสามารถในการใช้ไดรฟ์ SSD ประเภทต่างๆ ในที่จัดเก็บข้อมูลเดียวเพื่อเพิ่มประสิทธิภาพและยืดอายุการใช้งานของไดรฟ์
การเปลี่ยนแปลงหมายเลขเวอร์ชันที่สำคัญใน HSE 3.0 เกิดจากการเปลี่ยนแปลงใน API, CLI, ตัวเลือกการกำหนดค่า, อินเทอร์เฟซ REST และรูปแบบพื้นที่จัดเก็บข้อมูลที่ทำลายความเข้ากันได้แบบย้อนหลัง รุ่นใหม่มุ่งเน้นไปที่การเพิ่มประสิทธิภาพการจัดเก็บข้อมูลเพื่อปรับปรุงประสิทธิภาพสำหรับปริมาณงานที่สำคัญบางอย่าง ท่ามกลางการปรับปรุงที่โดดเด่นที่สุด:
- ขณะนี้ประสิทธิภาพของการทำงานของเคอร์เซอร์ไม่ขึ้นอยู่กับความยาวของตัวกรอง ทำให้คุณสามารถวนซ้ำคีย์โดยใช้เคอร์เซอร์ที่มีตัวกรองที่กำหนดเองได้โดยไม่ลดปริมาณงาน
- ประสิทธิภาพการอ่านและการเขียนเพิ่มขึ้นในสถานการณ์ที่มีการใช้คีย์ที่เพิ่มขึ้นแบบซ้ำซาก เช่น เมื่อจัดเก็บชิ้นส่วนของค่าพารามิเตอร์ที่บันทึกไว้ในช่วงเวลาหนึ่งในระบบการตรวจสอบ แพลตฟอร์มทางการเงิน และระบบสำหรับสถานะเซ็นเซอร์การสำรวจ
- API ให้ความสามารถในการควบคุมการบีบอัดที่ระดับค่าแต่ละค่า ช่วยให้คุณสามารถจัดเก็บบันทึกทั้งที่บีบอัดและไม่บีบอัดในพื้นที่จัดเก็บข้อมูลเดียวกัน
- มีการเพิ่มโหมดใหม่สำหรับการเปิด KVDB ซึ่งช่วยให้คุณสามารถสร้างแบบสอบถามไปยังฐานข้อมูลในพื้นที่เก็บข้อมูลแบบอ่านอย่างเดียว
ที่มา: opennet.ru