Ο κατασκευαστής DRAM και μνήμης flash Micron Technology κυκλοφόρησε τη μηχανή αποθήκευσης HSE 3.0 (Heterogeneous-memory Storage Engine), σχεδιασμένη ειδικά για χρήση σε SSD και μνήμη μόνο για ανάγνωση (NVDIMM). Ο κινητήρας είναι κατασκευασμένος με τη μορφή βιβλιοθήκης για ενσωμάτωση σε άλλες εφαρμογές και υποστηρίζει την επεξεργασία δεδομένων σε μορφή κλειδιού-τιμής. Ο κωδικός HSE είναι γραμμένος σε C και διανέμεται με την άδεια Apache 2.0.
Το HSE είναι βελτιστοποιημένο όχι μόνο για μέγιστη απόδοση, αλλά και για μακροζωία σε διαφορετικές κατηγορίες SSD. Η υψηλή ταχύτητα επιτυγχάνεται μέσω ενός μοντέλου υβριδικής αποθήκευσης - τα πιο ενημερωμένα δεδομένα αποθηκεύονται προσωρινά στη μνήμη RAM, γεγονός που μειώνει τον αριθμό των προσβάσεων στη μονάδα δίσκου. Ο κινητήρας μπορεί να χρησιμοποιηθεί για αποθήκευση δεδομένων χαμηλού επιπέδου σε NoSQL DBMS, αποθήκες λογισμικού (SDS, Software-Defined Storage) όπως Ceph και Scality RING, πλατφόρμες για επεξεργασία μεγάλων ποσοτήτων δεδομένων (Big Data), υπολογιστές υψηλής απόδοσης (HPC ) συστήματα, συσκευές Internet of Things (IoT) και λύσεις για συστήματα μηχανικής μάθησης. Ως παράδειγμα ενσωμάτωσης του κινητήρα σε έργα τρίτων, έχει προετοιμαστεί μια παραλλαγή του DBMS MongoDB με προσανατολισμό σε έγγραφα, μεταφρασμένη στη χρήση HSE.
Κύρια χαρακτηριστικά του HSE:
- Υποστήριξη γενικών και εκτεταμένων χειριστών για χειρισμό δεδομένων σε μορφή κλειδιού/τιμής.
- Πλήρης υποστήριξη για συναλλαγές με δυνατότητα απομόνωσης τμημάτων αποθήκευσης μέσω της δημιουργίας στιγμιότυπων (τα στιγμιότυπα μπορούν επίσης να χρησιμοποιηθούν για τη διατήρηση ανεξάρτητων συλλογών σε ένα χώρο αποθήκευσης).
- Δυνατότητα χρήσης δρομέων για επανάληψη δεδομένων σε προβολές που βασίζονται σε στιγμιότυπα.
- Μοντέλο δεδομένων βελτιστοποιημένο για μεικτούς τύπους φορτίων.
- Ευέλικτοι μηχανισμοί διαχείρισης αξιοπιστίας αποθήκευσης.
- Προσαρμόσιμα σχήματα ενορχήστρωσης δεδομένων (κατανομή σε διαφορετικούς τύπους μνήμης που υπάρχουν στο χώρο αποθήκευσης).
- Μια βιβλιοθήκη με C API που μπορεί να συνδεθεί δυναμικά με οποιαδήποτε εφαρμογή. Δεσμοί για Python και Java.
- Υποστήριξη για αποθήκευση κλειδιών και δεδομένων σε συμπιεσμένη μορφή.
- Δυνατότητα κλιμάκωσης έως και terabyte δεδομένων και εκατοντάδες δισεκατομμύρια κλειδιά σε αποθήκευση.
- Αποτελεσματική επεξεργασία χιλιάδων παράλληλων λειτουργιών.
- Η δυνατότητα χρήσης διαφορετικών κατηγοριών μονάδων SSD στον ίδιο χώρο αποθήκευσης για βελτιστοποίηση της απόδοσης και παράταση της διάρκειας ζωής της μονάδας.
Η σημαντική αλλαγή του αριθμού έκδοσης στο HSE 3.0 οφείλεται σε αλλαγές στο API, το CLI, τις επιλογές διαμόρφωσης, τη διεπαφή REST και τη μορφή αποθήκευσης που διακόπτουν τη συμβατότητα προς τα πίσω. Κατά την προετοιμασία της νέας έκδοσης, η εστίαση ήταν στη βελτιστοποίηση της αποθήκευσης δεδομένων για τη βελτίωση της απόδοσης κάτω από ορισμένους κρίσιμους φόρτους εργασίας. Μεταξύ των πιο αξιοσημείωτων βελτιώσεων:
- Η απόδοση των λειτουργιών του δρομέα είναι πλέον ανεξάρτητη από το μήκος του φίλτρου, γεγονός που καθιστά δυνατή την επανάληψη των πλήκτρων χωρίς μείωση της απόδοσης χρησιμοποιώντας έναν δρομέα με αυθαίρετα φίλτρα.
- Η απόδοση ανάγνωσης και εγγραφής έχει βελτιωθεί σε καταστάσεις όπου χρησιμοποιούνται μονοτονικά αυξανόμενα πλήκτρα, για παράδειγμα, κατά την αποθήκευση τμημάτων τιμών παραμέτρων που έχουν καταγραφεί σε συγκεκριμένα χρονικά διαστήματα, σε συστήματα παρακολούθησης, οικονομικές πλατφόρμες και συστήματα για καταστάσεις αισθητήρων δημοσκόπησης.
- Το API παρέχει τη δυνατότητα ελέγχου της συμπίεσης σε επίπεδο μεμονωμένων τιμών, γεγονός που σας επιτρέπει να διατηρείτε τόσο συμπιεσμένες όσο και μη συμπιεσμένες εγγραφές στον ίδιο χώρο αποθήκευσης.
- Προστέθηκαν νέες λειτουργίες για το άνοιγμα του KVDB, επιτρέποντάς σας να δημιουργείτε ερωτήματα στη βάση δεδομένων σε αποθηκευτικούς χώρους μόνο για ανάγνωση.
Πηγή: opennet.ru