Micron Technology, μια εταιρεία DRAM και μνήμης flash, νέα μηχανή αποθήκευσης (Heterogeneous-memory Storage Engine), σχεδιασμένο λαμβάνοντας υπόψη τις ιδιαιτερότητες χρήσης σε μονάδες SSD που βασίζονται σε NAND flash (X100, TLC, QLC 3D NAND) ή μόνιμη μνήμη (NVDIMM). Ο κινητήρας έχει σχεδιαστεί ως βιβλιοθήκη για ενσωμάτωση σε άλλες εφαρμογές και υποστηρίζει την επεξεργασία δεδομένων σε μορφή κλειδιού-τιμής. Ο κωδικός HSE είναι γραμμένος σε C και άδεια σύμφωνα με το Apache 2.0.
Μεταξύ των τομέων εφαρμογής του κινητήρα, αναφέρεται η αποθήκευση δεδομένων χαμηλού επιπέδου στο NoSQL DBMS, οι αποθηκευτικοί χώροι λογισμικού (SDS, Software-Defined Storage) όπως ο Ceph και ο Scality RING, οι πλατφόρμες επεξεργασίας μεγάλων ποσοτήτων δεδομένων (Big Data) , υπολογιστικά συστήματα υψηλής απόδοσης (HPC), συσκευές Internet of things (IoT) και λύσεις για συστήματα μηχανικής μάθησης.
Το HSE είναι βελτιστοποιημένο όχι μόνο για μέγιστη απόδοση, αλλά και για μακροζωία σε διάφορες κατηγορίες SSD. Η υψηλή ταχύτητα λειτουργίας επιτυγχάνεται μέσω ενός μοντέλου υβριδικής αποθήκευσης - τα πιο σχετικά δεδομένα αποθηκεύονται στην κρυφή μνήμη RAM, γεγονός που μειώνει τον αριθμό των προσβάσεων στη μονάδα δίσκου. Ως παράδειγμα ενσωμάτωσης μιας νέας μηχανής σε έργα τρίτων μια έκδοση του προσανατολισμένου σε έγγραφα DBMS MongoDB, μεταφρασμένη σε χρήση HSE.
Τεχνολογικά, το HSE βασίζεται σε μια πρόσθετη ενότητα πυρήνα , η οποία υλοποιεί μια εξειδικευμένη διεπαφή αποθήκευσης αντικειμένων για μονάδες στερεάς κατάστασης, λαμβάνοντας υπόψη τις δυνατότητες και τα χαρακτηριστικά τους, η οποία σας επιτρέπει να αποκτήσετε θεμελιωδώς διαφορετικά χαρακτηριστικά απόδοσης και αντοχής. Το Mpool είναι επίσης μια ανάπτυξη της Micron Technology, ανοιχτή ταυτόχρονα με την HSE, αλλά χωρισμένη σε ένα ανεξάρτητο έργο υποδομής. Η Mpool αναλαμβάνει τη χρήση и , αλλά προς το παρόν υποστηρίζει μόνο παραδοσιακούς SSD.
Δοκιμή απόδοσης με χρήση της συσκευασίας Το (Yahoo Cloud Serving Benchmark) έδειξε σημαντική αύξηση στην απόδοση κατά τη χρήση αποθήκευσης 2 TB με επεξεργασία μπλοκ δεδομένων 1 KB. Ιδιαίτερα σημαντική αύξηση της απόδοσης παρατηρείται στη δοκιμή με ομοιόμορφη κατανομή των πράξεων ανάγνωσης και εγγραφής (δοκιμή «Α» στο γράφημα).
Για παράδειγμα, το MongoDB με τον κινητήρα HSE αποδείχθηκε ότι ήταν περίπου 8 φορές ταχύτερο από την έκδοση με τον τυπικό κινητήρα WiredTiger και το RocksDB DBMS ήταν ταχύτερο από τον κινητήρα HSE κατά περισσότερες από 6 φορές. Εξαιρετική απόδοση είναι επίσης ορατή σε δοκιμές που περιλαμβάνουν 95% λειτουργίες ανάγνωσης και 5% λειτουργίες τροποποίησης ή προσθήκης (δοκιμές "B" και "D" στα γραφήματα). Στη δοκιμή "C", η οποία περιλαμβάνει μόνο λειτουργίες ανάγνωσης, αποδεικνύεται κέρδος περίπου 40%. Η αύξηση της ικανότητας επιβίωσης των μονάδων SSD κατά τις λειτουργίες εγγραφής σε σύγκριση με μια λύση που βασίζεται στο RocksDB εκτιμάται ότι είναι 7 φορές.
Βασικά χαρακτηριστικά του HSE:
- Υποστήριξη γενικών και εκτεταμένων χειριστών για χειρισμό δεδομένων σε μορφή κλειδιού/τιμής.
- Πλήρης υποστήριξη για συναλλαγές και με δυνατότητα απομόνωσης τμημάτων αποθήκευσης μέσω της δημιουργίας στιγμιότυπων (τα στιγμιότυπα μπορούν επίσης να χρησιμοποιηθούν για τη διατήρηση ανεξάρτητων συλλογών σε ένα χώρο αποθήκευσης).
- Δυνατότητα χρήσης δρομέων για τη διέλευση δεδομένων σε προβολές που βασίζονται σε στιγμιότυπα.
- Μοντέλο δεδομένων βελτιστοποιημένο για μεικτούς τύπους φορτίου σε μια ενιαία αποθήκευση.
- Ευέλικτοι μηχανισμοί διαχείρισης αξιοπιστίας αποθήκευσης.
- Προσαρμόσιμα σχήματα ενορχήστρωσης δεδομένων (κατανομή σε διαφορετικούς τύπους μνήμης που υπάρχουν στο χώρο αποθήκευσης).
- Μια βιβλιοθήκη με C API που μπορεί να συνδεθεί δυναμικά σε οποιαδήποτε εφαρμογή.
- Δυνατότητα κλιμάκωσης έως και terabyte δεδομένων και εκατοντάδες δισεκατομμύρια κλειδιά σε αποθήκευση.
- Αποτελεσματική επεξεργασία χιλιάδων παράλληλων λειτουργιών.
- Σημαντική αύξηση της απόδοσης, μειωμένη καθυστέρηση και αυξημένη απόδοση εγγραφής/ανάγνωσης για διάφορους τύπους φόρτου εργασίας σε σύγκριση με τυπικές εναλλακτικές λύσεις.
- Η δυνατότητα χρήσης μονάδων SSD διαφορετικών κατηγοριών σε έναν αποθηκευτικό χώρο για βελτιστοποίηση της απόδοσης και της αντοχής.
Πηγή: opennet.ru