Σήμερα θα μιλήσουμε για τον καλύτερο τρόπο αποθήκευσης δεδομένων σε έναν κόσμο όπου τα δίκτυα πέμπτης γενιάς, οι σαρωτές γονιδιώματος και τα αυτοοδηγούμενα αυτοκίνητα παράγουν περισσότερα δεδομένα την ημέρα από ό,τι ολόκληρη η ανθρωπότητα που παρήχθη πριν από τη βιομηχανική επανάσταση.
Ο κόσμος μας παράγει όλο και περισσότερες πληροφορίες. Κάποιο μέρος του είναι φευγαλέο και χάνεται τόσο γρήγορα όσο μαζεύεται. Ένα άλλο θα πρέπει να αποθηκευτεί περισσότερο και ένα άλλο έχει σχεδιαστεί ακόμη και "εδώ και αιώνες" - τουλάχιστον αυτό βλέπουμε από το παρόν. Οι ροές πληροφοριών εγκαθίστανται στα κέντρα δεδομένων με τέτοια ταχύτητα που κάθε νέα προσέγγιση, οποιαδήποτε τεχνολογία που έχει σχεδιαστεί για να ικανοποιήσει αυτήν την ατελείωτη «απαίτηση» γίνεται γρήγορα παρωχημένη.
40 χρόνια ανάπτυξης κατανεμημένων συστημάτων αποθήκευσης
Ο πρώτος χώρος αποθήκευσης δικτύου με τη μορφή που γνωρίζουμε εμφανίστηκε τη δεκαετία του 1980. Πολλοί από εσάς έχετε συναντήσει NFS (Network File System), AFS (Andrew File System) ή Coda. Μια δεκαετία αργότερα, η μόδα και η τεχνολογία άλλαξαν και τα κατανεμημένα συστήματα αρχείων έδωσαν τη θέση τους σε συστήματα αποθήκευσης συμπλεγμάτων που βασίζονται σε GPFS (General Parallel File System), CFS (Clustered File Systems) και StorNext. Ως βάση χρησιμοποιήθηκε η αποθήκευση μπλοκ κλασικής αρχιτεκτονικής, πάνω από την οποία δημιουργήθηκε ένα ενιαίο σύστημα αρχείων χρησιμοποιώντας ένα επίπεδο λογισμικού. Αυτές και παρόμοιες λύσεις εξακολουθούν να χρησιμοποιούνται, καταλαμβάνουν τη θέση τους και έχουν μεγάλη ζήτηση.
Στο γύρισμα της χιλιετίας, το πρότυπο κατανεμημένης αποθήκευσης άλλαξε κάπως και συστήματα με αρχιτεκτονική SN (Shared-Nothing) πήραν τις ηγετικές θέσεις. Υπήρξε μια μετάβαση από την αποθήκευση συμπλέγματος στην αποθήκευση σε μεμονωμένους κόμβους, οι οποίοι, κατά κανόνα, ήταν κλασικοί διακομιστές με λογισμικό που παρείχε αξιόπιστη αποθήκευση. Με βάση τέτοιες αρχές, ας πούμε, είναι χτισμένο το HDFS (Hadoop Distributed File System) και το GFS (Global File System).
Πιο κοντά στη δεκαετία του 2010, οι έννοιες που διέπουν τα κατανεμημένα συστήματα αποθήκευσης άρχισαν να αντικατοπτρίζονται όλο και περισσότερο σε ολοκληρωμένα εμπορικά προϊόντα, όπως το VMware vSAN, η Dell EMC Isilon και το δικό μας . Πίσω από τις αναφερόμενες πλατφόρμες δεν υπάρχει πλέον μια κοινότητα ενθουσιωδών, αλλά συγκεκριμένοι προμηθευτές που είναι υπεύθυνοι για τη λειτουργικότητα, την υποστήριξη και την εξυπηρέτηση του προϊόντος και εγγυώνται την περαιτέρω ανάπτυξή του. Τέτοιες λύσεις έχουν τη μεγαλύτερη ζήτηση σε πολλούς τομείς.
φορείς τηλεπικοινωνιών
Ίσως ένας από τους παλαιότερους καταναλωτές συστημάτων κατανεμημένης αποθήκευσης είναι οι τηλεπικοινωνιακοί πάροχοι. Το διάγραμμα δείχνει ποιες ομάδες εφαρμογών παράγουν το μεγαλύτερο μέρος των δεδομένων. Το OSS (Operations Support Systems), το MSS (Management Support Services) και το BSS (Business Support Systems) αντιπροσωπεύουν τρία συμπληρωματικά επίπεδα λογισμικού που απαιτούνται για την παροχή υπηρεσιών στους συνδρομητές, την οικονομική αναφορά στον πάροχο και τη λειτουργική υποστήριξη στους μηχανικούς χειριστή.
Συχνά, τα δεδομένα αυτών των επιπέδων αναμειγνύονται σε μεγάλο βαθμό μεταξύ τους και για να αποφευχθεί η συσσώρευση περιττών αντιγράφων, χρησιμοποιείται κατανεμημένη αποθήκευση, η οποία συσσωρεύει ολόκληρη την ποσότητα πληροφοριών που προέρχεται από το λειτουργικό δίκτυο. Οι αποθήκες συνδυάζονται σε μια κοινή πισίνα, στην οποία έχουν πρόσβαση όλες οι υπηρεσίες.
Οι υπολογισμοί μας δείχνουν ότι η μετάβαση από τα κλασικά συστήματα αποθήκευσης σε συστήματα μπλοκ αποθήκευσης σάς επιτρέπει να εξοικονομήσετε έως και 70% του προϋπολογισμού μόνο εγκαταλείποντας τα ειδικά συστήματα αποθήκευσης hi-end και χρησιμοποιώντας συμβατικούς διακομιστές κλασικής αρχιτεκτονικής (συνήθως x86), σε συνεργασία με εξειδικευμένους λογισμικό. Οι εταιρείες κινητής τηλεφωνίας έχουν αρχίσει εδώ και πολύ καιρό να αγοράζουν τέτοιες λύσεις σε μεγάλες ποσότητες. Συγκεκριμένα, οι Ρώσοι χειριστές χρησιμοποιούν τέτοια προϊόντα της Huawei για περισσότερα από έξι χρόνια.
Ναι, ένας αριθμός εργασιών δεν μπορεί να ολοκληρωθεί χρησιμοποιώντας κατανεμημένα συστήματα. Για παράδειγμα, με αυξημένες απαιτήσεις απόδοσης ή συμβατότητα με παλαιότερα πρωτόκολλα. Αλλά τουλάχιστον το 70% των δεδομένων που επεξεργάζεται ο χειριστής μπορεί να βρίσκεται σε μια κατανεμημένη ομάδα.
Τραπεζικός τομέας
Σε κάθε τράπεζα υπάρχουν πολλά διαφορετικά συστήματα πληροφορικής, ξεκινώντας από την επεξεργασία και τελειώνοντας με ένα αυτοματοποιημένο τραπεζικό σύστημα. Αυτή η υποδομή λειτουργεί επίσης με τεράστιο όγκο πληροφοριών, ενώ οι περισσότερες εργασίες δεν απαιτούν αυξημένη απόδοση και αξιοπιστία συστημάτων αποθήκευσης, για παράδειγμα, ανάπτυξη, δοκιμή, αυτοματοποίηση διαδικασιών γραφείου κ.λπ. Εδώ, η χρήση κλασικών συστημάτων αποθήκευσης είναι δυνατή, αλλά κάθε χρόνο είναι όλο και λιγότερο κερδοφόρο. Επιπλέον, σε αυτή την περίπτωση δεν υπάρχει ευελιξία στη χρήση των πόρων του συστήματος αποθήκευσης, η απόδοση των οποίων υπολογίζεται με βάση το φορτίο αιχμής.
Κατά τη χρήση κατανεμημένων συστημάτων αποθήκευσης, οι κόμβοι τους, που είναι στην πραγματικότητα συνηθισμένοι διακομιστές, μπορούν να μετατραπούν ανά πάσα στιγμή, για παράδειγμα, σε μια φάρμα διακομιστών και να χρησιμοποιηθούν ως υπολογιστική πλατφόρμα.
Λίμνες δεδομένων
Το παραπάνω διάγραμμα δείχνει μια λίστα τυπικών καταναλωτών υπηρεσιών . Αυτές θα μπορούσαν να είναι υπηρεσίες ηλεκτρονικής διακυβέρνησης (για παράδειγμα, «Κυβερνητικές Υπηρεσίες»), ψηφιοποιημένες επιχειρήσεις, χρηματοπιστωτικά ιδρύματα κ.λπ. Όλα αυτά πρέπει να συνεργάζονται με μεγάλους όγκους ετερογενών πληροφοριών.
Η χρήση κλασικών συστημάτων αποθήκευσης για την επίλυση τέτοιων προβλημάτων είναι αναποτελεσματική, καθώς απαιτεί πρόσβαση υψηλής απόδοσης σε βάσεις δεδομένων αποκλεισμού και τακτική πρόσβαση σε βιβλιοθήκες σαρωμένων εγγράφων που είναι αποθηκευμένα ως αντικείμενα. Για παράδειγμα, ένα σύστημα παραγγελιών μέσω μιας διαδικτυακής πύλης μπορεί επίσης να συνδεθεί εδώ. Για να τα εφαρμόσετε όλα αυτά σε μια κλασική πλατφόρμα αποθήκευσης, θα χρειαστείτε ένα μεγάλο σετ εξοπλισμού για διάφορες εργασίες. Ένα οριζόντιο καθολικό σύστημα αποθήκευσης μπορεί κάλλιστα να καλύπτει όλες τις εργασίες που αναφέρονται προηγουμένως: χρειάζεται απλώς να δημιουργήσετε πολλές ομάδες με διαφορετικά χαρακτηριστικά αποθήκευσης σε αυτό.
Δημιουργοί νέων πληροφοριών
Ο όγκος των πληροφοριών που αποθηκεύονται στον κόσμο αυξάνεται κατά περίπου 30% ετησίως. Αυτά είναι καλά νέα για τους προμηθευτές αποθήκευσης, αλλά ποια είναι και ποια θα είναι η κύρια πηγή αυτών των δεδομένων;
Πριν από δέκα χρόνια, τα κοινωνικά δίκτυα έγιναν τέτοιες γεννήτριες· αυτό απαιτούσε τη δημιουργία ενός μεγάλου αριθμού νέων αλγορίθμων, λύσεων υλικού κ.λπ. Τώρα υπάρχουν τρεις κύριοι παράγοντες για την αύξηση του όγκου αποθήκευσης. Το πρώτο είναι το cloud computing. Επί του παρόντος, περίπου το 70% των εταιρειών χρησιμοποιούν υπηρεσίες cloud με τον ένα ή τον άλλο τρόπο. Αυτά μπορεί να είναι συστήματα ηλεκτρονικού ταχυδρομείου, αντίγραφα ασφαλείας και άλλες εικονικές οντότητες.
Το δεύτερο πρόγραμμα οδήγησης είναι τα δίκτυα πέμπτης γενιάς. Πρόκειται για νέες ταχύτητες και νέους όγκους μεταφοράς δεδομένων. Σύμφωνα με τις προβλέψεις μας, η ευρεία υιοθέτηση του 5G θα οδηγήσει σε πτώση της ζήτησης για κάρτες μνήμης flash. Ανεξάρτητα από το πόση μνήμη υπάρχει στο τηλέφωνο, εξακολουθεί να εξαντλείται και εάν το gadget έχει κανάλι 100 megabit, δεν χρειάζεται να αποθηκεύετε φωτογραφίες τοπικά.
Η τρίτη ομάδα λόγων για τους οποίους αυξάνεται η ζήτηση για συστήματα αποθήκευσης περιλαμβάνει την ταχεία ανάπτυξη της τεχνητής νοημοσύνης, τη μετάβαση στην ανάλυση μεγάλων δεδομένων και την τάση προς την καθολική αυτοματοποίηση όλων των δυνατοτήτων.
Ένα χαρακτηριστικό της «νέας κυκλοφορίας» είναι . Πρέπει να αποθηκεύσουμε αυτά τα δεδομένα χωρίς να ορίσουμε τη μορφή τους με οποιονδήποτε τρόπο. Απαιτείται μόνο για μεταγενέστερη ανάγνωση. Για παράδειγμα, για να προσδιορίσει το διαθέσιμο ποσό δανείου, ένα τραπεζικό σύστημα βαθμολόγησης θα εξετάσει τις φωτογραφίες που δημοσιεύετε στα κοινωνικά δίκτυα, θα καθορίσει εάν πηγαίνετε συχνά στη θάλασσα και σε εστιατόρια και ταυτόχρονα θα μελετήσει τα αποσπάσματα από τα διαθέσιμα ιατρικά σας έγγραφα σε αυτό. Τα δεδομένα αυτά, αφενός, είναι περιεκτικά, αφετέρου όμως στερούνται ομοιογένειας.
Ωκεανός αδόμητων δεδομένων
Τι προβλήματα συνεπάγεται η εμφάνιση «νέων δεδομένων»; Το πρώτο μεταξύ αυτών, φυσικά, είναι ο τεράστιος όγκος των πληροφοριών και η εκτιμώμενη περίοδος αποθήκευσής τους. Ένα σύγχρονο αυτόνομο αυτοκίνητο χωρίς οδηγό παράγει από μόνο του έως και 60 terabytes δεδομένων κάθε μέρα από όλους τους αισθητήρες και τους μηχανισμούς του. Για να αναπτυχθούν νέοι αλγόριθμοι κίνησης, αυτές οι πληροφορίες πρέπει να υποβληθούν σε επεξεργασία εντός της ίδιας ημέρας, διαφορετικά θα αρχίσουν να συσσωρεύονται. Ταυτόχρονα, πρέπει να αποθηκευτεί για πολύ μεγάλο χρονικό διάστημα - δεκαετίες. Μόνο τότε θα είναι δυνατό στο μέλλον να εξαχθούν συμπεράσματα με βάση μεγάλα αναλυτικά δείγματα.
Μία συσκευή για την αποκρυπτογράφηση γενετικών αλληλουχιών παράγει περίπου 6 TB την ημέρα. Και τα δεδομένα που συλλέγονται με τη βοήθειά του δεν συνεπάγονται καθόλου διαγραφή, δηλαδή, υποθετικά, θα πρέπει να αποθηκευτούν για πάντα.
Τέλος, τα ίδια δίκτυα πέμπτης γενιάς. Εκτός από τις πραγματικές μεταδιδόμενες πληροφορίες, ένα τέτοιο δίκτυο είναι από μόνο του μια τεράστια γεννήτρια δεδομένων: αρχεία καταγραφής δραστηριοτήτων, εγγραφές κλήσεων, ενδιάμεσα αποτελέσματα αλληλεπιδράσεων μηχανής με μηχανή κ.λπ.
Όλα αυτά απαιτούν την ανάπτυξη νέων προσεγγίσεων και αλγορίθμων για την αποθήκευση και την επεξεργασία πληροφοριών. Και τέτοιες προσεγγίσεις εμφανίζονται.
Τεχνολογίες νέας εποχής
Υπάρχουν τρεις ομάδες λύσεων που έχουν σχεδιαστεί για να ανταποκρίνονται στις νέες απαιτήσεις για συστήματα αποθήκευσης πληροφοριών: η εισαγωγή της τεχνητής νοημοσύνης, η τεχνική εξέλιξη των μέσων αποθήκευσης και καινοτομίες στον τομέα της αρχιτεκτονικής συστημάτων. Ας ξεκινήσουμε με το AI.
Στις νέες λύσεις της Huawei, η τεχνητή νοημοσύνη χρησιμοποιείται στο επίπεδο του ίδιου του αποθηκευτικού χώρου, ο οποίος είναι εξοπλισμένος με επεξεργαστή AI που επιτρέπει στο σύστημα να αναλύει ανεξάρτητα την κατάστασή του και να προβλέπει βλάβες. Εάν το σύστημα αποθήκευσης είναι συνδεδεμένο με ένα σύννεφο υπηρεσιών που έχει σημαντικές υπολογιστικές δυνατότητες, η τεχνητή νοημοσύνη θα είναι σε θέση να επεξεργαστεί περισσότερες πληροφορίες και να αυξήσει την ακρίβεια των υποθέσεων του.
Εκτός από τις αστοχίες, μια τέτοια τεχνητή νοημοσύνη μπορεί να προβλέψει το μελλοντικό φορτίο αιχμής και τον χρόνο που απομένει μέχρι να εξαντληθεί η χωρητικότητα. Αυτό σας επιτρέπει να βελτιστοποιήσετε την απόδοση και να κλιμακώσετε το σύστημα πριν συμβούν ανεπιθύμητα συμβάντα.
Τώρα σχετικά με την εξέλιξη των μέσων αποθήκευσης. Οι πρώτες μονάδες flash κατασκευάστηκαν χρησιμοποιώντας την τεχνολογία SLC (Single-Level Cell). Οι συσκευές που βασίζονταν σε αυτό ήταν γρήγορες, αξιόπιστες, σταθερές, αλλά είχαν μικρή χωρητικότητα και ήταν πολύ ακριβές. Η αύξηση του όγκου και η μείωση της τιμής επιτεύχθηκαν μέσω ορισμένων τεχνικών παραχωρήσεων, λόγω των οποίων μειώθηκε η ταχύτητα, η αξιοπιστία και η διάρκεια ζωής των μονάδων δίσκου. Ωστόσο, η τάση δεν επηρέασε τα ίδια τα συστήματα αποθήκευσης, τα οποία, λόγω διαφόρων αρχιτεκτονικών τεχνασμάτων, έγιναν γενικά και πιο παραγωγικά και πιο αξιόπιστα.
Γιατί όμως χρειαστήκατε συστήματα αποθήκευσης All-Flash; Δεν ήταν αρκετό να αντικαταστήσουμε απλώς τους παλιούς σκληρούς δίσκους σε ένα ήδη λειτουργικό σύστημα με νέους SSD του ίδιου σχήματος; Αυτό ήταν απαραίτητο για την αποτελεσματική χρήση όλων των πόρων των νέων μονάδων δίσκου στερεάς κατάστασης, κάτι που ήταν απλώς αδύνατο σε παλαιότερα συστήματα.
Η Huawei, για παράδειγμα, έχει αναπτύξει μια σειρά από τεχνολογίες για να λύσει αυτό το πρόβλημα, μία από τις οποίες είναι , το οποίο κατέστησε δυνατή τη βελτιστοποίηση των αλληλεπιδράσεων "δισκο-ελεγκτή" όσο το δυνατόν περισσότερο.
Η έξυπνη αναγνώριση κατέστησε δυνατή την αποσύνθεση δεδομένων σε πολλές ροές και την αντιμετώπιση ορισμένων ανεπιθύμητων φαινομένων, όπως π.χ. (γράψτε ενίσχυση). Ταυτόχρονα, ειδικότερα νέοι αλγόριθμοι ανάκτησης , αύξησε την ταχύτητα ανοικοδόμησης, μειώνοντας τον χρόνο του σε εντελώς ασήμαντα ποσά.
Βλάβη, συνωστισμός, συλλογή σκουπιδιών - αυτοί οι παράγοντες δεν επηρεάζουν πλέον την απόδοση του συστήματος αποθήκευσης χάρη σε ειδικές τροποποιήσεις στους ελεγκτές.
Και οι αποθήκες δεδομένων μπλοκ ετοιμάζονται επίσης να συναντηθούν . Ας θυμηθούμε ότι το κλασικό σχήμα για την οργάνωση της πρόσβασης δεδομένων λειτουργούσε ως εξής: ο επεξεργαστής είχε πρόσβαση στον ελεγκτή RAID μέσω του διαύλου PCI Express. Αυτό, με τη σειρά του, αλληλεπιδρούσε με μηχανικούς δίσκους μέσω SCSI ή SAS. Η χρήση του NVMe στο backend επιτάχυνε σημαντικά την όλη διαδικασία, αλλά είχε ένα μειονέκτημα: οι μονάδες δίσκου έπρεπε να συνδέονται απευθείας με τον επεξεργαστή για να του παρέχεται άμεση πρόσβαση στη μνήμη.
Η επόμενη φάση ανάπτυξης τεχνολογίας που βλέπουμε τώρα είναι η χρήση του NVMe-oF (NVMe over Fabrics). Όσον αφορά τις τεχνολογίες μπλοκ Huawei, υποστηρίζουν ήδη FC-NVMe (NVMe μέσω Fiber Channel) και το NVMe μέσω RoCE (RDMA μέσω Converged Ethernet) βρίσκεται στο δρόμο. Τα δοκιμαστικά μοντέλα είναι αρκετά λειτουργικά, απομένουν αρκετοί μήνες μέχρι την επίσημη παρουσίασή τους. Σημειώστε ότι όλα αυτά θα εμφανιστούν σε κατανεμημένα συστήματα, όπου το "Ethernet χωρίς απώλειες" θα έχει μεγάλη ζήτηση.
Ένας επιπλέον τρόπος για τη βελτιστοποίηση της λειτουργίας της κατανεμημένης αποθήκευσης ήταν η πλήρης εγκατάλειψη του κατοπτρισμού δεδομένων. Οι λύσεις της Huawei δεν χρησιμοποιούν πλέον n αντίγραφα, όπως στο συνηθισμένο RAID 1, και αλλάζουν εντελώς στο (Κωδικοποίηση διαγραφής). Ένα ειδικό μαθηματικό πακέτο υπολογίζει μπλοκ ελέγχου σε μια συγκεκριμένη περιοδικότητα, τα οποία σας επιτρέπουν να επαναφέρετε ενδιάμεσα δεδομένα σε περίπτωση απώλειας.
Οι μηχανισμοί αποδιπλασιασμού και συμπίεσης γίνονται υποχρεωτικοί. Εάν στα κλασικά συστήματα αποθήκευσης περιοριζόμαστε από τον αριθμό των εγκατεστημένων επεξεργαστών στους ελεγκτές, τότε στα κατανεμημένα οριζόντια κλιμακούμενα συστήματα αποθήκευσης, κάθε κόμβος περιέχει όλα τα απαραίτητα: δίσκους, μνήμη, επεξεργαστές και διασύνδεση. Αυτοί οι πόροι είναι επαρκείς για να διασφαλίσουν ότι η αφαίρεση των αντιγράφων και η συμπίεση έχουν ελάχιστο αντίκτυπο στην απόδοση.
Και σχετικά με τις μεθόδους βελτιστοποίησης υλικού. Εδώ ήταν δυνατό να μειωθεί το φορτίο στους κεντρικούς επεξεργαστές με τη βοήθεια πρόσθετων αποκλειστικών τσιπ (ή αποκλειστικών μπλοκ στον ίδιο τον επεξεργαστή), τα οποία παίζουν ρόλο (TCP/IP Offload Engine) ή ανάληψη των μαθηματικών εργασιών EC, deduplication και compression.
Νέες προσεγγίσεις για την αποθήκευση δεδομένων ενσωματώνονται σε μια αποσπασματική (κατανεμημένη) αρχιτεκτονική. Τα κεντρικά συστήματα αποθήκευσης διαθέτουν ένα εργοστάσιο διακομιστών συνδεδεμένο μέσω Fiber Channel με πολλές συστοιχίες. Τα μειονεκτήματα αυτής της προσέγγισης είναι η δυσκολία κλιμάκωσης και διασφάλισης ενός εγγυημένου επιπέδου εξυπηρέτησης (από άποψη απόδοσης ή καθυστέρησης). Τα υπερσυγκλίνοντα συστήματα χρησιμοποιούν τους ίδιους κεντρικούς υπολογιστές τόσο για την αποθήκευση όσο και για την επεξεργασία πληροφοριών. Αυτό δίνει ουσιαστικά απεριόριστο περιθώριο κλιμάκωσης, αλλά συνεπάγεται υψηλό κόστος για τη διατήρηση της ακεραιότητας των δεδομένων.
Σε αντίθεση με τα δύο παραπάνω, συνεπάγεται μια αποσπασματική αρχιτεκτονική χωρίζοντας το σύστημα σε ένα υπολογιστικό ύφασμα και ένα οριζόντιο σύστημα αποθήκευσης. Αυτό παρέχει τα οφέλη και των δύο αρχιτεκτονικών και επιτρέπει σχεδόν απεριόριστη κλιμάκωση μόνο του στοιχείου που στερείται απόδοσης.
Από την ένταξη στη σύγκλιση
Ένα κλασικό έργο, η συνάφεια του οποίου έχει αυξηθεί μόλις τα τελευταία 15 χρόνια, είναι η ανάγκη για ταυτόχρονη παροχή μπλοκ αποθήκευσης, πρόσβασης αρχείων, πρόσβασης σε αντικείμενα, λειτουργίας μιας μεγάλης φάρμας δεδομένων κ.λπ. Το κερασάκι στην τούρτα θα μπορούσε επίσης να είναι, για παράδειγμα, ένα εφεδρικό σύστημα σε μαγνητική ταινία.
Στο πρώτο στάδιο, μόνο η διαχείριση αυτών των υπηρεσιών θα μπορούσε να είναι ενοποιημένη. Ετερογενή συστήματα αποθήκευσης δεδομένων συνδέθηκαν με κάποιο εξειδικευμένο λογισμικό, μέσω του οποίου ο διαχειριστής διένειμε πόρους από διαθέσιμα pools. Αλλά επειδή αυτές οι ομάδες είχαν διαφορετικό υλικό, η μεταφορά φορτίου μεταξύ τους ήταν αδύνατη. Σε υψηλότερο επίπεδο ολοκλήρωσης, η συνάθροιση έλαβε χώρα σε επίπεδο πύλης. Εάν ήταν διαθέσιμη η κοινή χρήση αρχείων, θα μπορούσε να εξυπηρετηθεί μέσω διαφορετικών πρωτοκόλλων.
Η πιο προηγμένη μέθοδος σύγκλισης που διαθέτουμε αυτή τη στιγμή περιλαμβάνει τη δημιουργία ενός καθολικού υβριδικού συστήματος. Ακριβώς αυτό που πρέπει να γίνει το δικό μας . Η καθολική πρόσβαση χρησιμοποιεί τους ίδιους πόρους υλικού, λογικά χωρισμένους σε διαφορετικές ομάδες, αλλά επιτρέπει τη μετεγκατάσταση φορτίου. Όλα αυτά μπορούν να γίνουν μέσω μιας ενιαίας κονσόλας διαχείρισης. Με αυτόν τον τρόπο, μπορέσαμε να εφαρμόσουμε την έννοια του «ένα κέντρο δεδομένων - ένα σύστημα αποθήκευσης».
Το κόστος αποθήκευσης πληροφοριών καθορίζει πλέον πολλές αρχιτεκτονικές αποφάσεις. Και παρόλο που μπορεί να τοποθετηθεί με ασφάλεια στην πρώτη γραμμή, σήμερα συζητάμε «ζωντανή» αποθήκευση με ενεργή πρόσβαση, επομένως πρέπει να λαμβάνεται υπόψη και η απόδοση. Μια άλλη σημαντική ιδιότητα των κατανεμημένων συστημάτων επόμενης γενιάς είναι η ενοποίηση. Εξάλλου, κανείς δεν θέλει να έχει πολλά διαφορετικά συστήματα που ελέγχονται από διαφορετικές κονσόλες. Όλες αυτές οι ιδιότητες ενσωματώνονται στη νέα σειρά προϊόντων Huawei .
Σύστημα μαζικής αποθήκευσης νέας γενιάς
Το OceanStor Pacific πληροί τις απαιτήσεις αξιοπιστίας έξι-εννιά (99,9999%) και μπορεί να χρησιμοποιηθεί για τη δημιουργία κέντρων δεδομένων κατηγορίας HyperMetro. Με απόσταση μεταξύ δύο κέντρων δεδομένων έως και 100 km, τα συστήματα επιδεικνύουν πρόσθετο λανθάνοντα χρόνο 2 ms, που καθιστά δυνατή τη δημιουργία στη βάση τους οποιωνδήποτε λύσεων ανθεκτικών σε καταστροφές, συμπεριλαμβανομένων εκείνων με διακομιστές απαρτίας.
Τα προϊόντα της νέας σειράς επιδεικνύουν ευελιξία πρωτοκόλλου. Ήδη, το OceanStor 100D υποστηρίζει πρόσβαση μπλοκ, πρόσβαση αντικειμένων και πρόσβαση Hadoop. Η πρόσβαση σε αρχεία θα εφαρμοστεί επίσης στο εγγύς μέλλον. Δεν χρειάζεται να αποθηκεύσετε πολλά αντίγραφα δεδομένων εάν μπορούν να εκδοθούν μέσω διαφορετικών πρωτοκόλλων.
Φαίνεται, τι σχέση έχει η έννοια του «δικτύου χωρίς απώλειες» με τα συστήματα αποθήκευσης; Γεγονός είναι ότι τα κατανεμημένα συστήματα αποθήκευσης δεδομένων είναι χτισμένα με βάση ένα γρήγορο δίκτυο που υποστηρίζει τους κατάλληλους αλγόριθμους και τον μηχανισμό RoCE. Το σύστημα τεχνητής νοημοσύνης που υποστηρίζεται από τους διακόπτες μας βοηθά στην περαιτέρω αύξηση της ταχύτητας του δικτύου και στη μείωση του λανθάνοντος χρόνου. . Το κέρδος στην απόδοση αποθήκευσης κατά την ενεργοποίηση του AI Fabric μπορεί να φτάσει το 20%.
Τι είναι ο νέος κατανεμημένος κόμβος αποθήκευσης OceanStor Pacific; Η λύση παράγοντα μορφής 5U περιλαμβάνει 120 μονάδες δίσκου και μπορεί να αντικαταστήσει τρεις κλασικούς κόμβους, γεγονός που παρέχει διπλάσια εξοικονόμηση χώρου στο rack. Με τη μη αποθήκευση αντιγράφων, η απόδοση των μονάδων δίσκου αυξάνεται σημαντικά (έως +92%).
Είμαστε συνηθισμένοι στο γεγονός ότι ο αποθηκευτικός χώρος που καθορίζεται από λογισμικό είναι ειδικό λογισμικό εγκατεστημένο σε έναν κλασικό διακομιστή. Αλλά τώρα, για να επιτευχθούν οι βέλτιστες παραμέτρους, αυτή η αρχιτεκτονική λύση απαιτεί επίσης ειδικούς κόμβους. Αποτελείται από δύο διακομιστές που βασίζονται σε επεξεργαστές ARM που διαχειρίζονται μια σειρά μονάδων δίσκου τριών ιντσών.
Αυτοί οι διακομιστές δεν είναι κατάλληλοι για υπερσυγκλίνουσες λύσεις. Πρώτον, υπάρχουν αρκετές εφαρμογές για το ARM, και δεύτερον, είναι δύσκολο να διατηρηθεί η ισορροπία φορτίου. Προτείνουμε τη μετάβαση σε χωριστή αποθήκευση: ένα υπολογιστικό σύμπλεγμα, που αντιπροσωπεύεται από κλασικούς διακομιστές ή διακομιστές rack, λειτουργεί ξεχωριστά, αλλά συνδέεται με κόμβους αποθήκευσης OceanStor Pacific, οι οποίοι εκτελούν επίσης τις άμεσες εργασίες τους. Και δικαιολογείται.
Για παράδειγμα, ας πάρουμε μια κλασική λύση αποθήκευσης μεγάλων δεδομένων με ένα υπερσυγκλίνον σύστημα που καταλαμβάνει 15 rack διακομιστών. Εάν κατανείμετε το φορτίο μεταξύ χωριστών υπολογιστικών διακομιστών και κόμβων αποθήκευσης OceanStor Pacific, διαχωρίζοντάς τους μεταξύ τους, ο αριθμός των απαιτούμενων ραφιών θα μειωθεί στο μισό! Αυτό μειώνει το λειτουργικό κόστος του κέντρου δεδομένων και μειώνει το συνολικό κόστος ιδιοκτησίας. Σε έναν κόσμο όπου ο όγκος των αποθηκευμένων πληροφοριών αυξάνεται κατά 30% ετησίως, τέτοια πλεονεκτήματα δεν πετιούνται.
***
Μπορείτε να λάβετε περισσότερες πληροφορίες σχετικά με τις λύσεις της Huawei και τα σενάρια εφαρμογής τους στη σελίδα μας ή επικοινωνώντας απευθείας με εκπροσώπους της εταιρείας.
Πηγή: www.habr.com