Εντολή αποθήκευσης αντικειμένων S3 μετέφρασε ένα άρθρο σχετικά με τα κριτήρια που είναι σημαντικά κατά την επιλογή μιας αποθήκευσης αντικειμένων. Ακολουθεί το κείμενο από τη σκοπιά του συγγραφέα.
Όταν πρόκειται για αποθήκευση αντικειμένων, οι άνθρωποι συνήθως σκέφτονται μόνο ένα πράγμα: τιμή ανά TB/GB. Φυσικά, αυτή η μέτρηση είναι σημαντική, αλλά κάνει την προσέγγιση μονόπλευρη και εξισώνει την αποθήκευση αντικειμένων με ένα εργαλείο αποθήκευσης αρχειοθέτησης. Επιπλέον, αυτή η προσέγγιση μειώνει τη σημασία της αποθήκευσης αντικειμένων για τη στοίβα τεχνολογίας της επιχείρησης.
Όταν επιλέγετε την αποθήκευση αντικειμένων, θα πρέπει να δώσετε προσοχή σε πέντε χαρακτηριστικά:
- επιδόσεις
- επεκτασιμότητα?
- S3 συμβατό?
- απάντηση σε αποτυχίες·
- ακεραιότητα.
Αυτά τα πέντε χαρακτηριστικά είναι νέες μετρήσεις για την αποθήκευση αντικειμένων, μαζί με το κόστος. Ας τα δούμε όλα.
Παραγωγικότητα
Τα παραδοσιακά καταστήματα αντικειμένων δεν έχουν απόδοση. Οι πάροχοι υπηρεσιών το θυσίαζαν συνεχώς επιδιώκοντας χαμηλές τιμές. Ωστόσο, με τη σύγχρονη αποθήκευση αντικειμένων τα πράγματα είναι διαφορετικά.
Διάφορα συστήματα αποθήκευσης προσεγγίζουν ή και υπερβαίνουν την ταχύτητα του Hadoop. Σύγχρονες απαιτήσεις για ταχύτητες ανάγνωσης και εγγραφής: από 10 GB/s για σκληρούς δίσκους, έως 35 GB/s για NVMe.
Αυτή η απόδοση είναι επαρκής για τα Spark, Presto, Tensorflow, Teradata, Vertica, Splunk και άλλα σύγχρονα υπολογιστικά πλαίσια στη στοίβα αναλυτικών στοιχείων. Το γεγονός ότι οι βάσεις δεδομένων MPP διαμορφώνονται για αποθήκευση αντικειμένων υποδηλώνει ότι χρησιμοποιείται όλο και περισσότερο ως κύρια αποθήκευση.
Εάν το σύστημα αποθήκευσης δεν παρέχει την ταχύτητα που χρειάζεστε, δεν μπορείτε να χρησιμοποιήσετε τα δεδομένα και να εξαγάγετε αξία από αυτά. Ακόμα κι αν ανακτήσετε δεδομένα από την αποθήκευση αντικειμένων σε μια δομή επεξεργασίας στη μνήμη, θα εξακολουθείτε να χρειάζεστε εύρος ζώνης για να μεταφέρετε τα δεδομένα από και προς τη μνήμη. Τα καταστήματα παλαιού τύπου αντικειμένων δεν έχουν αρκετό από αυτό.
Αυτό είναι το βασικό σημείο: η νέα μέτρηση απόδοσης είναι η απόδοση και όχι η καθυστέρηση. Απαιτείται για δεδομένα σε κλίμακα και είναι ο κανόνας στη σύγχρονη υποδομή δεδομένων.
Αν και τα σημεία αναφοράς είναι ένας καλός τρόπος για τον προσδιορισμό της απόδοσης, δεν μπορεί να μετρηθεί με ακρίβεια πριν από την εκτέλεση της εφαρμογής στο περιβάλλον. Μόνο μετά από αυτό μπορείτε να πείτε πού ακριβώς βρίσκεται το σημείο συμφόρησης: σε λογισμικό, δίσκους, δίκτυο ή σε επίπεδο υπολογιστών.
Επεκτασιμότητα
Η επεκτασιμότητα αναφέρεται στον αριθμό των petabyte που χωρούν σε έναν χώρο ονομάτων. Αυτό που ισχυρίζονται οι πωλητές είναι η εύκολη επεκτασιμότητα, αυτό που δεν λένε είναι ότι καθώς κλιμακώνονται, τα τεράστια μονολιθικά συστήματα γίνονται εύθραυστα, πολύπλοκα, ασταθή και ακριβά.
Η νέα μέτρηση για την επεκτασιμότητα είναι ο αριθμός των χώρων ονομάτων ή των πελατών που μπορείτε να εξυπηρετήσετε. Η μέτρηση λαμβάνεται απευθείας από υπερκλιμακωτές, όπου τα δομικά στοιχεία αποθήκευσης είναι μικρά αλλά σε κλίμακα σε δισεκατομμύρια μονάδες. Σε γενικές γραμμές, αυτή είναι μια μέτρηση cloud.
Όταν τα δομικά στοιχεία είναι μικρά, είναι πιο εύκολο να βελτιστοποιηθούν για ασφάλεια, έλεγχο πρόσβασης, διαχείριση πολιτικής, διαχείριση κύκλου ζωής και ενημερώσεις χωρίς προβλήματα. Και τελικά να εξασφαλίσει την παραγωγικότητα. Το μέγεθος του δομικού στοιχείου είναι συνάρτηση της δυνατότητας ελέγχου της περιοχής αστοχίας, που είναι ο τρόπος με τον οποίο κατασκευάζονται συστήματα υψηλής ελαστικότητας.
Η πολυμίσθωση έχει πολλά χαρακτηριστικά. Ενώ η διάσταση μιλάει για το πώς οι οργανισμοί παρέχουν πρόσβαση σε δεδομένα και εφαρμογές, αναφέρεται επίσης στις ίδιες τις εφαρμογές και στη λογική πίσω από την απομόνωσή τους μεταξύ τους.
Χαρακτηριστικά μιας σύγχρονης προσέγγισης για πολλούς πελάτες:
- Σε σύντομο χρονικό διάστημα, ο αριθμός των πελατών μπορεί να αυξηθεί από αρκετές εκατοντάδες σε αρκετά εκατομμύρια.
- Οι πελάτες είναι εντελώς απομονωμένοι ο ένας από τον άλλο. Αυτό τους επιτρέπει να εκτελούν διαφορετικές εκδόσεις του ίδιου λογισμικού και να αποθηκεύουν αντικείμενα με διαφορετικές διαμορφώσεις, δικαιώματα, δυνατότητες, επίπεδα ασφάλειας και συντήρησης. Αυτό είναι απαραίτητο κατά την κλιμάκωση σε νέους διακομιστές, ενημερώσεις και γεωγραφίες.
- Η αποθήκευση είναι ελαστικά επεκτάσιμη, οι πόροι παρέχονται κατόπιν ζήτησης.
- Κάθε λειτουργία ελέγχεται από ένα API και αυτοματοποιείται χωρίς ανθρώπινη παρέμβαση.
- Το λογισμικό μπορεί να φιλοξενηθεί σε κοντέινερ και να χρησιμοποιεί τυπικά συστήματα ενορχήστρωσης όπως το Kubernetes.
Συμβατό με S3
Το Amazon S3 API είναι το de facto πρότυπο για την αποθήκευση αντικειμένων. Κάθε προμηθευτής λογισμικού αποθήκευσης αντικειμένων ισχυρίζεται ότι είναι συμβατό με αυτό. Η συμβατότητα με το S3 είναι δυαδική: είτε έχει υλοποιηθεί πλήρως είτε όχι.
Στην πράξη, υπάρχουν εκατοντάδες ή χιλιάδες σενάρια άκρων όπου κάτι δεν πάει καλά κατά τη χρήση της αποθήκευσης αντικειμένων. Ειδικά από παρόχους αποκλειστικού λογισμικού και υπηρεσιών. Οι κύριες περιπτώσεις χρήσης του είναι η άμεση αρχειοθέτηση ή η δημιουργία αντιγράφων ασφαλείας, επομένως υπάρχουν λίγοι λόγοι για να καλέσετε το API, οι περιπτώσεις χρήσης είναι ομοιογενείς.
Το λογισμικό ανοιχτού κώδικα έχει σημαντικά πλεονεκτήματα. Καλύπτει τα περισσότερα σενάρια αιχμής, δεδομένου του μεγέθους και της ποικιλίας των εφαρμογών, των λειτουργικών συστημάτων και των αρχιτεκτονικών υλικού.
Όλα αυτά είναι σημαντικά για τους προγραμματιστές εφαρμογών, επομένως αξίζει να δοκιμάσετε την εφαρμογή με παρόχους αποθήκευσης. Ο ανοιχτός κώδικας διευκολύνει τη διαδικασία—είναι πιο εύκολο να καταλάβετε ποια πλατφόρμα είναι κατάλληλη για την εφαρμογή σας. Ο πάροχος μπορεί να χρησιμοποιηθεί ως ενιαίο σημείο εισόδου στον χώρο αποθήκευσης, που σημαίνει ότι θα καλύψει τις ανάγκες σας.
Ανοιχτός κώδικας σημαίνει: οι εφαρμογές δεν συνδέονται με έναν προμηθευτή και είναι πιο διαφανείς. Αυτό εξασφαλίζει μεγάλο κύκλο ζωής εφαρμογής.
Και μερικές ακόμη σημειώσεις για το ανοιχτό κώδικα και το S3.
Εάν εκτελείτε μια εφαρμογή μεγάλων δεδομένων, το S3 SELECT βελτιώνει την απόδοση και την αποδοτικότητα κατά μια τάξη μεγέθους. Αυτό το κάνει χρησιμοποιώντας SQL για να ανακτήσει μόνο τα αντικείμενα που χρειάζεστε από την αποθήκευση.
Το βασικό σημείο είναι η υποστήριξη για ειδοποιήσεις κάδου. Οι ειδοποιήσεις κάδου διευκολύνουν τον υπολογισμό χωρίς διακομιστή, ένα σημαντικό στοιχείο οποιασδήποτε αρχιτεκτονικής μικροϋπηρεσιών που παρέχεται ως υπηρεσία. Δεδομένου ότι η αποθήκευση αντικειμένων είναι ουσιαστικά αποθήκευση στο cloud, αυτή η δυνατότητα καθίσταται κρίσιμη όταν η αποθήκευση αντικειμένων χρησιμοποιείται από εφαρμογές που βασίζονται σε σύννεφο.
Τέλος, η υλοποίηση του S3 πρέπει να υποστηρίζει τα API κρυπτογράφησης διακομιστή Amazon S3: SSE-C, SSE-S3, SSE-KMS. Ακόμη καλύτερα, το S3 υποστηρίζει προστασία από παραβιάσεις που είναι πραγματικά ασφαλής.
Ανταπόκριση σε αποτυχίες
Μια μέτρηση που πιθανώς συχνά παραβλέπεται είναι ο τρόπος με τον οποίο το σύστημα χειρίζεται τις αποτυχίες. Οι αποτυχίες συμβαίνουν για διάφορους λόγους και η αποθήκευση αντικειμένων πρέπει να τις χειρίζεται όλες.
Για παράδειγμα, υπάρχει ένα μόνο σημείο αποτυχίας, η μέτρηση αυτού είναι μηδέν.
Δυστυχώς, πολλά συστήματα αποθήκευσης αντικειμένων χρησιμοποιούν ειδικούς κόμβους που πρέπει να ενεργοποιηθούν για να λειτουργεί σωστά το σύμπλεγμα. Αυτά περιλαμβάνουν κόμβους ονομάτων ή διακομιστές μεταδεδομένων - αυτό δημιουργεί ένα μόνο σημείο αποτυχίας.
Ακόμη και όπου υπάρχουν πολλά σημεία αστοχίας, η ικανότητα να αντέχεις σε καταστροφική αστοχία είναι πρωταρχικής σημασίας. Οι δίσκοι αποτυγχάνουν, οι διακομιστές αποτυγχάνουν. Το κλειδί είναι να δημιουργήσετε λογισμικό σχεδιασμένο να χειρίζεται την αποτυχία ως κανονική κατάσταση. Εάν ένας δίσκος ή ένας κόμβος αποτύχει, αυτό το λογισμικό θα συνεχίσει να λειτουργεί χωρίς αλλαγές.
Η ενσωματωμένη προστασία έναντι της διαγραφής δεδομένων και της υποβάθμισης των δεδομένων διασφαλίζει ότι μπορείτε να χάσετε τόσους δίσκους ή κόμβους όσες έχετε μπλοκ ισοτιμίας—συνήθως τους μισούς δίσκους. Μόνο τότε το λογισμικό δεν θα μπορεί να επιστρέψει δεδομένα.
Η αστοχία δοκιμάζεται σπάνια υπό φορτίο, αλλά τέτοια δοκιμή είναι υποχρεωτική. Η προσομοίωση μιας αστοχίας φορτίου θα δείξει το συνολικό κόστος που προέκυψε μετά την αστοχία.
Συνοχή
Η βαθμολογία συνέπειας 100% ονομάζεται επίσης αυστηρή συνέπεια. Η συνέπεια είναι βασικό συστατικό οποιουδήποτε συστήματος αποθήκευσης, αλλά η ισχυρή συνέπεια είναι σπάνια. Για παράδειγμα, το Amazon S3 ListObject δεν είναι αυστηρά συνεπές, είναι συνεπές μόνο στο τέλος.
Τι σημαίνει αυστηρή συνέπεια; Για όλες τις λειτουργίες που ακολουθούν μια επιβεβαιωμένη λειτουργία PUT, πρέπει να συμβαίνουν τα εξής:
- Η ενημερωμένη τιμή είναι ορατή κατά την ανάγνωση από οποιονδήποτε κόμβο.
- Η ενημέρωση προστατεύεται από πλεονασμό αποτυχίας κόμβου.
Αυτό σημαίνει ότι αν τραβήξετε την πρίζα στη μέση μιας εγγραφής, τίποτα δεν θα χαθεί. Το σύστημα δεν επιστρέφει ποτέ κατεστραμμένα ή παλιά δεδομένα. Αυτός είναι ένας υψηλός πήχης που έχει σημασία σε πολλά σενάρια, από εφαρμογές συναλλαγών μέχρι δημιουργία αντιγράφων ασφαλείας και ανάκτηση.
Συμπέρασμα
Αυτές είναι νέες μετρήσεις αποθήκευσης αντικειμένων που αντικατοπτρίζουν μοτίβα χρήσης στους σημερινούς οργανισμούς, όπου η απόδοση, η συνέπεια, η επεκτασιμότητα, οι τομείς σφαλμάτων και η συμβατότητα S3 είναι τα δομικά στοιχεία για εφαρμογές cloud και ανάλυση μεγάλων δεδομένων. Συνιστώ τη χρήση αυτής της λίστας εκτός από την τιμή κατά τη δημιουργία σύγχρονων στοίβων δεδομένων.
Σχετικά με την αποθήκευση αντικειμένων Mail.ru Cloud Solutions: .
Τι άλλο να διαβάσετε:
- .
- .
- .
Πηγή: www.habr.com