Αυτός είναι ένας μύθος που είναι αρκετά κοινός στον τομέα του υλικού διακομιστή. Στην πράξη, υπερσυγκλίνουσες λύσεις (όταν όλα είναι σε ένα) χρειάζονται για πολλά πράγματα. Ιστορικά, οι πρώτες αρχιτεκτονικές αναπτύχθηκαν από την Amazon και την Google για τις υπηρεσίες τους. Τότε η ιδέα ήταν να φτιάξουμε ένα υπολογιστικό αγρόκτημα από πανομοιότυπους κόμβους, καθένας από τους οποίους είχε τους δικούς του δίσκους. Όλα αυτά ενώθηκαν από κάποιο λογισμικό διαμόρφωσης συστήματος (hypervisor) και χωρίστηκαν σε εικονικές μηχανές. Ο κύριος στόχος είναι η ελάχιστη προσπάθεια για την εξυπηρέτηση ενός κόμβου και τα ελάχιστα προβλήματα κατά την κλιμάκωση: απλώς αγοράστε άλλους χίλιους ή δύο ίδιους διακομιστές και συνδέστε τους κοντά. Στην πράξη πρόκειται για μεμονωμένες περιπτώσεις και πολύ πιο συχνά μιλάμε για μικρότερο αριθμό κόμβων και ελαφρώς διαφορετική αρχιτεκτονική.
Αλλά το συν παραμένει το ίδιο - απίστευτη ευκολία κλιμάκωσης και διαχείρισης. Το μειονέκτημα είναι ότι διαφορετικές εργασίες καταναλώνουν πόρους με διαφορετικό τρόπο και σε ορισμένα μέρη θα υπάρχουν πολλοί τοπικοί δίσκοι, σε άλλα θα υπάρχει λίγη RAM και ούτω καθεξής, δηλαδή, για διαφορετικούς τύπους εργασιών, η χρήση πόρων θα μειωθεί.
Αποδεικνύεται ότι πληρώνετε 10–15% περισσότερο για ευκολία εγκατάστασης. Αυτό είναι που πυροδότησε τον μύθο στον τίτλο. Ξοδέψαμε πολύ καιρό ψάχνοντας πού θα εφαρμοστεί βέλτιστα η τεχνολογία και το βρήκαμε. Γεγονός είναι ότι η Cisco δεν είχε δικά της συστήματα αποθήκευσης, αλλά ήθελε μια πλήρη αγορά διακομιστών. Και έφτιαξαν το Cisco Hyperflex - μια λύση με τοπική αποθήκευση σε κόμβους.
Και αυτό ξαφνικά αποδείχθηκε ότι ήταν μια πολύ καλή λύση για backup data centers (Disaster Recovery). Θα σας πω τώρα γιατί και πώς. Και θα σας δείξω τις δοκιμές συμπλέγματος.
Όπου χρειάζεται
Η υπερσύγκλιση είναι:
- Μεταφορά δίσκων σε κόμβους υπολογισμού.
- Πλήρης ενοποίηση του υποσυστήματος αποθήκευσης με το υποσύστημα εικονικοποίησης.
- Μεταφορά/ενσωμάτωση με το υποσύστημα δικτύου.
Αυτός ο συνδυασμός σάς επιτρέπει να εφαρμόσετε πολλές δυνατότητες συστήματος αποθήκευσης σε επίπεδο εικονικοποίησης και όλες από ένα παράθυρο ελέγχου.
Στην εταιρεία μας, τα έργα για τον σχεδιασμό περιττών κέντρων δεδομένων έχουν μεγάλη ζήτηση και συχνά επιλέγεται μια υπερσυγκλίνουσα λύση λόγω μιας δέσμης επιλογών αναπαραγωγής (μέχρι ένα metrocluster) εκτός συσκευασίας.
Στην περίπτωση των εφεδρικών κέντρων δεδομένων, συνήθως μιλάμε για μια απομακρυσμένη εγκατάσταση σε μια τοποθεσία στην άλλη πλευρά της πόλης ή σε άλλη πόλη συνολικά. Σας επιτρέπει να επαναφέρετε κρίσιμα συστήματα σε περίπτωση μερικής ή πλήρους βλάβης του κύριου κέντρου δεδομένων. Τα δεδομένα πωλήσεων αναπαράγονται συνεχώς εκεί και αυτή η αναπαραγωγή μπορεί να είναι σε επίπεδο εφαρμογής ή σε επίπεδο συσκευής μπλοκ (αποθήκευση).
Επομένως, τώρα θα μιλήσω για το σχεδιασμό του συστήματος και τις δοκιμές και, στη συνέχεια, για μερικά σενάρια εφαρμογών πραγματικής ζωής με δεδομένα εξοικονόμησης.
Δοκιμές
Το παράδειγμα μας αποτελείται από τέσσερις διακομιστές, καθένας από τους οποίους έχει 10 μονάδες SSD των 960 GB. Υπάρχει ένας αποκλειστικός δίσκος για την προσωρινή αποθήκευση των λειτουργιών εγγραφής και την αποθήκευση της εικονικής μηχανής υπηρεσίας. Η ίδια η λύση είναι η τέταρτη έκδοση. Το πρώτο είναι ειλικρινά ακατέργαστο (κρίνοντας από τις κριτικές), το δεύτερο είναι υγρό, το τρίτο είναι ήδη αρκετά σταθερό και αυτό μπορεί να ονομαστεί κυκλοφορία μετά το τέλος των δοκιμών beta για το ευρύ κοινό. Κατά τη διάρκεια της δοκιμής δεν είδα κανένα πρόβλημα, όλα λειτουργούν σαν ρολόι.
Αλλαγές στο v4Ένα σωρό σφάλματα διορθώθηκαν.
Αρχικά, η πλατφόρμα μπορούσε να λειτουργήσει μόνο με τον VMware ESXi hypervisor και υποστήριζε έναν μικρό αριθμό κόμβων. Επίσης, η διαδικασία ανάπτυξης δεν τελείωνε πάντα με επιτυχία, κάποια βήματα έπρεπε να επανεκκινηθούν, υπήρχαν προβλήματα με την ενημέρωση από παλαιότερες εκδόσεις, τα δεδομένα στο GUI δεν εμφανίζονταν πάντα σωστά (αν και δεν είμαι ακόμα ευχαριστημένος με την εμφάνιση γραφημάτων απόδοσης ), μερικές φορές προέκυψαν προβλήματα στη διεπαφή με την εικονικοποίηση.
Τώρα όλα τα προβλήματα της παιδικής ηλικίας έχουν επιδιορθωθεί, το HyperFlex μπορεί να χειριστεί τόσο το ESXi όσο και το Hyper-V, ενώ είναι δυνατό:
- Δημιουργία ενός τεντωμένου συμπλέγματος.
- Δημιουργία συμπλέγματος για γραφεία χωρίς χρήση Fabric Interconnect, από δύο έως τέσσερις κόμβους (αγοράζουμε μόνο διακομιστές).
- Δυνατότητα εργασίας με εξωτερικά συστήματα αποθήκευσης.
- Υποστήριξη για κοντέινερ και Kubernetes.
- Δημιουργία ζωνών διαθεσιμότητας.
- Ενσωμάτωση με VMware SRM εάν η ενσωματωμένη λειτουργικότητα δεν είναι ικανοποιητική.
Η αρχιτεκτονική δεν διαφέρει πολύ από τις λύσεις των κύριων ανταγωνιστών του· δεν δημιούργησαν ένα ποδήλατο. Όλα εκτελούνται στην πλατφόρμα εικονικοποίησης VMware ή Hyper-V. Το υλικό φιλοξενείται σε ιδιόκτητους διακομιστές UCS της Cisco. Υπάρχουν εκείνοι που μισούν την πλατφόρμα για τη σχετική πολυπλοκότητα της αρχικής ρύθμισης, πολλά κουμπιά, ένα μη τετριμμένο σύστημα προτύπων και εξαρτήσεων, αλλά υπάρχουν και εκείνοι που έχουν μάθει Zen, εμπνέονται από την ιδέα και δεν θέλουν πλέον να συνεργαστεί με άλλους διακομιστές.
Θα εξετάσουμε τη λύση για το VMware, καθώς η λύση δημιουργήθηκε αρχικά για αυτό και έχει περισσότερη λειτουργικότητα· το Hyper-V προστέθηκε στην πορεία για να συμβαδίσει με τους ανταγωνιστές και να ανταποκριθεί στις προσδοκίες της αγοράς.
Υπάρχει ένα σύμπλεγμα διακομιστών γεμάτο δίσκους. Υπάρχουν δίσκοι για αποθήκευση δεδομένων (SSD ή HDD - ανάλογα με το γούστο και τις ανάγκες σας), υπάρχει ένας δίσκος SSD για προσωρινή αποθήκευση. Κατά την εγγραφή δεδομένων στο χώρο αποθήκευσης δεδομένων, τα δεδομένα αποθηκεύονται στο επίπεδο προσωρινής αποθήκευσης (αποκλειστικός δίσκος SSD και RAM της υπηρεσίας VM). Παράλληλα, ένα μπλοκ δεδομένων αποστέλλεται στους κόμβους του συμπλέγματος (ο αριθμός των κόμβων εξαρτάται από τον παράγοντα αναπαραγωγής του συμπλέγματος). Μετά την επιβεβαίωση από όλους τους κόμβους σχετικά με την επιτυχή εγγραφή, η επιβεβαίωση της εγγραφής αποστέλλεται στον hypervisor και στη συνέχεια στο VM. Τα καταγεγραμμένα δεδομένα αφαιρούνται, συμπιέζονται και εγγράφονται σε δίσκους αποθήκευσης στο παρασκήνιο. Ταυτόχρονα, ένα μεγάλο μπλοκ γράφεται πάντα στους δίσκους αποθήκευσης και διαδοχικά, γεγονός που μειώνει το φορτίο στους δίσκους αποθήκευσης.
Η αντιγραφή και η συμπίεση είναι πάντα ενεργοποιημένες και δεν μπορούν να απενεργοποιηθούν. Τα δεδομένα διαβάζονται απευθείας από δίσκους αποθήκευσης ή από τη μνήμη RAM. Εάν χρησιμοποιείται υβριδική διαμόρφωση, οι αναγνώσεις αποθηκεύονται επίσης στην κρυφή μνήμη στο SSD.
Τα δεδομένα δεν συνδέονται με την τρέχουσα θέση της εικονικής μηχανής και κατανέμονται ομοιόμορφα μεταξύ των κόμβων. Αυτή η προσέγγιση σάς επιτρέπει να φορτώνετε όλους τους δίσκους και τις διεπαφές δικτύου εξίσου. Υπάρχει ένα προφανές μειονέκτημα: δεν μπορούμε να μειώσουμε την καθυστέρηση ανάγνωσης όσο το δυνατόν περισσότερο, καθώς δεν υπάρχει εγγύηση για τη διαθεσιμότητα των δεδομένων σε τοπικό επίπεδο. Πιστεύω όμως ότι αυτή είναι μια μικρή θυσία σε σύγκριση με τα οφέλη που λαμβάνονται. Επιπλέον, οι καθυστερήσεις δικτύου έχουν φτάσει σε τέτοιες τιμές που πρακτικά δεν επηρεάζουν το συνολικό αποτέλεσμα.
Ένας ειδικός ελεγκτής VM Cisco HyperFlex Data Platform, ο οποίος δημιουργείται σε κάθε κόμβο αποθήκευσης, είναι υπεύθυνος για ολόκληρη τη λογική λειτουργίας του υποσυστήματος δίσκου. Στη διαμόρφωση VM της υπηρεσίας μας, διατέθηκαν οκτώ vCPU και 72 GB μνήμης RAM, κάτι που δεν είναι τόσο λίγο. Να σας υπενθυμίσω ότι ο ίδιος ο κεντρικός υπολογιστής έχει 28 φυσικούς πυρήνες και 512 GB μνήμης RAM.
Η υπηρεσία VM έχει πρόσβαση σε φυσικούς δίσκους απευθείας προωθώντας τον ελεγκτή SAS στο VM. Η επικοινωνία με τον hypervisor πραγματοποιείται μέσω μιας ειδικής μονάδας IOVisor, η οποία παρεμποδίζει τις λειτουργίες I/O, και χρησιμοποιώντας έναν πράκτορα που σας επιτρέπει να στέλνετε εντολές στο API του hypervisor. Ο πράκτορας είναι υπεύθυνος για την εργασία με στιγμιότυπα και κλώνους HyperFlex.
Οι πόροι του δίσκου τοποθετούνται στον hypervisor ως κοινόχρηστα στοιχεία NFS ή SMB (ανάλογα με τον τύπο του hypervisor, μαντέψτε ποιος βρίσκεται πού). Και κάτω από την κουκούλα, αυτό είναι ένα κατανεμημένο σύστημα αρχείων που σας επιτρέπει να προσθέσετε δυνατότητες ολοκληρωμένων συστημάτων αποθήκευσης για ενήλικες: κατανομή λεπτού όγκου, συμπίεση και αντιγραφή, στιγμιότυπα χρησιμοποιώντας τεχνολογία Redirect-on-Write, σύγχρονη/ασύγχρονη αναπαραγωγή.
Η υπηρεσία VM παρέχει πρόσβαση στη διεπαφή διαχείρισης WEB του υποσυστήματος HyperFlex. Υπάρχει ενοποίηση με το vCenter και οι περισσότερες καθημερινές εργασίες μπορούν να εκτελεστούν από αυτό, αλλά οι χώροι αποθήκευσης δεδομένων, για παράδειγμα, είναι πιο βολικό να αποκοπούν από μια ξεχωριστή κάμερα web, εάν έχετε ήδη μεταβεί σε μια γρήγορη διεπαφή HTML5 ή χρησιμοποιείτε ένα πλήρες πρόγραμμα-πελάτη Flash με πλήρη ενσωμάτωση. Στην κάμερα web υπηρεσίας μπορείτε να δείτε την απόδοση και τη λεπτομερή κατάσταση του συστήματος.
Υπάρχει ένας άλλος τύπος κόμβου σε ένα σύμπλεγμα - οι υπολογιστικοί κόμβοι. Αυτοί μπορεί να είναι διακομιστές rack ή blade χωρίς ενσωματωμένους δίσκους. Αυτοί οι διακομιστές μπορούν να εκτελούν VM των οποίων τα δεδομένα αποθηκεύονται σε διακομιστές με δίσκους. Από την άποψη της πρόσβασης στα δεδομένα, δεν υπάρχει διαφορά μεταξύ των τύπων κόμβων, επειδή η αρχιτεκτονική περιλαμβάνει αφαίρεση από τη φυσική θέση των δεδομένων. Η μέγιστη αναλογία κόμβων υπολογιστών προς κόμβους αποθήκευσης είναι 2:1.
Η χρήση κόμβων υπολογιστών αυξάνει την ευελιξία κατά την κλιμάκωση πόρων συμπλέγματος: δεν χρειάζεται να αγοράζουμε επιπλέον κόμβους με δίσκους, αν χρειαζόμαστε μόνο CPU/RAM. Επιπλέον, μπορούμε να προσθέσουμε ένα blade cage και να κάνουμε οικονομία στην τοποθέτηση rack των διακομιστών.
Ως αποτέλεσμα, έχουμε μια υπερσυγκλίνουσα πλατφόρμα με τα ακόλουθα χαρακτηριστικά:
- Έως 64 κόμβοι σε ένα σύμπλεγμα (έως 32 κόμβοι αποθήκευσης).
- Ο ελάχιστος αριθμός κόμβων σε ένα σύμπλεγμα είναι τρεις (δύο για ένα σύμπλεγμα Edge).
- Μηχανισμός πλεονασμού δεδομένων: κατοπτρισμός με συντελεστές αναπαραγωγής 2 και 3.
- Συγκρότημα μετρό.
- Ασύγχρονη αντιγραφή VM σε άλλο σύμπλεγμα HyperFlex.
- Ενορχήστρωση αλλαγής VM σε απομακρυσμένο κέντρο δεδομένων.
- Εγγενή στιγμιότυπα χρησιμοποιώντας τεχνολογία Redirect-on-Write.
- Έως 1 PB χρησιμοποιήσιμου χώρου στον παράγοντα αναπαραγωγής 3 και χωρίς αντιγραφή. Δεν λαμβάνουμε υπόψη τον παράγοντα αναπαραγωγής 2, επειδή δεν αποτελεί επιλογή για σοβαρές πωλήσεις.
Ένα άλλο τεράστιο πλεονέκτημα είναι η ευκολία διαχείρισης και ανάπτυξης. Όλες οι πολυπλοκότητες της εγκατάστασης διακομιστών UCS αναλαμβάνονται από ένα εξειδικευμένο VM που έχει προετοιμαστεί από μηχανικούς της Cisco.
Διαμόρφωση πάγκου δοκιμής:
- 2 x Cisco UCS Fabric Interconnect 6248UP ως σύμπλεγμα διαχείρισης και στοιχεία δικτύου (48 θύρες λειτουργούν σε λειτουργία Ethernet 10G/FC 16G).
- Τέσσερις διακομιστές Cisco UCS HXAF240 M4.
Χαρακτηριστικά διακομιστή:
CPU
2 x Intel® Xeon® E5-2690 v4
RAM
16 x 32 GB DDR4-2400-MHz RDIMM/PC4-19200/διπλή κατάταξη/x4/1.2v
Δίκτυο
UCSC-MLOM-CSC-02 (VIC 1227). 2 θύρες Ethernet 10G
Αποθήκευση HBA
Cisco 12G Modular SAS Pass through Controller
Δίσκοι αποθήκευσης
1 x SSD Intel S3520 120 GB, 1 x SSD Samsung MZ-IES800D, 10 x SSD Samsung PM863a 960 GB
Περισσότερες επιλογές διαμόρφωσηςΕκτός από το επιλεγμένο υλικό, είναι διαθέσιμες αυτήν τη στιγμή οι ακόλουθες επιλογές:
- HXAF240c M5.
- Μία ή δύο CPU που κυμαίνονται από Intel Silver 4110 έως Intel Platinum I8260Y. Δεύτερη γενιά διαθέσιμη.
- 24 υποδοχές μνήμης, ταινίες από 16 GB RDIMM 2600 έως 128 GB LRDIMM 2933.
- Από 6 έως 23 δίσκους δεδομένων, έναν δίσκο προσωρινής αποθήκευσης, έναν δίσκο συστήματος και έναν δίσκο εκκίνησης.
Δίσκοι χωρητικότητας
- HX-SD960G61X-EV 960GB 2.5 ιντσών Enterprise Value 6G SATA SSD (1X endurance) SAS 960 GB.
- HX-SD38T61X-EV 3.8TB 2.5 ιντσών Enterprise Value 6G SATA SSD (αντοχή 1X) SAS 3.8 TB.
- Προσωρινή αποθήκευση μονάδων δίσκου
- HX-NVMEXPB-I375 375 GB 2.5 ιντσών Intel Optane Drive, Extreme Perf & Endurance.
- HX-NVMEHW-H1600* 1.6TB 2.5 ιντσών Εντ. Perf. NVMe SSD (3X αντοχής) NVMe 1.6 TB.
- HX-SD400G12TX-EP 400GB 2.5 ιντσών Εντ. Perf. 12G SAS SSD (αντοχή 10X) SAS 400 GB.
- HX-SD800GBENK9** 800GB 2.5 ιντσών Εντ. Perf. 12G SAS SED SSD (αντοχή 10X) SAS 800 GB.
- HX-SD16T123X-EP 1.6TB 2.5 ιντσών Επιχειρησιακή απόδοση 12G SAS SSD (αντοχή 3Χ).
Μονάδες δίσκου συστήματος/καταγραφής
- HX-SD240GM1X-EV 240GB 2.5 ιντσών Enterprise Value 6G SATA SSD (Απαιτείται αναβάθμιση).
Δίσκοι εκκίνησης
- HX-M2-240GB 240GB SATA M.2 SSD SATA 240 GB.
Συνδεθείτε στο δίκτυο μέσω θυρών Ethernet 40G, 25G ή 10G.
Το FI μπορεί να είναι HX-FI-6332 (40G), HX-FI-6332-16UP (40G), HX-FI-6454 (40G/100G).
Το ίδιο το τεστ
Για να δοκιμάσω το υποσύστημα του δίσκου, χρησιμοποίησα το HCIBench 2.2.1. Αυτό είναι ένα δωρεάν βοηθητικό πρόγραμμα που σας επιτρέπει να αυτοματοποιήσετε τη δημιουργία ενός φορτίου από πολλαπλές εικονικές μηχανές. Το ίδιο το φορτίο δημιουργείται από το συνηθισμένο fio.
Το σύμπλεγμα μας αποτελείται από τέσσερις κόμβους, παράγοντας αναπαραγωγής 3, όλοι οι δίσκοι είναι Flash.
Για δοκιμή, δημιούργησα τέσσερις αποθήκες δεδομένων και οκτώ εικονικές μηχανές. Για δοκιμές εγγραφής, θεωρείται ότι ο δίσκος προσωρινής αποθήκευσης δεν είναι γεμάτος.
Τα αποτελέσματα των δοκιμών είναι τα εξής:
100% Ανάγνωση 100% Τυχαία
0% Ανάγνωση 100% Τυχαία
Βάθος μπλοκ/ουράς
128
256
512
1024
2048
128
256
512
1024
2048
4K
0,59 ms 213804 IOPS
0,84 ms 303540 IOPS
1,36ms 374348 IOPS
2.47 ms 414116 IOPS
4,86ms 420180 IOPS
2,22 ms 57408 IOPS
3,09 ms 82744 IOPS
5,02 ms 101824 IPOS
8,75 ms 116912 IOPS
17,2 ms 118592 IOPS
8K
0,67 ms 188416 IOPS
0,93 ms 273280 IOPS
1,7 ms 299932 IOPS
2,72 ms 376,484 IOPS
5,47 ms 373,176 IOPS
3,1 ms 41148 IOPS
4,7 ms 54396 IOPS
7,09 ms 72192 IOPS
12,77 ms 80132 IOPS
16K
0,77 ms 164116 IOPS
1,12 ms 228328 IOPS
1,9 ms 268140 IOPS
3,96 ms 258480 IOPS
3,8 ms 33640 IOPS
6,97 ms 36696 IOPS
11,35 ms 45060 IOPS
32K
1,07 ms 119292 IOPS
1,79 ms 142888 IOPS
3,56 ms 143760 IOPS
7,17 ms 17810 IOPS
11,96 ms 21396 IOPS
64K
1,84 ms 69440 IOPS
3,6 ms 71008 IOPS
7,26 ms 70404 IOPS
11,37 ms 11248 IOPS
Η έντονη γραφή υποδηλώνει τιμές μετά τις οποίες δεν υπάρχει αύξηση της παραγωγικότητας, μερικές φορές είναι ορατή ακόμη και η υποβάθμιση. Αυτό οφείλεται στο γεγονός ότι περιοριζόμαστε από την απόδοση του δικτύου/ελεγκτών/δίσκων.
- Διαδοχική ανάγνωση 4432 MB/s.
- Διαδοχική εγγραφή 804 MB/s.
- Εάν αποτύχει ένας ελεγκτής (αστοχία εικονικής μηχανής ή κεντρικού υπολογιστή), η πτώση απόδοσης είναι διπλή.
- Εάν ο δίσκος αποθήκευσης αποτύχει, η μείωση είναι 1/3. Η ανακατασκευή δίσκου παίρνει το 5% των πόρων κάθε ελεγκτή.
Σε ένα μικρό μπλοκ, περιοριζόμαστε από την απόδοση του ελεγκτή (εικονική μηχανή), η CPU του φορτώνεται στο 100%, και όταν το μπλοκ αυξάνεται, περιοριζόμαστε από το εύρος ζώνης της θύρας. Τα 10 Gbps δεν είναι αρκετά για να ξεκλειδώσετε τις δυνατότητες του συστήματος AllFlash. Δυστυχώς, οι παράμετροι της παρεχόμενης βάσης επίδειξης δεν μας επιτρέπουν να δοκιμάσουμε τη λειτουργία στα 40 Gbit/s.
Κατά την εντύπωσή μου από τις δοκιμές και τη μελέτη της αρχιτεκτονικής, λόγω του αλγόριθμου που τοποθετεί δεδομένα μεταξύ όλων των κεντρικών υπολογιστών, έχουμε κλιμακούμενες, προβλέψιμες επιδόσεις, αλλά αυτό είναι επίσης ένας περιορισμός κατά την ανάγνωση, επειδή θα ήταν δυνατό να αποσπαστούν περισσότερα από τους τοπικούς δίσκους, εδώ μπορεί να εξοικονομήσει ένα πιο παραγωγικό δίκτυο, για παράδειγμα, διατίθεται FI στα 40 Gbit/s.
Επίσης, ένας δίσκος για caching και deduplication μπορεί να είναι περιορισμός· στην πραγματικότητα, σε αυτό το testbed μπορούμε να γράψουμε σε τέσσερις δίσκους SSD. Θα ήταν υπέροχο να μπορούσαμε να αυξήσουμε τον αριθμό των μονάδων αποθήκευσης στην κρυφή μνήμη και να δούμε τη διαφορά.
Πραγματική χρήση
Για να οργανώσετε ένα εφεδρικό κέντρο δεδομένων, μπορείτε να χρησιμοποιήσετε δύο προσεγγίσεις (δεν εξετάζουμε το ενδεχόμενο να τοποθετήσετε αντίγραφο ασφαλείας σε απομακρυσμένο ιστότοπο):
- Ενεργητικος παθητικος. Όλες οι εφαρμογές φιλοξενούνται στο κεντρικό κέντρο δεδομένων. Η αναπαραγωγή είναι σύγχρονη ή ασύγχρονη. Εάν το κύριο κέντρο δεδομένων αποτύχει, πρέπει να ενεργοποιήσουμε το εφεδρικό. Αυτό μπορεί να γίνει χειροκίνητα/σενάρια/εφαρμογές ενορχήστρωσης. Εδώ θα λάβουμε ένα RPO ανάλογο με τη συχνότητα αναπαραγωγής και το RTO εξαρτάται από την αντίδραση και τις δεξιότητες του διαχειριστή και την ποιότητα ανάπτυξης/αποσφαλμάτωσης του σχεδίου μεταγωγής.
- Ενεργός-Ενεργός. Σε αυτήν την περίπτωση, υπάρχει μόνο σύγχρονη αναπαραγωγή· η διαθεσιμότητα των κέντρων δεδομένων καθορίζεται από μια απαρτία/διαιτητή που βρίσκεται αυστηρά στον τρίτο ιστότοπο. RPO = 0 και το RTO μπορεί να φτάσει το 0 (αν το επιτρέπει η εφαρμογή) ή ίσο με το χρόνο ανακατεύθυνσης ενός κόμβου σε ένα σύμπλεγμα εικονικοποίησης. Σε επίπεδο εικονικοποίησης, δημιουργείται ένα τεντωμένο σύμπλεγμα (Metro) που απαιτεί Ενεργό-Ενεργό χώρο αποθήκευσης.
Συνήθως βλέπουμε ότι οι πελάτες έχουν ήδη εφαρμόσει μια αρχιτεκτονική με ένα κλασικό σύστημα αποθήκευσης στο κύριο κέντρο δεδομένων, οπότε σχεδιάζουμε μια άλλη για αναπαραγωγή. Όπως ανέφερα, το Cisco HyperFlex προσφέρει ασύγχρονη αναπαραγωγή και δημιουργία συμπλέγματος εκτεταμένης εικονικοποίησης. Ταυτόχρονα, δεν χρειαζόμαστε ένα αποκλειστικό σύστημα αποθήκευσης επιπέδου Midrange και υψηλότερο με ακριβές λειτουργίες αναπαραγωγής και πρόσβαση σε δεδομένα Active-Active σε δύο συστήματα αποθήκευσης.
Σενάριο 1: Έχουμε ένα κύριο και εφεδρικό κέντρο δεδομένων, μια πλατφόρμα εικονικοποίησης στο VMware vSphere. Όλα τα παραγωγικά συστήματα βρίσκονται στο κύριο κέντρο δεδομένων και η αναπαραγωγή των εικονικών μηχανών εκτελείται σε επίπεδο υπερεπόπτη, κάτι που θα αποτρέψει τη διατήρηση των εικονικών μηχανών ενεργοποιημένων στο εφεδρικό κέντρο δεδομένων. Αναπαράγουμε βάσεις δεδομένων και ειδικές εφαρμογές χρησιμοποιώντας ενσωματωμένα εργαλεία και διατηρούμε τα VM ενεργοποιημένα. Εάν το κύριο κέντρο δεδομένων αποτύχει, εκκινούμε συστήματα στο εφεδρικό κέντρο δεδομένων. Πιστεύουμε ότι έχουμε περίπου 100 εικονικές μηχανές. Ενώ το κύριο κέντρο δεδομένων είναι σε λειτουργία, το κέντρο δεδομένων αναμονής μπορεί να εκτελέσει δοκιμαστικά περιβάλλοντα και άλλα συστήματα που μπορούν να τερματιστούν εάν το κύριο κέντρο δεδομένων αλλάξει. Είναι επίσης πιθανό να χρησιμοποιήσουμε αμφίδρομη αναπαραγωγή. Από πλευράς υλικού, τίποτα δεν θα αλλάξει.
Στην περίπτωση της κλασικής αρχιτεκτονικής, θα εγκαταστήσουμε σε κάθε κέντρο δεδομένων ένα υβριδικό σύστημα αποθήκευσης με πρόσβαση μέσω FibreChannel, tiering, deduplication και συμπίεση (αλλά όχι online), 8 διακομιστές για κάθε ιστότοπο, 2 μεταγωγείς FibreChannel και 10G Ethernet. Για διαχείριση αναπαραγωγής και εναλλαγής σε μια κλασική αρχιτεκτονική, μπορούμε να χρησιμοποιήσουμε εργαλεία VMware (Replication + SRM) ή εργαλεία τρίτων, τα οποία θα είναι λίγο φθηνότερα και μερικές φορές πιο βολικά.
Το σχήμα δείχνει το διάγραμμα.
Όταν χρησιμοποιείτε το Cisco HyperFlex, λαμβάνεται η ακόλουθη αρχιτεκτονική:
Για το HyperFlex, χρησιμοποίησα διακομιστές με μεγάλους πόρους CPU/RAM, επειδή... Μερικοί από τους πόρους θα πάνε στον ελεγκτή HyperFlex VM· όσον αφορά την CPU και τη μνήμη, ρύθμισα ξανά τις παραμέτρους του HyperFlex για να μην παίζω μαζί με τη Cisco και να εγγυηθώ πόρους για τα υπόλοιπα VM. Αλλά μπορούμε να εγκαταλείψουμε τους μεταγωγείς FibreChannel και δεν θα χρειαστούμε θύρες Ethernet για κάθε διακομιστή· η τοπική κίνηση εναλλάσσεται εντός του FI.
Το αποτέλεσμα ήταν η ακόλουθη διαμόρφωση για κάθε κέντρο δεδομένων:
Διακομιστές
Διακομιστής 8 x 1U (384 GB RAM, 2 x Intel Gold 6132, FC HBA)
8 x HX240C-M5L (512 GB RAM, 2 x Intel Gold 6150, 3,2 GB SSD, 10 x 6 TB NL-SAS)
SHD
Υβριδικό σύστημα αποθήκευσης με FC Front-End (20TB SSD, 130 TB NL-SAS)
-
LAN
2 x διακόπτης Ethernet 10G 12 θύρες
-
SAN
2 x FC switch 32/16Gb 24 θύρες
2 x Cisco UCS FI 6332
Άδειες
VMware Ent Plus
Αναπαραγωγή ή/και ενορχήστρωση της εναλλαγής VM
VMware Ent Plus
Δεν παρείχα άδειες χρήσης λογισμικού αναπαραγωγής για το Hyperflex, καθώς αυτό είναι διαθέσιμο εκτός συσκευασίας για εμάς.
Για την κλασική αρχιτεκτονική, επέλεξα έναν πωλητή που έχει καθιερωθεί ως κατασκευαστής υψηλής ποιότητας και φθηνού κόστους. Και για τις δύο επιλογές, εφάρμοσα την τυπική έκπτωση για μια συγκεκριμένη λύση, και ως αποτέλεσμα έλαβα πραγματικές τιμές.
Η λύση Cisco HyperFlex αποδείχθηκε 13% φθηνότερη.
Σενάριο 2: δημιουργία δύο ενεργών κέντρων δεδομένων. Σε αυτό το σενάριο, σχεδιάζουμε ένα τεντωμένο σύμπλεγμα στο VMware.
Η κλασική αρχιτεκτονική αποτελείται από διακομιστές εικονικοποίησης, ένα SAN (πρωτόκολλο FC) και δύο συστήματα αποθήκευσης που μπορούν να διαβάζουν και να γράφουν στον τόμο που εκτείνεται μεταξύ τους. Σε κάθε σύστημα αποθήκευσης βάζουμε μια χρήσιμη χωρητικότητα για αποθήκευση.
Στο HyperFlex απλά δημιουργούμε ένα Stretch Cluster με τον ίδιο αριθμό κόμβων και στις δύο τοποθεσίες. Σε αυτή την περίπτωση, χρησιμοποιείται συντελεστής αναπαραγωγής 2+2.
Το αποτέλεσμα είναι η ακόλουθη διαμόρφωση:
κλασική αρχιτεκτονική
HyperFlex
Διακομιστές
Διακομιστής 16 x 1U (384 GB RAM, 2 x Intel Gold 6132, FC HBA, 2 x 10G NIC)
16 x HX240C-M5L (512 GB RAM, 2 x Intel Gold 6132, 1,6 TB NVMe, 12 x 3,8 TB SSD, VIC 1387)
SHD
2 x συστήματα αποθήκευσης AllFlash (150 TB SSD)
-
LAN
4 x διακόπτης Ethernet 10G 24 θύρες
-
SAN
4 x FC switch 32/16Gb 24 θύρες
4 x Cisco UCS FI 6332
Άδειες
VMware Ent Plus
VMware Ent Plus
Σε όλους τους υπολογισμούς, δεν έλαβα υπόψη την υποδομή δικτύου, το κόστος του κέντρου δεδομένων κ.λπ.: θα είναι τα ίδια για την κλασική αρχιτεκτονική και για τη λύση HyperFlex.
Όσον αφορά το κόστος, το HyperFlex αποδείχθηκε ακριβότερο κατά 5%. Αξίζει να σημειωθεί εδώ ότι όσον αφορά τους πόρους CPU/RAM είχα μια λοξή για τη Cisco, επειδή στη διαμόρφωση γέμισα ομοιόμορφα τα κανάλια του ελεγκτή μνήμης. Το κόστος είναι ελαφρώς υψηλότερο, αλλά όχι κατά τάξη μεγέθους, γεγονός που δείχνει ξεκάθαρα ότι η υπερσύγκλιση δεν είναι απαραίτητα «παιχνίδι για τους πλούσιους», αλλά μπορεί να ανταγωνιστεί την τυπική προσέγγιση για την κατασκευή ενός κέντρου δεδομένων. Αυτό μπορεί επίσης να ενδιαφέρει όσους έχουν ήδη διακομιστές Cisco UCS και την αντίστοιχη υποδομή για αυτούς.
Μεταξύ των πλεονεκτημάτων, έχουμε την απουσία κόστους για τη διαχείριση συστημάτων SAN και αποθήκευσης, ηλεκτρονική συμπίεση και αφαίρεση διπλότυπων, ένα μόνο σημείο εισόδου για υποστήριξη (εικονικότητα, διακομιστές, είναι επίσης συστήματα αποθήκευσης), εξοικονόμηση χώρου (αλλά όχι σε όλα τα σενάρια). απλοποίηση της λειτουργίας.
Όσον αφορά την υποστήριξη, εδώ τη λαμβάνετε από έναν προμηθευτή - τη Cisco. Κρίνοντας από την εμπειρία μου με τους διακομιστές Cisco UCS, μου αρέσει· δεν χρειάστηκε να το ανοίξω στο HyperFlex, όλα λειτουργούσαν το ίδιο. Οι μηχανικοί ανταποκρίνονται άμεσα και μπορούν να λύσουν όχι μόνο τυπικά προβλήματα, αλλά και περίπλοκες περιπτώσεις. Μερικές φορές τους γυρίζω με ερωτήσεις: "Είναι δυνατόν να το κάνετε αυτό, βιδώστε το;" ή "Διαμόρφωσα κάτι εδώ και δεν θέλει να λειτουργήσει. Βοήθεια!" - θα βρουν υπομονετικά τον απαραίτητο οδηγό εκεί και θα υποδείξουν τις σωστές ενέργειες, δεν θα απαντήσουν: «Εμείς λύνουμε μόνο προβλήματα υλικού».
παραπομπές
- Η αλληλογραφία μου - [προστασία μέσω email]
Πηγή: www.habr.com