Σε αυτό το άρθρο, θα ήθελα να μιλήσω για τις δυνατότητες όλων των συστοιχιών Flash AccelStor που λειτουργούν με μια από τις πιο δημοφιλείς πλατφόρμες εικονικοποίησης - VMware vSphere. Ειδικότερα, εστιάστε σε εκείνες τις παραμέτρους που θα σας βοηθήσουν να έχετε το μέγιστο αποτέλεσμα από τη χρήση ενός τόσο ισχυρού εργαλείου όπως το All Flash.
AccelStor NeoSapphire™ Όλες οι συστοιχίες Flash είναι ή συσκευές κόμβου που βασίζονται σε μονάδες SSD με μια θεμελιωδώς διαφορετική προσέγγιση για την υλοποίηση της έννοιας της αποθήκευσης δεδομένων και την οργάνωση της πρόσβασης σε αυτήν χρησιμοποιώντας αποκλειστική τεχνολογία αντί των πολύ δημοφιλών αλγορίθμων RAID. Οι συστοιχίες παρέχουν πρόσβαση μπλοκ σε κεντρικούς υπολογιστές μέσω διασυνδέσεων Fiber Channel ή iSCSI. Για να είμαστε δίκαιοι, σημειώνουμε ότι τα μοντέλα με διεπαφή ISCSI έχουν επίσης πρόσβαση σε αρχεία ως ένα ωραίο μπόνους. Αλλά σε αυτό το άρθρο θα επικεντρωθούμε στη χρήση των πρωτοκόλλων μπλοκ ως τα πιο παραγωγικά για All Flash.
Η όλη διαδικασία ανάπτυξης και η επακόλουθη διαμόρφωση της κοινής λειτουργίας της συστοιχίας AccelStor και του συστήματος εικονικοποίησης VMware vSphere μπορεί να χωριστεί σε διάφορα στάδια:
- Υλοποίηση τοπολογίας σύνδεσης και διαμόρφωση δικτύου SAN.
- Ρύθμιση όλων των συστοιχιών Flash.
- Διαμόρφωση κεντρικών υπολογιστών ESXi.
- Ρύθμιση εικονικών μηχανών.
Ως δείγμα υλικού χρησιμοποιήθηκαν συστοιχίες καναλιών ινών AccelStor NeoSapphire™ και συστοιχίες iSCSI. Το βασικό λογισμικό είναι το VMware vSphere 6.7U1.
Πριν από την ανάπτυξη των συστημάτων που περιγράφονται σε αυτό το άρθρο, συνιστάται ιδιαίτερα να διαβάσετε την τεκμηρίωση από το VMware σχετικά με ζητήματα απόδοσης ( ) και ρυθμίσεις iSCSI ()
Τοπολογία σύνδεσης και διαμόρφωση δικτύου SAN
Τα κύρια στοιχεία ενός δικτύου SAN είναι τα HBA σε κεντρικούς υπολογιστές ESXi, διακόπτες SAN και κόμβους συστοιχιών. Μια τυπική τοπολογία για ένα τέτοιο δίκτυο θα μοιάζει με αυτό:
Ο όρος Switch εδώ αναφέρεται τόσο σε έναν ξεχωριστό φυσικό διακόπτη ή σε ένα σύνολο διακοπτών (Fabric) όσο και σε μια συσκευή κοινής χρήσης μεταξύ διαφορετικών υπηρεσιών (VSAN στην περίπτωση του Fiber Channel και VLAN στην περίπτωση του iSCSI). Η χρήση δύο ανεξάρτητων διακοπτών/υφασμάτων θα εξαλείψει ένα πιθανό σημείο αστοχίας.
Η απευθείας σύνδεση κεντρικών υπολογιστών στη συστοιχία, αν και υποστηρίζεται, δεν συνιστάται ιδιαίτερα. Η απόδοση όλων των συστοιχιών Flash είναι αρκετά υψηλή. Και για μέγιστη ταχύτητα, πρέπει να χρησιμοποιούνται όλες οι θύρες της συστοιχίας. Επομένως, η παρουσία τουλάχιστον ενός διακόπτη μεταξύ των κεντρικών υπολογιστών και του NeoSapphire™ είναι υποχρεωτική.
Η παρουσία δύο θυρών στο κεντρικό HBA είναι επίσης υποχρεωτική προϋπόθεση για την επίτευξη μέγιστης απόδοσης και τη διασφάλιση της ανοχής σφαλμάτων.
Όταν χρησιμοποιείτε μια διεπαφή καναλιού οπτικών ινών, η διαμόρφωση ζωνών πρέπει να ρυθμίζεται έτσι ώστε να εξαλείφονται πιθανές συγκρούσεις μεταξύ εκκινητή και στόχων. Οι ζώνες είναι χτισμένες με βάση την αρχή «μία θύρα εκκινητή – μία ή περισσότερες θύρες συστοιχίας».
Εάν χρησιμοποιείτε μια σύνδεση μέσω iSCSI στην περίπτωση χρήσης ενός μεταγωγέα κοινόχρηστου με άλλες υπηρεσίες, τότε είναι επιτακτική ανάγκη να απομονώσετε την κίνηση iSCSI μέσα σε ένα ξεχωριστό VLAN. Συνιστάται επίσης ανεπιφύλακτα η ενεργοποίηση της υποστήριξης για Jumbo Frames (MTU = 9000) για την αύξηση του μεγέθους των πακέτων στο δίκτυο και συνεπώς τη μείωση του όγκου των γενικών πληροφοριών κατά τη μετάδοση. Ωστόσο, αξίζει να θυμόμαστε ότι για τη σωστή λειτουργία είναι απαραίτητο να αλλάξετε την παράμετρο MTU σε όλα τα στοιχεία δικτύου κατά μήκος της αλυσίδας "initiator-switch-target".
Ρύθμιση όλων των συστοιχιών Flash
Η συστοιχία παραδίδεται σε πελάτες με ήδη σχηματισμένες ομάδες . Επομένως, δεν χρειάζεται να ληφθούν μέτρα για να συνδυαστούν μονάδες δίσκου σε μια ενιαία δομή. Απλά πρέπει να δημιουργήσετε τόμους του απαιτούμενου μεγέθους και ποσότητας.
Για ευκολία, υπάρχει λειτουργικότητα για τη δημιουργία παρτίδων πολλών τόμων ενός δεδομένου μεγέθους ταυτόχρονα. Από προεπιλογή, δημιουργούνται μικροί όγκοι, καθώς αυτό επιτρέπει την αποτελεσματικότερη χρήση του διαθέσιμου αποθηκευτικού χώρου (συμπεριλαμβανομένης της υποστήριξης για Space Reclamation). Όσον αφορά την απόδοση, η διαφορά μεταξύ «λεπτών» και «παχιών» όγκων δεν υπερβαίνει το 1%. Ωστόσο, αν θέλετε να "στριμώξετε όλο το ζουμί" από μια συστοιχία, μπορείτε πάντα να μετατρέψετε οποιονδήποτε "λεπτό" όγκο σε "χοντρό". Αλλά πρέπει να θυμόμαστε ότι μια τέτοια επέμβαση είναι μη αναστρέψιμη.
Στη συνέχεια, απομένει η «δημοσίευση» των δημιουργημένων τόμων και η ρύθμιση δικαιωμάτων πρόσβασης σε αυτούς από τους κεντρικούς υπολογιστές χρησιμοποιώντας ACL (διευθύνσεις IP για iSCSI και WWPN για FC) και φυσικό διαχωρισμό με θύρες συστοιχιών. Για τα μοντέλα iSCSI αυτό γίνεται με τη δημιουργία ενός Target.
Για τα μοντέλα FC, η δημοσίευση πραγματοποιείται μέσω της δημιουργίας ενός LUN για κάθε θύρα της συστοιχίας.
Για να επιταχυνθεί η διαδικασία εγκατάστασης, οι κεντρικοί υπολογιστές μπορούν να συνδυαστούν σε ομάδες. Επιπλέον, εάν ο κεντρικός υπολογιστής χρησιμοποιεί ένα FC HBA πολλαπλών θυρών (κάτι που στην πράξη συμβαίνει συχνότερα), τότε το σύστημα καθορίζει αυτόματα ότι οι θύρες ενός τέτοιου HBA ανήκουν σε έναν μόνο κεντρικό υπολογιστή χάρη σε WWPN που διαφέρουν κατά μία. Η δημιουργία παρτίδας του Target/LUN υποστηρίζεται επίσης και για τις δύο διεπαφές.
Μια σημαντική σημείωση κατά τη χρήση της διεπαφής iSCSI είναι η δημιουργία πολλαπλών στόχων για τόμους ταυτόχρονα για να αυξηθεί η απόδοση, καθώς η ουρά στον στόχο δεν μπορεί να αλλάξει και θα είναι ουσιαστικά μια συμφόρηση.
Διαμόρφωση κεντρικών υπολογιστών ESXi
Στην πλευρά του κεντρικού υπολογιστή ESXi, η βασική διαμόρφωση εκτελείται σύμφωνα με ένα απολύτως αναμενόμενο σενάριο. Διαδικασία για σύνδεση iSCSI:
- Προσθήκη λογισμικού iSCSI Adapter (δεν απαιτείται αν έχει ήδη προστεθεί ή εάν χρησιμοποιείτε Hardware iSCSI Adapter).
- Δημιουργία ενός vSwitch μέσω του οποίου θα διέρχεται η κίνηση iSCSI και προσθήκη μιας φυσικής uplink και VMkernal σε αυτό.
- Προσθήκη διευθύνσεων πίνακα στο Dynamic Discovery.
- Δημιουργία χώρου αποθήκευσης δεδομένων
Μερικές σημαντικές σημειώσεις:
- Στη γενική περίπτωση, φυσικά, μπορείτε να χρησιμοποιήσετε ένα υπάρχον vSwitch, αλλά στην περίπτωση ενός ξεχωριστού vSwitch, η διαχείριση των ρυθμίσεων του κεντρικού υπολογιστή θα είναι πολύ πιο εύκολη.
- Είναι απαραίτητο να διαχωρίσετε την κυκλοφορία διαχείρισης και iSCSI σε ξεχωριστούς φυσικούς συνδέσμους ή/και VLAN για την αποφυγή προβλημάτων απόδοσης.
- Οι διευθύνσεις IP του VMkernal και οι αντίστοιχες θύρες της συστοιχίας All Flash πρέπει να βρίσκονται στο ίδιο υποδίκτυο, και πάλι λόγω προβλημάτων απόδοσης.
- Για να διασφαλιστεί η ανοχή σφαλμάτων σύμφωνα με τους κανόνες του VMware, το vSwitch πρέπει να έχει τουλάχιστον δύο φυσικές συνδέσεις
- Εάν χρησιμοποιούνται Jumbo Frames, πρέπει να αλλάξετε το MTU τόσο του vSwitch όσο και του VMkernal
- Θα ήταν χρήσιμο να σας υπενθυμίσουμε ότι σύμφωνα με τις συστάσεις της VMware για φυσικούς προσαρμογείς που θα χρησιμοποιηθούν για την εργασία με την κυκλοφορία iSCSI, είναι απαραίτητο να διαμορφώσετε το Teaming και το Failover. Συγκεκριμένα, κάθε VMkernal πρέπει να λειτουργεί μέσω μίας μόνο ανοδικής ζεύξης, η δεύτερη ανοδική σύνδεση πρέπει να μεταβεί σε μη χρησιμοποιημένη λειτουργία. Για ανοχή σφαλμάτων, πρέπει να προσθέσετε δύο VMkernals, καθένα από τα οποία θα λειτουργεί μέσω της δικής του uplink.
Προσαρμογέας VMkernel (vmk#)
Προσαρμογέας φυσικού δικτύου (vmnic#)
vmk1 (Αποθήκευση01)
Ενεργοί προσαρμογείς
vmnic2
Αχρησιμοποίητοι προσαρμογείς
vmnic3
vmk2 (Αποθήκευση02)
Ενεργοί προσαρμογείς
vmnic3
Αχρησιμοποίητοι προσαρμογείς
vmnic2
Δεν απαιτούνται προκαταρκτικά βήματα για τη σύνδεση μέσω Fiber Channel. Μπορείτε να δημιουργήσετε αμέσως ένα Datastore.
Αφού δημιουργήσετε το Datastore, πρέπει να βεβαιωθείτε ότι η πολιτική Round Robin για διαδρομές προς το Target/LUN χρησιμοποιείται ως η πιο αποτελεσματική.
Από προεπιλογή, οι ρυθμίσεις VMware προβλέπουν τη χρήση αυτής της πολιτικής σύμφωνα με το σχήμα: 1000 αιτήματα μέσω της πρώτης διαδρομής, τα επόμενα 1000 αιτήματα μέσω της δεύτερης διαδρομής κ.λπ. Αυτή η αλληλεπίδραση μεταξύ του κεντρικού υπολογιστή και της συστοιχίας δύο ελεγκτών θα είναι μη ισορροπημένη. Επομένως, συνιστούμε να ορίσετε την πολιτική Round Robin = 1 παράμετρος μέσω Esxcli/PowerCLI.
Παράμετροι
Για το Esxcli:
- Κατάλογος διαθέσιμων LUN
Λίστα συσκευών αποθήκευσης nmp esxcli
- Αντιγραφή ονόματος συσκευής
- Αλλαγή της πολιτικής Round Robin
Set esxcli storage nmp psp roundrobin deviceconfig set —type=iops —iops=1 —device=“Device_ID”
Οι περισσότερες σύγχρονες εφαρμογές έχουν σχεδιαστεί για να ανταλλάσσουν μεγάλα πακέτα δεδομένων προκειμένου να μεγιστοποιήσουν τη χρήση του εύρους ζώνης και να μειώσουν το φορτίο της CPU. Επομένως, το ESXi εκδίδει από προεπιλογή αιτήματα εισόδου/εξόδου στη συσκευή αποθήκευσης σε κομμάτια έως 32767 KB. Ωστόσο, για ορισμένα σενάρια, η ανταλλαγή μικρότερων κομματιών θα είναι πιο παραγωγική. Για πίνακες AccelStor, αυτά είναι τα ακόλουθα σενάρια:
- Η εικονική μηχανή χρησιμοποιεί UEFI αντί για παλαιού τύπου BIOS
- Χρησιμοποιεί vSphere Replication
Για τέτοια σενάρια, συνιστάται να αλλάξετε την τιμή της παραμέτρου Disk.DiskMaxIOSize σε 4096.
Για συνδέσεις iSCSI, συνιστάται να αλλάξετε την παράμετρο Login Timeout σε 30 (προεπιλογή 5) για να αυξήσετε τη σταθερότητα της σύνδεσης και να απενεργοποιήσετε την καθυστέρηση DelayedAck για επιβεβαιώσεις των προωθούμενων πακέτων. Και οι δύο επιλογές βρίσκονται στο vSphere Client: Host → Configure → Storage → Storage Adapters → Advanced Options for iSCSI adapter
Ένα αρκετά λεπτό σημείο είναι ο αριθμός των τόμων που χρησιμοποιούνται για το χώρο αποθήκευσης δεδομένων. Είναι σαφές ότι για ευκολία διαχείρισης, υπάρχει η επιθυμία να δημιουργηθεί ένας μεγάλος όγκος για ολόκληρο τον όγκο του πίνακα. Ωστόσο, η παρουσία αρκετών τόμων και, κατά συνέπεια, αποθήκευσης δεδομένων έχει ευεργετική επίδραση στη συνολική απόδοση (περισσότερα για τις ουρές παρακάτω). Επομένως, συνιστούμε τη δημιουργία τουλάχιστον δύο τόμων.
Μέχρι σχετικά πρόσφατα, η VMware συμβούλευε τον περιορισμό του αριθμού των εικονικών μηχανών σε ένα χώρο αποθήκευσης δεδομένων, και πάλι προκειμένου να επιτευχθεί η υψηλότερη δυνατή απόδοση. Ωστόσο, τώρα, ειδικά με την εξάπλωση του VDI, αυτό το πρόβλημα δεν είναι πλέον τόσο οξύ. Αλλά αυτό δεν ακυρώνει τον μακροχρόνιο κανόνα - τη διανομή εικονικών μηχανών που απαιτούν εντατική IO σε διαφορετικούς χώρους αποθήκευσης δεδομένων. Για να προσδιορίσετε τον βέλτιστο αριθμό εικονικών μηχανών ανά τόμο, δεν υπάρχει τίποτα καλύτερο από αυτό εντός της υποδομής του.
Ρύθμιση εικονικών μηχανών
Δεν υπάρχουν ειδικές απαιτήσεις κατά τη ρύθμιση εικονικών μηχανών, ή μάλλον είναι αρκετά συνηθισμένες:
- Χρήση της υψηλότερης δυνατής έκδοσης VM (συμβατότητα)
- Είναι πιο προσεκτικό να ρυθμίζετε το μέγεθος της μνήμης RAM όταν τοποθετείτε εικονικές μηχανές πυκνά, για παράδειγμα, σε VDI (καθώς από προεπιλογή, κατά την εκκίνηση, δημιουργείται ένα αρχείο σελίδας μεγέθους ανάλογο με τη μνήμη RAM, το οποίο καταναλώνει χρήσιμη χωρητικότητα και επηρεάζει η τελική παράσταση)
- Χρησιμοποιήστε τις πιο παραγωγικές εκδόσεις προσαρμογέα από άποψη IO: τύπος δικτύου VMXNET 3 και τύπος SCSI PVSCSI
- Χρησιμοποιήστε τύπο δίσκου Thick Provision Eager Zeroed για μέγιστη απόδοση και Thin Provisioning για μέγιστη χρήση αποθηκευτικού χώρου
- Εάν είναι δυνατόν, περιορίστε τη λειτουργία μηχανημάτων που δεν είναι κρίσιμα I/O χρησιμοποιώντας το Virtual Disk Limit
- Φροντίστε να εγκαταστήσετε το VMware Tools
Σημειώσεις για τις ουρές
Η ουρά (ή τα εκκρεμή I/Os) είναι ο αριθμός των αιτημάτων εισόδου/εξόδου (εντολές SCSI) που περιμένουν για επεξεργασία ανά πάσα στιγμή για μια συγκεκριμένη συσκευή/εφαρμογή. Σε περίπτωση υπερχείλισης ουράς, εκδίδονται σφάλματα QFULL, που τελικά οδηγεί σε αύξηση της παραμέτρου λανθάνουσας κατάστασης. Όταν χρησιμοποιείτε συστήματα αποθήκευσης δίσκου (άτρακτου), θεωρητικά, όσο μεγαλύτερη είναι η ουρά, τόσο μεγαλύτερη είναι η απόδοσή τους. Ωστόσο, δεν πρέπει να το κάνετε κατάχρηση, καθώς είναι εύκολο να τρέξετε σε QFULL. Στην περίπτωση όλων των συστημάτων Flash, αφενός, όλα είναι κάπως πιο απλά: τελικά, ο πίνακας έχει καθυστερήσεις που είναι τάξεις μεγέθους χαμηλότερες και επομένως, τις περισσότερες φορές, δεν χρειάζεται να ρυθμίσετε ξεχωριστά το μέγεθος των ουρών. Αλλά από την άλλη πλευρά, σε ορισμένα σενάρια χρήσης (έντονη κλίση στις απαιτήσεις IO για συγκεκριμένες εικονικές μηχανές, δοκιμές για μέγιστη απόδοση κ.λπ.) είναι απαραίτητο, αν όχι να αλλάξουμε τις παραμέτρους των ουρών, τουλάχιστον να κατανοήσουμε ποιους δείκτες μπορεί να επιτευχθεί και, το κυριότερο είναι με ποιους τρόπους.
Στον ίδιο τον πίνακα AccelStor All Flash δεν υπάρχουν όρια σε σχέση με τους τόμους ή τις θύρες I/O. Εάν είναι απαραίτητο, ακόμη και ένας τόμος μπορεί να λάβει όλους τους πόρους του πίνακα. Ο μόνος περιορισμός στην ουρά είναι για τους στόχους iSCSI. Αυτός είναι ο λόγος που η ανάγκη δημιουργίας πολλών (ιδανικά έως 8 τεμαχίων) στόχων για κάθε τόμο αναφέρθηκε παραπάνω για να ξεπεραστεί αυτό το όριο. Ας επαναλάβουμε επίσης ότι οι πίνακες AccelStor είναι πολύ παραγωγικές λύσεις. Επομένως, θα πρέπει να χρησιμοποιήσετε όλες τις θύρες διασύνδεσης του συστήματος για να επιτύχετε τη μέγιστη ταχύτητα.
Από την πλευρά του οικοδεσπότη ESXi, η κατάσταση είναι εντελώς διαφορετική. Ο ίδιος ο οικοδεσπότης εφαρμόζει την πρακτική της ίσης πρόσβασης σε πόρους για όλους τους συμμετέχοντες. Επομένως, υπάρχουν ξεχωριστές ουρές IO για το Guest OS και το HBA. Οι ουρές στο λειτουργικό σύστημα επισκέπτη συνδυάζονται από τις ουρές στον εικονικό προσαρμογέα SCSI και τον εικονικό δίσκο:
Η ουρά στο HBA εξαρτάται από τον συγκεκριμένο τύπο/προμηθευτή:
Η τελική απόδοση της εικονικής μηχανής θα καθοριστεί από το χαμηλότερο όριο βάθους ουράς μεταξύ των στοιχείων κεντρικού υπολογιστή.
Χάρη σε αυτές τις τιμές, μπορούμε να αξιολογήσουμε τους δείκτες απόδοσης που μπορούμε να λάβουμε σε μια συγκεκριμένη διαμόρφωση. Για παράδειγμα, θέλουμε να γνωρίζουμε τη θεωρητική απόδοση μιας εικονικής μηχανής (χωρίς δέσμευση μπλοκ) με καθυστέρηση 0.5ms. Τότε το IOPS του = (1,000/λανθάνον χρόνο) * Εξαιρετικά I/Os (Όριο βάθους ουράς)
παραδείγματα
1 Παράδειγμα
- Προσαρμογέας FC Emulex HBA
- Ένα VM ανά χώρο αποθήκευσης δεδομένων
- Προσαρμογέας VMware Paravirtual SCSI
Εδώ το όριο βάθους ουράς καθορίζεται από το Emulex HBA. Επομένως IOPS = (1000/0.5)*32 = 64K
2 Παράδειγμα
- Προσαρμογέας λογισμικού VMware iSCSI
- Ένα VM ανά χώρο αποθήκευσης δεδομένων
- Προσαρμογέας VMware Paravirtual SCSI
Εδώ το όριο Βάθους Ουράς έχει ήδη καθοριστεί από τον Προσαρμογέα Paravirtual SCSI. Επομένως IOPS = (1000/0.5)*64 = 128K
Κορυφαία μοντέλα όλων των συστοιχιών Flash AccelStor (για παράδειγμα, ) είναι σε θέση να προσφέρουν απόδοση εγγραφής 700K IOPS σε μπλοκ 4K. Με ένα τέτοιο μέγεθος μπλοκ, είναι προφανές ότι μια εικονική μηχανή δεν είναι ικανή να φορτώσει έναν τέτοιο πίνακα. Για να το κάνετε αυτό, θα χρειαστείτε 11 (για παράδειγμα 1) ή 6 (για παράδειγμα 2) εικονικές μηχανές.
Ως αποτέλεσμα, με τη σωστή διαμόρφωση όλων των περιγραφόμενων στοιχείων ενός εικονικού κέντρου δεδομένων, μπορείτε να έχετε πολύ εντυπωσιακά αποτελέσματα όσον αφορά την απόδοση.
4K Τυχαία, 70% Ανάγνωση/30% Εγγραφή
Στην πραγματικότητα, ο πραγματικός κόσμος είναι πολύ πιο περίπλοκος από ό,τι μπορεί να περιγραφεί με έναν απλό τύπο. Ένας κεντρικός υπολογιστής φιλοξενεί πάντα πολλές εικονικές μηχανές με διαφορετικές διαμορφώσεις και απαιτήσεις IO. Και η επεξεργασία I/O γίνεται από τον κεντρικό επεξεργαστή, του οποίου η ισχύς δεν είναι άπειρη. Έτσι, για να ξεκλειδώσετε πλήρως τις δυνατότητες του ίδιου Στην πραγματικότητα, θα χρειαστείτε τρεις οικοδεσπότες. Επιπλέον, οι εφαρμογές που εκτελούνται μέσα σε εικονικές μηχανές κάνουν τις δικές τους προσαρμογές. Επομένως, για ακριβές διαστάσεις προσφέρουμε Όλες οι συστοιχίες Flash μέσα στην υποδομή του πελάτη για πραγματικές τρέχουσες εργασίες.
Πηγή: www.habr.com