Σε μια από τις συνομιλίες μου έκαναν μια ερώτηση:
— Υπάρχει κάτι που μπορώ να διαβάσω σχετικά με το πώς να συσκευάζω σωστά τους διακομιστές σε rack;
Συνειδητοποίησα ότι δεν ήξερα ένα τέτοιο κείμενο, οπότε έγραψα το δικό μου.
Πρώτον, αυτό το κείμενο αφορά φυσικούς διακομιστές σε φυσικά κέντρα δεδομένων (DC). Δεύτερον, πιστεύουμε ότι υπάρχουν πολλοί διακομιστές: εκατοντάδες-χιλιάδες· για μικρότερο αριθμό αυτό το κείμενο δεν έχει νόημα. Τρίτον, θεωρούμε ότι έχουμε τρεις περιορισμούς: φυσικό χώρο στα rack, τροφοδοσία ανά rack και αφήστε τα rack να σταθούν σε σειρές, ώστε να μπορούμε να χρησιμοποιήσουμε έναν διακόπτη ToR για να συνδέσουμε διακομιστές σε γειτονικά rack.
Η απάντηση στην ερώτηση εξαρτάται σε μεγάλο βαθμό από την παράμετρο που βελτιστοποιούμε και τι μπορούμε να διαφέρουμε για να επιτύχουμε το καλύτερο αποτέλεσμα. Για παράδειγμα, χρειάζεται απλώς να καταλάβουμε ελάχιστο χώρο για να αφήσουμε περισσότερο για περαιτέρω ανάπτυξη. Ή ίσως έχουμε ελευθερία στην επιλογή του ύψους των ραφιών, της ισχύος ανά rack, των υποδοχών στο PDU, του αριθμού των ραφιών σε μια ομάδα διακοπτών (ένας διακόπτης για 1, 2 ή 3 ράφια), του μήκους των καλωδίων και των εργασιών έλξης ( Αυτό είναι κρίσιμο στα άκρα των σειρών: με 10 rack στη σειρά και 3 racks ανά διακόπτη, θα πρέπει να τραβήξετε τα καλώδια σε μια άλλη σειρά ή να χρησιμοποιήσετε ελάχιστα τις θύρες στο διακόπτη), κ.λπ., κ.λπ. Ξεχωριστές ιστορίες: επιλογή διακομιστών και επιλογή DC, θα υποθέσουμε ότι έχουν επιλεγεί.
Καλό θα ήταν να κατανοήσουμε μερικές από τις αποχρώσεις και τις λεπτομέρειες, συγκεκριμένα τη μέση/μέγιστη κατανάλωση των διακομιστών και τον τρόπο με τον οποίο μας παρέχεται ηλεκτρική ενέργεια. Έτσι, εάν έχουμε ρωσικό τροφοδοτικό 230V και μία φάση ανά rack, τότε ένα μηχάνημα 32Α μπορεί να χειριστεί ~7kW. Ας υποθέσουμε ότι πληρώνουμε ονομαστικά για 6 kW ανά rack. Εάν ο πάροχος μετρήσει την κατανάλωσή μας μόνο για μια σειρά από 10 rack, και όχι για κάθε rack, και εάν το μηχάνημα έχει ρυθμιστεί σε περιορισμό υπό όρους 7 kW, τότε τεχνικά μπορούμε να καταναλώσουμε 6.9 kW σε ένα μόνο rack, 5.1 kW σε άλλο και όλα θα πάνε καλά - δεν τιμωρούνται.
Συνήθως ο κύριος στόχος μας είναι η ελαχιστοποίηση του κόστους. Το καλύτερο κριτήριο για τη μέτρηση είναι η μείωση του TCO (συνολικό κόστος ιδιοκτησίας). Αποτελείται από τα παρακάτω κομμάτια:
- CAPEX: αγορά υποδομής DC, διακομιστών, υλικού δικτύου και καλωδίωσης
- OPEX: ενοικίαση DC, κατανάλωση ρεύματος, συντήρηση. Το OPEX εξαρτάται από τη διάρκεια ζωής. Είναι λογικό να υποθέσουμε ότι είναι 3 χρόνια.
Ανάλογα με το πόσο μεγάλα είναι τα μεμονωμένα κομμάτια στη συνολική πίτα, πρέπει να βελτιστοποιήσουμε το πιο ακριβό και να αφήσουμε τους υπόλοιπους να χρησιμοποιήσουν όλους τους υπόλοιπους πόρους όσο το δυνατόν πιο αποτελεσματικά.
Ας υποθέσουμε ότι έχουμε ένα υπάρχον DC, υπάρχει ένα ύψος rack μονάδων H (για παράδειγμα, H=47), ηλεκτρική ενέργεια ανά rack Prack (Prack=6kW) και αποφασίσαμε να χρησιμοποιήσουμε διακομιστές δύο μονάδων h=2U. Θα αφαιρέσουμε 2..4 μονάδες από το ράφι για διακόπτες, patch panel και organizers. Εκείνοι. Φυσικά, έχουμε διακομιστές Sh=rounddown((H-2..4)/h) στο rack μας (δηλαδή Sh = rounddown((47-4)/2)=21 διακομιστές ανά rack). Ας θυμηθούμε αυτό το Sh.
Στην απλή περίπτωση, όλοι οι διακομιστές σε ένα rack είναι πανομοιότυποι. Συνολικά, αν γεμίσουμε ένα rack με διακομιστές, τότε σε κάθε διακομιστή μπορούμε να ξοδέψουμε κατά μέσο όρο την ισχύ Pserv=Prack/Sh (Pserv = 6000W/21 = 287W). Για απλότητα, αγνοούμε την κατανάλωση διακόπτη εδώ.
Ας κάνουμε ένα βήμα στην άκρη και ας προσδιορίσουμε ποια είναι η μέγιστη κατανάλωση διακομιστή Pmax. Εάν είναι πολύ απλό, πολύ αναποτελεσματικό και απολύτως ασφαλές, τότε διαβάζουμε τι είναι γραμμένο στο τροφοδοτικό του διακομιστή - αυτό είναι.
Εάν είναι πιο περίπλοκο και πιο αποτελεσματικό, τότε παίρνουμε το TDP (πακέτο θερμικής σχεδίασης) όλων των στοιχείων και το συνοψίζουμε (αυτό δεν είναι πολύ αλήθεια, αλλά είναι δυνατό).
Συνήθως δεν γνωρίζουμε το TDP των στοιχείων (εκτός από την CPU), επομένως ακολουθούμε την πιο σωστή, αλλά και την πιο σύνθετη προσέγγιση (χρειαζόμαστε ένα εργαστήριο) - παίρνουμε έναν πειραματικό διακομιστή της απαιτούμενης διαμόρφωσης και τον φορτώνουμε, για παράδειγμα, με το Linpack (CPU και μνήμη) και το fio (δίσκοι) μετράμε την κατανάλωση. Εάν το λάβουμε σοβαρά υπόψη, πρέπει επίσης να δημιουργήσουμε το πιο ζεστό περιβάλλον στον ψυχρό διάδρομο κατά τη διάρκεια των δοκιμών, γιατί αυτό θα επηρεάσει τόσο την κατανάλωση ανεμιστήρα όσο και την κατανάλωση CPU. Λαμβάνουμε τη μέγιστη κατανάλωση ενός συγκεκριμένου διακομιστή με συγκεκριμένη διαμόρφωση σε αυτές τις συγκεκριμένες συνθήκες κάτω από αυτό το συγκεκριμένο φορτίο. Εννοούμε απλώς ότι το νέο υλικολογισμικό συστήματος, μια διαφορετική έκδοση λογισμικού και άλλες συνθήκες ενδέχεται να επηρεάσουν το αποτέλεσμα.
Λοιπόν, πίσω στο Pserv και πώς το συγκρίνουμε με το Pmax. Είναι θέμα να κατανοήσετε πώς λειτουργούν οι υπηρεσίες και πόσο δυνατά είναι τα νεύρα του τεχνικού διευθυντή σας.
Εάν δεν αναλάβουμε κανένα απολύτως ρίσκο, πιστεύουμε ότι όλοι οι διακομιστές μπορούν ταυτόχρονα να αρχίσουν να καταναλώνουν το μέγιστο. Την ίδια στιγμή, μπορεί να πραγματοποιηθεί μία είσοδος στο DC. Ακόμη και κάτω από αυτές τις συνθήκες, η infra πρέπει να παρέχει υπηρεσία, οπότε Pserv ≡ Pmax. Αυτή είναι μια προσέγγιση όπου η αξιοπιστία είναι απολύτως σημαντική.
Εάν ο διευθυντής τεχνολογίας δεν σκέφτεται μόνο την ιδανική ασφάλεια, αλλά και τα χρήματα της εταιρείας και είναι αρκετά γενναίος, τότε μπορείτε να αποφασίσετε ότι
- Αρχίζουμε να διαχειριζόμαστε τους προμηθευτές μας, συγκεκριμένα, απαγορεύουμε την προγραμματισμένη συντήρηση σε περιόδους προγραμματισμένου φορτίου αιχμής για να ελαχιστοποιήσουμε την πτώση σε μία είσοδο.
- και/ή η αρχιτεκτονική μας σάς επιτρέπει να χάσετε ένα rack/row/DC, αλλά οι υπηρεσίες συνεχίζουν να λειτουργούν.
- και/ή απλώνουμε καλά το φορτίο οριζόντια στα ράφια, έτσι οι υπηρεσίες μας δεν θα φτάσουν ποτέ στη μέγιστη κατανάλωση σε ένα ράφι όλα μαζί.
Εδώ είναι πολύ χρήσιμο όχι μόνο να μαντέψουμε, αλλά να παρακολουθούμε την κατανάλωση και να γνωρίζουμε πώς οι διακομιστές καταναλώνουν πραγματικά ηλεκτρική ενέργεια υπό κανονικές συνθήκες και συνθήκες αιχμής. Επομένως, μετά από κάποια ανάλυση, ο τεχνικός διευθυντής συμπιέζει ό,τι έχει και λέει: «λαμβάνουμε μια ηθελημένη απόφαση ότι ο μέγιστος εφικτός μέσος όρος της μέγιστης κατανάλωσης διακομιστή ανά rack είναι **τόσο πολύ** κάτω από τη μέγιστη κατανάλωση», υπό όρους Pserv = 0.8* Ρμέγ.
Και τότε ένα rack 6 kW δεν μπορεί πλέον να φιλοξενήσει 16 διακομιστές με Pmax = 375W, αλλά 20 διακομιστές με Pserv = 375W * 0.8 = 300W. Εκείνοι. 25% περισσότεροι διακομιστές. Αυτή είναι μια πολύ μεγάλη εξοικονόμηση - τελικά, χρειαζόμαστε αμέσως 25% λιγότερα rack (και θα εξοικονομήσουμε επίσης σε PDU, διακόπτες και καλώδια). Ένα σοβαρό μειονέκτημα μιας τέτοιας λύσης είναι ότι πρέπει να παρακολουθούμε συνεχώς ότι οι υποθέσεις μας εξακολουθούν να είναι σωστές. Ότι η νέα έκδοση firmware δεν αλλάζει σημαντικά τη λειτουργία των ανεμιστήρων και την κατανάλωση, ότι η ανάπτυξη ξαφνικά με τη νέα έκδοση δεν άρχισε να χρησιμοποιεί τους διακομιστές πολύ πιο αποτελεσματικά (διαβάστε: πέτυχαν μεγαλύτερο φόρτο και μεγαλύτερη κατανάλωση στον διακομιστή). Άλλωστε, τότε τόσο οι αρχικές μας υποθέσεις όσο και τα συμπεράσματά μας γίνονται αμέσως εσφαλμένα. Αυτός είναι ένας κίνδυνος που πρέπει να ληφθεί υπεύθυνα (ή να αποφευχθεί και στη συνέχεια να πληρωθεί για προφανώς ανεπαρκώς χρησιμοποιημένα ράφια).
Μια σημαντική σημείωση - θα πρέπει να προσπαθήσετε να διανείμετε διακομιστές από διαφορετικές υπηρεσίες οριζόντια σε rack, εάν είναι δυνατόν. Αυτό είναι απαραίτητο για να μην συμβαίνουν καταστάσεις όταν μια παρτίδα διακομιστών φτάνει για μια υπηρεσία, τα rack είναι γεμάτα κάθετα με αυτό για να αυξηθεί η «πυκνότητα» (γιατί είναι πιο εύκολο έτσι). Στην πραγματικότητα, αποδεικνύεται ότι το ένα rack είναι γεμάτο με πανομοιότυπους διακομιστές χαμηλού φορτίου της ίδιας υπηρεσίας και το άλλο είναι γεμάτο με διακομιστές εξίσου υψηλού φορτίου. Η πιθανότητα της δεύτερης πτώσης είναι σημαντικά μεγαλύτερη, γιατί το προφίλ φόρτωσης είναι το ίδιο και όλοι οι διακομιστές μαζί σε αυτό το rack αρχίζουν να καταναλώνουν την ίδια ποσότητα ως αποτέλεσμα του αυξημένου φορτίου.
Ας επιστρέψουμε στη διανομή των διακομιστών σε rack. Εξετάσαμε τον φυσικό χώρο rack και τους περιορισμούς ισχύος, τώρα ας δούμε το δίκτυο. Μπορείτε να χρησιμοποιήσετε διακόπτες με θύρες 24/32/48 N (για παράδειγμα, έχουμε διακόπτες ToR 48 θυρών). Ευτυχώς, δεν υπάρχουν πολλές επιλογές αν δεν σκέφτεστε τα καλώδια που ξεσπούν. Εξετάζουμε σενάρια όταν έχουμε έναν διακόπτη ανά rack, έναν διακόπτη για δύο ή τρία rack στην ομάδα Rnet. Μου φαίνεται ότι περισσότερα από τρία ράφια σε μια ομάδα είναι ήδη πάρα πολλά, γιατί... το πρόβλημα της καλωδίωσης μεταξύ των rack γίνεται πολύ μεγαλύτερο.
Έτσι, για κάθε σενάριο δικτύου (1, 2 ή 3 rack σε μια ομάδα), διανέμουμε τους διακομιστές μεταξύ των rack:
Srack = min(Sh, rounddown(Prack/Pserv), rounddown(N/Rnet))
Έτσι, για την επιλογή με 2 ράφια σε μια ομάδα:
Srack2 = min(21, rounddown(6000/300), rounddown(48/2)) = min(21, 20, 24) = 20 servers ανά rack.
Εξετάζουμε τις υπόλοιπες επιλογές με τον ίδιο τρόπο:
Srack1 = 20
Srack3 = 16
Και είμαστε σχεδόν εκεί. Μετράμε τον αριθμό των rack για τη διανομή όλων των διακομιστών μας S (ας είναι 1000):
R = συλλογή (S / (Srack * Rnet)) * Rnet
R1 = στρογγυλοποίηση (1000 / (20 * 1)) * 1 = 50 * 1 = 50 ράφια
R2 = στρογγυλοποίηση (1000 / (20 * 2)) * 2 = 25 * 2 = 50 ράφια
R3 = στρογγυλοποίηση (1000 / (16 * 3)) * 3 = 25 * 2 = 63 ράφια
Στη συνέχεια, υπολογίζουμε το TCO για κάθε επιλογή με βάση τον αριθμό των rack, τον απαιτούμενο αριθμό διακοπτών, καλωδίωση κ.λπ. Επιλέγουμε την επιλογή όπου το TCO είναι χαμηλότερο. Κέρδος!
Σημειώστε ότι παρόλο που ο απαιτούμενος αριθμός ραφιών για τις επιλογές 1 και 2 είναι ίδιος, η τιμή τους θα είναι διαφορετική, επειδή ο αριθμός των διακοπτών για τη δεύτερη επιλογή είναι ο μισός και το μήκος των απαιτούμενων καλωδίων είναι μεγαλύτερο.
Υ.Γ.Αν έχεις την ευκαιρία να παίξεις με την ισχύ ανά rack και το ύψος του rack, η μεταβλητότητα αυξάνεται. Αλλά η διαδικασία μπορεί να μειωθεί σε αυτήν που περιγράφηκε παραπάνω απλά περνώντας τις επιλογές. Ναι, θα υπάρχουν περισσότεροι συνδυασμοί, αλλά ακόμα ένας πολύ περιορισμένος αριθμός - η παροχή ρεύματος στο rack για υπολογισμό μπορεί να αυξηθεί σε βήματα του 1 kW, τα τυπικά ράφια διατίθενται σε περιορισμένο αριθμό τυπικών μεγεθών: 42U, 45U, 47U, 48U , 52U. Και εδώ η ανάλυση What-If του Excel σε λειτουργία πίνακα δεδομένων μπορεί να βοηθήσει με τους υπολογισμούς. Εξετάζουμε τις λαμβανόμενες πλάκες και επιλέγουμε το ελάχιστο.
Πηγή: www.habr.com