Καλημέρα, αγαπητοί κάτοικοι του Khabrovsk!
Θα ήθελα να συνεχίσω την ιστορία μου για τη συναρμολόγηση ενός «υπερυπολογιστή χωριού». Και θα εξηγήσω γιατί λέγεται έτσι — ο λόγος είναι απλός. Εγώ ο ίδιος μένω σε χωριό. Και το όνομα είναι ένα ελαφρύ τρολάρισμα όσων φωνάζουν στο Διαδίκτυο «Δεν υπάρχει ζωή πέρα από τον Περιφερειακό δρόμο της Μόσχας!», «Το ρωσικό χωριό έχει γίνει μεθυσμένος και πεθαίνει!». Έτσι, κάπου μπορεί να ισχύει αυτό, αλλά θα είμαι η εξαίρεση στον κανόνα. Δεν πίνω, δεν καπνίζω, κάνω πράγματα που δεν μπορούν να αντέξουν κάθε «αστικός/α κράκερ». Αλλά ας επιστρέψουμε στα πρόβατά μας, ή πιο συγκεκριμένα, στον διακομιστή, ο οποίος στο τέλος του πρώτου μέρους του άρθρου «έδειχνε ήδη σημεία ζωής».
Η πλακέτα ήταν ξαπλωμένη στο τραπέζι, σκαρφάλωσα στο BIOS, ρυθμίζοντάς το σύμφωνα με τις προτιμήσεις μου, άφησα το Ubuntu 16.04 Desktop για απλότητα και αποφάσισα να συνδέσω μια κάρτα γραφικών στο "super machine". Αλλά το μόνο πράγμα στο χέρι ήταν ένα GTS 250 με έναν βαρύ μη αυθεντικό ανεμιστήρα συνδεδεμένο. Το οποίο εγκατέστησα στην υποδοχή PCI-E 16x κοντά στο κουμπί λειτουργίας.
"Το πήρα με ένα πακέτο Belomor (c)" οπότε μην με κατηγορείτε για την ποιότητα της φωτογραφίας. Προτιμώ να σχολιάσω αυτό που αποτυπώνεται σε αυτά.
Πρώτον, αποδείχθηκε ότι όταν εγκαθίσταται σε μια υποδοχή, ακόμη και μια μικρή κάρτα βίντεο ακουμπά την πλακέτα στις υποδοχές μνήμης, στις οποίες σε αυτήν την περίπτωση δεν μπορεί να εγκατασταθεί και ακόμη και τα μάνδαλα πρέπει να χαμηλώσουν. Δεύτερον, η σιδερένια λωρίδα στερέωσης της κάρτας βίντεο καλύπτει το κουμπί λειτουργίας, επομένως έπρεπε να αφαιρεθεί. Παρεμπιπτόντως, το ίδιο το κουμπί λειτουργίας φωτίζεται από ένα δίχρωμο LED, το οποίο ανάβει πράσινο όταν όλα είναι εντάξει και αναβοσβήνει πορτοκαλί εάν υπάρχουν προβλήματα, βραχυκύκλωμα και έχει διακοπεί η προστασία του τροφοδοτικού ή η τροφοδοσία +12VSB η προσφορά είναι πολύ υψηλή ή πολύ χαμηλή.
Στην πραγματικότητα, αυτή η μητρική πλακέτα δεν έχει σχεδιαστεί για να περιλαμβάνει κάρτες γραφικών «απευθείας» στις υποδοχές PCI-E 16x· όλες είναι συνδεδεμένες με ανυψωτικά. Για να εγκαταστήσετε μια κάρτα επέκτασης στις υποδοχές κοντά στο κουμπί λειτουργίας, υπάρχουν γωνιακοί ανυψωτήρες, ένας χαμηλός για την εγκατάσταση μικρών καρτών μέχρι το μήκος του πρώτου καλοριφέρ επεξεργαστή και ένας ψηλός γωνιακός με πρόσθετη υποδοχή τροφοδοσίας +12 V για εγκατάσταση κάρτα γραφικών "πάνω" από ένα τυπικό ψυγείο χαμηλής έντασης 1U. Μπορεί να περιλαμβάνει μεγάλες κάρτες γραφικών όπως GTX 780, GTX 980, GTX 1080 ή εξειδικευμένες κάρτες GPGPU Nvidia Tesla K10-K20-K40 ή "υπολογιστικές κάρτες" Intel Xeon Phi 5110p και παρόμοια.
Αλλά στον ανυψωτικό GPGPU, η κάρτα που περιλαμβάνεται στο EdgeSlot μπορεί να συνδεθεί απευθείας, μόνο συνδέοντας ξανά πρόσθετη τροφοδοσία με την ίδια υποδοχή όπως στην ψηλή γωνία ανύψωσης. Για όσους ενδιαφέρονται, στο eBay αυτό το ευέλικτο ανυψωτικό ονομάζεται "Dell PowerEdge C8220X PCI-E GPGPU DJC89" και κοστίζει περίπου 2.5-3 χιλιάδες ρούβλια. Τα γωνιακά ανυψωτικά με πρόσθετο τροφοδοτικό είναι πολύ πιο σπάνια και έπρεπε να διαπραγματευτώ για να τα πάρω από ένα εξειδικευμένο κατάστημα ανταλλακτικών διακομιστή μέσω του Whisper. Κοστίζουν 7 χιλιάδες το ένα.
Θα πω αμέσως, τα "ρισκοκίνδυνα παιδιά (tm)" μπορούν ακόμη και να συνδέσουν ένα ζευγάρι GTX 980 στην πλακέτα με κινεζικούς ευέλικτους ανυψωτήρες 16x, όπως έκανε ένα άτομο στο "That Same Forum"· παρεμπιπτόντως, οι Κινέζοι κάνουν αρκετά καλές χειροτεχνίες που λειτουργούν σε PCI-E 16x 2.0 στο στυλ των ευέλικτων σηκωτών Thermaltek, αλλά αν αυτό κάποια μέρα σας κάνει να κάψετε τα κυκλώματα τροφοδοσίας στην πλακέτα διακομιστή, θα κατηγορήσετε μόνο τον εαυτό σας. Δεν διακινδύνευσα ακριβό εξοπλισμό και χρησιμοποίησα γνήσιους ανυψωτήρες με πρόσθετη ισχύ και έναν κινέζικο ευέλικτο, θεωρώντας ότι η σύνδεση μιας κάρτας «απευθείας» δεν θα έκαιγε την πλακέτα.
Έπειτα έφτασαν οι πολυαναμενόμενες υποδοχές για σύνδεση πρόσθετης ισχύος και έφτιαξα μια ουρά για το ανυψωτικό μου στο EdgeSlot. Και ο ίδιος σύνδεσμος, αλλά με διαφορετικό pinout, χρησιμοποιείται για την παροχή πρόσθετης ισχύος στη μητρική πλακέτα. Αυτή η υποδοχή βρίσκεται ακριβώς δίπλα σε αυτήν την ίδια υποδοχή EdgeSlot, υπάρχει ένα ενδιαφέρον pinout εκεί. Εάν ο ανυψωτήρας έχει 2 καλώδια +12 και 2 κοινά, τότε η πλακέτα έχει 3 καλώδια +12 και 1 κοινό.
Αυτό είναι στην πραγματικότητα το ίδιο GTS 250 που περιλαμβάνεται στον ανυψωτικό GPGPU. Παρεμπιπτόντως, παρέχεται πρόσθετη ισχύς στους ανυψωτήρες και στη μητρική πλακέτα - από τη δεύτερη υποδοχή τροφοδοσίας +12V της CPU του τροφοδοτικού μου. Αποφάσισα ότι θα ήταν πιο σωστό να το κάνω αυτό.
Το παραμύθι αφηγείται γρήγορα, αλλά σιγά-σιγά τα δέματα φτάνουν στη Ρωσία από την Κίνα και άλλα μέρη σε όλο τον κόσμο. Επομένως, υπήρχαν μεγάλα κενά στη συναρμολόγηση του «υπερυπολογιστή». Αλλά τελικά ο διακομιστής Nvidia Tesla K20M με παθητικό ψυγείο έφτασε σε μένα. Επιπλέον, είναι απολύτως μηδενικό, από αποθήκευση, σφραγισμένο στο αρχικό κουτί του, στην αρχική του συσκευασία, με χαρτιά εγγύησης. Και άρχισαν τα βάσανα: πώς να το δροσίσεις;
Αρχικά, αγοράστηκε ένα custom cooler με δύο μικρές «τουρμπίνες» από την Αγγλία, εδώ είναι στη φωτογραφία, με έναν αυτοσχέδιο διαχύτη από χαρτόνι.
Και αποδείχτηκαν σκέτη χάλια. Έκαναν πολύ θόρυβο, η βάση δεν ταίριαζε καθόλου, φύσηξαν αδύναμα και έδιναν τέτοια δόνηση που φοβόμουν ότι τα εξαρτήματα θα πέσουν από την πλακέτα της Tesla! Γιατί πετάχτηκαν στα σκουπίδια σχεδόν αμέσως;
Παρεμπιπτόντως, στη φωτογραφία κάτω από το Tesla μπορείτε να δείτε χάλκινα θερμαντικά σώματα διακομιστή LGA 2011 1U εγκατεστημένα στους επεξεργαστές με ένα σαλιγκάρι από την Coolerserver που αγοράστηκε από την Aliexpress. Πολύ αξιοπρεπείς ψύκτες, αν και λίγο θορυβώδεις. Ταιριάζουν τέλεια.
Αλλά στην πραγματικότητα, ενώ περίμενα ένα νέο ψυγείο για την Tesla, αυτή τη φορά έχοντας παραγγείλει ένα μεγάλο σαλιγκάρι BFB1012EN από την Αυστραλία με βάση 3D εκτύπωσης, ήρθε στο σύστημα αποθήκευσης διακομιστή. Η πλακέτα διακομιστή διαθέτει υποδοχή mini-SAS μέσω της οποίας εξάγονται 4 SATA και 2 ακόμη υποδοχές SATA. Όλα SATA standard 2.0 αλλά αυτό μου ταιριάζει.
Το intel C602 RAID που είναι ενσωματωμένο στο chipset δεν είναι κακό και το κυριότερο είναι ότι παρακάμπτει την εντολή TRIM για SSD, κάτι που δεν κάνουν πολλοί φθηνοί εξωτερικοί ελεγκτές RAID.
Στο eBay αγόρασα ένα καλώδιο mini-SAS σε 4 SATA μήκους ενός μέτρου και στο Avito αγόρασα ένα καροτσάκι hot-swap με υποδοχή 5,25″ για 4 x 2,5″ SAS-SATA. Όταν λοιπόν έφτασε το καλώδιο και το καλάθι, εγκαταστάθηκαν 4 terabyte Seagates, το RAID5 για 4 συσκευές χτίστηκε στο BIOS, άρχισα να εγκαθιστώ τον διακομιστή Ubuntu... και έπεσα στο γεγονός ότι το πρόγραμμα διαμερισμάτων δίσκου δεν μου επέτρεπε για να δημιουργήσετε ένα διαμέρισμα ανταλλαγής στο raid.
Έλυσα το πρόβλημα κατά μέτωπο - αγόρασα έναν προσαρμογέα ASUS HYPER M.2 x 2 MINI και M.4 SSD Samsung 2 EVO 960 Gb από το DNS και αποφάσισα ότι η συσκευή μέγιστης ταχύτητας θα πρέπει να διατεθεί για ανταλλαγή, καθώς το σύστημα θα λειτουργήσει με υψηλό υπολογιστικό φορτίο και η μνήμη εξακολουθεί να είναι προφανώς μικρότερη από το μέγεθος των δεδομένων. Και η μνήμη των 250 GB ήταν πιο ακριβή από αυτόν τον SSD.
Εδώ είναι αυτός ο ίδιος προσαρμογέας με έναν SSD εγκατεστημένο σε μια χαμηλή γωνία ανύψωσης.
Προβλέποντας τις ερωτήσεις - "Γιατί να μην κάνετε ολόκληρο το σύστημα στο M.2 και να έχετε μέγιστη ταχύτητα πρόσβασης υψηλότερη από αυτή μιας επιδρομής στο SATA;" -Θα απαντήσω. Πρώτον, 1 TB ή περισσότεροι SSD M2 είναι πολύ ακριβοί για μένα. Δεύτερον, ακόμη και μετά την ενημέρωση του BIOS στην πιο πρόσφατη έκδοση 2.8.1, ο διακομιστής εξακολουθεί να μην υποστηρίζει τη φόρτωση συσκευών M.2 NVE. Έκανα ένα πείραμα όπου το σύστημα έθεσε /boot σε USB FLASH 64 Gb και όλα τα άλλα σε M.2 SSD, αλλά δεν μου άρεσε. Αν και, κατ 'αρχήν, ένας τέτοιος συνδυασμός είναι αρκετά εφαρμόσιμος. Εάν τα M.2 NVE υψηλής χωρητικότητας γίνουν φθηνότερα, μπορεί να επιστρέψω σε αυτήν την επιλογή, αλλά προς το παρόν το SATA RAID ως σύστημα αποθήκευσης μου ταιριάζει αρκετά.
Όταν αποφάσισα για το υποσύστημα δίσκου και βρήκα έναν συνδυασμό 2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb "swap" είναι ήρθε η ώρα να συνεχίσω τα πειράματά μου με την GPU Είχα ήδη ένα Tesla και ένα αυστραλιανό ψυγείο μόλις έφτασε με ένα «κακό» σαλιγκάρι που τρώει έως και 2.94A στα 12V, η δεύτερη υποδοχή ήταν κατειλημμένη από το M.2 και για την τρίτη δανείστηκα ένα GT 610 «για πειράματα».
Εδώ στη φωτογραφία είναι συνδεδεμένες και οι 3 συσκευές και ο M.2 SSD είναι μέσω ενός ευέλικτου ανυψωτικού Thermaltech για κάρτες βίντεο που λειτουργεί στο δίαυλο 3.0 χωρίς σφάλματα. Είναι σαν αυτό, κατασκευασμένο από πολλές μεμονωμένες "κορδέλες" παρόμοιες με αυτές από τις οποίες κατασκευάζονται τα καλώδια SATA. Οι ανυψωτήρες PCI-E 16x που κατασκευάζονται από μονολιθικό επίπεδο καλώδιο, κάπως σαν τους παλιούς IDE-SCSI, είναι μια καταστροφή, θα υποφέρουν από σφάλματα λόγω αμοιβαίων παρεμβολών. Και όπως είπα ήδη, οι Κινέζοι πλέον φτιάχνουν επίσης ανυψωτικά παρόμοια με αυτά της Thermaltek, αλλά πιο κοντά.
Σε συνδυασμό με το Tesla K20 + GT 610, δοκίμασα πολλά πράγματα, ταυτόχρονα ανακάλυψα ότι όταν συνδέω μια εξωτερική κάρτα γραφικών και αλλάζω την έξοδο σε αυτήν στο BIOS, το vKVM δεν λειτουργεί, κάτι που δεν λειτούργησε πραγματικά με στεναχώρησε. Τέλος πάντων, δεν σχεδίαζα να χρησιμοποιήσω εξωτερικό βίντεο σε αυτό το σύστημα, δεν υπάρχουν έξοδοι βίντεο στο Teslas και ο απομακρυσμένος πίνακας διαχείρισης μέσω SSH και χωρίς X-owls λειτουργεί τέλεια μόλις θυμηθείτε λίγο τι είναι μια γραμμή εντολών χωρίς GUI . Αλλά το IPMI + vKVM απλοποιεί σημαντικά τη διαχείριση, την επανεγκατάσταση και άλλα ζητήματα με έναν απομακρυσμένο διακομιστή.
Γενικά, το IPMI αυτού του πίνακα είναι εξαιρετικό. Μια ξεχωριστή θύρα 100 Mbit, δυνατότητα επαναδιαμόρφωσης της έγχυσης πακέτων σε μία από τις θύρες των 10 Gbit, ενσωματωμένος διακομιστής Web για διαχείριση ενέργειας και έλεγχο διακομιστών, λήψη ενός προγράμματος-πελάτη Java vKVM απευθείας από αυτόν και πελάτη για απομακρυσμένη τοποθέτηση δίσκων ή εικόνες για επανεγκατάσταση... Το μόνο πράγμα είναι ότι οι πελάτες είναι ίδιοι με το παλιό Java Oracle, το οποίο δεν υποστηρίζεται πλέον σε Linux και για τον πίνακα απομακρυσμένου διαχειριστή έπρεπε να πάρω ένα φορητό υπολογιστή με Win XP SP3 με αυτό ακριβώς αρχαίος Φρύνος. Λοιπόν, ο πελάτης είναι αργός, υπάρχει αρκετός για τον πίνακα διαχείρισης και όλα αυτά, αλλά δεν μπορείτε να παίξετε παιχνίδια από απόσταση, το FPS είναι μικρό. Και το βίντεο ASPEED που είναι ενσωματωμένο στο IPMI είναι αδύναμο, μόνο VGA.
Στη διαδικασία της ενασχόλησης με τον διακομιστή, έμαθα πολλά και έμαθα πολλά στον τομέα του επαγγελματικού υλικού διακομιστή από την Dell. Για το οποίο δεν μετανιώνω καθόλου, καθώς και για τον χρόνο και τα χρήματα που ξοδέψαμε καλά. Η εκπαιδευτική ιστορία σχετικά με τη συναρμολόγηση του πλαισίου με όλα τα στοιχεία διακομιστή θα συνεχιστεί αργότερα.
Σύνδεσμος για το μέρος 3:
Πηγή: www.habr.com