Καλησπέρα, αγαπητοί κάτοικοι του Khabrovsk!
Θέλω να σας πω μια μακρά και, ελπίζω, συναρπαστική, και ίσως χρήσιμη, ιστορία της συναρμολόγησης ενός «υπερυπολογιστή χωριού» από μια πλακέτα κόμβου διακομιστή Dell, GPU Nvidia Tesla K20 και τι αγοράστηκε εδώ και εκεί από διάφορα ηλεκτρονικά καταστήματα ή σε καταστήματα υπολογιστών στην πόλη σας.
Η ιστορία ξεκίνησε όταν ένας φίλος μου προγραμματιστής, ο οποίος είναι επίσης αστρονόμος, άρχισε να μελετά τα νευρωνικά δίκτυα. Ο «ειδικός τους πλήρους απασχόλησης» παραιτήθηκε και το θέμα καρφώθηκε στον «πλησιέστερο ειδικό». Ο ίδιος δεν είμαι προγραμματιστής, απλώς «ραδιομηχανικός για την επισκευή εξοπλισμού υπολογιστών (με) το δίπλωμά μου», επομένως η συναρμολόγηση κάθε είδους ενδιαφέροντος υλικού υπολογιστή είναι μια ενδιαφέρουσα και ευχάριστη δραστηριότητα για μένα. Δυστυχώς, εργάζομαι σε διαφορετικό χώρο.
Για να διατυπώσω πιο ξεκάθαρα την εργασία, δημιούργησα ένα θέμα στο φόρουμ "Iron Ghosts of the Past", όπου συζητήθηκε για αρκετό καιρό. Στην αρχή υπήρχε μια μάλλον αφελής ιδέα "να δημιουργήσετε ένα SLI 4 κατευθύνσεων σε μια GTX 580 3Gb", η οποία σταδιακά μετατράπηκε σε κατανόηση - πρέπει να δημιουργήσετε έναν διακομιστή! Οι τιμές για τις μητρικές πλακέτες διακομιστών ήταν εξωφρενικά υψηλές μέχρι που βρήκα ένα ενδιαφέρον βίντεο στο Youtube σχετικά με την κυκλοφορία μιας κινεζικής πλακέτας διακομιστή σε 2 επεξεργαστές μη τυπικής μορφής.
Εδώ είναι το βίντεο:
Ήμουν ιδιαίτερα ευχαριστημένος με την οικονομική τιμή του συστήματος σε αυτό το βίντεο.
Ωστόσο, η διαβούλευση με πιο ενημερωμένους συντρόφους που ασχολήθηκαν με κινέζους διακομιστές με έπεισε - "Δεν χρειαζόμαστε την κινεζική ευτυχία!" Σύμφωνα με τις κριτικές τους, οι κινεζικοί διακομιστές ήταν απλώς τερατώδες αναξιόπιστοι. Και άρχισα να ψάχνω στο Avito για επιλογές με πλακέτες διακομιστών Dell. Έχω δύο φορητούς υπολογιστές αυτής της εταιρείας και έχω μόνο θετικές εντυπώσεις από αυτούς. Πολύ αξιόπιστη τεχνολογία.
Στο Avito βρήκα μια πλακέτα κόμβου διακομιστή Dell PowerEdge C6220 στη διαδικασία επικοινωνίας με τον πωλητή - μου πρότεινε έναν εξαιρετικό ιστότοπο όπου υπήρχε μια δημοσίευση για το πώς ένας τεχνίτης κυκλοφόρησε μια τέτοια πλακέτα, . Και υπήρχε ένας σύνδεσμος προς ένα αμερικανικό φόρουμ όπου συναρμολογούνταν ισχυροί σταθμοί εργασίας σε τέτοιες πλακέτες..
Διάβασα ολόκληρο το θέμα από την αρχή μέχρι το τέλος, αποφάσισα στόχους, στόχους και τρόπους για να τους πετύχω. Η εργασία διατυπώθηκε ως εξής: «Συναρμολογήστε έναν διακομιστή διπλού επεξεργαστή σε μια πλακέτα κόμβου Dell PowerEdge C8220 με GPU Tesla K10 ή K20». Η επιλογή για εξειδικευμένες GPU έπεσε μετά από μια συζήτηση με το άτομο για το οποίο όντως συναρμολογούνταν το σύστημα - έχοντας «κάρτες» που μπορούσαν να πραγματοποιήσουν μακροπρόθεσμους υπολογισμούς με διπλή ακρίβεια και έλεγχο των σφαλμάτων μνήμης ECC, μπορούσε να τις χρησιμοποιήσει για την επιστημονική του δραστηριότητες, και όχι μόνο για την εκπαίδευση νευρωνικών δικτύων. Για το οποίο ήταν πραγματικά πολύ χαρούμενος.
Για να συζητήσω και να καταγράψω την ιστορία της διαδικασίας συναρμολόγησης στο φόρουμ «Iron Ghosts of the Past», δημιούργησα ένα αντίστοιχο θέμα, όπου έγραψα πραγματικά για τη διαδικασία και δημοσίευσα φωτογραφίες. .
Η εργασία ορίστηκε και άρχισα να ψάχνω για εξαρτήματα. Την εποχή που ξεκίνησαν όλα, δεν είχα ακόμη εγγραφή στο eBay και στην αρχή αγόρασαν τα απαραίτητα ανταλλακτικά από φίλους μου, στους οποίους πλήρωσα τα έξοδα αγοράς και αποστολής. Αργότερα, εγγράφηκα ο ίδιος εκεί και άρχισα να αγοράζω απευθείας, αν και μερικές φορές πρέπει να ζητήσω βοήθεια από όσους έχουν λογαριασμούς στο Shopotam και παρόμοιες υπηρεσίες. Δεν αποστέλλονται όλα τα απαραίτητα ανταλλακτικά απευθείας από τις ΗΠΑ στη Ρωσία.
Η πρώτη μητρική που αγόρασα από το eBay ήταν η Dell PowerEdge C8220 0083N0. Σύμφωνα με την τεκμηρίωση της Dell, ανήκε στην έκδοση πλακέτας 1.2 και είχε 3 υποδοχές PCI-E 16x. Υπάρχουν δύο κανονικά κοντά στο κουμπί λειτουργίας και ένα τρίτο στην άλλη πλευρά της πλακέτας είναι μη τυπικό, για το λεγόμενο ανυψωτικό GPGPU, το οποίο περιλαμβανόταν στο λεγόμενο Edge Slot.
Φωτογραφία του πίνακα, το ίδιο 0083N0, φωτογραφία από το eBay.
Και αυτή είναι η φωτογραφία μου, ένας χάρακας είναι στερεωμένος στον πίνακα για να καταλάβετε την κλίμακα.
Μέχρι εκείνη τη στιγμή, είχε φτάσει και σε μένα ένα ανυψωτικό για GPGPU στην ίδια υποδοχή Edge.
Εδώ είναι μια φωτογραφία όπου είναι συνδεδεμένο με την κανονική του θέση για δοκιμή.
Ταυτόχρονα, αγοράστηκε ένα τροφοδοτικό στο eBay, από το ATX σε αυτήν την υποδοχή τροφοδοσίας C6100. Υπάρχουν δύο τύποι από αυτά που πωλούνται στο eBay, 12 και 18 pin. Χρειαζόμαστε το τελευταίο, καθώς και μια ενίσχυση DC-DC για να μετατρέψουμε το +5VSB από το ATX PSU σε +12VSB του διακομιστή Dell. Και φυσικά, η θηλυκή υποδοχή στην υποδοχή για την εγκατάσταση του βραχυκυκλωτήρα που απαιτείται για την εκκίνηση της πλακέτας και την έξοδο του σήματος PS_ON από αυτήν. Παρεμπιπτόντως, έχει μη τυπικό βήμα επαφής 2.0 mm. Φυσικά, οι απελπισμένοι τύποι μπορούν να κολλήσουν ένα κατσαβίδι ή ένα καρφί απευθείας στον σύνδεσμο της πλακέτας, αλλά προτίμησα να τα κάνω όλα πολιτισμένα.
Επιπλέον, για δοκιμαστική λειτουργία της πλακέτας, αγοράσαμε το φθηνότερο Xeon E5-2604 V1 από την Aliexpress και ένα ζευγάρι memory sticks DDR3 ECC REG από το eBay, τα οποία πωλήθηκαν ως συμβατά με το Dell PowerEdge C8220. Πρώτα απ 'όλα, χρησιμοποίησα ψυγεία Alpine 20 Plus C0 για το LGA 2011, τα οποία έπρεπε να τροποποιηθούν - οι άκρες τους που ακουμπούσαν στις υποδοχές μνήμης γεμίστηκαν με μύλο, οι ελατηριωτές ροδέλες αφαιρέθηκαν από τις βίδες στερέωσης και ένα ζευγάρι παξιμάδια βιδώνεται στα σπειρώματα - για να μην βιδωθούν πολύ βαθιά οι βίδες και να μην σπάσει η σανίδα. Οι υποδοχές διακομιστή LGA 2011 έχουν σχεδιαστεί ελαφρώς διαφορετικά από τις κανονικές και τα σπειρώματα των βιδών της ψύκτρας πρέπει να είναι κοντά. Παρεμπιπτόντως, τα ψυγεία δούλευαν καλά, παρά το γεγονός ότι ήταν καθαρά αλουμινίου.
Και έτσι, ήρθε η στιγμή που έφτασαν οι επεξεργαστές, απαθανάτισα την εγκατάστασή τους σε μια φωτογραφία ως ενθύμιο.
Και εδώ είναι εγκατεστημένοι οι ίδιοι ψύκτες αλουμινίου Alpine.
Συναρμολογημένο και λειτουργικό σύστημα.
Το παλιό μου πιστό τροφοδοτικό Chieftek 550 W συνδέθηκε στο σύστημα, ένας διανομέας USB για 4 συσκευές, ο οποίος περιελάμβανε ένα πληκτρολόγιο, ένα ποντίκι και μια μονάδα flash με το Ubuntu, μια συσκευή ανάγνωσης καρτών συνδέθηκε στην υποδοχή για μια συσκευή ανάγνωσης καρτών USB στο πλακέτα στην οποία συνέδεσα μια κινεζική συσκευή ήχου USB, συνέδεσα επίσης μια οθόνη VGA και ένα καλώδιο patch στη θύρα IPMI 100 Mbit, η οποία ονομάζεται Delicated-NIC. Δίπλα του υπάρχουν δύο θύρες 10 Gbe που λειτουργούν μέσω κανονικού συνεστραμμένου ζεύγους χαλκού και υποστηρίζουν πλήρως ένα κανονικό δίκτυο 100/1000.
Το σύστημα ξεκίνησε με αυτή τη μορφή και αποδείχθηκε ότι η πλακέτα έλεγξε τη μνήμη για πολύ μεγάλο χρονικό διάστημα κατά την εκκίνηση. Και στην οθόνη εκκίνησης του BIOS ονομάστηκε Dell DCS 6220.
Εδώ θα τελειώσω το πρώτο μέρος της ιστορίας μου για να μην κουράσω τους ευγνώμονες αναγνώστες.
Σύνδεσμος για το μέρος 2:
Πηγή: www.habr.com