Bonjour, chers habitants de Khabrovsk !
Je veux vous raconter une histoire longue et, je l'espère, fascinante et peut-être utile, sur l'assemblage d'un « superordinateur de village » à partir d'une carte de nœud de serveur Dell, d'un GPU Nvidia Tesla K20 et de ce qui a été acheté ici et là dans divers magasins en ligne ou dans magasins d'informatique dans votre ville.
L’histoire a commencé lorsqu’un de mes amis programmeur, qui est également astronome, a commencé à étudier les réseaux neuronaux. Leur « spécialiste à temps plein » a démissionné et le problème a été imputé au « spécialiste le plus proche ». Je ne suis moi-même pas programmeur, juste un « mécanicien radio pour réparer du matériel informatique (avec) mon diplôme », donc assembler toutes sortes de matériel informatique intéressant est pour moi une activité intéressante et agréable. Malheureusement, je travaille dans un autre domaine.
Pour formuler plus clairement la tâche, j'ai créé un sujet sur le forum « Iron Ghosts of the Past », où elle a été discutée assez longtemps. Au début, il y avait une idée plutôt naïve de « construire un SLI 4 voies sur une GTX 580 3 Go », qui s'est progressivement transformée en une compréhension : il faut construire un serveur ! Les prix des cartes mères serveurs étaient outrageusement élevés jusqu'à ce que je tombe sur une vidéo intéressante sur Youtube sur le lancement d'une carte serveur chinoise sur 2 processeurs au format non standard.
Voici la vidéo:
J'ai été particulièrement satisfait du prix budgétaire du système dans cette vidéo.
Cependant, la consultation de camarades plus expérimentés qui traitaient avec des serveurs chinois m'a convaincu : « Nous n'avons pas besoin du bonheur chinois ! Selon leurs critiques, les serveurs chinois étaient tout simplement monstrueusement peu fiables. Et j'ai commencé à chercher sur Avito des options avec les cartes serveurs Dell. J'ai deux ordinateurs portables de cette société et je n'en ai que des impressions positives. Technologie très fiable.
Sur Avito, j'ai trouvé une carte de nœud de serveur Dell PowerEdge C6220 en train de communiquer avec le vendeur - il m'a suggéré un excellent site où il y avait une publication sur la façon dont un artisan a lancé une telle carte, . Et il y avait un lien vers un forum américain où de puissants postes de travail étaient assemblés sur de telles cartes..
J'ai lu tout le sujet du début à la fin, j'ai décidé des buts, des objectifs et des moyens de les atteindre. La tâche était formulée comme suit : « Assembler un serveur à double processeur sur une carte de nœud Dell PowerEdge C8220 avec un GPU Tesla K10 ou K20. » Le choix des GPU spécialisés est tombé après une discussion avec la personne pour laquelle le système était réellement assemblé - disposant de « cartes » capables d'effectuer des calculs à long terme avec une double précision et un contrôle des erreurs de mémoire ECC, il pouvait les utiliser pour ses recherches scientifiques. activités, et pas seulement pour la formation des réseaux de neurones. Ce dont il était en fait très heureux.
Pour discuter et enregistrer l'histoire du processus d'assemblage sur le forum « Iron Ghosts of the Past », j'ai créé un sujet correspondant, dans lequel j'ai écrit sur le processus et publié des photographies. .
La tâche était définie et j'ai commencé à chercher des composants. Au moment où tout a commencé, je n'étais pas encore inscrit sur eBay et au début les pièces détachées nécessaires étaient achetées par mes amis, à qui je payais les frais d'achat et d'expédition. Plus tard, je me suis moi-même inscrit là-bas et j'ai commencé à acheter directement, même si je dois parfois demander de l'aide à ceux qui ont des comptes sur Shopotam et des services similaires. Toutes les pièces de rechange nécessaires ne sont pas envoyées directement des États-Unis vers la Russie.
La première carte mère que j'ai achetée sur eBay était la Dell PowerEdge C8220 0083N0. Selon la documentation Dell, il appartenait à la version 1.2 de la carte et disposait de 3 emplacements PCI-E 16x. Il y en a deux standards près du bouton d'alimentation et un troisième de l'autre côté de la carte n'est pas standard, pour le soi-disant riser GPGPU, qui était inclus dans ce qu'on appelle Edge Slot.
Photo de la planche, la même 0083N0, photo d'eBay.
Et voici ma photo, une règle est fixée au tableau pour comprendre l'échelle.
À ce moment-là, un riser pour GPGPU dans le même Edge Slot m'était également arrivé.
Voici une photo où il est connecté à son emplacement habituel pour les tests.
Dans le même temps, un adaptateur secteur a été acheté sur eBay, de l'ATX à ce connecteur d'alimentation C6100. Il en existe deux types vendus sur eBay, 12 et 18 broches. Nous avons besoin de ce dernier, ainsi que d'un boost DC-DC pour transformer le +5VSB du bloc d'alimentation ATX en +12VSB du serveur Dell. Et bien sûr, le connecteur femelle dans le connecteur pour installer le cavalier nécessaire pour démarrer la carte et en sortir le signal PS_ON. À propos, il a un pas de contact non standard de 2.0 mm. Bien sûr, les désespérés peuvent enfoncer un tournevis ou un clou directement dans le connecteur de la carte, mais j'ai préféré tout faire civilement.
De plus, pour tester la carte, nous avons acheté le Xeon E5-2604 V1 le moins cher chez Aliexpress et une paire de clés mémoire DDR3 ECC REG sur eBay, vendues comme compatibles avec le Dell PowerEdge C8220. Tout d'abord, j'ai utilisé des refroidisseurs Alpine 20 Plus C0 pour LGA 2011, qui ont dû être modifiés - leurs bords qui reposaient sur les emplacements mémoire ont été limés avec une meuleuse, les rondelles élastiques ont été retirées des vis de fixation et une paire d'écrous a été vissé sur les filetages - afin de ne pas visser les vis trop profondément et de ne pas casser la planche. Les sockets de serveur LGA 2011 sont conçus légèrement différemment des sockets standards, et les filetages des vis du dissipateur thermique doivent être courts. À propos, les refroidisseurs ont bien fonctionné, même s'ils étaient purement en aluminium.
Et ainsi, au moment où les processeurs sont arrivés, j'ai capturé leur installation sur une photo en souvenir.
Et voici les mêmes refroidisseurs en aluminium Alpine installés.
Système assemblé et opérationnel.
Mon ancienne fidèle alimentation Chieftek 550 W était connectée au système, un hub USB pour 4 appareils, qui comprenait un clavier, une souris et une clé USB avec Ubuntu, un lecteur de carte était connecté au connecteur pour un lecteur de carte USB sur le carte sur laquelle j'ai branché un périphérique audio USB chinois, j'ai également connecté un moniteur VGA et un cordon de brassage au port IPMI 100 Mbit, appelé Delicated-NIC. À côté se trouvent deux ports 10 Gbe qui fonctionnent sur du cuivre à paire torsadée classique et prennent entièrement en charge un réseau 100/1000 classique.
Le système a été lancé sous cette forme et il s'est avéré que la carte vérifiait la mémoire très longtemps au démarrage. Et dans l'écran de démarrage du BIOS, il s'appelait Dell DCS 6220.
C'est ici que je terminerai la première partie de mon histoire pour ne pas ennuyer les lecteurs reconnaissants.
Lien vers la partie 2 :
Source: habr.com