Bonjour, habitants de Khabrovsk ! Je vais continuer mon histoire en assemblant un « supercalculateur dans le village ».
Je commencerai la troisième partie en exprimant ma sincère gratitude à mes amis qui m'ont soutenu dans les moments difficiles, m'ont motivé, m'ont aidé avec de l'argent en parrainant pendant longtemps cette entreprise plutôt coûteuse et ont même aidé à l'achat de composants à l'étranger dans les cas où Je ne pouvais pas les acheter sur place, me diriger moi-même. Par exemple, si une entreprise vendant des pièces de serveur aux États-Unis ou au Canada ne les a tout simplement pas envoyées en Russie. Sans leur aide longue et régulière, mes succès auraient été bien plus modestes.
Aussi, grâce à leurs demandes, j'ai franchi le pas et ouvert un compte sur Youtube, acheté un vieux smartphone Lumia 640, que j'utilise exclusivement comme caméra vidéo, et commencé à réaliser des vidéos pédagogiques, à la fois sur l'assemblage d'un « supercalculateur de village » et sur d'autres aspects et projets de ma vie de village.
Playlist « Supercalculateur de village » :
Ceux qui veulent des spoilers peuvent les lire, même si bien sûr il est préférable de le faire en lisant mon histoire ou même après.
La deuxième partie de mon histoire a été interrompue par la connexion de la baie de disques Tesla K20M, GT 610 et M.2 NVE SSD + au système. À propos, qu'y a-t-il d'autre de bien dans cette carte Dell - elle dispose d'une "étagère à disques" intégrée, bien que pour seulement 6 appareils, et le RAID n'est pas "le plus sophistiqué au monde", mais contrairement à ses homologues externes plus professionnels , il ignore la commande TRIM sur le SSD. Ce qui est également important si vous utilisez intensivement des SSD de serveurs non professionnels.
À propos, il y a aussi un point intéressant et important à propos de ce forum. Les radiateurs des chipsets sont bas avec de petites ailettes. Cela fonctionne bien lorsque la carte est dans son rack d'origine, où de puissantes turbines la propulsent. Mais lors de l'utilisation de la carte séparément, il est nécessaire de retirer l'autocollant en plastique du radiateur le plus proche des connecteurs d'extension, et il est conseillé de remplacer celui le plus éloigné par n'importe quel radiateur approprié du chipset d'une ancienne carte mère à grandes ailettes, car la puce située en dessous chauffe le plus sur la carte.
Après avoir retiré la carte vidéo du système, j'ai commencé à assembler un cadre pour mon serveur ; dans la version de test, tout était sur du ruban isolant, des boîtes d'allumettes et autres supports en plastique, mais pour une utilisation complète 24/7/365, cette option ne semblait pas acceptable pour moi. Il fallait réaliser un cadre normal sous un angle en aluminium. J'ai utilisé des coins en aluminium de Leroy Merlin, qui m'ont été envoyés par un ami de la région de Moscou ; dans ma ville voisine, ils n'étaient tout simplement vendus nulle part !
En plus des coins, la conception a utilisé des vis et écrous à tête fraisée M5, des vis et écrous M3, de petits coins de meubles, des rivets en aluminium pour des trous de 5 mm, un pistolet à riveter, une scie à métaux pour le métal, un tournevis, une perceuse à métal de 5.0 mm, une lime, un tournevis cruciforme, des serre-câbles et des bras qui ne sortent pas du cul.
Les coins étaient utilisés pour fixer la planche au cadre et à certains autres éléments. Ceci, bien sûr, ajoutait un peu de hauteur à l'ensemble du système, car la planche était surélevée assez haut au-dessus du plan inférieur du cadre, mais j'ai décidé que cela était acceptable pour moi. Je ne me suis pas battu pour chaque gramme de poids et chaque millimètre de hauteur ; après tout, ce n’est pas un ordinateur de bord d’avion où la norme est « 15 G en 3 axes, chocs jusqu’à 1000 G et vibrations ».
La carte est installée, les risers sont vissés, l'adaptateur avec SSD M.2 est vissé.
La carte, le SSD, les risers et Tesla sont installés à leur place. Le DC-DC n’est pas encore vissé et il est accroché aux fils en coulisses. Il s'agit de la version 1.0 du serveur, toujours sur un Tesla K20M.
Ici le DC-DC est déjà fixé au châssis, il y a une petite écharpe sur le côté derrière la carte mère sous les « queues » d'alimentation.
Et voici le système déjà assemblé, vue de dessus. Au-dessus de la Tesla se trouve un autre coin dans lequel une paire de SSD sont vissés côte à côte, au-dessus d'eux se trouve une cage de disque dur, et au-dessus du cadre qui ferme le cadre est suspendue une alimentation modulaire Thermaltek de 850 W. L’alimentation est à la mode, de jeu, avec un rétroéclairage RVB que j’ai désactivé pour qu’elle ne clignote pas comme un sapin de Noël. La seule alimentation modulaire puissante à l'époque dans les magasins d'une ville voisine.
Vue latérale du serveur version 1.0.
Vue de face du serveur. J'ai réalisé les connecteurs et les lecteurs pour les lecteurs d'un côté, comme dans les systèmes de serveur, afin que pour toutes les manipulations, je n'aie pas à retourner l'ensemble du système d'avant en arrière. Sur la « barre avec découpes » est vissée une tige avec deux ports USB 2.0, que j'ai connectés à la place d'un lecteur de carte, et une carte adaptateur pour M.2 est vissée sur sa partie inférieure.
Ici, vous pouvez voir comment le DC-DC et la carte sont sécurisés, exactement dans les coins dont je parlais.
Vue de l'autre côté, comment le support GPGPU, qui est EdgeSlot, est fixé.
Le même élévateur de coin haut avec une puissance supplémentaire pour le GPGPU qui m'a été acheté via Whispers from America.
La machine a été assemblée, le système d'exploitation et les pilotes ont été installés, le CUDA Toolkit a été configuré...
Voici une courte vidéo sur elle.
Sous cette forme, le système avec un Tesla K20M 5 Go a fonctionné pendant six mois, pendant que mon ami astronome comptait ses tâches. Puis il est parti en vacances et a soudainement utilisé des serveurs Tesla K20X de 6 Go pour 6000 3 roubles trouvés sur eBay, en vente dans un centre de données en Angleterre. Et nous avons décidé d'assembler la deuxième version du « supercalculateur » en utilisant 20 Tesla KXNUMXX.
Des Tesla ont été achetées, une deuxième carte mère a été achetée exactement de la même manière, seulement ils ont décidé d'économiser sur la livraison et ont choisi la livraison par eBay. Qui l'a emmenée EN ESPAGNE et l'a livrée à un gars complètement de gauche. Un litige a été ouvert sur eBay, le vendeur des États-Unis m'a soutenu et l'argent a été restitué, et déjà le troisième paiement m'est parvenu dans l'USPS habituel, cher mais fiable. D'autres pièces détachées sont également arrivées et voici une vidéo sur le début du montage du « supercalculateur de village » 2.0.
Vidéo sur les pièces de rechange pour cette même « machine ».
Lancement du tableau et quelques fonctionnalités.
Ici j'ai commencé à assembler le framework de la deuxième version du serveur.
La Tesla K20X est arrivée, première vidéo.
Une vidéo éducative sur la Tesla K20X, sur la conception de la carte et son système de refroidissement, et sur la déception avec le waterblock de la GTX 780 Ti.
Suite de la vidéo sur le Tesla K20X, j'ai scanné sa carte avec un scanner, si quelqu'un en a soudainement besoin.
Face avant avec puce GPU.
Arrière.
Comme on peut le constater, la Tesla K20, bien que similaire « dans ses grandes lignes » aux GTX 780 GTX 780 ti GTX TITAN sur GPU GK110 Kepler, n'est néanmoins pas compatible avec celles-ci au niveau de la carte et du système de refroidissement. Si j'ai une Quadro K5200 K6000 GK110 Kepler, je comparerai sa carte avec la carte Tesla K20, mais jusqu'à présent, je n'ai pas les Quadros mentionnés ci-dessus.
Et voici la suite de la build du serveur 2.0
Encore une fois des refroidisseurs 1U avec des escargots et d'autres éléments nécessaires pour un serveur avec plus de puissance que le premier. D'ailleurs, j'ai dû démonter le premier serveur pour assembler le second, alors que mon ami n'avait pas un besoin urgent de compter.
Un peu de gestion des câbles...
Et la deuxième Tesla est installée à sa place.
Mais ici, j'ai rencontré une déception offensive. Il s'est avéré que le système ne peut pas gérer 3 unités Tesla K20. Au démarrage du BIOS, cette erreur apparaît et c'est tout, la troisième Tesla ne fonctionne pas du tout. Même la mise à jour du BIOS vers la version 2.8.1 n'a pas aidé, après quoi la carte est passée d'un Dell DCS 6220 à un Dell C6220 2.8.1. J'ai activé et désactivé diverses options dans le BIOS, j'ai même essayé de couvrir certains contacts sur la Tesla avec du ruban adhésif pour les faire 8x - rien n'y fait. J'ai dû accepter la configuration de 2 Tesla K20X + SSD NVE. À propos, dans la version 2.0 du serveur, tous les disques SATA vivent dans un panier chinois à 6 compartiments. Il existe désormais une paire de Samsung 860 EVO 500 Go + 4 téraoctets Seagate. J'ai acheté des Samsung sur Ali pour 3600 pièce. Roues d'origine, mais elles me conviennent.
Le « supercalculateur 2.0 » est désormais entièrement assemblé et prêt à l’emploi.
Par ailleurs, les pièces détachées achetées pour le deuxième système sont arrivées et j'ai remonté le premier, voici une vidéo à ce sujet.
Et j'invite les lecteurs à voter pour savoir quoi faire du premier tableau ? Quelles choses intéressantes peuvent être collectées sur cette base ? Ou si quelqu'un veut l'acheter comme les Tesla K20M et K20X avec ou sans refroidisseurs d'escargots - je suis prêt, écrivez.
Voici une telle histoire, j'espère qu'elle s'avérera intéressante et utile pour les chers lecteurs.
PS : Pour ceux qui ont eu la patience de lire jusqu'au bout - abonnez-vous à ma chaîne sur YouTube, commentez, aimez/n'aimez pas - cela me motivera pour d'autres publications et pour tourner de nouvelles vidéos éducatives.
Source: habr.com