Bonjour, chers habitants de Khabrovsk !
Je voudrais continuer mon histoire sur l'assemblage d'un « supercalculateur de village ». Et je vais vous expliquer pourquoi on l’appelle ainsi – la raison est simple. Je vis moi-même dans un village. Et le nom est un léger trollage de ceux qui crient sur Internet « Il n'y a pas de vie au-delà du périphérique de Moscou ! », « Le village russe est devenu un ivrogne et est en train de mourir ! Donc, quelque part, cela peut être vrai, mais je serai l'exception à la règle. Je ne bois pas, je ne fume pas, je fais des choses que tous les « crackers urbains » ne peuvent pas se permettre. Mais revenons à nos moutons, ou plus précisément au serveur, qui à la fin de la première partie de l’article « montrait déjà des signes de vie ».
La carte était posée sur la table, j'ai parcouru le BIOS, l'ai configuré à mon goût, j'ai quitté Ubuntu 16.04 Desktop pour plus de simplicité et j'ai décidé de connecter une carte vidéo à la « super machine ». Mais la seule chose à portée de main était un GTS 250 avec un gros ventilateur non original attaché. Que j'ai installé dans le slot PCI-E 16x près du bouton d'alimentation.
"Je l'ai pris avec un pack de Belomor (c)" alors s'il vous plaît ne me blâmez pas pour la qualité de la photo. Je préfère commenter ce qui y est capturé.
Premièrement, il s'est avéré que lorsqu'elle est installée dans un emplacement, même une carte vidéo courte repose la carte contre les emplacements mémoire, dans lesquels dans ce cas elle ne peut pas être installée et même les loquets doivent être abaissés. Deuxièmement, la bande de montage en fer de la carte vidéo recouvre le bouton d'alimentation, elle a donc dû être retirée. D'ailleurs, le bouton d'alimentation lui-même est éclairé par une LED bicolore, qui s'allume en vert lorsque tout est en ordre et clignote en orange en cas de problème, de court-circuit et de protection de l'alimentation déclenchée ou d'alimentation +12VSB. l’offre est trop élevée ou trop faible.
En fait, cette carte mère n'est pas conçue pour inclure des cartes vidéo « directement » dans ses emplacements PCI-E 16x ; elles sont toutes connectées à des risers. Pour installer une carte d'extension dans les emplacements proches du bouton d'alimentation, il existe des supports d'angle, un bas pour installer des cartes courtes jusqu'à la longueur du premier radiateur du processeur et un d'angle haut avec un connecteur d'alimentation +12 V supplémentaire pour installer un carte vidéo « au-dessus » d’un refroidisseur 1U standard bas. Il peut inclure de grandes cartes vidéo comme GTX 780, GTX 980, GTX 1080 ou des cartes GPGPU spécialisées Nvidia Tesla K10-K20-K40 ou des « cartes informatiques » Intel Xeon Phi 5110p et autres.
Mais dans la colonne montante GPGPU, la carte incluse dans l'EdgeSlot peut être connectée directement, uniquement en connectant à nouveau une alimentation supplémentaire avec le même connecteur que sur la colonne montante d'angle. Pour les personnes intéressées, sur eBay, cette colonne montante flexible s'appelle « Dell PowerEdge C8220X PCI-E GPGPU DJC89 » et coûte environ 2.5 à 3 7 roubles. Les contremarches d'angle avec alimentation supplémentaire sont beaucoup plus rares et j'ai dû négocier pour les obtenir auprès d'un magasin spécialisé de pièces de serveur via Whisper. Ils coûtent XNUMX XNUMX pièce.
Je dirai tout de suite que les « gars à risque (tm) » peuvent même connecter une paire de GTX 980 à la carte avec des élévateurs flexibles chinois 16x, comme l'a fait une personne sur « That Same Forum » ; d'ailleurs, les Chinois font assez de bons métiers qui fonctionnent sur PCI-E 16x 2.0 à la manière des risers flexibles Thermaltek, mais si cela vous fait un jour griller les circuits d'alimentation de la carte serveur, vous n'aurez qu'à vous en prendre à vous-même. Je n'ai pas risqué un équipement coûteux et j'ai utilisé des élévateurs d'origine avec une puissance supplémentaire et un flexible chinois, pensant que connecter une carte « directement » ne brûlerait pas la carte.
Ensuite, les connecteurs tant attendus pour connecter une alimentation supplémentaire sont arrivés et j'ai réalisé une queue pour mon riser dans EdgeSlot. Et le même connecteur, mais avec un brochage différent, est utilisé pour fournir une alimentation supplémentaire à la carte mère. Ce connecteur est juste à côté de ce même connecteur EdgeSlot, il y a un brochage intéressant. Si la colonne montante a 2 fils +12 et 2 communs, alors la carte a 3 fils +12 et 1 commun.
Il s'agit en fait du même GTS 250 inclus dans le riser GPGPU. À propos, une alimentation supplémentaire est fournie aux élévateurs et à la carte mère - à partir du deuxième connecteur d'alimentation +12V du CPU de mon alimentation. J'ai décidé qu'il serait plus correct de faire cela.
Le conte de fées se raconte rapidement, mais lentement, les colis arrivent en Russie en provenance de Chine et d'autres endroits du monde. Il y avait donc de grandes lacunes dans l’assemblage du « supercalculateur ». Mais finalement, le serveur Nvidia Tesla K20M avec radiateur passif m'est arrivé. De plus, il est absolument nul, dès stockage, scellé dans sa boîte d'origine, dans son emballage d'origine, avec les papiers de garantie. Et la souffrance commença : comment la calmer ?
Tout d'abord, une glacière personnalisée avec deux petites « turbines » a été achetée en Angleterre, la voici sur la photo, avec un diffuseur en carton fait maison.
Et ils se sont révélés être de la merde totale. Ils faisaient beaucoup de bruit, le support ne rentrait pas du tout, ils soufflaient faiblement et émettaient de telles vibrations que j'avais peur que les composants tombent de la carte Tesla ! Pourquoi ont-ils été jetés à la poubelle presque immédiatement ?
À propos, sur la photo sous Tesla, vous pouvez voir des radiateurs en cuivre pour serveur LGA 2011 1U installés sur les processeurs avec un escargot de Coolerserver acheté chez Aliexpress. Glacières très correctes, bien qu'un peu bruyantes. Ils s'adaptent parfaitement.
Mais en fait, alors que j'attendais un nouveau refroidisseur pour Tesla, après avoir commandé cette fois un gros escargot BFB1012EN en Australie avec un support imprimé en 3D, il est arrivé au système de stockage du serveur. La carte serveur dispose d'un connecteur mini-SAS à travers lequel sont sortis 4 connecteurs SATA et 2 autres connecteurs SATA. Tout est standard SATA 2.0 mais ça me convient.
Le RAID Intel C602 intégré au chipset n'est pas mauvais et l'essentiel est qu'il ignore la commande TRIM pour les SSD, ce que de nombreux contrôleurs RAID externes bon marché ne font pas.
Sur eBay, j'ai acheté un câble mini-SAS vers 4 SATA d'un mètre de long, et sur Avito, j'ai acheté un chariot remplaçable à chaud avec une baie de 5,25″ pour 4 x 2,5″ SAS-SATA. Ainsi, lorsque le câble et le panier sont arrivés, 4 téraoctets de Seagates y étaient installés, RAID5 pour 4 appareils était intégré dans le BIOS, j'ai commencé à installer le serveur Ubuntu... et j'ai découvert que le programme de partitionnement de disque ne me permettait pas pour créer une partition de swap sur le raid.
J'ai résolu le problème de front - j'ai acheté un adaptateur ASUS HYPER M.2 x 2 MINI et M.4 SSD Samsung 2 EVO 960 Go auprès de DNS et j'ai décidé que le périphérique à vitesse maximale devait être alloué pour l'échange, car le système fonctionnerait avec une charge de calcul élevée, et la mémoire est toujours évidemment inférieure à la taille des données. Et la mémoire de 250 Go était plus chère que ce SSD.
Ce même adaptateur avec un SSD installé dans une colonne montante d'angle bas.
Anticiper les questions - "Pourquoi ne pas faire tout le système sur M.2 et avoir une vitesse d'accès maximale supérieure à celle d'un raid sur SATA ?" - Je répondrai. Premièrement, les SSD M1 de 2 To ou plus sont trop chers pour moi. Deuxièmement, même après la mise à jour du BIOS vers la dernière version 2.8.1, le serveur ne prend toujours pas en charge le chargement des périphériques M.2 NVE. J'ai fait une expérience où le système définissait /boot sur USB FLASH 64 Go et tout le reste sur SSD M.2, mais je n'ai pas aimé ça. Bien qu'en principe, une telle combinaison soit tout à fait réalisable. Si les NVE M.2 haute capacité deviennent moins chers, je pourrai peut-être revenir à cette option, mais pour l'instant, le SATA RAID en tant que système de stockage me convient plutôt bien.
Lorsque j'ai choisi le sous-système de disque et que j'ai trouvé une combinaison de 2 x SSD Kingston 240 Go RAID1 «/» + 4 x HDD Seagate 1 To RAID5 «/home» + M.2 SSD Samsung 960 EVO 250 Go «swap», c'est il est temps de continuer mes expériences avec le GPU J'avais déjà une Tesla et une glacière australienne vient d'arriver avec un escargot "méchant" qui mange jusqu'à 2.94A en 12V, le deuxième emplacement était occupé par du M.2 et pour le troisième j'ai emprunté une GT 610 "pour expérimenter".
Ici, sur la photo, les 3 appareils sont connectés et le SSD M.2 se fait via un support flexible Thermaltech pour cartes vidéo qui fonctionne sur le bus 3.0 sans erreur. C'est comme ça, fabriqué à partir de nombreux « rubans » individuels similaires à ceux à partir desquels les câbles SATA sont fabriqués. Les risers PCI-E 16x fabriqués à partir d'un câble plat monolithique, un peu comme les anciens IDE-SCSI, sont un désastre, ils souffriront d'erreurs dues à des interférences mutuelles. Et comme je l'ai déjà dit, les Chinois fabriquent désormais aussi des contremarches similaires à celles de Thermaltek, mais plus courtes.
En combinaison avec le Tesla K20 + GT 610, j'ai essayé beaucoup de choses, en même temps j'ai découvert que lors de la connexion d'une carte vidéo externe et de la commutation de la sortie vers celle-ci dans le BIOS, vKVM ne fonctionnait pas, ce qui n'a pas vraiment fonctionné m'enerve. Quoi qu'il en soit, je n'avais pas prévu d'utiliser de vidéo externe sur ce système, il n'y a pas de sorties vidéo sur Teslas, et le panneau d'administration à distance via SSH et sans X-owls fonctionne très bien une fois qu'on se souvient un peu de ce qu'est une ligne de commande sans interface graphique. . Mais IPMI + vKVM simplifie grandement la gestion, la réinstallation et d'autres problèmes avec un serveur distant.
En général, l'IPMI de cette carte est excellent. Un port 100 Mbit séparé, la possibilité de reconfigurer l'injection de paquets sur l'un des ports 10 Gbit, un serveur Web intégré pour la gestion de l'alimentation et le contrôle des serveurs, le téléchargement d'un client Java vKVM directement depuis celui-ci et un client pour le montage à distance des disques ou des images pour la réinstallation... La seule chose est que les clients sont les mêmes que l'ancien Java Oracle, qui n'est plus supporté sous Linux et pour le panneau d'administration à distance, j'ai dû me procurer un ordinateur portable avec Win XP SP3 avec ce très ancien crapaud. Bon, le client est lent, il y en a assez pour le panneau d'administration et tout ça, mais on ne peut pas jouer à des jeux à distance, le FPS est petit. Et la vidéo ASPEED intégrée à IPMI est faible, uniquement VGA.
En travaillant avec le serveur, j'ai beaucoup appris et beaucoup appris dans le domaine du matériel de serveur professionnel de Dell. Ce que je ne regrette pas du tout, ainsi que le temps et l’argent bien dépensés. L'histoire éducative sur l'assemblage du cadre avec tous les composants du serveur se poursuivra plus tard.
Lien vers la partie 3 :
Source: habr.com