¡Buenos días, queridos residentes de Khabrovsk!
Me gustaría continuar mi historia sobre el montaje de una "supercomputadora de aldea". Y explicaré por qué se llama así; la razón es simple. Yo mismo vivo en un pueblo. Y el nombre es un ligero troleo de quienes gritan en Internet “¡No hay vida más allá de la carretera de circunvalación de Moscú!”, “¡La aldea rusa se ha vuelto borracha y está desapareciendo!” Entonces, en algún lugar esto puede ser cierto, pero seré la excepción a la regla. No bebo, no fumo, hago cosas que no todos los “galletas urbanos” pueden permitirse. Pero volvamos a nuestra oveja, o más precisamente, al servidor, que al final de la primera parte del artículo ya “daba señales de vida”.
La placa estaba sobre la mesa, subí a través del BIOS, la configuré a mi gusto, salí corriendo del escritorio Ubuntu 16.04 para simplificar y decidí conectar una tarjeta de video a la "súper máquina". Pero lo único que teníamos a mano era un GTS 250 con un ventilador grande no original. Que instalé en la ranura PCI-E 16x cerca del botón de encendido.
“La tomé con un paquete de Belomor (c)”, así que no me culpen por la calidad de la foto. Prefiero comentar lo que se captura en ellos.
En primer lugar, resultó que cuando se instala en una ranura, incluso una tarjeta de video corta apoya la placa contra las ranuras de memoria, en las que en este caso no se puede instalar e incluso hay que bajar los pestillos. En segundo lugar, la tira de hierro de montaje de la tarjeta de video cubre el botón de encendido, por lo que hubo que quitarla. Por cierto, el botón de encendido en sí está iluminado por un LED de dos colores, que se ilumina en verde cuando todo está en orden y parpadea en naranja si hay algún problema, un cortocircuito y se ha disparado la protección de la fuente de alimentación o la alimentación de +12VSB. la oferta es demasiado alta o demasiado baja.
De hecho, esta placa base no está diseñada para incluir tarjetas de video “directamente” en sus ranuras PCI-E 16x; todas están conectadas a elevadores. Para instalar una tarjeta de expansión en las ranuras cerca del botón de encendido, hay elevadores de esquina, uno bajo para instalar tarjetas cortas hasta la longitud del radiador del primer procesador y uno de esquina alto con un conector de alimentación adicional de +12 V para instalar un tarjeta de video “encima” de un refrigerador estándar bajo de 1U. Puede incluir tarjetas de video grandes como GTX 780, GTX 980, GTX 1080 o tarjetas GPGPU especializadas Nvidia Tesla K10-K20-K40 o “tarjetas informáticas” Intel Xeon Phi 5110p y similares.
Pero en el elevador GPGPU, la tarjeta incluida en EdgeSlot se puede conectar directamente, solo conectando nuevamente energía adicional con el mismo conector que en el elevador de esquina alta. Para aquellos interesados, en eBay este elevador flexible se llama "Dell PowerEdge C8220X PCI-E GPGPU DJC89" y cuesta entre 2.5 y 3 mil rublos. Los elevadores de esquina con fuente de alimentación adicional son mucho más raros y tuve que negociar para conseguirlos en una tienda especializada en repuestos para servidores a través de Whisper. Cuestan 7 mil cada uno.
Diré de inmediato que los "chicos arriesgados (tm)" pueden incluso conectar un par de GTX 980 a la placa con elevadores flexibles chinos 16x, como lo hizo una persona en "Ese mismo foro"; por cierto, los chinos hacen bastante buenas artesanías que funcionan en PCI-E 16x 2.0 al estilo de los elevadores flexibles Thermaltek, pero si esto algún día hace que quemes los circuitos de alimentación en la placa del servidor, solo tendrás la culpa. No arriesgué equipos costosos y usé elevadores originales con potencia adicional y uno flexible chino, pensando que conectar una tarjeta "directamente" no quemaría la placa.
Luego llegaron los tan esperados conectores para conectar energía adicional e hice una cola para mi elevador en EdgeSlot. Y el mismo conector, pero con una distribución de pines diferente, se utiliza para suministrar energía adicional a la placa base. Este conector está justo al lado de este mismo conector EdgeSlot, hay una distribución de pines interesante allí. Si el elevador tiene 2 cables +12 y 2 comunes, entonces la placa tiene 3 cables +12 y 1 común.
En realidad, este es el mismo GTS 250 incluido en el elevador GPGPU. Por cierto, se suministra energía adicional a los elevadores y a la placa base, desde el segundo conector de alimentación de +12 V de la CPU de mi fuente de alimentación. Decidí que sería más correcto hacer esto.
El cuento de hadas se cuenta rápidamente, pero lentamente los paquetes llegan a Rusia desde China y otros lugares del mundo. Por tanto, hubo grandes lagunas en el montaje de la “supercomputadora”. Pero finalmente me llegó el servidor Nvidia Tesla K20M con radiador pasivo. Además, es absolutamente nulo, procedente de almacenamiento, precintado en su caja original, en su embalaje original, con papeles de garantía. Y empezó el sufrimiento: ¿cómo enfriarlo?
Primero, se compró en Inglaterra una nevera personalizada con dos pequeñas “turbinas”, aquí está en la foto, con un difusor de cartón casero.
Y resultaron ser una completa mierda. Hacían mucho ruido, el soporte no encajaba en absoluto, soplaban débilmente y daban tal vibración que tenía miedo de que los componentes se cayeran de la placa Tesla. ¿Por qué fueron arrojados a la basura casi de inmediato?
Por cierto, en la foto debajo de Tesla puedes ver radiadores de cobre del servidor LGA 2011 1U instalados en procesadores con un caracol de Coolerserver comprado en Aliexpress. Neveras muy decentes, aunque un poco ruidosas. Encajan perfectamente.
Pero en realidad, mientras esperaba un nuevo refrigerador para Tesla, esta vez después de haber pedido un caracol BFB1012EN grande de Australia con un soporte impreso en 3D, llegó al sistema de almacenamiento del servidor. La placa del servidor tiene un conector mini-SAS a través del cual salen 4 conectores SATA y 2 conectores SATA más. Todo SATA estándar 2.0 pero eso me conviene.
El RAID Intel C602 integrado en el chipset no está mal y lo principal es que se salta el comando TRIM para SSD, lo que muchos controladores RAID externos económicos no hacen.
En eBay compré un cable mini-SAS a 4 SATA de un metro de largo y en Avito compré un carro de intercambio en caliente con una bahía de 5,25 ″ para 4 x 2,5 SAS-SATA. Entonces, cuando llegaron el cable y la cesta, se instalaron Seagates de 4 terabytes, se incorporó RAID5 para 4 dispositivos en la BIOS, comencé a instalar el servidor Ubuntu... y me encontré con que el programa de partición del disco no me lo permitía. para crear una partición de intercambio en la incursión.
Resolví el problema de frente: compré un adaptador ASUS HYPER M.2 x 2 MINI y M.4 SSD Samsung 2 EVO 960 Gb de DNS y decidí que el dispositivo de velocidad máxima debería asignarse para el intercambio, ya que el sistema funcionará con una alta carga computacional, y la memoria aún es obviamente menor que el tamaño de los datos. Y la memoria de 250 GB era más cara que este SSD.
Este mismo adaptador con un SSD instalado en un elevador de esquina bajo.
Anticipándonos a las preguntas: "¿Por qué no hacer todo el sistema en M.2 y tener una velocidad máxima de acceso superior a la de un raid en SATA?" - Yo responderé. En primer lugar, los SSD M1 de 2 TB o más son demasiado caros para mí. En segundo lugar, incluso después de actualizar el BIOS a la última versión 2.8.1, el servidor todavía no admite la carga de dispositivos M.2 NVE. Hice un experimento en el que el sistema configuró/arrancó en USB FLASH de 64 Gb y todo lo demás en M.2 SSD, pero no me gustó. Aunque, en principio, esta combinación es bastante viable. Si los NVE M.2 de alta capacidad se abaratan, puede que vuelva a esta opción, pero por ahora SATA RAID como sistema de almacenamiento me viene bastante bien.
Cuando me decidí por el subsistema de discos y se me ocurrió una combinación de 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + SSD M.2 Samsung 960 EVO 250 Gb “swap” es Es hora de continuar mis experimentos con GPU. Ya tenía un Tesla y acababa de llegar una nevera australiana con un caracol “malvado” que consume hasta 2.94A a 12V, el segundo puesto lo ocupaba el M.2 y para el tercero pedí prestado un GT 610 “para experimentos”.
Aquí, en la foto, los 3 dispositivos están conectados y el SSD M.2 se realiza a través de un elevador Thermaltech flexible para tarjetas de video que funciona en el bus 3.0 sin errores. Es así, hecho de muchas "cintas" individuales similares a aquellas con las que se fabrican los cables SATA. Los elevadores PCI-E 16x hechos de un cable plano monolítico, algo así como los antiguos IDE-SCSI, son un desastre, sufrirán errores debido a la interferencia mutua. Y como ya dije, los chinos ahora también fabrican bandas similares a las de Thermaltek, pero más cortas.
En combinación con el Tesla K20 + GT 610, probé muchas cosas, al mismo tiempo descubrí que al conectar una tarjeta de video externa y cambiar la salida en el BIOS, vKVM no funciona, lo que realmente no funcionó. me molesta. De todos modos, no planeé usar video externo en este sistema, no hay salidas de video en Teslas y el panel de administración remota a través de SSH y sin X-owls funciona muy bien una vez que recuerdas un poco sobre la línea de comando sin una GUI. Pero IPMI + vKVM simplifica enormemente la administración, la reinstalación y otros problemas con un servidor remoto.
En general, el IPMI de esta placa es excelente. Un puerto separado de 100 Mbit, la capacidad de reconfigurar la inyección de paquetes en uno de los puertos de 10 Gbit, un servidor web integrado para administración de energía y control de servidores, descarga de un cliente vKVM Java directamente desde él y un cliente para montaje remoto de discos. o imágenes para reinstalar... Lo único es que los clientes son los mismos que el antiguo Java Oracle, que ya no es compatible con Linux y para el panel de administración remota tuve que conseguir una computadora portátil con Win XP SP3 con este mismo Sapo antiguo. Bueno, el cliente es lento, hay suficiente para el panel de administración y todo eso, pero no puedes jugar juegos de forma remota, el FPS es pequeño. Y el vídeo ASPEED que viene integrado con IPMI es débil, sólo VGA.
En el proceso de lidiar con el servidor, aprendí mucho y aprendí mucho en el campo del hardware de servidor profesional de Dell. Lo cual no me arrepiento en absoluto, así como el tiempo y el dinero bien invertido. La historia educativa sobre cómo ensamblar el marco con todos los componentes del servidor continuará más adelante.
Enlace a la parte 3:
Fuente: habr.com