Boas tardes, queridos veciños de Khabrovsk!
Quero contarvos unha longa e, espero, fascinante, e quizais útil, historia de montar un "superordenador de aldea" a partir dunha placa de nodos de servidor Dell, a GPU Nvidia Tesla K20 e o que se comprou aquí e alí en varias tendas en liña ou en tendas de informática na túa cidade.
A historia comezou cando un programador amigo meu, que tamén é astrónomo, comezou a estudar as redes neuronais. O seu "especialista a tempo completo" abandonou e o problema foi fixado no "especialista máis próximo". Eu mesmo non son un programador, só un "mecánico de radio para reparar equipos informáticos (coa) diplomatura", polo que montar todo tipo de hardware informático interesante é unha actividade interesante e agradable para min. Por desgraza, traballo noutra área.
Para formular a tarefa máis claramente, creei un tema no foro "Iron Ghosts of the Past", onde se discutiu durante bastante tempo. Ao principio, houbo unha idea bastante inxenua de "construír un SLI de 4 vías nunha GTX 580 3Gb", que se transformou gradualmente nun entendemento: ¡cómpre construír un servidor! Os prezos das placas base de servidores eran escandalosamente altos ata que atopei un vídeo interesante en Youtube sobre o lanzamento dunha placa de servidor chinesa en 2 procesadores de formato non estándar.
Aquí está o vídeo:
Quedei especialmente satisfeito co prezo orzamentario do sistema neste vídeo.
Non obstante, a consulta con compañeiros máis informados que trataron con servidores chineses convenceume: "Non necesitamos a felicidade chinesa!" Segundo os seus comentarios, os servidores chineses eran simplemente monstruosamente pouco fiables. E comecei a buscar en Avito opcións con placas de servidor Dell. Teño dous portátiles desta empresa e só teño impresións positivas deles. Tecnoloxía moi fiable.
En Avito atopei unha placa de nodos de servidor Dell PowerEdge C6220 en proceso de comunicación co vendedor, que me suxeriu un sitio excelente onde había unha publicación sobre como un artesán lanzou esa placa. . E había unha ligazón a un foro estadounidense onde se ensamblaban potentes estacións de traballo en tales placas..
Lin todo o tema de principio a fin, decidín obxectivos, obxectivos e formas de logralos. A tarefa formulouse do seguinte xeito: "Ensamblar un servidor de dobre procesador nunha placa de nodos Dell PowerEdge C8220 cunha GPU Tesla K10 ou K20". A elección das GPU especializadas caeu despois dunha discusión coa persoa para a que realmente se estaba a montar o sistema: tendo "tarxetas" que podían realizar cálculos a longo prazo con dobre precisión e control dos erros de memoria ECC, podía utilizalas para a súa investigación científica. actividades, e non só para adestrar redes neuronais. Co que en realidade estaba moi contento.
Para discutir e rexistrar a historia do proceso de montaxe no foro "Iron Ghosts of the Past", creei un tema correspondente, onde realmente escribín sobre o proceso e publiquei fotografías. .
Estableceuse a tarefa e comecei a buscar compoñentes. No momento en que todo comezou, aínda non tiña un rexistro en eBay e nun primeiro momento os recambios necesarios foron comprados polos meus amigos, aos que lles pagaba os gastos de compra e envío. Máis tarde, eu mesmo registreime alí e comecei a mercar directamente, aínda que ás veces teño que pedir axuda aos que teñan contas en Shopotam e servizos similares. Non todas as pezas de reposto necesarias se envían directamente desde os Estados Unidos a Rusia.
A primeira placa base que merquei en eBay foi a Dell PowerEdge C8220 0083N0. Segundo a documentación de Dell, pertencía á versión da placa 1.2 e tiña 3 ranuras PCI-E 16x. Hai dous habituais preto do botón de acendido e un terceiro no outro lado do taboleiro non é estándar, para o chamado riser GPGPU, que se incluíu no chamado Edge Slot.
Foto do taboleiro, o mesmo 0083N0, foto de eBay.
E esta é a miña foto, pégase unha regra ao taboleiro para entender a escala.
Nese momento, tamén me chegara un elevador para GPGPU na mesma ranura Edge.
Aquí tes unha foto na que está conectado ao seu lugar habitual para a proba.
Ao mesmo tempo, mercou un adaptador de alimentación en eBay, desde ATX ata este conector de alimentación C6100. Hai dous tipos deles vendidos en eBay, 12 e 18 pinos. Necesitamos este último, e tamén un impulso DC-DC para converter +5VSB da PSU ATX en +12VSB do servidor Dell. E, por suposto, o conector femia do conector para instalar o puente necesario para iniciar a placa e emitir o sinal PS_ON. Por certo, ten un paso de contacto non estándar de 2.0 mm. Por suposto, os mozos desesperados poden meter un desaparafusador ou un cravo directamente no conector da placa, pero eu preferín facelo todo de forma civil.
Ademais, para probar o funcionamento da placa, compramos o Xeon E5-2604 V1 máis barato de Aliexpress e un par de memorias DDR3 ECC REG de eBay, que se venderon como compatibles co Dell PowerEdge C8220. En primeiro lugar, usei refrixeradores Alpine 20 Plus C0 para LGA 2011, que tiveron que ser modificados: os seus bordos que descansaban nas ranuras de memoria foron arquivadas cunha moedora, as arandelas de resorte foron eliminadas dos parafusos de fixación e un par de porcas. atornillados nas roscas, para non enroscar demasiado os parafusos e non romper a tarxeta. Os sockets do servidor LGA 2011 están deseñados de forma lixeiramente diferente aos habituais e as roscas dos parafusos do disipador térmico deben ser curtas. Por certo, os refrixeradores funcionaron ben, a pesar de que eran puramente de aluminio.
E así, chegou o momento no que chegaron os procesadores, captei a súa instalación nunha foto como recordo.
E aquí están os mesmos refrigeradores de aluminio Alpine instalados.
Sistema montado e en funcionamento.
A miña antiga fonte de alimentación Chieftek 550 W estaba conectada ao sistema, un concentrador USB para 4 dispositivos, que incluía un teclado, un rato e unha unidade flash con Ubuntu, un lector de tarxetas estaba conectado ao conector para un lector de tarxetas USB no placa na que enchufei un dispositivo de audio USB chinés, tamén conectei un monitor VGA e un cable de conexión ao porto IPMI de 100 Mbit, que se chama Delicated-NIC. Xunto a el hai dous portos de 10 Gbe que funcionan con cobre de par trenzado normal e admiten totalmente unha rede 100/1000 normal.
O sistema lanzouse desta forma e resultou que a placa comprobou a memoria durante moito tempo durante o inicio. E na pantalla de inicio da BIOS chamábase Dell DCS 6220.
Aquí rematarei a primeira parte da miña historia para non aburrir aos lectores agradecidos.
Ligazón á parte 2:
Fonte: www.habr.com