Boa tarde, queridos residentes de Khabrovsk!
Quero contar a vocês uma longa e, espero, fascinante e talvez útil história de montagem de um “supercomputador de aldeia” a partir de uma placa de nó de servidor Dell, GPU Nvidia Tesla K20 e o que foi comprado aqui e ali em várias lojas online ou em lojas de informática em sua cidade.
A história começou quando um programador amigo meu, que também é astrônomo, começou a estudar redes neurais. O “especialista em tempo integral” pediu demissão e o problema foi atribuído ao “especialista mais próximo”. Eu próprio não sou um programador, apenas um “mecânico de rádio para consertar equipamentos de informática (com) meu diploma”, então montar todo tipo de hardware de computador interessante é uma atividade interessante e divertida para mim. Infelizmente, trabalho em uma área diferente.
Para formular a tarefa com mais clareza, criei um tópico no fórum “Fantasmas de Ferro do Passado”, onde foi discutido há bastante tempo. No início surgiu uma ideia um tanto ingênua de “construir um SLI de 4 vias em uma GTX 580 3Gb”, que aos poucos se transformou em um entendimento - você precisa construir um servidor! Os preços das placas-mãe para servidores eram escandalosamente altos até que me deparei com um vídeo interessante no Youtube sobre o lançamento de uma placa para servidores chinesa em 2 processadores de formato não padrão.
Aqui está o vídeo:
Fiquei especialmente satisfeito com o preço econômico do sistema neste vídeo.
No entanto, a consulta com camaradas mais experientes que lidavam com servidores chineses convenceu-me: “Não precisamos da felicidade chinesa!” De acordo com suas análises, os servidores chineses eram simplesmente monstruosamente não confiáveis. E comecei a procurar no Avito opções com placas para servidores Dell. Tenho dois laptops desta empresa e só tenho impressões positivas deles. Tecnologia muito confiável.
No Avito encontrei uma placa de nó de servidor Dell PowerEdge C6220 em processo de comunicação com o vendedor - ele me sugeriu um excelente site onde havia uma publicação sobre como um artesão lançou tal placa, . E havia um link para um fórum americano onde estações de trabalho poderosas eram montadas nessas placas..
Li todo o tópico do começo ao fim, decidi metas, objetivos e formas de alcançá-los. A tarefa foi formulada da seguinte forma: “Montar um servidor de processador duplo em uma placa de nó Dell PowerEdge C8220 com uma GPU Tesla K10 ou K20”. A escolha por GPUs especializadas surgiu após uma discussão com a pessoa para quem o sistema estava realmente sendo montado - possuindo “cartões” que pudessem realizar cálculos de longo prazo com dupla precisão e controle de erros de memória ECC, ele poderia utilizá-los para suas pesquisas científicas. atividades, e não apenas para treinar redes neurais. O que ele estava realmente muito feliz.
Para discutir e registrar a história do processo de montagem no fórum “Fantasmas de Ferro do Passado”, criei um tópico correspondente, onde escrevi sobre o processo e postei fotos. .
A tarefa foi definida e comecei a procurar componentes. Na época em que tudo começou, eu ainda não tinha cadastro no eBay e a princípio as peças de reposição necessárias foram compradas por meus amigos, a quem paguei os custos de compra e frete. Posteriormente, eu mesmo me cadastrei lá e comecei a comprar diretamente, embora às vezes tenha que pedir ajuda a quem tem conta no Shopotam e serviços similares. Nem todas as peças sobressalentes necessárias são enviadas diretamente dos EUA para a Rússia.
A primeira placa-mãe que comprei no eBay foi a Dell PowerEdge C8220 0083N0. Segundo a documentação da Dell, ela pertencia à versão 1.2 da placa e possuía 3 slots PCI-E 16x. Existem dois regulares perto do botão liga / desliga e um terceiro do outro lado da placa não é padrão, para o chamado riser GPGPU, que foi incluído no chamado Edge Slot.
Foto da placa, a mesma 0083N0, foto do eBay.
E esta é a minha foto, uma régua está fixada no quadro para entender a escala.
Naquela época, um riser para GPGPU no mesmo Edge Slot também havia chegado para mim.
Aqui está uma foto onde ele está conectado ao seu local normal para teste.
Ao mesmo tempo, um adaptador de energia foi adquirido no eBay, do ATX para este conector de alimentação C6100. Existem dois tipos vendidos no eBay, 12 e 18 pinos. Precisamos deste último, e também de um impulso DC-DC para transformar +5VSB da fonte de alimentação ATX em +12VSB do servidor Dell. E, claro, um conector fêmea no conector para instalação do jumper necessário para iniciar a placa e emitir o sinal PS_ON dela. A propósito, ele possui um passo de contato não padrão de 2.0 mm. Claro, caras desesperados podem enfiar uma chave de fenda ou um prego diretamente no conector da placa, mas preferi fazer tudo de maneira civilizada.
Além disso, para testar a placa, compramos o Xeon E5-2604 V1 mais barato da Aliexpress e um par de cartões de memória DDR3 ECC REG do eBay, que foram vendidos como compatíveis com o Dell PowerEdge C8220. Em primeiro lugar, usei coolers Alpine 20 Plus C0 para LGA 2011, que tiveram que ser modificados - suas bordas que ficavam nos slots de memória foram lixadas com uma esmerilhadeira, arruelas de pressão foram removidas dos parafusos de fixação e um par de porcas foram aparafusado nas roscas - para não aparafusar os parafusos muito profundamente e não quebrar a placa. Os soquetes de servidor LGA 2011 são projetados de maneira um pouco diferente dos soquetes normais e as roscas dos parafusos do dissipador de calor devem ser curtas. A propósito, os coolers funcionaram bem, apesar de serem puramente de alumínio.
E então, chegou o momento em que os processadores chegaram, capturei sua instalação em uma foto como lembrança.
E aqui estão instalados os mesmos coolers de alumínio Alpine.
Sistema montado e funcionando.
Minha antiga e fiel fonte de alimentação Chieftek 550 W foi conectada ao sistema, um hub USB para 4 dispositivos, que incluía um teclado, um mouse e um pen drive com Ubuntu, um leitor de cartão foi conectado ao conector para um leitor de cartão USB no placa na qual conectei um dispositivo de áudio USB chinês, também conectei um monitor VGA e um patch cord à porta IPMI de 100 Mbit, chamada Delicate-NIC. Ao lado dele estão duas portas de 10 Gbe que operam em cobre de par trançado regular e suportam totalmente uma rede 100/1000 regular.
O sistema foi iniciado desta forma e descobriu-se que a placa verificou a memória por muito tempo durante a inicialização. E na tela inicial do BIOS ele se autodenominava Dell DCS 6220.
É aqui que terminarei a primeira parte da minha história, para não aborrecer os leitores agradecidos.
Link para a parte 2:
Fonte: habr.com