Bom dia, residentes de Khabrovsk! Continuarei minha história montando um “supercomputador na aldeia”.
Começarei a terceira parte expressando a sincera gratidão aos meus amigos que me apoiaram nos momentos difíceis, me motivaram, me ajudaram com dinheiro patrocinando por muito tempo este negócio bastante caro e até ajudaram na compra de componentes do exterior nos casos quando Eu não poderia comprá-los localmente, dirigir-me sozinho. Por exemplo, se uma empresa que vende peças de servidor nos EUA ou Canadá simplesmente não as enviou para a Rússia. Sem a sua ajuda longa e regular, os meus sucessos teriam sido muito mais modestos.
Além disso, graças aos pedidos deles, arrisquei e abri uma conta no Youtube, comprei um antigo smartphone Lumia 640, que uso exclusivamente como câmera de vídeo, e comecei a fazer vídeos educativos, tanto sobre como montar um “supercomputador de aldeia” quanto sobre outros aspectos e projetos da minha vida na aldeia.
Lista de reprodução “Village Supercomputador”:
Quem quiser spoilers pode lê-los, embora é claro que é melhor fazer isso enquanto lê minha história ou mesmo depois.
A segunda parte da minha história foi interrompida conectando o conjunto de discos Tesla K20M, GT 610 e M.2 NVE SSD + ao sistema. A propósito, o que mais há de bom nesta placa Dell - ela tem uma “prateleira de disco” integrada, embora para apenas 6 dispositivos, e o RAID não é “o mais sofisticado do mundo”, mas ao contrário de suas contrapartes externas mais profissionais , ele ignora o comando TRIM no SSD. O que também é importante se você usa SSDs de servidor não profissionais intensamente.
A propósito, há também um ponto interessante e importante sobre este fórum. Os radiadores nos chipsets são baixos com pequenas aletas. Isso funciona bem quando a placa está em seu rack original, onde turbinas poderosas a sopram. Mas ao usar a placa separadamente, é necessário retirar o adesivo plástico do radiador mais próximo dos slots de expansão, sendo aconselhável substituir o mais distante por qualquer radiador adequado do chipset de uma placa-mãe antiga com aletas grandes, pois o chip localizado abaixo dele é o que mais aquece na placa.
Retirada a placa de vídeo do sistema, comecei a montar um frame para meu servidor, na versão de teste estava tudo em fita isolante, caixas de fósforos e outros suportes plásticos, mas para uso total 24/7/365 esta opção não parecia aceitável para mim. Foi necessário fazer uma moldura normal a partir de um canto de alumínio. Usei cantos de alumínio da Leroy Merlin, que me foram enviados por um amigo da região de Moscou, na minha cidade vizinha eles simplesmente não eram vendidos em lugar nenhum!
Além dos cantos, o projeto utilizou parafusos e porcas escareadas M5, parafusos e porcas M3, pequenos cantos de móveis, rebites de alumínio para furos de 5 mm, pistola de rebite, serra para metal, chave de fenda, broca de 5.0 mm para metal, uma lima, uma chave de fenda Phillips, abraçadeiras e braços que não saem da bunda.
Os cantos foram usados para fixar a placa à moldura e alguns outros elementos. Isso, é claro, adicionou alguma altura a todo o sistema, porque a placa foi elevada bem acima do plano inferior da estrutura, mas decidi que isso era aceitável para mim. Não lutei por cada grama de peso e milímetro de altura, afinal este não é um computador de bordo de uma aeronave onde o padrão é “15 G em 3 eixos, choques até 1000 G e vibração”.
A placa está instalada, os risers estão aparafusados, o adaptador com SSD M.2 está aparafusado.
A placa, SSD, risers e Tesla são instalados em seus lugares. O DC-DC ainda não foi parafusado e está pendurado nos fios nos bastidores. Esta é a versão 1.0 do servidor, ainda em um Tesla K20M.
Aqui o DC-DC já está preso ao quadro, há um pequeno lenço na lateral atrás da placa-mãe sob as “caudas” de alimentação.
E este é o sistema já montado, vista superior. Acima do Tesla há outro canto no qual um par de SSDs é aparafusado lado a lado, acima deles há uma gaiola de HDD e no topo da moldura que fecha a moldura está pendurada uma fonte de alimentação modular Thermaltek de 850 W. A fonte de alimentação está na moda, para jogos, com retroiluminação RGB, que desliguei para não piscar como uma árvore de Natal. A única fonte de alimentação modular poderosa da época nas lojas de uma cidade próxima.
Vista lateral do servidor versão 1.0.
Vista frontal do servidor. Fiz os conectores e drives para os drives de um lado, como nos sistemas de servidor, para que em todas as manipulações não fosse necessário virar todo o sistema para frente e para trás. Na “barra com recortes” é aparafusada uma haste com duas portas USB 2.0, que conectei no lugar de um leitor de cartão, e uma placa adaptadora para M.2 é aparafusada em sua parte inferior.
Aqui você pode ver como o DC-DC e a placa estão presos, exatamente nos cantos de que eu estava falando.
Veja do outro lado como o riser GPGPU, que é o EdgeSlot, está conectado.
O mesmo riser de canto alto com potência adicional para o GPGPU que foi comprado para mim através do Whispers from America.
A máquina foi montada, o sistema operacional e os drivers foram instalados, o CUDA Toolkit foi configurado...
Aqui está um pequeno vídeo sobre ela.
Desta forma, o sistema com um Tesla K20M 5 GB funcionou durante meio ano, enquanto meu amigo astrônomo contava suas tarefas. Então ele saiu de férias e de repente usou servidores Tesla K20X de 6 GB por 6000 rublos que foram encontrados no eBay, à venda em um data center na Inglaterra. E decidimos montar a segunda versão do “supercomputador” utilizando 3 Tesla K20X.
Foram comprados Teslas, uma segunda placa-mãe foi comprada exatamente igual, só que decidiram economizar na entrega e optaram pela entrega pelo eBay. Que a levou PARA A ESPANHA e a entregou a um cara completamente de esquerda. Uma disputa foi aberta no eBay, o vendedor dos EUA me apoiou e o dinheiro foi devolvido, e já o terceiro pagamento chegou até mim no USPS habitual, caro, mas confiável. Outras peças de reposição também chegaram e aqui está um vídeo sobre o início da montagem do “supercomputador da vila” 2.0.
Vídeo sobre peças de reposição para esta mesma “máquina”.
Lançamento da placa e algumas funcionalidades.
Aqui comecei a montar o framework da segunda versão do servidor.
Chegou o Tesla K20X, primeiro vídeo.
Um vídeo educativo sobre o Tesla K20X, sobre o design da placa e seu sistema de refrigeração, e a chatice com o water block da GTX 780 Ti.
Continuação do vídeo sobre Tesla K20X, digitalizei sua placa em um scanner, caso alguém precise de repente.
Parte frontal com chip GPU.
Parte traseira.
Como podemos ver, o Tesla K20, embora semelhante “em termos gerais” à GTX 780 GTX 780 ti GTX TITAN na GPU GK110 Kepler, não é compatível com eles em termos de placa e sistema de refrigeração. Se eu tiver uma Quadro K5200 K6000 GK110 Kepler, compararei sua placa com a placa Tesla K20, mas até agora não tenho as Quadros mencionadas acima.
E aqui está a continuação da compilação do servidor 2.0
Novamente coolers 1U com caracóis e outras coisas que são necessárias para um servidor com mais potência que o primeiro. Aliás, tive que desmontar o primeiro servidor para montar o segundo, enquanto meu amigo não tinha necessidade urgente de contar.
Um pouco de gerenciamento de cabos...
E o segundo Tesla está instalado em seu lugar.
Mas aqui encontrei uma chatice ofensiva. Descobriu-se que o sistema não consegue lidar com 3 unidades Tesla K20. Ao iniciar o BIOS aparece esse erro e pronto, o terceiro Tesla não funciona de jeito nenhum. Mesmo a atualização do BIOS para a versão 2.8.1 não ajudou, após o que a placa passou de Dell DCS 6220 para Dell C6220 2.8.1. Liguei e desliguei várias opções no BIOS, até tentei cobrir alguns contatos no Tesla com fita adesiva para torná-los 8x - nada ajudou. Tive que aceitar a configuração de 2 Tesla K20X + SSD NVE. A propósito, na versão 2.0 do servidor, todos os drives SATA ficam em uma cesta chinesa com 6 compartimentos. Agora há um par de Samsung 860 EVO 500 Gb + 4 terabyte Seagate. Comprei Samsungs no Ali por 3600 cada. Rodas OEM, mas combinam comigo.
Agora o “supercomputador 2.0” está totalmente montado e pronto para uso.
Nos demais assuntos, chegaram as peças de reposição compradas para o segundo sistema e montei o primeiro de volta, aqui está um vídeo sobre isso.
E convido os leitores a votarem no que fazer com o primeiro quadro? Que coisas interessantes podem ser coletadas com base nisso? Ou se alguém quiser comprar como o Tesla K20M e K20X com ou sem coolers caracol - estou pronto, escreva.
Aqui está uma história assim, espero que seja interessante e útil para queridos leitores.
PS: Para quem teve paciência de ler até o fim - se inscrever no meu canal no YouTube, comentar, curtir/não curtir - isso vai me motivar para futuras publicações e filmar novos vídeos educativos.
Fonte: habr.com