Bom dia, queridos residentes de Khabrovsk!
Gostaria de continuar minha história sobre a montagem de um “supercomputador de aldeia”. E vou explicar por que é chamado assim – a razão é simples. Eu mesmo moro em uma aldeia. E o nome é uma leve trollagem daqueles que gritam na Internet “Não há vida além do anel viário de Moscou!”, “A aldeia russa tornou-se bêbada e está morrendo!” Então, em algum lugar isso pode ser verdade, mas serei a exceção à regra. Não bebo, não fumo, faço coisas que nem todo(s) “cracker(s) urbano(s)” pode(m) pagar. Mas voltemos às nossas ovelhas, ou mais precisamente, ao servidor, que no final da primeira parte do artigo já “dava sinais de vida”.
A placa estava em cima da mesa, subi na BIOS, configurei ao meu gosto, saí correndo do Ubuntu 16.04 Desktop para simplificar e resolvi conectar uma placa de vídeo na “super máquina”. Mas a única coisa em mãos era um GTS 250 com uma ventoinha robusta e não original acoplada. Que instalei no slot PCI-E 16x próximo ao botão liga / desliga.
“Tirei com um maço de Belomor (c)” então por favor não me culpem pela qualidade da foto. Prefiro comentar o que está capturado neles.
Em primeiro lugar, descobriu-se que quando instalada em um slot, mesmo uma placa de vídeo curta encosta a placa nos slots de memória, neste caso ela não pode ser instalada e até as travas precisam ser abaixadas. Em segundo lugar, a faixa de ferro para montagem da placa de vídeo cobre o botão liga / desliga, então ela teve que ser removida. Aliás, o próprio botão liga / desliga é iluminado por um LED de duas cores, que acende em verde quando tudo está em ordem e pisca em laranja se houver algum problema, curto-circuito e a proteção da fonte de alimentação disparou ou a alimentação +12VSB a oferta é muito alta ou muito baixa.
Na verdade, esta placa-mãe não foi projetada para incluir placas de vídeo “diretamente” em seus slots PCI-E 16x; todas elas estão conectadas a risers. Para instalar uma placa de expansão nos slots próximos ao botão liga / desliga, existem risers de canto, um baixo para instalar placas curtas até o comprimento do primeiro radiador do processador e um de canto alto com um conector de alimentação adicional de + 12 V para instalar um placa de vídeo “acima” de um cooler padrão de 1U baixo. Pode incluir placas de vídeo grandes como GTX 780, GTX 980, GTX 1080 ou placas GPGPU especializadas Nvidia Tesla K10-K20-K40 ou “placas de computação” Intel Xeon Phi 5110p e similares.
Mas no riser GPGPU, a placa incluída no EdgeSlot pode ser conectada diretamente, apenas conectando novamente a alimentação adicional com o mesmo conector do riser de canto alto. Para os interessados, no eBay esse riser flexível é chamado de “Dell PowerEdge C8220X PCI-E GPGPU DJC89” e custa cerca de 2.5 a 3 mil rublos. Risers de canto com fonte de alimentação adicional são muito mais raros e tive que negociar para obtê-los em uma loja especializada de peças de servidor através do Whisper. Custam 7 mil cada.
Direi desde já, “caras arriscados (tm)” podem até conectar um par de GTX 980 à placa com risers flexíveis chineses 16x, como uma pessoa fez no “That Same Forum”; aliás, os chineses fazem bastante bons artesanatos que funcionam em PCI-E 16x 2.0 no estilo dos risers flexíveis da Thermaltek, mas se isso um dia fizer com que você queime os circuitos de energia da placa do servidor, você será o único culpado. Não arrisquei equipamentos caros e usei risers originais com potência adicional e um flexível chinês, imaginando que conectar uma placa “diretamente” não queimaria a placa.
Então chegaram os tão esperados conectores para conectar energia adicional e fiz uma cauda para meu riser no EdgeSlot. E o mesmo conector, mas com pinagem diferente, é usado para fornecer energia adicional à placa-mãe. Este conector fica bem próximo a esse mesmo conector EdgeSlot, há uma pinagem interessante ali. Se o riser tiver 2 fios +12 e 2 comuns, então a placa terá 3 fios +12 e 1 comum.
Na verdade, este é o mesmo GTS 250 incluído no riser GPGPU. A propósito, energia adicional é fornecida aos risers e à placa-mãe - a partir do segundo conector de alimentação de +12V da CPU da minha fonte de alimentação. Decidi que seria mais correto fazer isso.
O conto de fadas se conta rapidamente, mas lentamente os pacotes chegam à Rússia vindos da China e de outros lugares ao redor do mundo. Portanto, houve grandes lacunas na montagem do “supercomputador”. Mas finalmente o servidor Nvidia Tesla K20M com radiador passivo chegou até mim. Além disso, é absolutamente zero, desde armazenamento, lacrado em sua caixa original, em sua embalagem original, com documentos de garantia. E começou o sofrimento: como acalmar?
Primeiramente foi adquirido da Inglaterra um cooler customizado com duas pequenas “turbinas”, aqui está na foto, com difusor de papelão feito em casa.
E eles acabaram sendo uma porcaria completa. Fizeram muito barulho, o suporte não encaixou de jeito nenhum, sopraram fracamente e deram tanta vibração que fiquei com medo que os componentes caíssem da placa Tesla! Por que eles foram jogados no lixo quase imediatamente?
A propósito, na foto abaixo do Tesla você pode ver os radiadores de cobre do servidor LGA 2011 1U instalados nos processadores com um caracol do Coolerserver adquirido no Aliexpress. Coolers muito decentes, embora um pouco barulhentos. Eles se encaixam perfeitamente.
Mas, na verdade, enquanto eu esperava por um novo cooler para Tesla, desta vez tendo encomendado um grande caracol BFB1012EN da Austrália com montagem impressa em 3D, ele chegou ao sistema de armazenamento do servidor. A placa para servidor possui um conector mini-SAS através do qual saem 4 conectores SATA e mais 2 conectores SATA. Todo padrão SATA 2.0, mas isso combina comigo.
O RAID Intel C602 integrado ao chipset não é ruim e o principal é que ele ignora o comando TRIM para SSDs, o que muitos controladores RAID externos baratos não fazem.
No eBay comprei um cabo mini-SAS para 4 SATA de um metro de comprimento e no Avito comprei um carrinho hot-swap com baia de 5,25 ″ para SAS-SATA 4 x 2,5 ″. Então quando o cabo e a cesta chegaram, 4 terabytes Seagates estavam instalados nele, RAID5 para 4 dispositivos estava embutido na BIOS, comecei a instalar o servidor Ubuntu... e me deparei com o fato de que o programa de particionamento de disco não me permitiu para criar uma partição swap no ataque.
Resolvi o problema de frente - comprei um adaptador ASUS HYPER M.2 x 2 MINI e M.4 SSD Samsung 2 EVO 960 Gb da DNS e decidi que o dispositivo de velocidade máxima deveria ser alocado para swap, pois o sistema funcionará com alta carga computacional, e a memória ainda é obviamente menor que o tamanho dos dados. E a memória de 250 GB era mais cara que este SSD.
Este mesmo adaptador com um SSD instalado em um riser de canto baixo.
Antecipando as questões - “Porque não fazer todo o sistema em M.2 e ter uma velocidade máxima de acesso superior à de um raid em SATA?” - Eu vou responder. Em primeiro lugar, SSDs M1 de 2 TB ou mais são muito caros para mim. Em segundo lugar, mesmo após atualizar o BIOS para a versão 2.8.1 mais recente, o servidor ainda não suporta o carregamento de dispositivos M.2 NVE. Fiz um experimento onde o sistema configurou /boot para USB FLASH 64 Gb e todo o resto para SSD M.2, mas não gostei. Embora, em princípio, tal combinação seja bastante viável. Se os NVEs M.2 de alta capacidade ficarem mais baratos, posso voltar a esta opção, mas por enquanto o SATA RAID como sistema de armazenamento me serve muito bem.
Quando decidi pelo subsistema de disco e criei uma combinação de 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” é hora de continuar meus experimentos com GPU Já tinha um Tesla e um cooler australiano acabou de chegar com um caracol “mau” que come até 2.94A a 12V, o segundo slot foi ocupado pelo M.2 e para o terceiro peguei emprestado um GT 610 “para experimentos”.
Aqui na foto todos os 3 dispositivos estão conectados, e o SSD M.2 é através de um riser Thermaltech flexível para placas de vídeo que funciona no barramento 3.0 sem erros. É assim, feito de muitas “fitas” individuais semelhantes àquelas com as quais os cabos SATA são feitos. Os risers PCI-E 16x feitos de um cabo plano monolítico, como os antigos IDE-SCSI, são um desastre, pois sofrerão erros devido à interferência mútua. E como já disse, os chineses agora também fazem risers semelhantes aos da Thermaltek, porém mais curtos.
Em combinação com o Tesla K20 + GT 610, tentei muitas coisas, ao mesmo tempo descobri que ao conectar uma placa de vídeo externa e mudar a saída para ela no BIOS, o vKVM não funciona, o que realmente não funcionou me chateou. De qualquer forma, não planejei usar vídeo externo neste sistema, não há saídas de vídeo no Teslas, e o painel de administração remoto via SSH e sem X-owls funciona muito bem quando você lembra um pouco o que é uma linha de comando sem GUI . Mas IPMI + vKVM simplifica muito o gerenciamento, a reinstalação e outros problemas com um servidor remoto.
Em geral, o IPMI desta placa é ótimo. Uma porta separada de 100 Mbit, a capacidade de reconfigurar a injeção de pacotes para uma das portas de 10 Gbit, um servidor Web integrado para gerenciamento de energia e controle de servidores, download de um cliente vKVM Java diretamente dele e um cliente para montagem remota de discos ou imagens para reinstalação... A única coisa é que os clientes são iguais ao antigo Java Oracle, que não é mais suportado no Linux e para o painel de administração remoto tive que conseguir um laptop com Win XP SP3 com este mesmo sapo antigo. Bom, o cliente é lento, dá para o painel de administração e tudo mais, mas não dá para jogar remotamente, o FPS é pequeno. E o vídeo ASPEED que vem integrado ao IPMI é fraco, só VGA.
No processo de lidar com o servidor, aprendi muito e aprendi muito na área de hardware de servidor profissional da Dell. Do qual não me arrependo nem um pouco, assim como do tempo e do dinheiro bem gastos. A história educacional sobre a montagem real do quadro com todos os componentes do servidor continuará mais tarde.
Link para a parte 3:
Fonte: habr.com