Bos días, queridos veciños de Khabrovsk!
Gustaríame continuar a miña historia sobre a montaxe dun "superordenador de aldea". E explicarei por que se chama así: a razón é sinxela. Eu mesmo vivo nunha aldea. E o nome é un lixeiro trolling dos que gritan en Internet "¡Non hai vida máis aló da circunvalación de Moscova!", "A aldea rusa converteuse nun borracho e está morrendo!" Entón, nalgún lugar isto pode ser certo, pero eu serei a excepción á regra. Non bebo, non fumo, fago cousas que non todos os "cracker(s) urbano(s)" poden pagar. Pero volvamos ás nosas ovellas, ou máis precisamente, ao servidor, que ao final da primeira parte do artigo xa "daba sinais de vida".
O taboleiro estaba deitado sobre a mesa, pasei pola BIOS, configurándoo ao meu gusto, despeguei Ubuntu 16.04 Desktop por simplicidade e decidín conectar unha tarxeta de vídeo á "super máquina". Pero o único que tiña a man era un GTS 250 cun gran ventilador non orixinal. Que instalei na ranura PCI-E 16x preto do botón de acendido.
"Tomeino cun paquete de Belomor (c)" así que non me culpes pola calidade da foto. Prefiro comentar o que se recolle neles.
En primeiro lugar, resultou que, cando se instala nunha ranura, incluso unha tarxeta de vídeo curta apoia a placa contra as ranuras de memoria, neste caso non se pode instalar e ata hai que baixar os pestillos. En segundo lugar, a tira de montaxe de ferro da tarxeta de vídeo cobre o botón de acendido, polo que tivo que ser eliminada. Por certo, o propio botón de acendido está iluminado por un LED de dúas cores, que se ilumina en verde cando todo está en orde e parpadea en laranxa se hai algún problema, un curtocircuíto e se disparou a protección da fonte de alimentación ou a alimentación +12VSB. oferta é demasiado alta ou demasiado baixa.
De feito, esta placa base non está deseñada para incluír tarxetas de vídeo "directamente" nas súas ranuras PCI-E 16x; todas elas están conectadas a risers. Para instalar unha tarxeta de expansión nas ranuras preto do botón de acendido, hai elevadores de esquina, un baixo para instalar tarxetas curtas ata a lonxitude do primeiro radiador do procesador e outro alto cun conector de alimentación de +12 V adicional para instalar un tarxeta de vídeo "por enriba" dun refrixerador baixo estándar de 1U. Pode incluír tarxetas de vídeo grandes como GTX 780, GTX 980, GTX 1080 ou tarxetas GPGPU especializadas Nvidia Tesla K10-K20-K40 ou "tarxetas informáticas" Intel Xeon Phi 5110p e similares.
Pero no riser GPGPU, a tarxeta incluída no EdgeSlot pódese conectar directamente, só conectando de novo a enerxía adicional co mesmo conector que no elevador da esquina alta. Para os interesados, en eBay este elevador flexible chámase "Dell PowerEdge C8220X PCI-E GPGPU DJC89" e custa uns 2.5-3 mil rublos. Os elevadores de esquina con fonte de alimentación adicional son moito máis raros e tiven que negociar para obtelos dunha tenda especializada de pezas de servidor a través de Whisper. Custaron 7 mil cada un.
Vou dicir de inmediato que os "tipos arriscados (tm)" poden ata conectar un par de GTX 980 á placa con risers flexibles chineses 16x, como fixo unha persoa en "Ese mesmo foro"; por certo, os chineses fan bastante boas manualidades que funcionan en PCI-E 16x 2.0 ao estilo dos risers flexibles de Thermaltek, pero se isto un día provoca que queimes os circuítos de alimentación da placa do servidor, só tes a culpa a ti mesmo. Non arrisquei a equipos caros e usei risers orixinais con potencia adicional e un chinés flexible, pensando que conectar unha tarxeta "directamente" non queimaría o taboleiro.
Entón chegaron os tan esperados conectores para conectar enerxía adicional e fixen unha cola para o meu riser en EdgeSlot. E o mesmo conector, pero cun pinout diferente, úsase para proporcionar enerxía adicional á placa base. Este conector está xusto a carón deste mesmo conector EdgeSlot, hai un pinout interesante alí. Se o elevador ten 2 cables +12 e 2 comúns, entón a placa ten 3 cables +12 e 1 común.
Este é en realidade o mesmo GTS 250 incluído no elevador GPGPU. Por certo, entrégase enerxía adicional aos risers e á tarxeta nai: desde o segundo conector de alimentación +12V da CPU da miña fonte de alimentación. Decidín que sería máis correcto facelo.
O conto de fadas cóntase rapidamente, pero aos poucos os paquetes chegan a Rusia desde China e outros lugares do globo. Polo tanto, había grandes lagoas na montaxe do "superordenador". Pero finalmente chegoume o servidor Nvidia Tesla K20M cun radiador pasivo. Ademais, é absolutamente cero, dende o almacenamento, selado na súa caixa orixinal, no seu paquete orixinal, con papeis de garantía. E comezou o sufrimento: como arrefrialo?
En primeiro lugar, mercou en Inglaterra un frigorífico personalizado con dúas pequenas "turbinas", aquí está na foto, cun difusor de cartón caseiro.
E resultaron ser unha total merda. Fixeron moito ruído, a montura non encaixaba nada, sopraban débilmente e daban tal vibración que tiña medo de que os compoñentes caesen da placa de Tesla! Por que foron tirados ao lixo case inmediatamente?
Por certo, na foto de Tesla podes ver os radiadores de cobre do servidor LGA 2011 1U instalados nos procesadores cun caracol de Coolerserver comprado en Aliexpress. Neveras moi decentes, aínda que un pouco ruidosas. Encaixan perfectamente.
Pero en realidade, mentres esperaba un novo refrixerador para Tesla, esta vez tendo encargado un gran caracol BFB1012EN de Australia cun soporte impreso en 3D, chegou ao sistema de almacenamento do servidor. A placa do servidor ten un conector mini-SAS a través do cal saen 4 conectores SATA e 2 conectores SATA máis. Todo o estándar SATA 2.0 pero iso me convén.
O Intel C602 RAID integrado no chipset non está mal e o principal é que omite o comando TRIM para SSD, cousa que moitos controladores RAID externos económicos non fan.
En eBay merquei un cable mini-SAS a 4 SATA de un metro de lonxitude, e en Avito merquei un carro de intercambio en quente cunha bahía de 5,25 "para SAS-SATA de 4 x 2,5". Entón, cando chegou o cable e a cesta, instaláronse nel Seagates de 4 terabytes, construíuse RAID5 para 4 dispositivos na BIOS, comecei a instalar o servidor Ubuntu... e atopeime con que o programa de partición do disco non me permitía. para crear unha partición de intercambio no raid.
Resolvín o problema de frente: merquei un adaptador ASUS HYPER M.2 x 2 MINI e M.4 SSD Samsung 2 EVO 960 Gb de DNS e decidín que o dispositivo de velocidade máxima debería asignarse para o intercambio, xa que o sistema funcionará. con alta carga computacional e a memoria aínda é obviamente menor que o tamaño dos datos. E a memoria de 250 GB era máis cara que este SSD.
Este mesmo adaptador cun SSD instalado nun elevador de esquina baixa.
Anticipando as preguntas: "Por que non facer todo o sistema en M.2 e ter unha velocidade de acceso máxima superior á dunha incursión en SATA?" - Vou responder. En primeiro lugar, os SSD M1 de 2 TB ou máis son demasiado caros para min. En segundo lugar, mesmo despois de actualizar o BIOS á última versión 2.8.1, o servidor aínda non admite a carga de dispositivos M.2 NVE. Fixen un experimento no que o sistema estableceu /boot en USB FLASH 64 Gb e todo o demais en SSD M.2, pero non me gustou. Aínda que, en principio, tal combinación é bastante viable. Se os NVE M.2 de alta capacidade se fan máis baratos, pode que volva a esta opción, pero polo de agora SATA RAID como sistema de almacenamento vaime bastante ben.
Cando me decidín polo subsistema de discos e atopei unha combinación de 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” é hora de continuar os meus experimentos coa GPU Xa tiña un Tesla e un frigorífico australiano que acababa de chegar cun caracol "malvado" que come ata 2.94A a 12V, o segundo slot estaba ocupado por M.2 e para o terceiro pedín prestado un GT 610 "para experimentos".
Aquí, na foto, os 3 dispositivos están conectados e o SSD M.2 é a través dun elevador Thermaltech flexible para tarxetas de vídeo que funciona no bus 3.0 sen erros. É así, feito de moitas "cintas" individuais similares ás das que se fabrican os cables SATA. Os risers PCI-E 16x feitos a partir dun cable plano monolítico, como os antigos IDE-SCSI, son un desastre, sufrirán erros debido a interferencias mutuas. E como xa dixen, os chineses agora tamén fan risers semellantes aos de Thermaltek, pero máis curtos.
En combinación co Tesla K20 + GT 610, probei moitas cousas, ao mesmo tempo descubrín que ao conectar unha tarxeta de vídeo externa e cambiar a saída a ela na BIOS, vKVM non funciona, o que realmente non funciona. molesto. De todos os xeitos, non pensaba usar vídeo externo neste sistema, non hai saídas de vídeo en Teslas e o panel de administración remoto a través de SSH e sen X-owls funciona moi ben unha vez que lembras un pouco o que é unha liña de comandos sen GUI. . Pero IPMI + vKVM simplifica moito a xestión, a reinstalación e outros problemas cun servidor remoto.
En xeral, o IPMI desta placa é xenial. Un porto separado de 100 Mbit, a capacidade de reconfigurar a inxección de paquetes nun dos portos de 10 Gbit, un servidor web integrado para a xestión de enerxía e o control dos servidores, a descarga dun cliente Java vKVM directamente desde el e un cliente para o montaxe remoto de discos ou imaxes para reinstalar... O único é que os clientes son os mesmos que o antigo Java Oracle, que xa non é compatible con Linux e para o panel de administración remoto tiven que conseguir un portátil con Win XP SP3 con este mesmo antigo sapo. Ben, o cliente é lento, hai suficiente para o panel de administración e todo iso, pero non podes xogar de xeito remoto, o FPS é pequeno. E o vídeo ASPEED que está integrado con IPMI é débil, só VGA.
No proceso de tratar co servidor, aprendín moito e aprendín moito no campo do hardware de servidor profesional de Dell. Do que non me arrepinto nada, así como o tempo e o diñeiro ben gastado. A historia educativa sobre a montaxe do cadro con todos os compoñentes do servidor continuará máis tarde.
Ligazón á parte 3:
Fonte: www.habr.com