Boas tardes, veciños de Khabrovsk! Continuarei a miña historia montando un "superordenador na aldea".
Comezarei a terceira parte expresando o sincero agradecemento aos meus amigos que me apoiaron en momentos difíciles, me motivaron, me axudaron con cartos patrocinando durante moito tempo este negocio bastante caro e incluso me axudaron na compra de compoñentes do estranxeiro nos casos en que Non puiden compralos localmente, dirixirme. Por exemplo, se unha empresa que vende pezas de servidor nos EUA ou Canadá simplemente non o enviou a Rusia. Sen a súa longa e regular axuda, os meus éxitos serían moito máis modestos.
Ademais, grazas ás súas peticións, dei o paso e abrín unha conta en Youtube, merquei un vello smartphone Lumia 640, que utilizo exclusivamente como cámara de vídeo, e comecei a facer vídeos educativos, tanto sobre a montaxe dun “supercomputador de aldea” como sobre outros aspectos e proxectos da miña vida de aldea.
Lista de reprodución "Village Supercomputer":
Os que queiran spoilers poden lelos, aínda que, por suposto, é mellor facelo mentres le a miña historia ou mesmo despois.
A segunda parte da miña historia interrompeuse ao conectar o Tesla K20M, GT 610 e M.2 NVE SSD + matriz de discos ao sistema. Por certo, que máis ten de bo esta placa Dell: ten un "balde de discos" incorporado, aínda que só para 6 dispositivos, e RAID non é "o máis sofisticado do mundo", pero a diferenza dos seus homólogos externos máis profesionais. , omite o comando TRIM no SSD. O que tamén é importante se usas intensamente SSD de servidor non profesionais.
Por certo, tamén hai un punto interesante e importante sobre este taboleiro. Os radiadores dos chipsets son baixos e teñen pequenas aletas. Isto funciona ben cando o taboleiro está no seu rack orixinal, onde as potentes turbinas o soplan. Pero cando se usa a placa por separado, é necesario quitar o adhesivo de plástico do radiador máis próximo ás ranuras de expansión, e é recomendable substituír o máis afastado por calquera radiador axeitado do chipset dunha placa base antiga con aletas grandes, porque o chip situado debaixo dela quéntase máis no taboleiro.
Despois de retirar a tarxeta de vídeo do sistema, comecei a montar un marco para o meu servidor; na versión de proba, todo estaba en cinta eléctrica, caixas de mistos e outros soportes de plástico, pero para o seu uso completo 24/7/365 esta opción non parecía. aceptable para min. Era necesario facer un marco normal desde un ángulo de aluminio. Usei cantos de aluminio de Leroy Merlin, que me enviou un amigo da rexión de Moscova; na miña cidade próxima simplemente non se venderon en ningún sitio!
Ademais das esquinas, o deseño utilizou parafusos e porcas avellanadas M5, parafusos e porcas M3, pequenas esquinas de mobles, remaches de aluminio para buratos de 5 mm, unha pistola de remaches, unha serra para metal, un desaparafusador, un taladro de 5.0 mm para metal, unha lima, un desaparafusador Phillips, ataduras de cable e brazos que non saen do cu.
Utilizáronse cantos para fixar o taboleiro ao marco e a algúns outros elementos. Isto, por suposto, engadiu algo de altura a todo o sistema, porque o taboleiro estaba elevado bastante por riba do plano inferior do cadro, pero decidín que isto era aceptable para min. Non loitei por cada gramo de peso e milímetro de altura; despois de todo, este non é un ordenador de a bordo dun avión onde o estándar é "15 G en 3 eixes, choques ata 1000 G e vibración".
A placa está instalada, os elevadores están atornillados, o adaptador con SSD M.2 está atornillado.
A placa, o SSD, os elevadores e Tesla están instalados nos seus lugares. O DC-DC aínda non foi atornillado no seu lugar e está colgado dos fíos detrás das escenas. Esta é a versión do servidor 1.0, aínda nun Tesla K20M.
Aquí o DC-DC xa está unido ao cadro, hai unha pequena bufanda no lado detrás da placa base baixo as "colas" de alimentación.
E este é o sistema xa montado, vista superior. Enriba do Tesla hai outro recuncho no que un par de SSD están atornillados un ao lado da outro, enriba deles hai unha gaiola para HDD, e na parte superior do cadro que pecha o cadro colga unha fonte de alimentación modular Thermaltek de 850 W. A fonte de alimentación está de moda, de xogos, con retroiluminación RGB, que apaguei para que non pestanexase coma unha árbore de Nadal. A única fonte de alimentación modular potente daquela en tendas dunha cidade próxima.
Vista lateral da versión do servidor 1.0.
Vista frontal do servidor. Fixen os conectores e as unidades para as unidades por un lado, como nos sistemas de servidor, para que para todas as manipulacións non tivera que virar todo o sistema cara atrás e cara atrás. Na "barra con recortes" está atornillado un vástago con dous portos USB 2.0, que conectei en lugar dun lector de tarxetas, e unha placa adaptadora para M.2 está parafusada na súa parte inferior.
Aquí podes ver como están asegurados o DC-DC e a placa, os mesmos recunchos dos que falaba.
Vista dende o outro lado, como está conectado o elevador da GPGPU, que é EdgeSlot.
O mesmo elevador de esquina alta con potencia adicional para a GPGPU que me comprou a través de Whispers from America.
Montouse a máquina, instalouse o sistema operativo e os controladores, configurouse o CUDA Toolkit...
Aquí tes un pequeno vídeo sobre ela.
Nesta forma, o sistema cun Tesla K20M 5 GB funcionou durante medio ano, mentres o meu amigo astrónomo contaba as súas tarefas. Entón foise de vacacións e de súpeto usou servidores Tesla K20X 6 GB para 6000 rublos foron atopados en eBay, á venda nun centro de datos en Inglaterra. E decidimos montar a segunda versión do "superordenador" usando 3 Tesla K20X.
Compráronse Teslas, comprouse unha segunda placa base exactamente igual, só que decidiron aforrar na entrega e escolleron a entrega por eBay. Quen a levou a ESPAÑA e entregoulla a algún tipo completamente de esquerdas. Abriuse unha disputa en eBay, o vendedor dos Estados Unidos apoioume e devolvéronme o diñeiro, e xa me chegou o terceiro pago no USPS, caro pero fiable. Tamén chegaron outros recambios e aquí tedes un vídeo sobre o inicio da montaxe do “superordenador da aldea” 2.0.
Vídeo sobre recambios para esta "máquina".
Lanzamento do taboleiro e algunhas características.
Aquí comecei a montar o marco da segunda versión do servidor.
Chegou o Tesla K20X, primeiro vídeo.
Un vídeo educativo sobre o Tesla K20X, sobre o deseño da tarxeta e o seu sistema de refrixeración, e o problema co bloque de auga da GTX 780 Ti.
Continuación do vídeo sobre Tesla K20X, escaneei o seu taboleiro nun escáner, se alguén o precisa de súpeto.
Parte frontal con chip GPU.
Parte traseira.
Como podemos ver, o Tesla K20, aínda que similar "en termos xerais" ao GTX 780 GTX 780 ti GTX TITAN da GPU GK110 Kepler, non é compatible con eles en canto á tarxeta e ao sistema de refrixeración. Se teño un Quadro K5200 K6000 GK110 Kepler, entón compararei a súa placa coa placa Tesla K20, pero ata agora non teño o Quadros mencionado anteriormente.
E aquí está a continuación da compilación do servidor 2.0
De novo refrixeradores 1U con caracois e outras cousas que son necesarias para un servidor con máis potencia que o primeiro. Por certo, tiven que desmontar o primeiro servidor para montar o segundo, mentres que o meu amigo non tiña unha necesidade urxente de contar.
Un pouco de xestión de cables...
E o segundo Tesla está instalado no seu lugar.
Pero aquí atopeime cun desgusto ofensivo. Resultou que o sistema non pode xestionar 3 unidades Tesla K20. Ao iniciar a BIOS, aparece este erro e xa está, o terceiro Tesla non funciona en absoluto. Incluso actualizar a BIOS á versión 2.8.1 non axudou, despois de que a placa pasou dun Dell DCS 6220 a un Dell C6220 2.8.1. Activei e desactivei varias opcións na BIOS, incluso tentei cubrir algúns dos contactos. no Tesla con cinta para facelos 8x - nada axudou. Tiven que aceptar a configuración de 2 Tesla K20X + NVE SSD. Por certo, na versión 2.0 do servidor, todas as unidades SATA viven nunha cesta chinesa con 6 compartimentos. Agora hai un par de Samsung 860 EVO 500 Gb + 4 terabytes Seagate. Comprei Samsungs en Ali por 3600 cada un. Rodas OEM, pero me convén.
Agora o "superordenador 2.0" está completamente montado e listo para o seu uso.
Noutro caso, chegaron os recambios adquiridos para o segundo sistema e volvín montar o primeiro, aquí tedes un vídeo sobre el.
E convido aos lectores a votar que facer co primeiro taboleiro? Que cousas interesantes se poden recoller en base a el? Ou se alguén quere compralo como os Tesla K20M e K20X con ou sen refrixeradores de caracol, estou listo, escribe.
Aquí tedes unha historia así, espero que resulte interesante e útil para os queridos lectores.
PD: Para aqueles que tiveron a paciencia de ler ata o final -subscríbete á miña canle en YouTube, comenta, gústame/non me gusta- isto motivarame para seguir publicando e filmar novos vídeos educativos.
Fonte: www.habr.com