Bon dia, estimats habitants de Khabrovsk!
M'agradaria continuar la meva història sobre el muntatge d'un "superordinador de poble". I explicaré per què es diu així: el motiu és senzill. Jo mateix visc en un poble. I el nom és un petit troll dels que criden a Internet "No hi ha vida més enllà de la carretera de circumval·lació de Moscou!", "El poble rus s'ha convertit en un borratxo i s'està extingit!" Per tant, en algun lloc això pot ser cert, però jo seré l'excepció a la regla. No bec, no fumo, faig coses que no tots els “crackers urbans” es poden permetre. Però tornem a les nostres ovelles, o més precisament, al servidor, que al final de la primera part de l'article ja “està donant senyals de vida”.
El tauler estava estirat a la taula, vaig pujar per la BIOS, configurant-lo al meu gust, vaig sortir de l'escriptori Ubuntu 16.04 per simplificar i vaig decidir connectar una targeta de vídeo a la "súper màquina". Però l'únic que tenia a l'abast era un GTS 250 amb un gran ventilador no original connectat. Que vaig instal·lar a la ranura PCI-E 16x a prop del botó d'encesa.
"Me'l vaig emportar amb un paquet de Belomor (c)", així que no em culpis per la qualitat de la foto. Prefereixo comentar què hi ha captat.
En primer lloc, va resultar que quan s'instal·la en una ranura, fins i tot una targeta de vídeo curta recolza la placa contra les ranures de memòria, en aquest cas no es pot instal·lar i fins i tot s'han de baixar els pestells. En segon lloc, la tira de muntatge de ferro de la targeta de vídeo cobreix el botó d'engegada, de manera que s'ha hagut de treure. Per cert, el propi botó d'encesa s'il·lumina amb un LED de dos colors, que s'il·lumina verd quan tot està en ordre i parpelleja en taronja si hi ha cap problema, un curtcircuit i la protecció de la font d'alimentació s'ha disparat o l'alimentació +12VSB. l'oferta és massa alta o massa baixa.
De fet, aquesta placa base no està dissenyada per incloure targetes de vídeo "directament" a les seves ranures PCI-E 16x; totes estan connectades a elevadors. Per instal·lar una targeta d'expansió a les ranures properes al botó d'engegada, hi ha una cantonada, una de baixa per instal·lar targetes curtes fins a la longitud del primer radiador del processador i una de cantonada alta amb un connector d'alimentació addicional de +12 V per instal·lar un targeta de vídeo "per sobre" d'un refrigerador estàndard d'1U baix. Pot incloure targetes de vídeo grans com GTX 780, GTX 980, GTX 1080 o targetes GPGPU especialitzades Nvidia Tesla K10-K20-K40 o "targetes informàtiques" Intel Xeon Phi 5110p i similars.
Però a l'elevador GPGPU, la targeta inclosa a l'EdgeSlot es pot connectar directament, només connectant una altra potència addicional amb el mateix connector que a l'elevador de la cantonada alta. Per als interessats, a eBay aquest elevador flexible s'anomena "Dell PowerEdge C8220X PCI-E GPGPU DJC89" i costa entre 2.5 i 3 mil rubles. Les elevacions de cantonada amb font d'alimentació addicional són molt més rares i vaig haver de negociar per aconseguir-les d'una botiga especialitzada de peces de servidor a través de Whisper. Van costar 7 mil cada una.
Diré de seguida que "els nois arriscats (tm)" fins i tot poden connectar un parell de GTX 980 al tauler amb elevacions flexibles xineses 16x, com va fer una persona a "That Same Forum"; per cert, els xinesos fan bastant bones manualitats que funcionen amb PCI-E 16x 2.0 a l'estil de les elevadores flexibles de Thermaltek, però si aquest dia fa que es cremi els circuits d'alimentació de la placa del servidor, només tindreu la culpa a vosaltres mateixos. No em vaig arriscar a equips cars i vaig utilitzar elevacions originals amb potència addicional i una de flexible xinesa, pensant que connectar una targeta "directament" no cremaria el tauler.
Llavors van arribar els tan esperats connectors per connectar una potència addicional i vaig fer una cua per al meu elevador a EdgeSlot. I el mateix connector, però amb un pinout diferent, s'utilitza per subministrar energia addicional a la placa base. Aquest connector es troba just al costat d'aquest mateix connector EdgeSlot, hi ha un pinout interessant. Si l'elevador té 2 cables +12 i 2 comuns, aleshores el tauler té 3 cables +12 i 1 comú.
En realitat, aquest és el mateix GTS 250 inclòs a l'elevador GPGPU. Per cert, s'ofereix una potència addicional als elevadors i a la placa base, des del segon connector d'alimentació de +12 V de la CPU de la meva font d'alimentació. Vaig decidir que seria més correcte fer això.
El conte de fades s'explica ràpidament, però lentament els paquets arriben a Rússia des de la Xina i d'altres llocs del món. Per tant, hi havia grans buits en el muntatge del "superordinador". Però finalment em va arribar el servidor Nvidia Tesla K20M amb un radiador passiu. A més, és absolutament zero, des de l'emmagatzematge, tancat a la seva caixa original, en el seu embalatge original, amb papers de garantia. I va començar el patiment: com refredar-lo?
Primer, es va comprar a Anglaterra una nevera personalitzada amb dues petites "turbines", aquí la teniu a la foto, amb un difusor de cartró casolà.
I van resultar ser una merda total. Feien molt de soroll, la muntura no encaixava gens, bufaven dèbilment i donaven tanta vibració que tenia por que els components caiguessin de la placa de Tesla! Per què es van llençar a les escombraries gairebé immediatament?
Per cert, a la foto de Tesla podeu veure els radiadors de coure del servidor LGA 2011 1U instal·lats als processadors amb un cargol de Coolerserver comprat a Aliexpress. Coolers molt decents, encara que una mica sorollosos. Encaixen perfectament.
Però, en realitat, mentre esperava un nou refrigerador per a Tesla, aquesta vegada després d'haver encarregat un gran caragol BFB1012EN a Austràlia amb un suport imprès en 3D, va arribar al sistema d'emmagatzematge del servidor. La placa del servidor té un connector mini-SAS a través del qual surten 4 connectors SATA i 2 connectors SATA més. Tot l'estàndard SATA 2.0 però això em convé.
El RAID intel C602 integrat al chipset no és dolent i el més important és que omet l'ordre TRIM per a SSD, cosa que molts controladors RAID externs econòmics no fan.
A eBay vaig comprar un cable mini-SAS a 4 SATA d'un metre de llarg, i a Avito vaig comprar un carro d'intercanvi en calent amb una badia de 5,25 "per a SAS-SATA de 4 x 2,5". Així, quan va arribar el cable i la cistella, s'hi van instal·lar Seagates de 4 terabytes, es va crear RAID5 per a 4 dispositius a la BIOS, vaig començar a instal·lar el servidor Ubuntu... i vaig trobar-me amb el fet que el programa de particions de disc no em permetia. per crear una partició d'intercanvi al raid.
Vaig resoldre el problema directament: vaig comprar un adaptador ASUS HYPER M.2 x 2 MINI i M.4 SSD Samsung 2 EVO 960 Gb de DNS i vaig decidir que s'havia d'assignar el dispositiu de velocitat màxima per a l'intercanvi, ja que el sistema funcionarà. amb una càrrega computacional elevada, i la memòria encara és òbviament inferior a la mida de les dades. I la memòria de 250 GB era més cara que aquest SSD.
Aquest mateix adaptador amb un SSD instal·lat en una cantonada baixa.
Anticipant les preguntes: "Per què no fer tot el sistema en M.2 i tenir una velocitat d'accés màxima superior a la d'una incursió a SATA?" - Et respondré. En primer lloc, els SSD M1 d'2 TB o més són massa cars per a mi. En segon lloc, fins i tot després d'actualitzar la BIOS a la darrera versió 2.8.1, el servidor encara no admet la càrrega de dispositius M.2 NVE. Vaig fer un experiment on el sistema va establir /boot a USB FLASH 64 Gb i tota la resta a M.2 SSD, però no em va agradar. Tot i que, en principi, aquesta combinació és força viable. Si els NVE M.2 d'alta capacitat es fan més barats, potser tornaré a aquesta opció, però ara com ara SATA RAID com a sistema d'emmagatzematge em convé força.
Quan em vaig decidir pel subsistema de disc i vaig trobar una combinació de 2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb "swap" és hora de continuar els meus experiments amb la GPU Ja tenia un Tesla i un refrigerador australià que acabava d'arribar amb un caragol "malvat" que menja fins a 2.94A a 12V, la segona ranura estava ocupada per M.2 i per a la tercera vaig agafar prestat un GT 610 "per a experiments".
Aquí, a la foto, els 3 dispositius estan connectats, i el SSD M.2 es fa mitjançant un elevador Thermaltech flexible per a targetes de vídeo que funciona al bus 3.0 sense errors. És així, fet de moltes "cintes" individuals similars a les de les quals es fabriquen els cables SATA. Els risers PCI-E 16x fets amb un cable pla monolític, com els antics IDE-SCSI, són un desastre, patiran errors a causa d'interferències mútues. I com ja he dit, els xinesos ara també fabriquen risers semblants als de Thermaltek, però més curts.
En combinació amb el Tesla K20 + GT 610, vaig provar moltes coses, alhora que vaig descobrir que en connectar una targeta de vídeo externa i canviar-hi la sortida a la BIOS, vKVM no funciona, cosa que realment no funciona. em molesta. De totes maneres, no pensava utilitzar vídeo extern en aquest sistema, no hi ha sortides de vídeo a Teslas i el tauler d'administració remot mitjançant SSH i sense X-owls funciona molt bé un cop recordeu una mica què és una línia d'ordres sense GUI. . Però IPMI + vKVM simplifica molt la gestió, la reinstal·lació i altres problemes amb un servidor remot.
En general, l'IPMI d'aquest tauler és fantàstic. Un port separat de 100 Mbit, la possibilitat de reconfigurar la injecció de paquets a un dels ports de 10 Gbit, un servidor web integrat per a la gestió de l'energia i el control dels servidors, la descàrrega d'un client Java vKVM directament des d'ell i un client per al muntatge remot de discs o imatges per a la reinstal·lació... L'única cosa és que els clients són els mateixos que l'antic Java Oracle, que ja no és compatible amb Linux i per al panell d'administració remota vaig haver d'aconseguir un ordinador portàtil amb Win XP SP3 amb aquest mateix gripau antic. Bé, el client és lent, n'hi ha prou per al tauler d'administració i tot això, però no pots jugar a jocs de forma remota, el FPS és petit. I el vídeo ASPEED que està integrat amb IPMI és feble, només VGA.
En el procés de tractar amb el servidor, vaig aprendre molt i vaig aprendre molt en l'àmbit del maquinari de servidor professional de Dell. Cosa que no em penedeixo gens, així com el temps i els diners ben gastats. La història educativa sobre com muntar el marc amb tots els components del servidor es continuarà més endavant.
Enllaç a la part 3:
Font: www.habr.com