God dag kära Khabrovskbor!
Jag skulle vilja fortsätta min historia om att montera en "bysuperdator". Och jag ska förklara varför det heter så - anledningen är enkel. Själv bor jag i en by. Och namnet är en lätt trolling av dem som ropar på Internet "Det finns inget liv bortom Moskvas ringväg!", "Den ryska byn har blivit en fyllare och håller på att dö ut!" Så någonstans kan detta vara sant, men jag kommer att vara undantaget från regeln. Jag dricker inte, jag röker inte, jag gör saker som inte alla "urban cracker(s)" har råd med. Men låt oss återvända till våra får, eller mer exakt, till servern, som i slutet av den första delen av artikeln redan "visade tecken på liv."
Brädan låg på bordet, jag klättrade genom BIOS, ställde in det efter min smak, rusade av Ubuntu 16.04 Desktop för enkelhets skull och bestämde mig för att ansluta ett grafikkort till "supermaskinen". Men det enda till hands var en GTS 250 med en rejäl icke-original fläkt påsatt. Som jag installerade i PCI-E 16x-platsen nära strömbrytaren.
"Jag tog det med ett paket Belomor (c)" så snälla skyll inte på mig för kvaliteten på bilden. Jag kommenterar hellre vad som fångas på dem.
För det första visade det sig att när det installeras i en kortplats, vilar även ett kort grafikkort kortet mot minnesplatserna, i vilket det i detta fall inte kan installeras och till och med spärrarna måste sänkas. För det andra täcker grafikkortets järnmonteringsremsa strömbrytaren, så den måste tas bort. Själva strömknappen är förresten upplyst av en tvåfärgad LED, som lyser grönt när allt är i sin ordning och blinkar orange om det är problem, kortslutning och strömförsörjningsskyddet har löst ut eller +12VSB-strömmen utbudet är för högt eller för lågt.
Faktum är att det här moderkortet inte är designat för att inkludera grafikkort "direkt" i sina PCI-E 16x-platser; de är alla anslutna till stigare. För att installera ett expansionskort i kortplatserna nära strömbrytaren finns det hörnsteg, ett lågt för att installera korta kort upp till längden på den första processorns radiator, och ett högt hörn med en extra +12V strömkontakt för att installera en grafikkort "ovanför" en standard låg 1U kylare. Det kan inkludera stora grafikkort som GTX 780, GTX 980, GTX 1080 eller specialiserade GPGPU-kort Nvidia Tesla K10-K20-K40 eller "datorkort" Intel Xeon Phi 5110p och liknande.
Men i GPGPU-risern kan kortet som ingår i EdgeSlot anslutas direkt, bara genom att återigen ansluta ytterligare ström med samma kontakt som på den höga hörnrisern. För dem som är intresserade, på eBay kallas denna flexibla stigare "Dell PowerEdge C8220X PCI-E GPGPU DJC89" och kostar cirka 2.5-3 tusen rubel. Hörnsteg med extra strömförsörjning är mycket ovanligare och jag var tvungen att förhandla för att få dem från en specialiserad serverdelsbutik genom Whisper. De kostar 7 tusen styck.
Jag säger genast, "riskiga killar (tm)" kan till och med ansluta ett par GTX 980 till kortet med kinesiska flexibla stigare 16x, som en person gjorde på "That Same Forum"; förresten, kineserna gör ganska bra hantverk som fungerar på PCI-E 16x 2.0 i stil med Thermaltek flexibla stigare, men om detta en dag får dig att bränna ut strömkretsarna på serverkortet har du bara dig själv att skylla. Jag riskerade inte dyr utrustning och använde original stigare med extra ström och en kinesisk flexibel, och tänkte att det inte skulle bränna kortet om jag kopplade ett kort "direkt".
Sedan kom de efterlängtade kontakterna för att ansluta ytterligare ström och jag gjorde en svans till min stigare i EdgeSlot. Och samma kontakt, men med en annan pinout, används för att förse moderkortet med ytterligare ström. Den här kontakten ligger precis bredvid samma EdgeSlot-kontakt, det finns en intressant pinout där. Om stigaren har 2 trådar +12 och 2 gemensamma, så har kortet 3 trådar +12 och 1 gemensam.
Detta är faktiskt samma GTS 250 som ingår i GPGPU-risern. Förresten, extra ström tillförs stigarna och moderkortet - från den andra +12V strömkontakten på CPU:n på min strömförsörjning. Jag bestämde mig för att det skulle vara mer korrekt att göra detta.
Sagan berättar snabbt för sig, men sakta kommer paketen till Ryssland från Kina och andra platser runt om i världen. Därför fanns det stora luckor i monteringen av "superdatorn". Men äntligen kom Nvidia Tesla K20M-servern med en passiv radiator till mig. Dessutom är den absolut noll från förvaring, förseglad i originalkartongen, i originalförpackningen, med garantipapper. Och lidandet började: hur kyler man det?
Först köptes en anpassad kylare med två små "turbiner" från England, här är den på bilden, med en hemmagjord kartongdiffusor.
Och de visade sig vara fullständigt skit. De lät mycket, fästet passade inte alls, de blåste svagt och gav sådana vibrationer att jag var rädd att komponenterna skulle ramla av Tesla-kortet! Varför kastades de i papperskorgen nästan omedelbart?
Förresten, på bilden under Tesla kan du se LGA 2011 1U-serverkopparradiatorer installerade på processorerna med en snigel från Coolerserver köpt från Aliexpress. Mycket anständiga kylare, även om de är lite bullriga. De passar perfekt.
Men faktiskt, medan jag väntade på en ny kylare till Tesla, den här gången efter att ha beställt en stor BFB1012EN snigel från Australien med ett 3D-utskrivet fäste, kom den till serverlagringssystemet. Serverkortet har en mini-SAS-kontakt genom vilken 4 SATA- och ytterligare 2 SATA-kontakter matas ut. Alla SATA standard 2.0 men det passar mig.
Intel C602 RAID integrerad i styrkretsen är inte dålig och huvudsaken är att den hoppar över TRIM-kommandot för SSD, vilket många billiga externa RAID-kontroller inte gör.
På eBay köpte jag en meterlång mini-SAS till 4 SATA-kabel, och på Avito köpte jag en hot-swap-vagn med ett 5,25-tumsfack för 4 x 2,5-tums SAS-SATA. Så när kabeln och korgen kom, 4 terabyte Seagates installerades i den, RAID5 för 4 enheter byggdes i BIOS, jag började installera servern Ubuntu... och stötte på att diskpartitioneringsprogrammet inte tillät mig för att skapa en swap-partition på raiden.
Jag löste problemet direkt - jag köpte en ASUS HYPER M.2 x 2 MINI och M.4 SSD Samsung 2 EVO 960 Gb-adapter från DNS och bestämde mig för att enheten med maximal hastighet skulle tilldelas för byte, eftersom systemet kommer att fungera med hög beräkningsbelastning, och minnet är fortfarande uppenbarligen mindre än datastorleken. Och minnet på 250 GB var dyrare än denna SSD.
Samma adapter med en SSD installerad i ett lågt hörn.
Förutse frågorna - "Varför inte göra hela systemet på M.2 och ha en maximal åtkomsthastighet högre än den för en raid på SATA?" - Jag svarar. För det första är 1 TB eller fler M2 SSD:er för dyra för mig. För det andra, även efter uppdatering av BIOS till den senaste versionen 2.8.1, stöder servern fortfarande inte laddning av M.2 NVE-enheter. Jag gjorde ett experiment där systemet ställde in /boot till USB FLASH 64 Gb och allt annat till M.2 SSD, men jag gillade det inte. Även om en sådan kombination i princip är ganska användbar. Om M.2 NVE:er med hög kapacitet blir billigare kanske jag återvänder till det här alternativet, men för närvarande passar SATA RAID som lagringssystem mig ganska bra.
När jag bestämde mig för diskundersystemet och kom på en kombination av 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” är det dags att fortsätta mina experiment med GPU Jag hade redan en Tesla och en australiensisk kylare kom precis med en "ond" snigel som äter så mycket som 2.94A vid 12V, den andra platsen ockuperades av M.2 och för den tredje lånade jag en GT 610 "för experiment."
Här på bilden är alla 3 enheter anslutna, och M.2 SSD är via en flexibel Thermaltech-riser för grafikkort som fungerar på 3.0-bussen utan fel. Det är så här, gjord av många individuella "band" som liknar de som SATA-kablar är gjorda av. PCI-E 16x stigare gjorda av en monolitisk platt kabel, ungefär som de gamla IDE-SCSI, är en katastrof, de kommer att drabbas av fel på grund av ömsesidig störning. Och som jag redan sa, kineserna gör nu också stigare som liknar Thermaltek, men kortare.
I kombination med Tesla K20 + GT 610 provade jag många saker, samtidigt fick jag reda på att när jag ansluter ett externt grafikkort och växlar utgången till det i BIOS, fungerar inte vKVM, vilket inte riktigt fungerade gör mig upprörd. Hur som helst, jag tänkte inte använda extern video på det här systemet, det finns inga videoutgångar på Teslas, och fjärradminpanelen via SSH och utan X-owls fungerar utmärkt när du kommer ihåg lite vad en kommandorad utan ett GUI är . Men IPMI + vKVM förenklar avsevärt hantering, ominstallation och andra problem med en fjärrserver.
Generellt sett är det här kortets IPMI utmärkt. En separat 100 Mbit-port, möjligheten att omkonfigurera paketinjektion till en av 10 Gbit-portarna, en inbyggd webbserver för strömhantering och kontroll av servrar, nedladdning av en vKVM Java-klient direkt från den och en klient för fjärrmontering av diskar eller bilder för ominstallation... Det enda är att klienterna är samma som den gamla Java Oracle, som inte längre stöds i Linux och för fjärradministratörspanelen var jag tvungen att skaffa en bärbar dator med Win XP SP3 med just denna forntida padda. Tja, klienten är långsam, det finns tillräckligt för adminpanelen och allt det där, men du kan inte spela spel på distans, FPS är liten. Och ASPEED-videon som är integrerad med IPMI är svag, bara VGA.
I processen med att hantera servern lärde jag mig mycket och lärde mig mycket inom området professionell serverhårdvara från Dell. Vilket jag inte ångrar alls, liksom den väl använda tiden och pengarna. Den pedagogiska historien om att faktiskt montera ramen med alla serverkomponenter kommer att fortsätta senare.
Länk till del 3:
Källa: will.com