God dag, kjære Khabrovsk-innbyggere!
Jeg vil gjerne fortsette historien min om å sette sammen en "landsbysuperdatamaskin". Og jeg skal forklare hvorfor det heter slik - grunnen er enkel. Selv bor jeg i en landsby. Og navnet er en liten trolling av de som roper på Internett "Det er ikke noe liv utenfor Moskva-ringveien!", "Den russiske landsbyen har blitt en fylliker og dør ut!" Så et sted kan dette være sant, men jeg vil være unntaket fra regelen. Jeg drikker ikke, jeg røyker ikke, jeg gjør ting som ikke alle "urban cracker(s)" har råd til. Men la oss gå tilbake til sauene våre, eller mer presist, til serveren, som på slutten av første del av artikkelen allerede "viser tegn på liv."
Brettet lå på bordet, jeg klatret gjennom BIOS, satte det opp etter min smak, stakk av Ubuntu 16.04 Desktop for enkelhets skyld og bestemte meg for å koble et skjermkort til "supermaskinen". Men det eneste for hånden var en GTS 250 med en heftig ikke-original vifte påmontert. Som jeg installerte i PCI-E 16x-sporet nær strømknappen.
"Jeg tok det med en pakke Belomor (c)" så vær så snill å ikke klandre meg for kvaliteten på bildet. Jeg vil heller kommentere hva som er fanget på dem.
For det første viste det seg at når det er installert i et spor, hviler til og med et kort skjermkort brettet mot minnesporene, hvor det i dette tilfellet ikke kan installeres og til og med låsene må senkes. For det andre dekker jernmonteringslisten på skjermkortet strømknappen, så den måtte fjernes. Selve strømknappen er forresten opplyst av en tofarget LED, som lyser grønt når alt er i orden og blinker oransje hvis det er problemer, kortslutning og strømforsyningsbeskyttelsen har løst ut eller +12VSB-strømmen tilbudet er for høyt eller for lavt.
Faktisk er dette hovedkortet ikke designet for å inkludere skjermkort "direkte" i PCI-E 16x-sporene; de er alle koblet til stigerør. For å installere et utvidelseskort i sporene nær strømknappen, er det hjørnestige, et lavt for å installere korte kort opp til lengden på den første prosessorradiatoren, og et høyt hjørne med en ekstra +12V strømkontakt for å installere en skjermkort "over" en standard lav 1U kjøler. Det kan inkludere store skjermkort som GTX 780, GTX 980, GTX 1080 eller spesialiserte GPGPU-kort Nvidia Tesla K10-K20-K40 eller "databehandlingskort" Intel Xeon Phi 5110p og lignende.
Men i GPGPU stigerøret kan kortet som er inkludert i EdgeSlot kobles direkte, bare ved å igjen koble til ekstra strøm med samme kontakt som på det høye hjørnet stigerøret. For de som er interessert, på eBay kalles dette fleksible stigerøret "Dell PowerEdge C8220X PCI-E GPGPU DJC89" og koster omtrent 2.5-3 tusen rubler. Hjørnestigerør med ekstra strømforsyning er mye sjeldnere, og jeg måtte forhandle for å få dem fra en spesialisert serverdelbutikk gjennom Whisper. De koster 7 tusen stykket.
Jeg vil si med en gang, "risky guys (tm)" kan til og med koble et par GTX 980 til brettet med kinesiske fleksible stigerør 16x, som en person gjorde på "That Same Forum"; forresten, kineserne gjør ganske godt håndverk som fungerer på PCI-E 16x 2.0 i stil med Thermaltek flexible ones stigerør, men hvis dette en dag får deg til å brenne ut strømkretsene på serverkortet, har du bare deg selv å skylde på. Jeg risikerte ikke dyrt utstyr og brukte originale stigerør med ekstra kraft og en kinesisk fleksibel, og tenkte at å koble til ett kort "direkte" ikke ville brenne brettet.
Så kom de etterlengtede kontaktene for å koble til ekstra strøm, og jeg laget en hale for stigerøret mitt i EdgeSlot. Og den samme kontakten, men med en annen pinout, brukes til å levere ekstra strøm til hovedkortet. Denne kontakten er rett ved siden av den samme EdgeSlot-kontakten, det er en interessant pinout der. Hvis stigerøret har 2 ledninger +12 og 2 felles, så har brettet 3 ledninger +12 og 1 felles.
Dette er faktisk den samme GTS 250 som er inkludert i GPGPU-stigerøret. Forresten, ekstra strøm leveres til stigerørene og hovedkortet - fra den andre +12V strømkontakten til CPU-en til strømforsyningen min. Jeg bestemte meg for at det ville være mer riktig å gjøre dette.
Eventyret forteller seg raskt, men sakte kommer pakkene til Russland fra Kina og andre steder rundt om i verden. Derfor var det store hull i sammenstillingen av "superdatamaskinen". Men endelig kom Nvidia Tesla K20M-serveren med en passiv radiator til meg. Dessuten er den helt null fra oppbevaring, forseglet i originaleske, i originalpakning, med garantipapirer. Og lidelsen begynte: hvordan avkjøle den?
Først ble en spesialtilpasset kjøler med to små "turbiner" kjøpt fra England, her er den på bildet, med en hjemmelaget pappdiffusor.
Og de viste seg å være fullstendig dritt. De bråket mye, festet passet ikke i det hele tatt, de blåste svakt og ga så mange vibrasjoner at jeg var redd for at komponentene skulle falle av Tesla-kortet! Hvorfor ble de kastet i søpla nesten umiddelbart?
Forresten, på bildet under Tesla kan du se LGA 2011 1U server kobber radiatorer installert på prosessorene med en snegl fra Coolerserver kjøpt fra Aliexpress. Veldig greie kjølere, selv om det bråker litt. De passer perfekt.
Men faktisk, mens jeg ventet på en ny kjøler til Tesla, denne gangen etter å ha bestilt en stor BFB1012EN-snegl fra Australia med et 3D-printet feste, kom den til serverlagringssystemet. Serverkortet har en mini-SAS-kontakt som 4 SATA og 2 flere SATA-kontakter sendes ut gjennom. Alle SATA standard 2.0, men det passer meg.
Intel C602 RAID integrert i brikkesettet er ikke dårlig, og hovedsaken er at den hopper over TRIM-kommandoen for SSD-er, noe mange rimelige eksterne RAID-kontrollere ikke gjør.
På eBay kjøpte jeg en meter lang mini-SAS til 4 SATA-kabel, og på Avito kjøpte jeg en hot-swap-vogn med en 5,25"-brønn for 4 x 2,5" SAS-SATA. Så da kabelen og kurven kom, ble det installert 4 terabyte Seagates i den, RAID5 for 4 enheter ble bygget i BIOS, jeg begynte å installere serveren Ubuntu... og løp inn i det faktum at diskpartisjoneringsprogrammet ikke tillot meg for å lage en swap-partisjon på raidet.
Jeg løste problemet direkte - jeg kjøpte en ASUS HYPER M.2 x 2 MINI og M.4 SSD Samsung 2 EVO 960 Gb-adapter fra DNS og bestemte meg for at enheten med maksimal hastighet skulle tildeles for bytte, siden systemet vil fungere med høy beregningsbelastning, og minnet er fortsatt åpenbart mindre enn datastørrelsen. Og minnet på 250 GB var dyrere enn denne SSD-en.
Den samme adapteren med en SSD installert i et lavt hjørnestigerør.
Forutse spørsmålene - "Hvorfor ikke lage hele systemet på M.2 og ha en maksimal tilgangshastighet høyere enn for et raid på SATA?" - Jeg skal svare. For det første er 1 TB eller flere M2 SSD-er for dyrt for meg. For det andre, selv etter oppdatering av BIOS til siste versjon 2.8.1, støtter ikke serveren lasting av M.2 NVE-enheter. Jeg gjorde et eksperiment der systemet satte /boot til USB FLASH 64 Gb og alt annet til M.2 SSD, men jeg likte det ikke. Selv om en slik kombinasjon i prinsippet er ganske gjennomførbar. Hvis M.2 NVE-er med høy kapasitet blir billigere, kan jeg gå tilbake til dette alternativet, men foreløpig passer SATA RAID som lagringssystem meg ganske bra.
Da jeg bestemte meg for diskundersystemet og kom opp med en kombinasjon av 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” var det på tide å fortsette eksperimentene mine med GPU Jeg hadde allerede en Tesla og en australsk kjøler kom nettopp med en "ond" snegl som spiser så mye som 2.94A ved 12V, den andre plassen ble okkupert av M.2 og for den tredje lånte jeg en GT 610 "for eksperimenter."
Her på bildet er alle 3 enheter koblet til, og M.2 SSD er via en fleksibel Thermaltech stigerør for skjermkort som fungerer på 3.0 bussen uten feil. Det er slik, laget av mange individuelle "bånd" som ligner på de som SATA-kabler er laget av. PCI-E 16x stigerør laget av en monolitisk flatkabel, omtrent som de gamle IDE-SCSI, er en katastrofe, de vil lide av feil på grunn av gjensidig interferens. Og som jeg allerede sa, så lager kineserne nå også stigerør som ligner på Thermaltek, men kortere.
I kombinasjon med Tesla K20 + GT 610 prøvde jeg mange ting, samtidig fant jeg ut at når jeg koblet til et eksternt skjermkort og byttet utgangen til det i BIOS, fungerer ikke vKVM, noe som egentlig ikke fungerte opprørt meg. Uansett, jeg hadde ikke tenkt å bruke ekstern video på dette systemet, det er ingen videoutganger på Teslas, og det eksterne adminpanelet via SSH og uten X-owls fungerer utmerket når du husker litt hva en kommandolinje uten GUI er . Men IPMI + vKVM forenkler administrasjon, reinstallering og andre problemer med en ekstern server.
Generelt er dette styrets IPMI flott. En separat 100 Mbit-port, muligheten til å rekonfigurere pakkeinjeksjon til en av 10 Gbit-portene, en innebygd webserver for strømstyring og kontroll av servere, nedlasting av en vKVM Java-klient direkte fra den og en klient for ekstern montering av disker eller bilder for reinstallering... Det eneste er at klientene er de samme som den gamle Java Oracle, som ikke lenger støttes i Linux og for det eksterne adminpanelet måtte jeg skaffe en bærbar PC med Win XP SP3 med denne eldgammel padde. Vel, klienten er treg, det er nok for administrasjonspanelet og alt det der, men du kan ikke spille spill eksternt, FPS er liten. Og ASPEED-videoen som er integrert med IPMI er svak, bare VGA.
I prosessen med å håndtere serveren lærte jeg mye og lærte mye innen profesjonell servermaskinvare fra Dell. Noe jeg ikke angrer på i det hele tatt, samt tiden og pengene som er godt brukt. Den pedagogiske historien om å faktisk sette sammen rammen med alle serverkomponentene vil fortsette senere.
Link til del 3:
Kilde: www.habr.com