Goddag, kære Khabrovsk-beboere!
Jeg vil gerne fortsætte min historie om at samle en "landsbysupercomputer". Og jeg vil forklare, hvorfor det hedder sådan - grunden er enkel. Jeg bor selv i en landsby. Og navnet er en lille trolling af dem, der råber på internettet "Der er intet liv ud over Moskvas ringvej!", "Den russiske landsby er blevet en drukkenbolt og er ved at dø ud!" Så et eller andet sted kan dette være sandt, men jeg vil være undtagelsen fra reglen. Jeg drikker ikke, jeg ryger ikke, jeg gør ting, som ikke enhver "urban cracker(s)" har råd til. Men lad os vende tilbage til vores får, eller mere præcist, til serveren, som i slutningen af den første del af artiklen allerede "viste tegn på liv."
Boardet lå på bordet, jeg klatrede gennem BIOS'en, satte det op efter min smag, styrtede Ubuntu 16.04 Desktop af for nemheds skyld og besluttede at tilslutte et videokort til "supermaskinen". Men det eneste ved hånden var en GTS 250 med en heftig ikke-original blæser på. Som jeg installerede i PCI-E 16x-slottet nær tænd/sluk-knappen.
"Jeg tog det med en pakke Belomor (c)", så lad være med at bebrejde mig for kvaliteten af billedet. Jeg vil hellere kommentere på, hvad der er fanget på dem.
For det første viste det sig, at når det er installeret i et slot, hviler selv et kort videokort kortet mod hukommelsespladserne, hvor det i dette tilfælde ikke kan installeres, og selv låsene skal sænkes. For det andet dækker videokortets jernmonteringsstrimmel tænd/sluk-knappen, så den måtte fjernes. Selve power-knappen er i øvrigt oplyst af en tofarvet LED, som lyser grønt, når alt er i orden og blinker orange, hvis der er problemer, kortslutning og strømforsyningsbeskyttelsen er udløst eller +12VSB-strømmen udbuddet er for højt eller for lavt.
Faktisk er dette bundkort ikke designet til at inkludere videokort "direkte" i dets PCI-E 16x slots; de er alle forbundet til stigrør. For at installere et udvidelseskort i åbningerne nær tænd/sluk-knappen er der hjørneforstærkere, et lavt til at installere korte kort op til længden af den første processor radiator og et højt hjørne med et ekstra +12V strømstik til installation af en videokort "over" en standard lav 1U køler. Det kan omfatte store videokort som GTX 780, GTX 980, GTX 1080 eller specialiserede GPGPU-kort Nvidia Tesla K10-K20-K40 eller "computerkort" Intel Xeon Phi 5110p og lignende.
Men i GPGPU-riser'en kan kortet, der er inkluderet i EdgeSlot, tilsluttes direkte, kun ved igen at tilslutte ekstra strøm med samme stik som på det høje hjørne-riser. For de interesserede, på eBay kaldes denne fleksible stigerør "Dell PowerEdge C8220X PCI-E GPGPU DJC89" og koster omkring 2.5-3 tusind rubler. Hjørnerør med ekstra strømforsyning er meget sjældnere, og jeg var nødt til at forhandle for at få dem fra en specialiseret serverreservedelsbutik gennem Whisper. De koster 7 tusinde stykket.
Jeg vil sige med det samme, "risky guys (tm)" kan endda forbinde et par GTX 980 til boardet med kinesiske fleksible risers 16x, som en person gjorde på "That Same Forum"; i øvrigt laver kineserne ganske godt håndværk, der fungerer på PCI-E 16x 2.0 i stil med Thermaltek flexible ones risers, men hvis dette en dag får dig til at brænde strømkredsløbene på serverkortet ud, har du kun dig selv at skyde skylden på. Jeg risikerede ikke dyrt udstyr og brugte originale stigrør med ekstra strøm og et kinesisk fleksibelt, idet jeg regnede med, at det at tilslutte et kort "direkte" ikke ville brænde brættet.
Så ankom de længe ventede stik til tilslutning af ekstra strøm, og jeg lavede en hale til mit stigrør i EdgeSlot. Og det samme stik, men med en anden pinout, bruges til at levere ekstra strøm til bundkortet. Dette stik er lige ved siden af det samme EdgeSlot-stik, der er en interessant pinout der. Hvis stigrøret har 2 ledninger +12 og 2 fælles, så har kortet 3 ledninger +12 og 1 fælles.
Dette er faktisk den samme GTS 250, der er inkluderet i GPGPU-stigrøret. Forresten leveres yderligere strøm til stigrørene og bundkortet - fra det andet +12V strømstik på CPU'en til min strømforsyning. Jeg besluttede, at det ville være mere korrekt at gøre dette.
Eventyret fortæller sig selv hurtigt, men langsomt ankommer pakkerne til Rusland fra Kina og andre steder rundt om på kloden. Derfor var der store huller i samlingen af "supercomputeren". Men endelig kom Nvidia Tesla K20M-serveren med en passiv radiator til mig. Desuden er den absolut nul, fra opbevaring, forseglet i sin originale æske, i sin originale pakke, med garantipapirer. Og lidelsen begyndte: hvordan afkøles det?
Først blev der købt en specialkøler med to små "turbiner" fra England, her er den på billedet, med en hjemmelavet pap diffuser.
Og de viste sig at være fuldstændig lort. De larmede meget, beslaget passede slet ikke, de blæste svagt og gav sådan en vibration, at jeg var bange for, at komponenterne ville falde af Tesla-boardet! Hvorfor blev de smidt i skraldespanden næsten med det samme?
Forresten, på billedet under Tesla kan du se LGA 2011 1U server kobber radiatorer installeret på processorerne med en snegl fra Coolerserver købt hos Aliexpress. Meget anstændige kølere, selvom lidt støjende. De passer perfekt.
Men faktisk, mens jeg ventede på en ny køler til Tesla, denne gang efter at have bestilt en stor BFB1012EN snegl fra Australien med en 3D-printet montering, kom den til serverlagringssystemet. Serverkortet har et mini-SAS-stik, hvorigennem 4 SATA og 2 flere SATA-stik udsendes. Alle SATA standard 2.0, men det passer mig.
Intel C602 RAID integreret i chipsættet er ikke dårligt, og det vigtigste er, at det springer TRIM-kommandoen over for SSD'er, hvilket mange billige eksterne RAID-controllere ikke gør.
På eBay købte jeg et meter langt mini-SAS til 4 SATA-kabel, og på Avito købte jeg en hot-swap-vogn med en 5,25" plads til 4 x 2,5" SAS-SATA. Så da kablet og kurven ankom, var der installeret 4 terabyte Seagates i det, RAID5 til 4 enheder blev indbygget i BIOS, jeg begyndte at installere serveren Ubuntu... og løb ind i det faktum, at diskpartitioneringsprogrammet ikke tillod mig for at oprette en swap-partition på raidet.
Jeg løste problemet direkte - jeg købte en ASUS HYPER M.2 x 2 MINI og M.4 SSD Samsung 2 EVO 960 Gb adapter fra DNS og besluttede, at den maksimale hastighedsenhed skulle tildeles swap, da systemet vil fungere med høj beregningsbelastning, og hukommelsen er stadig åbenlyst mindre end datastørrelsen. Og hukommelsen på 250 GB var dyrere end denne SSD.
Den samme adapter med en SSD installeret i et lavt hjørnerør.
Foregribe spørgsmålene - "Hvorfor ikke lave hele systemet på M.2 og have en maksimal adgangshastighed højere end for et raid på SATA?" - Jeg svarer. For det første er 1 TB eller flere M2 SSD'er for dyre for mig. For det andet, selv efter opdatering af BIOS til den seneste version 2.8.1, understøtter serveren stadig ikke indlæsning af M.2 NVE-enheder. Jeg lavede et eksperiment, hvor systemet indstillede /boot til USB FLASH 64 Gb og alt andet til M.2 SSD, men jeg kunne ikke lide det. Selvom en sådan kombination i princippet er ret brugbar. Hvis højkapacitets M.2 NVE'er bliver billigere, kan jeg vende tilbage til denne mulighed, men indtil videre passer SATA RAID som et lagersystem mig ret godt.
Da jeg besluttede mig for diskundersystemet og kom med en kombination af 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” er det tid til at fortsætte mine eksperimenter med GPU Jeg havde allerede en Tesla, og en australsk køler er lige ankommet med en "ond" snegl, der spiser så meget som 2.94A ved 12V, den anden slot var optaget af M.2, og til den tredje lånte jeg en GT 610 "til eksperimenter."
Her på billedet er alle 3 enheder tilsluttet, og M.2 SSD'en er via en fleksibel Thermaltech riser til grafikkort, der fungerer på 3.0 bussen uden fejl. Det er sådan her, lavet af mange individuelle "bånd", der ligner dem, som SATA-kabler er lavet af. PCI-E 16x stigrør lavet af et monolitisk fladt kabel, ligesom de gamle IDE-SCSI, er en katastrofe, de vil lide af fejl på grund af gensidig interferens. Og som jeg allerede har sagt, laver kineserne nu også stigrør svarende til dem fra Thermaltek, men kortere.
I kombination med Tesla K20 + GT 610 prøvede jeg en masse ting, samtidig fandt jeg ud af, at når jeg tilsluttede et eksternt videokort og skiftede udgangen til det i BIOS, virker vKVM ikke, hvilket ikke rigtig fungerede gjorde mig ked af det. Anyway, jeg havde ikke tænkt mig at bruge ekstern video på dette system, der er ingen video-udgange på Teslas, og fjernadministrationspanelet via SSH og uden X-owls fungerer fantastisk, når du husker lidt, hvad en kommandolinje uden en GUI er . Men IPMI + vKVM forenkler i høj grad administration, geninstallation og andre problemer med en fjernserver.
Generelt er dette boards IPMI fantastisk. En separat 100 Mbit-port, muligheden for at omkonfigurere pakkeinjektion til en af 10 Gbit-portene, en indbygget webserver til strømstyring og kontrol af servere, download af en vKVM Java-klient direkte fra den og en klient til fjernmontering af diske eller billeder til geninstallation... Det eneste er, at klienterne er de samme som den gamle Java Oracle, som ikke længere understøttes i Linux og til fjernadministrationspanelet var jeg nødt til at anskaffe mig en bærbar med Win XP SP3 med netop denne gammel tudse. Nå, klienten er langsom, der er nok til adminpanelet og alt det der, men du kan ikke spille spil på afstand, FPS er lille. Og ASPEED-videoen, der er integreret med IPMI, er svag, kun VGA.
I processen med at håndtere serveren lærte jeg meget og lærte meget inden for professionel serverhardware fra Dell. Hvilket jeg slet ikke fortryder, samt tiden og pengene givet godt ud. Den pædagogiske historie om faktisk at samle rammen med alle serverkomponenterne fortsættes senere.
Link til del 3:
Kilde: www.habr.com