Goedendag, beste inwoners van Khabrovsk!
Ik wil graag doorgaan met mijn verhaal over het in elkaar zetten van een “dorpssupercomputer”. En ik zal uitleggen waarom het zo wordt genoemd – de reden is simpel. Ik woon zelf in een dorp. En de naam is een lichte trollen van degenen die op internet schreeuwen: "Er is geen leven buiten de ringweg van Moskou!", "Het Russische dorp is een dronkaard geworden en sterft uit!" Dus ergens kan dit waar zijn, maar ik zal de uitzondering op de regel zijn. Ik drink niet, ik rook niet, ik doe dingen die niet elke “urban cracker(s)” zich kan veroorloven. Maar laten we terugkeren naar onze schapen, of beter gezegd, naar de server, die aan het einde van het eerste deel van het artikel al ‘tekenen van leven vertoonde’.
Het bord lag op tafel, ik klom door het BIOS, stelde het naar wens in, verliet Ubuntu 16.04 Desktop voor de eenvoud en besloot een videokaart op de "supermachine" aan te sluiten. Maar het enige dat voorhanden was, was een GTS 250 met een flinke, niet-originele ventilator eraan. Die heb ik in het PCI-E 16x-slot vlakbij de aan/uit-knop geïnstalleerd.
“Ik nam het met een pakje Belomor (c)” dus geef mij alstublieft niet de schuld van de kwaliteit van de foto. Ik geef liever commentaar op wat erop staat.
Ten eerste bleek dat, wanneer geïnstalleerd in een slot, zelfs een korte videokaart het bord tegen de geheugenslots laat rusten, waarbij het in dit geval niet kan worden geïnstalleerd en zelfs de grendels moeten worden neergelaten. Ten tweede bedekt de ijzeren montagestrip van de videokaart de aan/uit-knop, waardoor deze verwijderd moest worden. De aan/uit-knop zelf wordt overigens verlicht door een tweekleurige LED, die groen oplicht als alles in orde is en oranje knippert als er problemen zijn, kortsluiting en de stroomvoorzieningbeveiliging is geactiveerd of de +12VSB-voeding aanbod is te hoog of te laag.
In feite is dit moederbord niet ontworpen om videokaarten “rechtstreeks” in de PCI-E 16x-slots op te nemen; ze zijn allemaal verbonden met risers. Om een uitbreidingskaart in de sleuven bij de aan/uit-knop te installeren, zijn er hoekverhogers: een lage voor het installeren van korte kaarten tot de lengte van de eerste processorradiator, en een hoge hoek met een extra +12V-voedingsconnector voor het installeren van een videokaart “boven” een standaard lage 1U koeler. Het kan grote videokaarten bevatten zoals GTX 780, GTX 980, GTX 1080 of gespecialiseerde GPGPU-kaarten Nvidia Tesla K10-K20-K40 of "computerkaarten" Intel Xeon Phi 5110p en dergelijke.
Maar in de GPGPU-riser kan de kaart uit de EdgeSlot rechtstreeks worden aangesloten, alleen door opnieuw extra stroom aan te sluiten met dezelfde connector als op de hoge hoekriser. Voor degenen die geïnteresseerd zijn: op eBay heet deze flexibele uitbreidingskaart "Dell PowerEdge C8220X PCI-E GPGPU DJC89" en kost ongeveer 2.5-3 duizend roebel. Hoekverhogers met extra voeding zijn veel zeldzamer en ik moest onderhandelen om ze via Whisper bij een gespecialiseerde serveronderdelenwinkel te krijgen. Ze kosten 7 duizend per stuk.
Ik zal meteen zeggen: "risky guys (tm)" kunnen zelfs een paar GTX 980 op het bord aansluiten met Chinese flexibele risers 16x, zoals één persoon deed op "That Same Forum"; trouwens, de Chinezen maken behoorlijk goede ambachten die werken op PCI-E 16x 2.0 in de stijl van Thermaltek flexibele stijgers, maar als dit er op een dag voor zorgt dat je de stroomcircuits op het serverbord doorbrandt, heb je alleen jezelf de schuld. Ik riskeerde geen dure apparatuur en gebruikte originele uitbreidingskaarten met extra vermogen en een Chinese flexibele, in de veronderstelling dat het "direct" aansluiten van één kaart het bord niet zou verbranden.
Toen arriveerden de langverwachte connectoren voor het aansluiten van extra stroom en maakte ik een staart voor mijn uitbreidingskaart in EdgeSlot. En dezelfde connector, maar met een andere pinout, wordt gebruikt om extra stroom aan het moederbord te leveren. Deze connector bevindt zich direct naast dezelfde EdgeSlot-connector, er is een interessante pin-out daar. Als de stijgleiding 2 draden +12 en 2 gemeenschappelijke draden heeft, heeft de kaart 3 draden +12 en 1 gemeenschappelijke draad.
Dit is eigenlijk dezelfde GTS 250 die is opgenomen in de GPGPU-riser. Overigens wordt er extra stroom geleverd aan de risers en het moederbord - vanaf de tweede +12V-voedingsconnector van de CPU van mijn voeding. Ik besloot dat het juister zou zijn om dit te doen.
Het sprookje vertelt zich snel, maar langzaam komen de pakjes vanuit China en andere plaatsen over de hele wereld naar Rusland. Daarom waren er grote gaten in de montage van de "supercomputer". Maar uiteindelijk arriveerde de Nvidia Tesla K20M-server met een passieve radiator bij mij. Bovendien is hij absoluut nul, uit opslag, verzegeld in de originele doos, in de originele verpakking, met garantiepapieren. En het lijden begon: hoe af te koelen?
Eerst werd er uit Engeland een op maat gemaakte koeler met twee kleine “turbines” gekocht, hier staat hij op de foto, met een zelfgemaakte kartonnen diffuser.
En het bleken complete onzin te zijn. Ze maakten veel lawaai, de houder paste helemaal niet, ze bliezen zwak en gaven zulke trillingen dat ik bang was dat de componenten van het Tesla-bord zouden vallen! Waarom werden ze vrijwel onmiddellijk in de prullenbak gegooid?
Trouwens, op de foto onder Tesla zie je LGA 2011 1U-server koperen radiatoren geïnstalleerd op de processors met een slak van Coolerserver gekocht bij Aliexpress. Zeer degelijke koelers, hoewel een beetje luidruchtig. Ze passen perfect.
Maar eigenlijk, terwijl ik wachtte op een nieuwe koeler voor Tesla, nadat ik deze keer een grote BFB1012EN-slak uit Australië had besteld met een 3D-geprinte houder, kwam deze naar het serveropslagsysteem. Het serverbord heeft een mini-SAS-connector waardoor 4 SATA- en nog 2 SATA-connectoren worden uitgevoerd. Allemaal SATA standaard 2.0 maar dat bevalt mij.
De in de chipset geïntegreerde Intel C602 RAID is niet slecht en het belangrijkste is dat hij de TRIM-opdracht voor SSD's overslaat, wat veel goedkope externe RAID-controllers niet doen.
Op eBay kocht ik een meter lange mini-SAS naar 4 SATA-kabel, en op Avito kocht ik een hot-swap cart met een 5,25″ bay voor 4 x 2,5″ SAS-SATA. Dus toen de kabel en de mand arriveerden, werden er 4 terabyte Seagates erin geïnstalleerd, werd RAID5 voor 4 apparaten in het BIOS ingebouwd, begon ik de server Ubuntu te installeren... en kwam ik tegen het feit dat het schijfpartitioneringsprogramma mij dit niet toestond om een swappartitie voor de raid te maken.
Ik loste het probleem frontaal op - ik kocht een ASUS HYPER M.2 x 2 MINI en M.4 SSD Samsung 2 EVO 960 Gb-adapter van DNS en besloot dat het apparaat met maximale snelheid moest worden toegewezen voor swap, omdat het systeem zal werken met een hoge rekenbelasting, en het geheugen is nog steeds duidelijk kleiner dan de gegevensgrootte. En het 250 GB geheugen was duurder dan deze SSD.
Dezelfde adapter met een SSD geïnstalleerd in een lage hoekverhoger.
Anticiperend op de vragen - "Waarom maken we niet het hele systeem op M.2 en hebben we een maximale toegangssnelheid die hoger is dan die van een raid op SATA?" - Ik zal antwoorden. Ten eerste zijn 1 TB of meer M2 SSD's voor mij te duur. Ten tweede ondersteunt de server, zelfs na het updaten van het BIOS naar de nieuwste versie 2.8.1, nog steeds niet het laden van M.2 NVE-apparaten. Ik deed een experiment waarbij het systeem instelde / opstartte naar USB FLASH 64 Gb en al het andere naar M.2 SSD, maar ik vond het niet leuk. Hoewel een dergelijke combinatie in principe redelijk werkbaar is. Als M.2 NVE's met hoge capaciteit goedkoper worden, kom ik misschien terug op deze optie, maar voorlopig bevalt SATA RAID als opslagsysteem mij prima.
Toen ik koos voor het schijfsubsysteem en een combinatie bedacht van 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” was het tijd om mijn experimenten met GPU voort te zetten Ik had al een Tesla en er kwam net een Australische koeler binnen met een ‘kwaadaardige’ slak die maar liefst 2.94A eet bij 12V, het tweede slot werd bezet door M.2 en voor de derde leende ik een GT 610 ‘voor experimenten’.
Hier op de foto zijn alle 3 de apparaten aangesloten en de M.2 SSD loopt via een flexibele Thermaltech-riser voor videokaarten die zonder fouten op de 3.0-bus werkt. Het is zo, gemaakt van vele individuele "linten", vergelijkbaar met die waarvan SATA-kabels zijn gemaakt. PCI-E 16x-risers gemaakt van een monolithische platte kabel, een beetje zoals de oude IDE-SCSI-risers, zijn een ramp, ze zullen last hebben van fouten als gevolg van wederzijdse interferentie. En zoals ik al zei, de Chinezen maken nu ook stijgbuizen vergelijkbaar met die van Thermaltek, maar dan korter.
In combinatie met de Tesla K20 + GT 610 heb ik veel dingen geprobeerd, tegelijkertijd kwam ik erachter dat bij het aansluiten van een externe videokaart en het omschakelen van de uitgang ernaar in het BIOS, vKVM niet werkt, wat niet echt werkte maakt me van streek. Hoe dan ook, ik was niet van plan om externe video op dit systeem te gebruiken, er zijn geen video-uitgangen op Tesla's, en het externe beheerderspaneel via SSH en zonder X-owls werkt prima als je je eenmaal een beetje herinnert wat een opdrachtregel zonder GUI is . Maar IPMI + vKVM vereenvoudigt het beheer, de herinstallatie en andere problemen met een externe server aanzienlijk.
Over het algemeen is de IPMI van dit bord geweldig. Een aparte 100 Mbit-poort, de mogelijkheid om pakketinjectie opnieuw te configureren naar een van de 10 Gbit-poorten, een ingebouwde webserver voor energiebeheer en controle van servers, het rechtstreeks downloaden van een vKVM Java-client en een client voor het op afstand monteren van schijven of afbeeldingen voor herinstallatie... Het enige is dat de clients hetzelfde zijn als de oude Java Oracle, die niet langer wordt ondersteund in Linux en voor het externe admin-paneel moest ik hiermee een laptop aanschaffen met Win XP SP3 oude pad. Nou, de client is traag, er is genoeg voor het beheerderspaneel en zo, maar je kunt geen games op afstand spelen, de FPS is klein. En de ASPEED-video die is geïntegreerd met IPMI is zwak, alleen VGA.
In het proces van omgaan met de server heb ik veel geleerd en veel geleerd op het gebied van professionele serverhardware van Dell. Waar ik helemaal geen spijt van heb, evenals de goed bestede tijd en het geld. Het leerzame verhaal over het daadwerkelijk in elkaar zetten van het frame met alle servercomponenten wordt later vervolgd.
Link naar deel 3:
Bron: www.habr.com