Guten Tag, liebe Chabrowsk-Bewohner!
Ich möchte meine Geschichte über den Zusammenbau eines „Dorf-Supercomputers“ fortsetzen. Und ich werde erklären, warum es so heißt – der Grund ist einfach. Ich selbst lebe in einem Dorf. Und der Name ist eine leichte Verhöhnung derjenigen, die im Internet schreien: „Jenseits der Moskauer Ringstraße gibt es kein Leben!“, „Das russische Dorf ist zum Säufer geworden und stirbt aus!“ Irgendwo mag das wahr sein, aber ich werde die Ausnahme von der Regel sein. Ich trinke nicht, ich rauche nicht, ich mache Dinge, die sich nicht jeder „Urban Cracker“ leisten kann. Aber zurück zu unseren Schafen, genauer gesagt zum Server, der am Ende des ersten Teils des Artikels bereits „Lebenszeichen zeigte“.
Das Board lag auf dem Tisch, ich kletterte durch das BIOS, richtete es nach meinen Wünschen ein, strich der Einfachheit halber Ubuntu 16.04 Desktop weg und beschloss, eine Grafikkarte an die „Supermaschine“ anzuschließen. Aber das Einzige, was zur Hand war, war ein GTS 250 mit einem kräftigen, nicht originalen Lüfter. Was ich im PCI-E 16x-Steckplatz in der Nähe des Netzschalters installiert habe.
„Ich habe es mit einer Packung Belomor (c) aufgenommen“, also machen Sie mir bitte nicht die Schuld für die Qualität des Fotos. Ich möchte lieber kommentieren, was auf ihnen festgehalten wird.
Erstens stellte sich heraus, dass selbst eine kurze Grafikkarte beim Einbau in einen Steckplatz die Platine an den Speichersteckplätzen anliegt, sodass sie in diesem Fall nicht eingebaut werden kann und sogar die Riegel abgesenkt werden müssen. Zweitens verdeckt der eiserne Befestigungsstreifen der Grafikkarte den Netzschalter, sodass dieser entfernt werden musste. Der Power-Button selbst wird übrigens von einer zweifarbigen LED beleuchtet, die grün leuchtet, wenn alles in Ordnung ist, und orange blinkt, wenn Probleme vorliegen, ein Kurzschluss vorliegt und der Netzteilschutz ausgelöst hat oder die +12VSB-Stromversorgung anliegt Das Angebot ist zu hoch oder zu niedrig.
Tatsächlich ist dieses Motherboard nicht dafür ausgelegt, Grafikkarten „direkt“ in seine PCI-E 16x-Steckplätze aufzunehmen; sie sind alle mit Risern verbunden. Um eine Erweiterungskarte in den Steckplätzen in der Nähe des Netzschalters zu installieren, gibt es Eckriser, einen niedrigen für den Einbau kurzer Karten bis zur Länge des ersten Prozessorkühlers und einen hohen Eckriser mit einem zusätzlichen +12-V-Stromanschluss für den Einbau von a Grafikkarte „über“ einem standardmäßigen niedrigen 1U-Kühler. Dazu können große Grafikkarten wie GTX 780, GTX 980, GTX 1080 oder spezielle GPGPU-Karten Nvidia Tesla K10-K20-K40 oder „Computerkarten“ Intel Xeon Phi 5110p und dergleichen gehören.
Beim GPGPU-Riser kann die im EdgeSlot enthaltene Karte jedoch direkt angeschlossen werden, indem nur erneut zusätzliche Stromversorgung über denselben Anschluss wie beim High-Eck-Riser angeschlossen wird. Für Interessierte heißt dieser flexible Riser bei eBay „Dell PowerEdge C8220X PCI-E GPGPU DJC89“ und kostet etwa 2.5-3 Rubel. Eck-Riser mit zusätzlicher Stromversorgung sind viel seltener und ich musste über Whisper verhandeln, um sie von einem spezialisierten Server-Ersatzteilgeschäft zu bekommen. Sie kosten 7 pro Stück.
Ich sage gleich, „riskante Jungs (tm)“ können sogar ein Paar GTX 980 mit chinesischen flexiblen Risern 16x an das Board anschließen, wie es eine Person in „That Same Forum“ getan hat; die Chinesen machen das übrigens ganz schön Gute Handwerker, die auf PCI-E 16x 2.0 im Stil der flexiblen Riser von Thermaltek funktionieren, aber wenn dies eines Tages dazu führt, dass die Stromkreise auf der Serverplatine durchbrennen, sind Sie selbst schuld. Ich habe keine teure Ausrüstung riskiert und Original-Riser mit zusätzlicher Stromversorgung und einen chinesischen flexiblen Riser verwendet, da ich davon ausgegangen bin, dass der „direkte“ Anschluss einer Karte die Platine nicht verbrennen würde.
Dann kamen die lang erwarteten Anschlüsse zum Anschließen zusätzlicher Stromversorgung und ich fertigte im EdgeSlot ein Ende für meinen Riser an. Und derselbe Anschluss, jedoch mit einer anderen Pinbelegung, wird zur zusätzlichen Stromversorgung des Motherboards verwendet. Dieser Anschluss befindet sich direkt neben demselben EdgeSlot-Anschluss. Dort gibt es eine interessante Pinbelegung. Wenn der Riser über 2 Drähte +12 und 2 gemeinsame Leitungen verfügt, verfügt die Platine über 3 Drähte +12 und 1 gemeinsame Leitung.
Dabei handelt es sich tatsächlich um denselben GTS 250, der im GPGPU-Riser enthalten ist. Die Stromversorgung der Riser und des Mainboards erfolgt übrigens zusätzlich über den zweiten +12V-Stromanschluss der CPU meines Netzteils. Ich entschied, dass es richtiger wäre, dies zu tun.
Das Märchen erzählt sich schnell, doch langsam kommen die Pakete aus China und anderen Orten rund um den Globus nach Russland. Daher gab es große Lücken beim Zusammenbau des „Supercomputers“. Aber endlich kam der Nvidia Tesla K20M Server mit Passivkühler bei mir an. Darüber hinaus ist es absolut nullwertig, seit der Lagerung, versiegelt in der Originalverpackung, in der Originalverpackung, mit Garantiepapieren. Und das Leiden begann: Wie kann man es abkühlen?
Zunächst wurde aus England ein maßgeschneiderter Kühler mit zwei kleinen „Turbinen“ gekauft, hier auf dem Foto, mit einem selbstgebauten Pappdiffusor.
Und es stellte sich heraus, dass sie völliger Mist waren. Sie machten viel Lärm, die Halterung passte überhaupt nicht, sie bliesen schwach und gaben solche Vibrationen von sich, dass ich befürchtete, dass die Komponenten vom Tesla-Board fallen würden! Warum wurden sie fast sofort in den Müll geworfen?
Auf dem Foto unter Tesla sieht man übrigens LGA 2011 1U-Server-Kupferkühler, die auf den Prozessoren mit einer Schnecke von Coolerserver installiert sind, die bei Aliexpress gekauft wurde. Sehr gute Kühler, wenn auch etwas laut. Sie passen perfekt.
Doch während ich auf einen neuen Kühler für Tesla wartete, nachdem ich dieses Mal eine große BFB1012EN-Schnecke mit einer 3D-gedruckten Halterung aus Australien bestellt hatte, kam es zum Server-Speichersystem. Das Serverboard verfügt über einen Mini-SAS-Anschluss, über den 4 SATA- und 2 weitere SATA-Anschlüsse ausgegeben werden. Alles SATA-Standard 2.0, aber das passt zu mir.
Das im Chipsatz integrierte Intel C602 RAID ist nicht schlecht und Hauptsache, es überspringt den TRIM-Befehl für SSDs, was viele günstige externe RAID-Controller nicht können.
Bei eBay habe ich ein meterlanges Mini-SAS-zu-4-SATA-Kabel gekauft, und bei Avito habe ich einen Hot-Swap-Wagen mit einem 5,25-Zoll-Schacht für 4 x 2,5-Zoll-SAS-SATA gekauft. Als also das Kabel und der Korb ankamen, waren 4 Terabyte Seagates darin installiert, RAID5 für 4 Geräte war im BIOS eingebaut, ich begann mit der Installation des Server-Ubuntu... und stieß auf die Tatsache, dass das Festplattenpartitionierungsprogramm es mir nicht erlaubte um eine Swap-Partition auf dem Raid zu erstellen.
Ich habe das Problem direkt gelöst – ich habe einen ASUS HYPER M.2 x 2 MINI und M.4 SSD Samsung 2 EVO 960 GB-Adapter von DNS gekauft und beschlossen, dass das Gerät mit der höchsten Geschwindigkeit für den Austausch zugewiesen werden sollte, da das System funktionieren wird mit hoher Rechenlast, und der Speicher ist offensichtlich immer noch kleiner als die Datengröße. Und der 250 GB große Speicher war teurer als diese SSD.
Derselbe Adapter mit einer SSD, die in einem niedrigen Eck-Riser installiert ist.
Im Vorgriff auf die Fragen: „Warum nicht das gesamte System auf M.2 umstellen und eine maximale Zugriffsgeschwindigkeit haben, die höher ist als bei einem Raid auf SATA?“ - Ich werde antworten. Erstens sind mir M1-SSDs mit 2 TB oder mehr zu teuer. Zweitens unterstützt der Server auch nach der Aktualisierung des BIOS auf die neueste Version 2.8.1 immer noch nicht das Laden von M.2-NVE-Geräten. Ich habe ein Experiment durchgeführt, bei dem das System /boot auf USB FLASH 64 GB und alles andere auf M.2 SSD eingestellt hat, aber es hat mir nicht gefallen. Obwohl eine solche Kombination im Prinzip durchaus machbar ist. Wenn M.2-NVEs mit hoher Kapazität günstiger werden, werde ich möglicherweise zu dieser Option zurückkehren, aber im Moment passt SATA RAID als Speichersystem ganz gut zu mir.
Als ich mich für das Festplatten-Subsystem entschieden und eine Kombination aus 2 x SSD Kingston 240 Gb RAID1 „/“ + 4 x HDD Seagate 1 Tb RAID5 „/home“ + M.2 SSD Samsung 960 EVO 250 Gb „Swap“ gefunden habe, war es so Zeit, meine Experimente mit der GPU fortzusetzen Ich hatte bereits einen Tesla und gerade kam ein australischer Kühler mit einer „bösen“ Schnecke an, die bis zu 2.94 A bei 12 V frisst, der zweite Steckplatz war mit M.2 belegt und für den dritten habe ich mir „für Experimente“ einen GT 610 ausgeliehen.
Hier auf dem Foto sind alle 3 Geräte angeschlossen, und die M.2-SSD wird über einen flexiblen Thermaltech-Riser für Grafikkarten angeschlossen, der am 3.0-Bus fehlerfrei funktioniert. Es ist so, hergestellt aus vielen einzelnen „Bändern“, ähnlich denen, aus denen SATA-Kabel hergestellt werden. PCI-E 16x-Riser, die aus einem monolithischen Flachkabel bestehen, ähnlich wie die alten IDE-SCSI-Riser, sind eine Katastrophe, da es aufgrund gegenseitiger Beeinflussung zu Fehlern kommen kann. Und wie gesagt, die Chinesen stellen mittlerweile auch Tragegurte her, die denen von Thermaltek ähneln, nur kürzer.
In Kombination mit dem Tesla K20 + GT 610 habe ich einiges ausprobiert, gleichzeitig habe ich herausgefunden, dass beim Anschließen einer externen Grafikkarte und dem Umschalten des Ausgangs auf diese im BIOS vKVM nicht funktioniert, was nicht wirklich funktionierte ärgerte mich. Wie auch immer, ich hatte nicht vor, auf diesem System externes Video zu verwenden, es gibt keine Videoausgänge auf Teslas und das Remote-Admin-Panel über SSH und ohne X-Owls funktioniert großartig, wenn man sich ein wenig daran erinnert, was eine Befehlszeile ohne GUI ist . Aber IPMI + vKVM vereinfacht die Verwaltung, Neuinstallation und andere Probleme mit einem Remote-Server erheblich.
Im Allgemeinen ist der IPMI dieses Boards großartig. Ein separater 100-Mbit-Port, die Möglichkeit, die Paketinjektion an einen der 10-Gbit-Ports neu zu konfigurieren, ein integrierter Webserver zur Energieverwaltung und Steuerung von Servern, direkter Download eines vKVM-Java-Clients und ein Client zum Remote-Mounten von Festplatten oder Bilder zur Neuinstallation... Das Einzige ist, dass die Clients die gleichen sind wie beim alten Java Oracle, das unter Linux nicht mehr unterstützt wird und für das Remote-Admin-Panel musste ich mir einen Laptop mit Win XP SP3 besorgen alte Kröte. Nun, der Client ist langsam, es gibt genug für das Admin-Panel und so weiter, aber man kann keine Spiele aus der Ferne spielen, die FPS sind gering. Und das in IPMI integrierte ASPEED-Video ist schwach, nur VGA.
Im Umgang mit dem Server habe ich viel gelernt und viel im Bereich professioneller Server-Hardware von Dell gelernt. Was ich überhaupt nicht bereue, ebenso wie die gut investierte Zeit und das Geld. Die lehrreiche Geschichte über den eigentlichen Zusammenbau des Rahmens mit allen Serverkomponenten wird später fortgesetzt.
Link zu Teil 3:
Source: habr.com