O zi bună, dragi locuitori din Khabrovsk!
Aș dori să-mi continui povestea despre asamblarea unui „supercomputer de sat”. Și voi explica de ce se numește așa - motivul este simplu. Eu însumi locuiesc într-un sat. Și numele este un ușor trolling al celor care strigă pe internet „Nu există viață dincolo de șoseaua de centură a Moscovei!”, „Satul rus a devenit un bețiv și se stinge!” Deci, undeva, acest lucru poate fi adevărat, dar eu voi fi excepția de la regulă. Nu beau, nu fumez, fac lucruri pe care nu orice „biscuit(i) urban(i)” le poate permite. Dar să ne întoarcem la oile noastre, sau mai precis, la server, care la sfârșitul primei părți a articolului deja „dădea semne de viață”.
Placa era întinsă pe masă, m-am urcat prin BIOS, setând-o după bunul meu plac, am dat jos Ubuntu 16.04 Desktop pentru simplitate și am decis să conectez o placă video la „super-mașină”. Dar singurul lucru la îndemână era un GTS 250 cu un ventilator puternic non-original atașat. Pe care l-am instalat în slotul PCI-E 16x lângă butonul de pornire.
„L-am luat cu un pachet de Belomor (c)”, așa că vă rog să nu mă învinovățiți pentru calitatea fotografiei. Aș prefera să comentez despre ceea ce este surprins pe ele.
În primul rând, s-a dovedit că, atunci când este instalată într-un slot, chiar și o placă video scurtă sprijină placa de sloturile de memorie, în care, în acest caz, nu poate fi instalată și chiar și zăvoarele trebuie coborâte. În al doilea rând, banda de montare de fier a plăcii video acoperă butonul de pornire, așa că a trebuit scos. Apropo, butonul de pornire în sine este iluminat de un LED în două culori, care se aprinde verde când totul este în ordine și clipește portocaliu dacă există probleme, un scurtcircuit și protecția sursei de alimentare s-a declanșat sau puterea +12VSB oferta este prea mare sau prea scăzută.
De fapt, această placă de bază nu este proiectată să includă plăci video „direct” în sloturile sale PCI-E 16x; toate sunt conectate la suporturi. Pentru a instala o cartelă de expansiune în sloturile din apropierea butonului de pornire, există colțuri de ridicare, una joasă pentru instalarea de carduri scurte până la lungimea primului radiator de procesor și una înaltă de colț cu un conector suplimentar de alimentare +12V pentru instalarea unui placa video „peste” un cooler standard de 1U. Poate include plăci video mari precum GTX 780, GTX 980, GTX 1080 sau plăci GPGPU specializate Nvidia Tesla K10-K20-K40 sau „plăci de calcul” Intel Xeon Phi 5110p și altele asemenea.
Dar în GPGPU, cardul inclus în EdgeSlot poate fi conectat direct, doar prin conectarea din nou a puterii suplimentare cu același conector ca pe colțul înalt. Pentru cei interesați, pe eBay acest riser flexibil se numește „Dell PowerEdge C8220X PCI-E GPGPU DJC89” și costă aproximativ 2.5-3 mii de ruble. Colțurile cu sursă suplimentară de alimentare sunt mult mai rare și a trebuit să negociez pentru a le obține de la un magazin specializat de piese pentru server prin Whisper. Au costat 7 mii bucata.
Voi spune imediat, „băieții riscanți (tm)” pot conecta chiar și o pereche de GTX 980 la placă cu suporturi flexibile chineze de 16x, așa cum a făcut o persoană pe „Același forum”; apropo, chinezii fac destul de mult bun crafts care funcționează pe PCI-E 16x 2.0 în stilul Thermaltek flexibil ones risers, dar dacă asta într-o zi te face să arzi circuitele de alimentare de pe placa serverului, vei avea doar tu însuți de vină. Nu am riscat echipamente scumpe și am folosit niște montate originale cu putere suplimentară și una flexibilă chinezească, gândindu-mă că conectarea „direct” a unui card nu ar arde placa.
Apoi au sosit conectorii mult așteptați pentru conectarea puterii suplimentare și am făcut o coadă pentru ridicarea mea în EdgeSlot. Și același conector, dar cu un pinout diferit, este folosit pentru a furniza energie suplimentară plăcii de bază. Acest conector este chiar lângă același conector EdgeSlot, există un pinout interesant acolo. Dacă ridicarea are 2 fire +12 și 2 comune, atunci placa are 3 fire +12 și 1 comun.
Acesta este de fapt același GTS 250 inclus în suportul GPGPU. Apropo, se furnizează o putere suplimentară pentru ridicare și placa de bază - de la al doilea conector de alimentare +12V al procesorului sursei mele de alimentare. Am decis că ar fi mai corect să fac asta.
Basmul se spune repede, dar încet coletele ajung în Rusia din China și din alte locuri de pe glob. Prin urmare, au existat goluri mari în asamblarea „supercomputerului”. Dar în sfârșit mi-a sosit serverul Nvidia Tesla K20M cu radiator pasiv. Mai mult, este absolut zero, de la depozitare, sigilat in cutia originala, in ambalajul original, cu acte de garantie. Și a început suferința: cum să o răcori?
Mai întâi, din Anglia a fost achiziționat un cooler personalizat cu două „turbine” mici, iată-l în fotografie, cu un difuzor din carton de casă.
Și s-au dovedit a fi o prostie completă. Făceau mult zgomot, montura nu se potrivea deloc, suflau slab și dădeau o vibrație atât de mare încât îmi era teamă că componentele vor cădea de pe placa Tesla! De ce au fost aruncați la gunoi aproape imediat?
Apropo, în fotografia de sub Tesla puteți vedea radiatoare de cupru pentru server LGA 2011 1U instalate pe procesoare cu un melc de la Coolerserver achiziționat de la Aliexpress. Coolere foarte decente, deși puțin zgomotoase. Se potrivesc perfect.
Dar, de fapt, în timp ce așteptam un nou cooler pentru Tesla, de data aceasta după ce am comandat un melc mare BFB1012EN din Australia cu o montură imprimată 3D, a venit la sistemul de stocare al serverului. Placa serverului are un conector mini-SAS prin care ies 4 conectori SATA și încă 2 conectori SATA. Toate SATA standard 2.0, dar asta mi se potrivește.
Intel C602 RAID integrat în chipset nu este rău și principalul lucru este că omite comanda TRIM pentru SSD-uri, ceea ce multe controlere RAID externe ieftine nu fac.
Pe eBay am cumpărat un cablu mini-SAS la 4 SATA de un metru, iar pe Avito am cumpărat un cărucior hot-swap cu un compartiment de 5,25 inchi pentru SAS-SATA 4 x 2,5 inchi. Așa că la sosirea cablului și a coșului, în el s-au instalat Seagate de 4 terabyte, în BIOS s-a construit RAID5 pentru 4 dispozitive, am început să instalez serverul Ubuntu... și am dat de faptul că programul de partiționare a discului nu mi-a permis. pentru a crea o partiție de swap pe raid.
Am rezolvat problema din față - am cumpărat un adaptor ASUS HYPER M.2 x 2 MINI și M.4 SSD Samsung 2 EVO 960 Gb de la DNS și am decis ca dispozitivul de viteză maximă să fie alocat pentru schimb, deoarece sistemul va funcționa cu sarcină de calcul mare, iar memoria este încă mai mică decât dimensiunea datelor. Iar memoria de 250 GB a fost mai scumpă decât acest SSD.
Același adaptor cu un SSD instalat într-un colț inferior.
Anticipând întrebările - „De ce să nu faci întregul sistem pe M.2 și să ai o viteză maximă de acces mai mare decât cea a unui raid pe SATA?” — O să răspund. În primul rând, SSD-urile M1 de 2 TB sau mai multe sunt prea scumpe pentru mine. În al doilea rând, chiar și după actualizarea BIOS-ului la cea mai recentă versiune 2.8.1, serverul încă nu acceptă încărcarea dispozitivelor M.2 NVE. Am făcut un experiment în care sistemul a setat /boot la USB FLASH 64 Gb și orice altceva la M.2 SSD, dar nu mi-a plăcut. Deși, în principiu, o astfel de combinație este destul de funcțională. Dacă NVE-urile M.2 de mare capacitate devin mai ieftine, s-ar putea să revin la această opțiune, dar deocamdată SATA RAID ca sistem de stocare mi se potrivește destul de bine.
Când m-am hotărât asupra subsistemului de disc și am venit cu o combinație de 2 x SSD Kingston 240 Gb RAID1 „/” + 4 x HDD Seagate 1 Tb RAID5 „/home” + M.2 SSD Samsung 960 EVO 250 Gb „swap” este este timpul să-mi continui experimentele cu GPU Aveam deja un Tesla și un cooler australian tocmai sosit cu un melc „diabolic” care mănâncă cât 2.94A la 12V, al doilea slot era ocupat de M.2 și pentru al treilea am împrumutat un GT 610 „pentru experimente”.
Aici, în fotografie, toate cele 3 dispozitive sunt conectate, iar SSD-ul M.2 se face printr-un riser Thermaltech flexibil pentru plăci video care funcționează pe magistrala 3.0 fără erori. Este așa, făcut din multe „panglici” individuale similare cu cele din care sunt fabricate cablurile SATA. Riserele PCI-E 16x realizate dintr-un cablu plat monolit, cam ca vechile IDE-SCSI, sunt un dezastru, vor suferi erori din cauza interferențelor reciproce. Și, așa cum am spus deja, chinezii fac acum și niște coloane asemănătoare cu cele ale Thermaltek, dar mai scurte.
În combinație cu Tesla K20 + GT 610, am încercat o mulțime de lucruri, în același timp am aflat că atunci când conectam o placă video externă și comutam ieșirea la ea în BIOS, vKVM nu funcționează, ceea ce nu prea funcționează. ma enervezi. Oricum, nu am plănuit să folosesc video extern pe acest sistem, nu există ieșiri video pe Teslas, iar panoul de administrare la distanță prin SSH și fără X-owls funcționează grozav odată ce vă amintiți puțin ce este o linie de comandă fără GUI . Dar IPMI + vKVM simplifică foarte mult gestionarea, reinstalarea și alte probleme cu un server la distanță.
În general, IPMI-ul acestei plăci este grozav. Un port separat de 100 Mbit, capacitatea de a reconfigura injecția de pachete la unul dintre porturile de 10 Gbit, un server Web încorporat pentru gestionarea energiei și controlul serverelor, descărcarea unui client Java vKVM direct de pe acesta și un client pentru montarea de la distanță a discurilor sau imagini pentru reinstalare... Singurul lucru este că clienții sunt la fel ca vechiul Java Oracle, care nu mai este suportat în Linux și pentru panoul de administrare la distanță a trebuit să-mi iau un laptop cu Win XP SP3 cu acest lucru. broasca străveche. Ei bine, clientul este lent, este suficient pentru panoul de administrare și toate astea, dar nu poți juca jocuri de la distanță, FPS-ul este mic. Și video-ul ASPEED care este integrat cu IPMI este slab, doar VGA.
În procesul de a face față serverului, am învățat multe și am învățat multe în domeniul hardware-ului pentru server profesional de la Dell. Ceea ce nu regret deloc, precum și timpul și banii cheltuiți bine. Povestea educațională despre asamblarea efectivă a cadrului cu toate componentele serverului va fi continuată mai târziu.
Link către partea 3:
Sursa: www.habr.com