Hyvää päivää, rakkaat Habrovskin asukkaat!
Haluaisin jatkaa tarinaani "kylän supertietokoneen" kokoamisesta. Ja minä selitän, miksi sitä kutsutaan sillä tavalla – syy on yksinkertainen. Itse asun kylässä. Ja nimi on pieni uistelu niille, jotka huutavat Internetissä "Moskovan kehätien ulkopuolella ei ole elämää!", "Venäläisestä kylästä on tullut juoppo ja se on kuolemassa!" Joten jossain tämä saattaa olla totta, mutta minä olen poikkeus säännöstä. En juo, en polta, teen asioita, joihin kaikilla "kaupunkikekseliöillä" ei ole varaa. Mutta palataanpa lampaihimme tai tarkemmin sanottuna palvelimeen, joka artikkelin ensimmäisen osan lopussa jo "osoitti elämän merkkejä".
Levy makasi pöydällä, kiipesin BIOSin läpi asettamalla sen mieleisekseen, katkaisin Ubuntu 16.04 Desktopin yksinkertaisuuden vuoksi ja päätin liittää näytönohjaimen "superkoneeseen". Mutta ainoa käsillä oleva asia oli GTS 250, jossa oli mojova ei-alkuperäinen tuuletin. Asensin sen PCI-E 16x -paikkaan lähellä virtapainiketta.
"Otin sen Belomor-pakkauksen kanssa (c)", joten älä syytä minua valokuvan laadusta. Kommentoin mieluummin mitä niissä on.
Ensinnäkin kävi ilmi, että korttipaikkaan asennettuna lyhytkin näytönohjain lepää korttia muistipaikkoja vasten, jolloin sitä ei tässä tapauksessa voi asentaa ja jopa salvat on laskettava alas. Toiseksi näytönohjaimen rautainen kiinnityslista peittää virtapainikkeen, joten se piti poistaa. Muuten, itse virtapainiketta valaisee kaksivärinen LED, joka palaa vihreänä, kun kaikki on kunnossa ja vilkkuu oranssina, jos on ongelmia, oikosulku ja virtalähteen suojaus on lauennut tai +12VSB-virta tarjonta on liian suuri tai liian pieni.
Itse asiassa tätä emolevyä ei ole suunniteltu sisällyttämään näytönohjainkortteja "suoraan" PCI-E 16x -paikkoihinsa; ne kaikki on kytketty nousuputkiin. Laajennuskortin asentamista varten virtapainikkeen läheisyydessä oleviin paikkoihin on olemassa kulmakorot, matala lyhyiden korttien asentamiseen ensimmäisen prosessorin jäähdyttimen pituuteen asti ja korkea kulmakortti +12 V lisävirtaliittimellä näytönohjain "yli" tavallisen matalan 1U jäähdyttimen. Se voi sisältää suuria näytönohjaimia, kuten GTX 780, GTX 980, GTX 1080 tai erikoistuneita GPGPU-kortteja Nvidia Tesla K10-K20-K40 tai "tietokonekortteja" Intel Xeon Phi 5110p ja vastaavia.
Mutta GPGPU-riserissä EdgeSlotissa oleva kortti voidaan kytkeä suoraan, vain kytkemällä jälleen lisävirtaa samalla liittimellä kuin korkean kulman nousuputkessa. Kiinnostuneille eBayssa tämä joustava nosturi on nimeltään "Dell PowerEdge C8220X PCI-E GPGPU DJC89" ja maksaa noin 2.5-3 tuhatta ruplaa. Lisävirtalähteellä varustetut kulmanostimet ovat paljon harvinaisempia ja minun piti neuvotella saadakseni ne erikoistuneesta palvelimen osakaupasta Whisperin kautta. Ne maksoivat 7 tuhatta kappaletta.
Sanon heti, että "riskiset kaverit (tm)" voivat jopa liittää parin GTX 980:aa levyyn kiinalaisilla joustavilla 16x nousuilla, kuten yksi henkilö teki "That Same Forumissa"; muuten kiinalaiset tekevät melko hyviä askarteluja, jotka toimivat PCI-E 16x 2.0:lla Thermaltekin joustavien nousuputkien tyyliin, mutta jos tämä jonain päivänä polttaa palvelinlevyn virtapiirit loppuun, voit syyttää vain itseäsi. En riskeerannut kalliita laitteita ja käytin alkuperäisiä lisätehoisia nousuja ja yhtä kiinalaista joustavaa, ajatellen, että yhden kortin liittäminen "suoraan" ei polttaisi korttia.
Sitten saapuivat kauan odotetut liittimet lisävirran kytkemiseen ja tein EdgeSlotiin nostimelleni hännän. Ja samaa liitintä, mutta eri liittimellä, käytetään lisävirran syöttämiseen emolevylle. Tämä liitin on aivan saman EdgeSlot-liittimen vieressä, siellä on mielenkiintoinen liitin. Jos nousuputkessa on 2 johtoa +12 ja 2 yhteistä, niin levyssä on 3 johtoa +12 ja 1 yhteinen.
Tämä on itse asiassa sama GTS 250, joka sisältyy GPGPU-nousulaitteeseen. Muuten, lisävirtaa syötetään nousuputkiin ja emolevyyn - virtalähteeni prosessorin toisesta +12V virtaliittimestä. Päätin, että olisi oikeampaa tehdä tämä.
Satu kertoo itsensä nopeasti, mutta hitaasti paketit saapuvat Venäjälle Kiinasta ja muualta maailmasta. Siksi "supertietokoneen" kokoonpanossa oli suuria aukkoja. Mutta lopulta Nvidia Tesla K20M -palvelin passiivisäteilijällä saapui minulle. Lisäksi se on täysin nolla, varastosta, sinetöity alkuperäisessä laatikossaan, alkuperäisessä pakkauksessaan, takuupapereilla. Ja kärsimys alkoi: kuinka jäähdyttää sitä?
Ensin Englannista ostettiin mukautettu jäähdytin kahdella pienellä "turbiinilla", tässä se on kuvassa, kotitekoisella pahvihajottimella.
Ja niistä tuli täyttä paskaa. Ne pitivät paljon melua, teline ei sopinut ollenkaan, puhalsivat heikosti ja antoivat sellaista tärinää, että pelkäsin komponenttien putoavan Teslan levyltä! Miksi ne heitettiin roskakoriin melkein heti?
Muuten, Teslan alla olevassa kuvassa voit nähdä prosessoreihin asennettuja LGA 2011 1U -palvelimen kuparipattereita Aliexpressistä ostetun Coolerserverin etanalla. Erittäin kunnolliset jäähdyttimet, vaikkakin hieman meluisa. Ne sopivat täydellisesti.
Mutta itse asiassa, kun odotin Teslalle uutta jäähdytintä, tällä kertaa tilattuani Australiasta suuren BFB1012EN-etanan 3D-tulostetulla telineellä, se tuli palvelimen tallennusjärjestelmään. Palvelinkortissa on mini-SAS-liitin, jonka kautta 4 SATA- ja 2 muuta SATA-liitintä lähetetään. Kaikki SATA standardi 2.0, mutta se sopii minulle.
Piirisarjaan integroitu intel C602 RAID ei ole huono ja pääasia, että se ohittaa SSD-levyjen TRIM-komennon, mitä monet edulliset ulkoiset RAID-ohjaimet eivät tee.
eBaysta ostin metrin pituisen mini-SAS–4 SATA -kaapelin ja Avitosta hot-swap-kärryn, jossa oli 5,25 tuuman paikka 4 x 2,5 tuuman SAS-SATA:lle. Joten kun kaapeli ja kori saapuivat, siihen asennettiin 4 teratavun Seagates, BIOSiin rakennettiin RAID5 4 laitteelle, aloin asentaa palvelinta Ubuntu... ja törmäsin siihen, että levyn osiointiohjelma ei sallinut minua. luodaksesi swap-osion raidille.
Ratkaisin ongelman suoraan - ostin DNS:ltä ASUS HYPER M.2 x 2 MINI ja M.4 SSD Samsung 2 EVO 960 Gb sovittimen ja päätin, että maksiminopeuslaite tulisi varata vaihtoon, koska järjestelmä toimii suurella laskentakuormalla, ja muisti on edelleen selvästi pienempi kuin tiedon koko. Ja 250 Gt:n muisti oli kalliimpi kuin tämä SSD.
Sama sovitin SSD-levyllä asennettuna matalaan kulmaan.
Ennakoimalla kysymyksiä - "Miksi ei tehdä koko järjestelmää M.2:lle ja sen maksimipääsynopeus on suurempi kuin SATA-raidilla?" - Vastaan. Ensinnäkin 1 Tt tai enemmän M2 SSD:t ovat liian kalliita minulle. Toiseksi, vaikka BIOS on päivitetty uusimpaan versioon 2.8.1, palvelin ei silti tue M.2 NVE -laitteiden lataamista. Tein kokeen, jossa järjestelmä asetti /käynnistystilaksi USB FLASH 64 Gb ja kaikki muu M.2 SSD:lle, mutta en pitänyt siitä. Vaikka periaatteessa tällainen yhdistelmä on varsin toimiva. Jos suuren kapasiteetin M.2 NVE:t halpenevat, saatan palata tähän vaihtoehtoon, mutta toistaiseksi SATA RAID tallennusjärjestelmänä sopii minulle varsin hyvin.
Kun päätin levyalijärjestelmän ja keksin yhdistelmän 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap”, se oli aika jatkaa kokeiluani GPU:n kanssa Minulla oli jo Tesla ja australialainen jäähdytin saapui juuri, jossa oli "paha" etana, joka syö peräti 2.94 A 12 V:lla, toisessa paikassa oli M.2 ja kolmanteen lainasin GT 610:tä "kokeilua varten".
Tässä kuvassa kaikki 3 laitetta on kytketty, ja M.2 SSD on joustavan Thermaltech-nousurin kautta näytönohjainkorteille, joka toimii 3.0-väylällä virheettömästi. Se on tällainen, valmistettu monista yksittäisistä "nauhoista", jotka ovat samanlaisia kuin ne, joista SATA-kaapeleita valmistetaan. Monoliittisesta litteästä kaapelista tehdyt PCI-E 16x nousuputket, kuten vanhat IDE-SCSI:t, ovat katastrofi, ne kärsivät keskinäisistä häiriöistä johtuvista virheistä. Ja kuten jo sanoin, kiinalaiset valmistavat nyt myös samanlaisia nousuputkia kuin Thermaltek, mutta lyhyempiä.
Yhdessä Tesla K20 + GT 610: n kanssa kokeilin monia asioita, samalla huomasin, että kun liität ulkoisen näytönohjaimen ja vaihdat sen ulostulon BIOSissa, vKVM ei toimi, mikä ei oikeastaan toiminut. järkyttää minua. Joka tapauksessa en aikonut käyttää ulkoista videokuvaa tässä järjestelmässä, Teslasissa ei ole videolähtöjä ja etähallintapaneeli SSH:n kautta ja ilman X-owlsia toimii loistavasti, kun muistat vähän mitä on komentorivi ilman graafista käyttöliittymää. . Mutta IPMI + vKVM yksinkertaistaa huomattavasti hallintaa, uudelleenasennusta ja muita etäpalvelimen ongelmia.
Yleisesti ottaen tämän levyn IPMI on loistava. Erillinen 100 Mbit:n portti, mahdollisuus konfiguroida pakettien lisäys johonkin 10 Gbitin porteista, sisäänrakennettu web-palvelin virranhallintaan ja palvelimien ohjaukseen, vKVM Java -asiakkaan lataaminen suoraan siitä ja asiakas levyjen etäasennusta varten. tai kuvia uudelleenasennusta varten... Ainoa asia on, että asiakkaat ovat samat kuin vanha Java Oracle, jota ei enää tueta Linuxissa ja etähallintapaneeliin jouduin hankkimaan kannettavan Win XP SP3:lla tällä erittäin muinainen rupikonna. No, asiakas on hidas, hallintapaneelille riittää ja kaikkea muuta, mutta pelejä ei voi pelata etänä, FPS on pieni. Ja IPMI:hen integroitu ASPEED-video on heikko, vain VGA.
Käsitellessään palvelinta opin paljon ja opin paljon Dellin ammattimaisen palvelinlaitteiston alalla. Mitä en ole katunut ollenkaan, samoin kuin hyvin käytetty aika ja raha. Opetuskertomus rungon varsinaisesta kokoamisesta kaikkien palvelinkomponenttien kanssa jatkuu myöhemmin.
Linkki osaan 3:
Lähde: will.com