Jó napot, kedves habrovszki lakosok!
Szeretném folytatni a történetemet egy „falusi szuperszámítógép” összeszereléséről. És elmagyarázom, miért hívják így – az ok egyszerű. Jómagam falun élek. A név pedig enyhe trollkodás azoknak, akik az interneten azt kiabálják, hogy „Nincs élet a moszkvai körgyűrűn túl!”, „Az orosz falu részeg lett és kihal!” Szóval valahol ez igaz lehet, de én kivétel leszek a szabály alól. Nem iszom, nem dohányzom, olyan dolgokat csinálok, amiket nem minden "városi kekszet" engedhet meg magának. De térjünk vissza juhainkhoz, pontosabban a kiszolgálóhoz, amely a cikk első részének végén már „életjeleket mutatott”.
A tábla az asztalon feküdt, átmásztam a BIOS-on, kedvem szerint beállítva, az egyszerűség kedvéért ledobtam az Ubuntu 16.04 Desktopot, és úgy döntöttem, hogy egy videokártyát csatlakoztatok a „szupergéphez”. De az egyetlen dolog, ami kéznél volt, egy GTS 250 volt, amelyhez egy erős, nem eredeti ventilátor volt csatlakoztatva. Amit a PCI-E 16x foglalatba telepítettem a bekapcsológomb közelében.
„Egy csomag Belomorral (c) vittem”, ezért kérem, ne engem hibáztasson a fotó minőségéért. Inkább kommentálom, mi van rajtuk.
Először is kiderült, hogy nyílásba szerelve még egy rövid videókártya is rátámasztja a kártyát a memóriahelyekre, ilyenkor nem lehet behelyezni, sőt a reteszeket is le kell engedni. Másodszor, a videokártya vas rögzítőcsíkja takarja a bekapcsoló gombot, így azt ki kellett venni. Magát a bekapcsológombot egyébként egy kétszínű LED világítja meg, ami zölden világít, ha minden rendben van, és narancssárgán villog, ha valami probléma, rövidzárlat és a tápellátás védelme kioldott vagy a +12VSB tápfeszültség a kínálat túl magas vagy túl alacsony.
Valójában ezt az alaplapot nem úgy tervezték, hogy a videokártyákat „közvetlenül” helyezze a PCI-E 16x foglalataiba, hanem mindegyik felszállóhoz csatlakozik. A bővítőkártya beszereléséhez a bekapcsológomb melletti nyílásokba sarok emelők találhatók, egy alacsony a rövid kártyák beszereléséhez az első processzorradiátor hosszáig, és egy magas sarok egy további +12 V tápcsatlakozóval a videokártya egy szabványos alacsony 1U hűtő „felett”. Tartalmazhat nagyméretű videokártyákat, például GTX 780, GTX 980, GTX 1080 vagy speciális GPGPU kártyákat Nvidia Tesla K10-K20-K40 vagy „számítógépes kártyákat” Intel Xeon Phi 5110p és hasonlókat.
De a GPGPU felszállóban az EdgeSlotban található kártya közvetlenül csatlakoztatható, csak úgy, hogy ismételten további tápellátást csatlakoztatunk ugyanazzal a csatlakozóval, mint a magas sarok emelkedőn. Az érdeklődők számára az eBay-en ezt a rugalmas felszállót „Dell PowerEdge C8220X PCI-E GPGPU DJC89”-nek hívják, és körülbelül 2.5-3 ezer rubelbe kerül. A kiegészítő tápegységgel ellátott sarokemelők sokkal ritkábbak, és meg kellett alkudnom, hogy a Whisperen keresztül szerezzem be őket egy speciális szerveralkatrész boltból. 7 ezerbe kerültek darabonként.
Azonnal mondom, a „kockázatos srácok (tm)” akár egy pár GTX 980-at is csatlakoztathatnak az alaplaphoz kínai flexibilis 16-szoros felszállókkal, ahogy egy ember tette a „That Same Forum”-on, a kínaiak egyébként eléggé megcsinálják. jó mesterségek, amelyek PCI-E 16x 2.0-n működnek, a Thermaltek flexibilis felszállóinak stílusában, de ha ez egy napon kiégeti a tápáramköröket a szerverkártyán, akkor csak magát hibáztathatja. Nem kockáztattam a drága felszerelést, és eredeti felszállókat használtam plusz teljesítményű és egy kínai rugalmasat, gondolva, hogy egy kártya „közvetlen” csatlakoztatása nem égeti le a táblát.
Aztán megérkeztek a várva várt csatlakozók a plusz áram bekötéséhez, és készítettem egy farkat az EdgeSlot-ban lévő riser-emhez. Ugyanaz a csatlakozó, de más kivezetéssel, az alaplap további tápellátására szolgál. Ez a csatlakozó közvetlenül ugyanezen EdgeSlot csatlakozó mellett van, van ott egy érdekes kivezetés. Ha a felszállóban 2 +12 és 2 közös vezeték van, akkor a táblán 3 +12 és 1 közös vezeték van.
Ez valójában ugyanaz a GTS 250, amely a GPGPU felszállóban van. Egyébként további tápellátást kapnak a felszállók és az alaplap - a tápegységem CPU második +12 V tápcsatlakozójáról. Úgy döntöttem, hogy helyesebb lenne ezt megtenni.
A mese gyorsan meséli magát, de lassan megérkeznek a csomagok Oroszországba Kínából és a világ más helyeiről. Ezért nagy hiányosságok voltak a „szuperszámítógép” összeszerelésében. De végre megérkezett hozzám az Nvidia Tesla K20M szerver passzív radiátorral. Sőt abszolút nulla, raktárból, eredeti dobozában, eredeti csomagolásában, garancia papírokkal zárva. És elkezdődött a szenvedés: hogyan lehet lehűteni?
Először egy egyedi hűtőt vásároltak két kis „turbinával” Angliából, itt van a képen, házi készítésű karton diffúzorral.
És kész baromságnak bizonyultak. Nagy zajt csaptak, a tartó egyáltalán nem illett, gyengén fújtak és akkora rezgést adtak, hogy féltem, hogy leesnek a Tesla tábláról az alkatrészek! Miért dobták szinte azonnal a szemetesbe?
A Tesla alatti fotón egyébként az Aliexpresstől vásárolt Coolerservertől csigával a processzorokra LGA 2011 1U szerverréz radiátorok láthatók. Nagyon jó hűtők, bár kissé zajosak. Tökéletesen illeszkednek.
De igazából, miközben egy új hűtőre vártam a Teslához, ezúttal Ausztráliából rendeltem egy nagyméretű BFB1012EN csigát 3D-s nyomtatott rögzítéssel, a szerver tárolórendszerébe került. A szerverlapon van egy mini-SAS csatlakozó, amelyen keresztül 4 SATA és további 2 SATA csatlakozó megy ki. Mind SATA 2.0 szabvány, de nekem megfelel.
A chipkészletbe integrált intel C602 RAID nem rossz, és a lényeg, hogy az SSD-knél kihagyja a TRIM parancsot, amit sok olcsó külső RAID vezérlő nem tesz meg.
Az eBay-en vettem egy méter hosszú mini-SAS-4 SATA kábelt, az Aviton pedig egy hot-swap kocsit 5,25 hüvelykes rekesszel 4 x 2,5 hüvelykes SAS-SATA-hoz. Így amikor megérkezett a kábel és a kosár, 4 terabájtos Seagates került bele, a BIOS-ba beépítették a 5 eszközre való RAID4-öt, elkezdtem a szerver Ubuntu telepítését... és belefutottam, hogy a lemezparticionáló program nem engedte. swap partíció létrehozásához a raiden.
A problémát azonnal megoldottam - vásároltam egy ASUS HYPER M.2 x 2 MINI és M.4 SSD Samsung 2 EVO 960 Gb adaptert a DNS-től, és úgy döntöttem, hogy a maximális sebességű eszközt kell kiosztani a cserére, mert a rendszer működni fog nagy számítási terhelés mellett, és a memória még mindig nyilvánvalóan kisebb, mint az adatméret. A 250 GB-os memória pedig drágább volt, mint ez az SSD.
Ugyanez az adapter SSD-vel, amely egy alacsony sarokban lévő felszállóba van telepítve.
Megelőlegezve a kérdéseket – „Miért ne lehetne az egész rendszert M.2-re tenni, és a maximális hozzáférési sebesség nagyobb, mint egy raid SATA-n?” - válaszolok. Először is, az 1 TB-os vagy több M2 SSD túl drága számomra. Másodszor, a kiszolgáló még a BIOS legújabb, 2.8.1-es verziójára történő frissítése után sem támogatja az M.2 NVE-eszközök betöltését. Csináltam egy kísérletet, ahol a rendszer a /boot-ot USB FLASH 64 Gb-ra állította, minden mást pedig M.2 SSD-re, de ez nem tetszett. Bár elvileg egy ilyen kombináció meglehetősen működőképes. Ha a nagy kapacitású M.2 NVE-k olcsóbbak lesznek, lehet, hogy visszatérek ehhez a lehetőséghez, de egyelőre a SATA RAID tárolórendszerként elég jól áll nekem.
Amikor a lemez alrendszer mellett döntöttem, és a 2 x SSD Kingston 240 Gb RAID1 „/” + 4 x HDD Seagate 1 Tb RAID5 „/home” + M.2 SSD Samsung 960 EVO 250 Gb „swap” kombinációjával jöttem létre, ideje folytatnom a GPU-val végzett kísérleteimet Volt már Teslám, és most érkezett egy ausztrál hűtőm egy „gonosz” csigával, ami 2.94 V-on 12 A-t eszik, a második nyílást az M.2 foglalta el, a harmadikhoz pedig egy GT 610-et kaptam kölcsön „kísérletekre”.
Itt a képen mind a 3 eszköz össze van kötve, az M.2 SSD pedig egy rugalmas Thermaltech felszállón keresztül van a videokártyákhoz, ami a 3.0 buszon hiba nélkül működik. Ez olyan, mint ez, sok egyedi „szalagból” készült, hasonlóak ahhoz, amelyből a SATA kábelek készülnek. A monolitikus lapos kábelből készült PCI-E 16x felszállók, amolyan a régi IDE-SCSI-k, katasztrófa, a kölcsönös interferencia miatti hibáktól szenvednek. És ahogy már mondtam, a kínaiak ma már a Thermaltekéhez hasonló, de rövidebb felszállókat is gyártanak.
A Tesla K20 + GT 610-el kombinálva sok mindent kipróbáltam, ugyanakkor rájöttem, hogy külső videokártya csatlakoztatásakor és a BIOS-ban a kimenet átkapcsolásakor a vKVM nem működik, ami nem igazán működött. idegesített engem. Amúgy nem terveztem külső videót használni ezen a rendszeren, a Teslason nincs videokimenet, és a távoli adminisztrációs panel SSH-n keresztül és X-owls nélkül is remekül működik, ha egy kicsit emlékszel, milyen egy parancssor GUI nélkül. . Az IPMI + vKVM azonban nagyban leegyszerűsíti a kezelést, az újratelepítést és a távoli szerverrel kapcsolatos egyéb problémákat.
Általánosságban elmondható, hogy ennek az alaplapnak az IPMI-je nagyszerű. Külön 100 Mbit-es port, csomaginjektálás újrakonfigurálása a 10 Gbit-es portok egyikére, beépített webszerver a kiszolgálók energiagazdálkodásához és vezérléséhez, vKVM Java kliens letöltése közvetlenül onnan és kliens a lemezek távoli csatlakoztatásához vagy képek az újratelepítéshez... Csak annyi, hogy a kliensek ugyanazok, mint a régi Java Oracle, amit már nem támogat a Linux és a távoli adminisztrációs panelhez kellett szereznem egy laptopot Win XP SP3-mal ezzel nagyon ősi varangy. Hát a kliens lassú, elég az adminisztrációs panel meg minden, de távolról nem lehet játszani, kicsi az FPS. Az IPMI-vel integrált ASPEED videó pedig gyenge, csak VGA.
A szerverrel való foglalkozás során sokat tanultam és sokat tanultam a Dell professzionális szerverhardvereinek területén. Amit egyáltalán nem bánok, ahogy a jól elköltött időt és pénzt sem. Az oktatási történet a keret tényleges összeszereléséről az összes szerverkomponenssel később folytatódik.
Link a 3. részhez:
Forrás: will.com