Dobrý den, milí obyvatelé Chabrovska!
Rád bych pokračoval ve svém příběhu o sestavení „vesnického superpočítače“. A vysvětlím, proč se tomu tak říká – důvod je jednoduchý. Sám bydlím na vesnici. A jméno je mírným trollingem těch, kteří na internetu křičí „Za Moskevským okruhem není život!“, „Ruská vesnice se stala opilcem a vymírá!“ Někde to tedy může být pravda, ale já budu výjimkou z pravidla. Nepiju, nekouřím, dělám věci, které si ne každý „městský cracker(y)“ může dovolit. Ale vraťme se k našim ovečkám, přesněji řečeno k serveru, který na konci první části článku již „jevil známky života“.
Deska ležela na stole, prolezl jsem BIOS, nastavil jsem si ho podle svých představ, pro jednoduchost jsem shodil Ubuntu 16.04 Desktop a rozhodl se připojit k „super stroji“ grafickou kartu. Ale jediné, co bylo po ruce, byla GTS 250 s připojeným mohutným neoriginálním ventilátorem. Který jsem nainstaloval do slotu PCI-E 16x poblíž tlačítka napájení.
„Vzal jsem to s balíčkem Belomoru (c)“, takže mě prosím za kvalitu fotografie neobviňujte. Raději se vyjádřím k tomu, co je na nich zachyceno.
Za prvé se ukázalo, že při instalaci do slotu i krátká grafická karta opře desku o paměťové sloty, do kterých v tomto případě nemůže být instalována a dokonce i západky musí být spuštěny. Za druhé, železný montážní pásek grafické karty zakrývá tlačítko napájení, takže musel být odstraněn. Samotné zapínací tlačítko je mimochodem podsvíceno dvoubarevnou LED diodou, která se rozsvítí zeleně, když je vše v pořádku a oranžově bliká, pokud se vyskytnou nějaké problémy, zkrat a vypadla ochrana zdroje nebo napájení +12VSB nabídka je příliš vysoká nebo příliš nízká.
Ve skutečnosti tato základní deska není navržena tak, aby vkládala grafické karty „přímo“ do svých slotů PCI-E 16x; všechny jsou připojeny ke stoupačkám. Pro instalaci rozšiřující karty do slotů poblíž tlačítka napájení slouží rohové nástavce, nízká pro instalaci krátkých karet do délky prvního radiátoru procesoru a vysoká rohová s přídavným +12V napájecím konektorem pro instalaci grafická karta „nad“ standardním nízkým 1U chladičem. Může zahrnovat velké grafické karty jako GTX 780, GTX 980, GTX 1080 nebo specializované GPGPU karty Nvidia Tesla K10-K20-K40 nebo „počítačové karty“ Intel Xeon Phi 5110p a podobně.
Ale v GPGPU riseru lze kartu, která je součástí EdgeSlotu, připojit přímo, pouze opět připojením dalšího napájení stejným konektorem jako na high corner riseru. Pro zájemce se na eBay tato flexibilní stoupačka nazývá „Dell PowerEdge C8220X PCI-E GPGPU DJC89“ a stojí asi 2.5–3 tisíce rublů. Rohové stoupačky s přídavným napájením jsou mnohem vzácnější a musel jsem si je vyjednat ve specializované prodejně serverových dílů přes Whisper. Stojí 7 tisíc za kus.
Hned řeknu, „risky guys (tm)“ dokonce dokážou připojit pár GTX 980 k desce s čínskými flexibilními nástavci 16x, jak to udělal jeden člověk na „The Same Forum“; mimochodem, Číňané vyrábějí docela dobrá řemesla, která fungují na PCI-E 16x 2.0 ve stylu flexibilních stoupaček Thermaltek, ale pokud vám to jednoho dne způsobí spálení napájecích obvodů na desce serveru, budete si za to sami. Neriskoval jsem drahé vybavení a použil originální risery s přídavným napájením a jednu čínskou ohebnou s tím, že „přímým“ připojením jedné karty se deska nespálí.
Pak dorazily dlouho očekávané konektory pro připojení dalšího napájení a já si v EdgeSlotu vyrobil tail pro svůj stoupač. A stejný konektor, ale s jiným vývodem, se používá k napájení základní desky. Tento konektor je hned vedle stejného konektoru EdgeSlot, je tam zajímavý vývod. Pokud má stoupačka 2 vodiče +12 a 2 společné, pak deska má 3 vodiče +12 a 1 společný.
Jedná se vlastně o stejnou GTS 250 obsaženou v GPGPU riseru. Mimochodem, přídavné napájení je dodáváno do stoupaček a základní desky - z druhého +12V napájecího konektoru CPU mého zdroje. Rozhodl jsem se, že by bylo správnější to udělat.
Pohádka se vypráví rychle, ale pomalu do Ruska dorazí balíky z Číny a dalších míst po celém světě. Proto byly v sestavě „superpočítače“ velké mezery. Nakonec mi ale dorazil server Nvidia Tesla K20M s pasivním radiátorem. Navíc je absolutně nulový, ze skladu, zapečetěný v původní krabici, v původním balení, se záručními listy. A utrpení začalo: jak to zchladit?
Nejprve byl z Anglie zakoupen vlastní chladič se dvěma malými „turbínami“, zde je na fotografii, s domácím kartonovým difuzérem.
A ukázaly se jako úplná kravina. Dělaly velký hluk, držák vůbec neseděl, slabě foukaly a vydávaly takové vibrace, že jsem se bál, že součástky spadnou z desky Tesla! Proč byly téměř okamžitě vyhozeny do koše?
Mimochodem, na fotce pod Teslou můžete vidět serverové měděné radiátory LGA 2011 1U nainstalované na procesorech se šnekem z Coolerserver zakoupeným z Aliexpress. Velmi slušné chladiče, i když trochu hlučné. Perfektně sedí.
Ale ve skutečnosti, když jsem čekal na nový chladič pro Teslu, tentokrát jsem si objednal velkého šneka BFB1012EN z Austrálie s 3D tištěným držákem, došlo na serverový úložný systém. Serverová deska má mini-SAS konektor, přes který vystupují 4 SATA a 2 další SATA konektory. Vše SATA standard 2.0, ale to mi vyhovuje.
Intel C602 RAID integrovaný do čipsetu není špatný a hlavní je, že u SSD přeskakuje příkaz TRIM, což mnoho levných externích RAID řadičů nedělá.
Na eBay jsem si koupil metr dlouhý kabel mini-SAS na 4 SATA a na Avitu jsem koupil hot-swap vozík s 5,25″ šachtou pro 4 x 2,5″ SAS-SATA. Takže když dorazil kabel a koš, byly v něm nainstalovány 4 terabajtové Seagates, v BIOSu byl zabudován RAID5 pro 4 zařízení, začal jsem instalovat server Ubuntu... a narazil na to, že mi program na rozdělení disku nedovolil pro vytvoření swapovacího oddílu na raidu.
Problém jsem vyřešil přímo - koupil jsem ASUS HYPER M.2 x 2 MINI a M.4 SSD Samsung 2 EVO 960 Gb adaptér od DNS a rozhodl jsem se, že maximální rychlost zařízení by měla být přidělena pro swap, protože systém bude fungovat s vysokou výpočetní zátěží a paměť je stále zjevně menší než velikost dat. A paměť 250 GB byla dražší než tento SSD.
Stejný adaptér s SSD nainstalovaným v nízkém rohu.
Předvídání otázek - "Proč neudělat celý systém na M.2 a mít maximální přístupovou rychlost vyšší než raid na SATA?" - odpovím. Za prvé, 1 TB nebo více M2 SSD jsou pro mě příliš drahé. Za druhé, i po aktualizaci systému BIOS na nejnovější verzi 2.8.1 server stále nepodporuje načítání zařízení M.2 NVE. Udělal jsem experiment, kdy systém nastavil/bootoval na USB FLASH 64 Gb a vše ostatní na M.2 SSD, ale nelíbilo se mi to. I když v zásadě je taková kombinace docela funkční. Pokud vysokokapacitní M.2 NVE zlevní, možná se k této možnosti vrátím, ale zatím mi SATA RAID jako úložný systém docela vyhovuje.
Když jsem se rozhodl pro diskový subsystém a přišel s kombinací 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” je to je čas pokračovat ve svých experimentech s GPU Už jsem měl Teslu a právě dorazil australský chladič se „zlým“ šnekem, který žere i 2.94A při 12V, druhý slot obsadil M.2 a na třetí jsem si „na pokusy“ půjčil GT 610.
Zde na fotografii jsou všechna 3 zařízení připojena a M.2 SSD je přes flexibilní Thermaltech riser pro grafické karty, který funguje na sběrnici 3.0 bez chyb. Je to takhle, vyrobené z mnoha jednotlivých „pásek“ podobných těm, ze kterých jsou vyrobeny kabely SATA. PCI-E 16x stoupačky vyrobené z monolitického plochého kabelu, něco jako ty staré IDE-SCSI, jsou katastrofa, budou trpět chybami kvůli vzájemnému rušení. A jak jsem již řekl, Číňané nyní vyrábějí také stoupačky podobné těm od Thermalteku, ale kratší.
V kombinaci s Teslou K20 + GT 610 jsem vyzkoušel spoustu věcí, zároveň jsem zjistil, že při připojení externí grafické karty a přepnutí výstupu na ni v BIOSu nefunguje vKVM, což opravdu nešlo naštvat mě. Každopádně jsem na tomto systému neplánoval používat externí video, na Tesly nejsou žádné video výstupy a vzdálený admin panel přes SSH i bez X-owls funguje skvěle, jakmile si trochu vzpomenete, co je to příkazový řádek bez GUI . IPMI + vKVM však značně zjednodušuje správu, reinstalaci a další problémy se vzdáleným serverem.
Obecně je IPMI této desky skvělé. Samostatný 100 Mbit port, možnost překonfigurovat vkládání paketů na jeden z 10 Gbit portů, vestavěný webový server pro správu napájení a ovládání serverů, stahování Java klienta vKVM přímo z něj a klienta pro vzdálenou montáž disků nebo image pro reinstalaci... Jedině, že klienti jsou stejní jako ten starý Java Oracle, který už v Linuxu není podporován a pro vzdálený admin panel jsem si musel pořídit notebook s Win XP SP3 s tímto velmi starověká ropucha. No, klient je pomalý, je toho dost pro admin panel a tak, ale nemůžete hrát hry na dálku, FPS je malé. A video ASPEED integrované s IPMI je slabé, pouze VGA.
V procesu práce se serverem jsem se hodně naučil a hodně naučil v oblasti profesionálního serverového hardwaru od společnosti Dell. Což vůbec nelituji, stejně jako dobře vynaloženého času a peněz. Vzdělávací příběh o skutečném sestavení rámu se všemi komponentami serveru bude pokračovat později.
Odkaz na část 3:
Zdroj: www.habr.com