Dobrý deň, milí obyvatelia Khabrovska!
Rád by som pokračoval v mojom príbehu o zostavení „dedinského superpočítača“. A vysvetlím, prečo sa to tak volá – dôvod je jednoduchý. Ja sám bývam na dedine. A názov je miernym trollovaním tých, ktorí na internete kričia „Za moskovským okruhom nie je život!“, „Ruská dedina sa stala opilcom a vymiera!“ Takže niekde to môže byť pravda, ale ja budem výnimkou z pravidla. Nepijem, nefajčím, robím veci, ktoré si nie každý „mestský cracker“ môže dovoliť. Vráťme sa však k našim ovečkám, presnejšie k serveru, ktorý na konci prvej časti článku už „prejavoval známky života“.
Doska ležala na stole, preliezol som BIOS, nastavil som si ho podľa svojich predstáv, pre jednoduchosť som odhodil Ubuntu 16.04 Desktop a rozhodol som sa pripojiť k „super stroju“ grafickú kartu. Ale jediné, čo bolo po ruke, bola GTS 250 s pripojeným mohutným neoriginálnym ventilátorom. Ktorý som nainštaloval do slotu PCI-E 16x v blízkosti tlačidla napájania.
„Vzal som to s balíčkom Belomoru (c)“, takže ma prosím neobviňujte za kvalitu fotografie. Radšej sa vyjadrím k tomu, čo je na nich zachytené.
Po prvé, ukázalo sa, že pri inštalácii do slotu aj krátka grafická karta opiera dosku o pamäťové sloty, v ktorých sa v tomto prípade nedá nainštalovať a dokonca aj západky musia byť sklopené. Po druhé, železný montážny pás grafickej karty zakrýva tlačidlo napájania, takže ho bolo potrebné odstrániť. Mimochodom, samotné tlačidlo napájania je osvetlené dvojfarebnou LED diódou, ktorá sa rozsvieti na zeleno, keď je všetko v poriadku a bliká oranžovo, ak sa vyskytnú nejaké problémy, skrat a vypadla ochrana zdroja alebo napájanie +12VSB. zásoba je príliš vysoká alebo príliš nízka.
V skutočnosti táto základná doska nie je navrhnutá tak, aby vložila grafické karty „priamo“ do svojich slotov PCI-E 16x; všetky sú pripojené k stúpačkám. Na inštaláciu rozširujúcej karty do slotov v blízkosti tlačidla napájania sú k dispozícii rohové stúpačky, nízka na inštaláciu krátkych kariet do dĺžky prvého radiátora procesora a vysoká rohová s prídavným +12V napájacím konektorom na inštaláciu grafická karta „nad“ štandardným nízkym 1U chladičom. Môže obsahovať veľké grafické karty ako GTX 780, GTX 980, GTX 1080 alebo špecializované GPGPU karty Nvidia Tesla K10-K20-K40 alebo „výpočtové karty“ Intel Xeon Phi 5110p a podobne.
Ale v stúpačke GPGPU je možné kartu, ktorá je súčasťou EdgeSlot, pripojiť priamo, iba opätovným pripojením dodatočného napájania rovnakým konektorom ako na vysokom rohu. Pre záujemcov sa na eBay tento flexibilný stúpač nazýva „Dell PowerEdge C8220X PCI-E GPGPU DJC89“ a stojí asi 2.5 až 3 tisíc rubľov. Rohové stúpačky s dodatočným napájaním sú oveľa zriedkavejšie a musel som ich získať zo špecializovaného obchodu s dielmi pre servery cez Whisper. Stáli 7 tisíc za kus.
Poviem hneď, „risky guys (tm)“ dokonca dokážu pripojiť pár GTX 980 k doske s čínskymi flexibilnými podložkami 16x, ako to urobil jeden človek na „tom istom fóre“; mimochodom, Číňania vyrábajú dobré remeslá, ktoré fungujú na PCI-E 16x 2.0 v štýle flexibilných stúpačiek Thermaltek, ale ak vám to jedného dňa spôsobí vyhorenie napájacích obvodov na doske servera, budete si na vine len vy. Neriskoval som drahé vybavenie a použil som originálne stúpačky s prídavným napájaním a jednu čínsku flexibilnú, pričom som si myslel, že pripojením jednej karty „priamo“ by sa doska nespálila.
Potom prišli dlho očakávané konektory na pripojenie dodatočného napájania a v EdgeSlote som urobil chvost pre moju stúpačku. Rovnaký konektor, ale s iným vývodom, sa používa na napájanie základnej dosky. Tento konektor je hneď vedľa toho istého konektora EdgeSlot, je tam zaujímavý pinout. Ak má stúpačka 2 vodiče +12 a 2 spoločné, potom doska má 3 vodiče +12 a 1 spoločný.
Toto je vlastne ten istý GTS 250 zahrnutý v stúpačke GPGPU. Mimochodom, prídavné napájanie sa dodáva do stúpačiek a základnej dosky - z druhého +12V napájacieho konektora CPU môjho zdroja. Rozhodol som sa, že by bolo správnejšie to urobiť.
Rozprávka sa rozpráva rýchlo, ale pomaly sa do Ruska dostávajú balíky z Číny a iných miest na svete. Preto boli v zostave „superpočítača“ veľké medzery. Nakoniec mi však dorazil server Nvidia Tesla K20M s pasívnym radiátorom. Navyše je úplne nulový, zo skladu, zapečatený v pôvodnej krabici, v originálnom balení, so záručnými listami. A utrpenie začalo: ako ho ochladiť?
Najprv bol z Anglicka zakúpený vlastný chladič s dvoma malými „turbínami“, tu je na fotografii, s domácim kartónovým difúzorom.
A ukázali sa ako úplná kravina. Robili veľa hluku, držiak vôbec nesedel, slabo fúkal a vydávali také vibrácie, že som sa bál, že komponenty spadnú z dosky Tesla! Prečo boli takmer okamžite vyhodené do koša?
Mimochodom, na fotografii pod Teslou môžete vidieť serverové medené radiátory LGA 2011 1U nainštalované na procesoroch so slimákom od Coolerserver zakúpeným od Aliexpress. Veľmi slušné chladiče, aj keď trochu hlučné. Sedia perfektne.
Ale v skutočnosti, zatiaľ čo som čakal na nový chladič pre Teslu, tentoraz som si objednal veľkého slimáka BFB1012EN z Austrálie s 3D tlačeným držiakom, prišlo to na serverový úložný systém. Serverová doska má mini-SAS konektor, cez ktorý vystupujú 4 SATA a 2 ďalšie SATA konektory. Všetko SATA štandard 2.0, ale to mi vyhovuje.
Intel C602 RAID integrovaný do čipsetu nie je zlý a hlavné je, že preskakuje príkaz TRIM pre SSD, čo mnohé lacné externé RAID radiče nerobia.
Na eBay som si kúpil meter dlhý mini-SAS na 4 SATA kábel a na Avito som si kúpil hot-swap vozík s 5,25″ šachtou pre 4 x 2,5″ SAS-SATA. Takže keď prišiel kábel a kôš, boli v ňom nainštalované 4 terabajtové Seagates, v BIOSe bol zabudovaný RAID5 pre 4 zariadenia, začal som inštalovať server Ubuntu... a narazil som na to, že program na rozdelenie disku mi nedovolil na vytvorenie swapového oddielu na raide.
Problém som vyriešil priamo od DNS - kúpil som si ASUS HYPER M.2 x 2 MINI a M.4 SSD Samsung 2 EVO 960 Gb adaptér od DNS a rozhodol som sa, že pre swap treba prideliť maximálnu rýchlosť, keďže systém bude fungovať s vysokou výpočtovou záťažou a pamäť je stále zjavne menšia ako veľkosť údajov. A 250 GB pamäť bola drahšia ako tento SSD.
Rovnaký adaptér s SSD nainštalovaným v nízkom rohovom stúpačke.
Predvídanie otázok – „Prečo neurobiť celý systém na M.2 a mať maximálnu rýchlosť prístupu vyššiu ako pri nájazde na SATA?“ - odpoviem. Po prvé, 1 TB alebo viac M2 SSD sú pre mňa príliš drahé. Po druhé, aj po aktualizácii systému BIOS na najnovšiu verziu 2.8.1 server stále nepodporuje načítanie zariadení M.2 NVE. Urobil som experiment, kde systém nastavil/bootoval na USB FLASH 64 Gb a všetko ostatné na M.2 SSD, ale nepáčilo sa mi to. Aj keď v zásade je takáto kombinácia celkom uskutočniteľná. Ak zlacnejú vysokokapacitné M.2 NVE, možno sa k tejto možnosti vrátim, ale zatiaľ mi SATA RAID ako úložný systém celkom vyhovuje.
Keď som sa rozhodol pre diskový subsystém a vymyslel som kombináciu 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” je to čas pokračovať v mojich experimentoch s GPU Mal som už Teslu a práve mi prišiel austrálsky chladič so „zlým“ slimákom, ktorý žerie aj 2.94A pri 12V, druhý slot obsadil M.2 a na tretí som si „na pokusy“ požičal GT 610.
Tu na fotografii sú všetky 3 zariadenia pripojené a M.2 SSD je cez flexibilnú Thermaltech stúpačku pre grafické karty, ktorá funguje bez chýb na 3.0 zbernici. Je to takto, vyrobené z mnohých jednotlivých „stúh“ podobných tým, z ktorých sa vyrábajú káble SATA. PCI-E 16x stúpačky vyrobené z monolitického plochého kábla, niečo ako staré IDE-SCSI, sú katastrofa, budú trpieť chybami v dôsledku vzájomného rušenia. A ako som už povedal, Číňania teraz vyrábajú aj stúpačky podobné tým z Thermalteku, ale kratšie.
V kombinácii s Teslou K20 + GT 610 som vyskúšal veľa vecí, zároveň som zistil, že pri pripojení externej grafickej karty a prepnutí výstupu na ňu v BIOSe nefunguje vKVM, čo naozaj nešlo rozrušilo ma to. Každopádne, na tomto systéme som neplánoval použiť externé video, na Teslách nie sú žiadne video výstupy a vzdialený admin panel cez SSH a bez X-owls funguje skvele, keď si trochu spomeniete, čo je príkazový riadok bez GUI. . IPMI + vKVM však výrazne zjednodušuje správu, preinštalovanie a ďalšie problémy so vzdialeným serverom.
Vo všeobecnosti je IPMI tejto dosky skvelé. Samostatný 100 Mbit port, možnosť prekonfigurovať vkladanie paketov na jeden z 10 Gbit portov, vstavaný webový server pre správu napájania a ovládanie serverov, sťahovanie vKVM Java klienta priamo z neho a klienta pre vzdialenú montáž diskov alebo obrázky na preinštalovanie... Jedine, že klienti sú rovnakí ako ten starý Java Oracle, ktorý už v Linuxe nie je podporovaný a pre vzdialený admin panel som si musel zohnať notebook s Win XP SP3 s týmto veľmi staroveká ropucha. Klient je pomalý, je toho dosť pre panel správcu a všetko ostatné, ale nemôžete hrať hry na diaľku, FPS je malé. A video ASPEED, ktoré je integrované s IPMI, je slabé, iba VGA.
V procese práce so serverom som sa veľa naučil a naučil v oblasti profesionálneho serverového hardvéru od spoločnosti Dell. Čo vôbec neľutujem, rovnako ako dobre vynaložený čas a peniaze. Vzdelávací príbeh o skutočnom zložení rámu so všetkými komponentmi servera bude pokračovať neskôr.
Odkaz na časť 3:
Zdroj: hab.com