Добър ден, скъпи жители на Хабровск!
Бих искал да продължа историята си за сглобяването на „селски суперкомпютър“. И ще обясня защо се нарича така - причината е проста. Аз самият живея на село. И името е леко тролене на онези, които крещят в интернет „Няма живот отвъд Московския околовръстен път!“, „Руското село стана пияница и измира!“ Така че някъде това може да е вярно, но аз ще бъда изключение от правилото. Не пия, не пуша, правя неща, които не всеки „градски крекер(и)“ може да си позволи. Но да се върнем на нашите овце, или по-точно на сървъра, който в края на първата част на статията вече „подаваше признаци на живот“.
Платката лежеше на масата, аз се качих през BIOS, настройвайки го по мой вкус, изхвърчах Ubuntu 16.04 Desktop за простота и реших да свържа видеокарта към „супер машината“. Но единственото нещо под ръка беше GTS 250 с монтиран як неоригинален вентилатор. Което инсталирах в слота PCI-E 16x близо до бутона за захранване.
„Направих го с опаковка Belomor (c)“, така че, моля, не ме обвинявайте за качеството на снимката. Предпочитам да коментирам това, което е заснето на тях.
Първо, оказа се, че при инсталиране в слот дори и къса видеокарта опира платката в слотовете за памет, в които в този случай не може да се монтира и дори трябва да се свалят ключалките. Второ, желязната монтажна лента на видеокартата покрива бутона за захранване, така че трябваше да бъде премахната. Между другото, самият бутон за захранване се осветява от двуцветен светодиод, който свети зелено, когато всичко е наред и мига оранжево, ако има проблеми, късо съединение и защитата на захранването е задействана или захранването +12VSB предлагането е твърде високо или твърде ниско.
Всъщност тази дънна платка не е проектирана да включва видеокарти „директно“ в своите PCI-E 16x слотове; всички те са свързани към щрангове. За инсталиране на разширителна карта в слотовете близо до бутона за захранване има ъглови щрангове, нисък за инсталиране на къси карти до дължината на първия радиатор на процесора и висок ъглов с допълнителен +12V конектор за захранване за инсталиране на видеокарта „над“ стандартен нисък 1U охладител. Може да включва големи видеокарти като GTX 780, GTX 980, GTX 1080 или специализирани GPGPU карти Nvidia Tesla K10-K20-K40 или „изчислителни карти“ Intel Xeon Phi 5110p и други подобни.
Но в GPGPU щранга картата, включена в EdgeSlot, може да бъде свързана директно, само чрез повторно свързване на допълнително захранване със същия конектор като на високия ъглов щранг. За тези, които се интересуват, в eBay този гъвкав щранг се нарича „Dell PowerEdge C8220X PCI-E GPGPU DJC89“ и струва около 2.5-3 хиляди рубли. Ъгловите щрангове с допълнително захранване са много по-рядко срещани и се наложи да преговарям да ги взема от специализиран магазин за сървърни части през Whisper. Струват по 7 хиляди бройката.
Веднага ще кажа, че „рисковите момчета (tm)“ могат дори да свържат чифт GTX 980 към платката с китайски гъвкави щрангове 16x, както направи един човек на „Същия форум“; между другото, китайците правят доста добри занаяти, които работят на PCI-E 16x 2.0 в стила на гъвкавите щрангове на Thermaltek, но ако това един ден ви накара да изгорите захранващите вериги на сървърната платка, ще трябва да обвинявате само себе си. Не рискувах със скъпо оборудване и използвах оригинални щрангове с допълнителна мощност и един китайски гъвкав, като прецених, че свързването на една карта "директно" няма да изгори платката.
Тогава пристигнаха дългоочакваните конектори за свързване на допълнително захранване и направих опашка за моя щранг в EdgeSlot. И същият конектор, но с различен контакт, се използва за допълнително захранване на дънната платка. Този конектор е точно до този същия EdgeSlot конектор, там има интересна разводка. Ако щрангът има 2 проводника +12 и 2 общи, тогава платката има 3 проводника +12 и 1 общ.
Това всъщност е същият GTS 250, включен в щранга GPGPU. Между другото, към щранговете и дънната платка се подава допълнително захранване - от втория +12V захранващ конектор на процесора на моето захранване. Реших, че е по-правилно да направя това.
Приказката се разказва бързо, но бавно колетите пристигат в Русия от Китай и други места по света. Следователно имаше големи пропуски в сглобяването на „суперкомпютъра“. Но най-накрая сървърът Nvidia Tesla K20M с пасивен радиатор пристигна при мен. Освен това е абсолютно нулев, от склад, запечатан в оригиналната си кутия, в оригиналната си опаковка, с гаранционни документи. И започна страданието: как да го охладим?
Първо, от Англия беше закупен поръчков охладител с две малки „турбини“, ето го на снимката, със самоделен картонен дифузьор.
И се оказаха пълни глупости. Вдигнаха много шум, монтажът изобщо не пасна, духаха слабо и дадоха такава вибрация, че се страхувах, че компонентите ще паднат от платката на Tesla! Защо бяха изхвърлени на боклука почти веднага?
Между другото, на снимката под Tesla можете да видите сървърни медни радиатори LGA 2011 1U, инсталирани на процесорите с охлюв от Coolerserver, закупен от Aliexpress. Много прилични охладители, макар и малко шумни. Пасват идеално.
Но всъщност, докато чаках нов охладител за Tesla, този път като поръчах голям охлюв BFB1012EN от Австралия с 3D отпечатан монтаж, стигна се до сървърната система за съхранение. Сървърната платка има mini-SAS конектор, през който излизат 4 SATA и още 2 SATA конектора. Всички SATA стандарт 2.0, но това ме устройва.
Intel C602 RAID, интегриран в чипсета, не е лош и основното е, че пропуска командата TRIM за SSD, което много евтини външни RAID контролери не правят.
От eBay купих дълъг метър кабел mini-SAS към 4 SATA, а от Avito купих количка за гореща смяна с гнездо 5,25" за 4 x 2,5" SAS-SATA. И така, когато кабелът и кошницата пристигнаха, в него бяха инсталирани 4 терабайта Seagates, в BIOS беше вграден RAID5 за 4 устройства, започнах да инсталирам сървъра Ubuntu ... и се сблъсках с факта, че програмата за разделяне на диска не ми позволява за създаване на суап дял на рейда.
Реших проблема директно - купих ASUS HYPER M.2 x 2 MINI и M.4 SSD Samsung 2 EVO 960 Gb адаптер от DNS и реших, че устройството с максимална скорост трябва да бъде разпределено за суап, тъй като системата ще работи с голямо изчислително натоварване и паметта все още очевидно е по-малка от размера на данните. И паметта от 250 GB беше по-скъпа от това SSD.
Същият този адаптер със SSD, инсталиран в нисък ъглов щранг.
Предвиждайки въпросите - „Защо да не направим цялата система на M.2 и да имаме максимална скорост на достъп, по-висока от тази на raid на SATA?“ - ще отговоря. Първо, 1 TB или повече M2 SSD са твърде скъпи за мен. Второ, дори след актуализиране на BIOS до най-новата версия 2.8.1, сървърът все още не поддържа зареждане на M.2 NVE устройства. Направих експеримент, при който системата зададе /boot на USB FLASH 64 Gb и всичко останало на M.2 SSD, но не ми хареса. Въпреки че по принцип такава комбинация е доста работеща. Ако M.2 NVE с голям капацитет станат по-евтини, може да се върна към тази опция, но засега SATA RAID като система за съхранение ме устройва доста добре.
Когато реших дисковата подсистема и измислих комбинация от 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” е време е да продължа експериментите си с GPU Вече имах Tesla и току-що пристигнал австралийски охладител с "зъл" охлюв, който яде цели 2.94A при 12V, вторият слот беше зает от M.2, а за третия взех назаем GT 610 "за експерименти".
Тук на снимката и 3-те устройства са свързани, като M.2 SSD е през гъвкав Thermaltech riser за видео карти, който работи на 3.0 шина без грешки. Това е така, направено от много отделни „ленти“, подобни на тези, от които са направени SATA кабелите. PCI-E 16x щрангове, направени от монолитен плосък кабел, нещо като старите IDE-SCSI, са катастрофа, ще страдат от грешки поради взаимни смущения. И както казах вече и китайците правят щрангове подобни на тези на Thermaltek, но по-къси.
В комбинация с Tesla K20 + GT 610 пробвах много неща, в същото време установих, че при свързване на външна видеокарта и превключване на изхода към нея в BIOS vKVM не работи, което всъщност не беше разстрои ме. Както и да е, не планирах да използвам външно видео на тази система, няма видео изходи на Teslas, а отдалеченият админ панел през SSH и без X-owls работи чудесно, след като си спомните малко какво е команден ред без GUI . Но IPMI + vKVM значително опростява управлението, преинсталирането и други проблеми с отдалечен сървър.
Като цяло IPMI на тази платка е супер. Отделен 100 Mbit порт, възможност за преконфигуриране на инжектиране на пакети към един от 10 Gbit портове, вграден уеб сървър за управление на захранването и контрол на сървърите, изтегляне на vKVM Java клиент директно от него и клиент за отдалечено монтиране на дискове или изображения за преинсталация... Единственото нещо е, че клиентите са същите като стария Java Oracle, който вече не се поддържа в Linux и за отдалечения админ панел трябваше да взема лаптоп с Win XP SP3 с този точно древна жаба. Е, клиентът е бавен, има достатъчно за админ панела и всичко това, но не можете да играете игри от разстояние, FPS е малък. И видеото на ASPEED, което е интегрирано с IPMI, е слабо, само VGA.
В процеса на работа със сървъра научих много и научих много в областта на професионалния сървърен хардуер от Dell. За което изобщо не съжалявам, както и за добре похарчените време и пари. Образователната история за реалното сглобяване на рамката с всички сървърни компоненти ще бъде продължена по-късно.
Линк към част 3:
Източник: www.habr.com