Приказната за склопување на „селски суперкомпјутер“ од резервни делови од eBay, Aliexpress и продавница за компјутери. Дел 2

Добар ден, драги жители на Хабровск!

Линк до првиот дел од приказната за оние кои го пропуштиле

Би сакал да ја продолжам мојата приказна за составување „селски суперкомпјутер“. И ќе објаснам зошто се нарекува така - причината е едноставна. Јас самиот живеам во село. И името е мало тролање на оние кои викаат на Интернет „Нема живот подалеку од Московскиот кружен пат!“, „Руското село стана пијаница и изумира!“ Значи, некаде ова може да е точно, но јас ќе бидам исклучок од правилото. Не пијам, не пушам, правам работи што не може да си ги дозволи секој „урбан крекер(и). Но, да се вратиме на нашите овци, или поточно, на серверот, кој на крајот од првиот дел од статијата веќе „покажуваше знаци на живот“.

Таблата лежеше на масата, се искачив низ BIOS-от, поставувајќи го по мое вкус, ја истргнав работната површина Ubuntu 16.04 за едноставност и решив да поврзам видео картичка со „супер машината“. Но, единственото нешто при рака беше GTS 250 со прикачен голем неоригинален вентилатор. Што го инсталирав во слотот PCI-E 16x во близина на копчето за вклучување.





„Го земав со пакетче Беломор (в)“, затоа ве молам не ме обвинувајте за квалитетот на фотографијата. Повеќе би сакал да коментирам што е снимено на нив.

Прво, се покажа дека кога е инсталирана во слот, дури и кратката видео картичка ја потпира плочата на мемориските отвори, во кои во овој случај не може да се инсталира, па дури и бравите треба да се спуштат. Второ, железната лента за монтирање на видео картичката го покрива копчето за вклучување, па мораше да се отстрани. Патем, самото копче за вклучување е осветлено со двобојна LED диода, која свети зелено кога сè е во ред и трепка портокалово ако има некакви проблеми, краток спој и заштитата за напојување се прекина или напојувањето +12VSB понудата е превисока или премногу мала.

Всушност, оваа матична плоча не е дизајнирана да вклучува видео картички „директно“ во своите слотови PCI-E 16x; сите тие се поврзани со кревачи. За да инсталирате картичка за проширување во отворите во близина на копчето за вклучување, има аголни подигачи, ниска за инсталирање кратки картички до должината на првиот радијатор на процесорот и висок агол со дополнителен +12V конектор за напојување за инсталирање видео картичка „над“ стандарден ладилник со низок 1U. Може да вклучува големи видео картички како GTX 780, GTX 980, GTX 1080 или специјализирани GPGPU картички Nvidia Tesla K10-K20-K40 или „компјутерски картички“ Intel Xeon Phi 5110p и слично.

Но, во подигачот на GPGPU, картичката вклучена во EdgeSlot може да се поврзе директно, само со повторно поврзување на дополнителна енергија со истиот конектор како на кревачот на високиот агол. За заинтересираните, на eBay овој флексибилен подигач се нарекува „Dell PowerEdge C8220X PCI-E GPGPU DJC89“ и чини околу 2.5-3 илјади рубли. Аголните кревачи со дополнително напојување се многу поретки и морав да преговарам да ги земам од специјализирана продавница за делови за сервер преку Whisper. Тие чинат 7 илјади по парче.

Веднаш ќе кажам, „ризичните момци (tm)“ можат дури и да поврзат пар GTX 980 на плочата со кинески флексибилни подигачи 16x, како што направи едно лице на „Тој истиот форум“; патем, Кинезите прават доста добри занаети кои работат на PCI-E 16x 2.0 во стилот на флексибилните кревачи на Thermaltek, но ако овој ден ве натера да ги изгорите струјните кола на таблата на серверот, ќе имате само вина. Не ризикував скапа опрема и користев оригинални подигачи со дополнителна моќност и еден кинески флексибилен, сметајќи дека поврзувањето на една картичка „директно“ нема да ја запали плочата.

Потоа пристигнаа долгоочекуваните конектори за приклучување дополнително напојување и направив опашка за мојот подигнувач во EdgeSlot. И истиот конектор, но со различен пинут, се користи за снабдување дополнителна енергија на матичната плоча. Овој конектор е веднаш до истиот конектор EdgeSlot, има интересен пинут таму. Ако подигачот има 2 жици +12 и 2 заеднички, тогаш таблата има 3 жици +12 и 1 заеднички.

Ова е всушност истиот GTS 250 вклучен во подигачот на GPGPU. Патем, дополнително напојување се снабдува со кревачите и матичната плоча - од вториот +12V конектор за напојување на процесорот на моето напојување. Решив дека би било поправилно да го направам ова.

Бајката брзо се раскажува, но полека пратките пристигнуваат во Русија од Кина и од други места низ светот. Затоа, имаше големи празнини во склопувањето на „суперкомпјутерот“. Но, конечно, серверот Nvidia Tesla K20M со пасивен радијатор пристигна кај мене. Згора на тоа, тој е апсолутно нула, од складирање, запечатен во неговата оригинална кутија, во оригиналното пакување, со гарантни документи. И почна страдањето: како да се излади?

Најпрво од Англија е купен ладилник по мерка со две мали „турбини“, еве го на фотографијата, со домашен картонски дифузер.

И испаднаа дека се целосно глупости. Направија многу бучава, држачот воопшто не се вклопуваше, дуваа слабо и даваа такви вибрации што се плашев дека компонентите ќе паднат од таблата на Tesla! Зошто речиси веднаш беа фрлени во ѓубре?

Патем, на фотографијата под Тесла можете да видите бакарни радијатори на серверот LGA 2011 1U инсталирани на процесорите со полжав од Coolerserver купен од Aliexpress. Многу пристојни ладилници, иако малку бучни. Совршено се вклопуваат.

Но, всушност, додека чекав нов ладилник за Тесла, овој пат нарачав голем полжав BFB1012EN од Австралија со 3D печатен држач, дојде до системот за складирање на серверот. Серверската плоча има мини-SAS конектор преку кој излегуваат 4 SATA и уште 2 SATA конектори. Сите SATA стандард 2.0, но тоа ми одговара.

Интел C602 RAID интегриран во чипсетот не е лош и главната работа е што ја прескокнува командата TRIM за SSD, што многу евтини надворешни RAID контролери не го прават.

На eBay купив еден метар долг mini-SAS до 4 SATA кабел, а на Avito купив количка за топла размена со 5,25 инчи за 4 x 2,5 инчи SAS-SATA. Така кога стигна кабелот и корпата, во него беа инсталирани 4 терабајти Seagates, RAID5 за 4 уреди беше вграден во BIOS-от, почнав да го инсталирам серверот Ubuntu... и налетав дека програмата за партиционирање на дискот не ми дозволува да се создаде swap партиција на рацијата.

Го решив проблемот директно - купив ASUS HYPER M.2 x 2 MINI и M.4 SSD адаптер Samsung 2 EVO 960 Gb од DNS и решив дека уредот со максимална брзина треба да биде доделен за замена, бидејќи системот ќе работи со големо пресметковно оптоварување, а меморијата е сепак очигледно помала од големината на податоците. И меморијата од 250 GB беше поскапа од овој SSD.

Истиот адаптер со SSD инсталиран во низок аголен подигач.

Предвидувајќи ги прашањата - „Зошто да не го направите целиот систем на M.2 и да немате максимална брзина на пристап поголема од онаа на рацијата на SATA?“ - Ќе одговорам. Прво, 1 TB или повеќе M2 SSD-а ми се прескапи. Второ, дури и по ажурирањето на BIOS-от на најновата верзија 2.8.1, серверот сè уште не поддржува вчитување на уредите M.2 NVE. Направив експеримент каде системот го постави / подига на USB FLASH 64 Gb и се друго на M.2 SSD, но не ми се допадна. Иако, во принцип, таквата комбинација е доста изводлива. Ако M.2 NVE со висок капацитет поевтинат, можеби ќе се вратам на оваа опција, но засега SATA RAID како систем за складирање доста ми одговара.
Кога се одлучив за подсистемот на дискот и дојдов до комбинација од 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” тоа е време е да ги продолжам моите експерименти со графичкиот процесор Веќе имав Тесла и австралиски ладилник штотуку пристигна со „злобен“ полжав што јаде дури 2.94 А на 12 V, вториот отвор беше окупиран од M.2 и за третиот позајмив GT 610 „за експерименти“.

Овде на фотографијата сите 3 уреди се поврзани, а M.2 SSD е преку флексибилен подигнувач на Thermaltech за видео картички што работи на магистралата 3.0 без грешки. Вака е направено од многу индивидуални „ленти“ слични на оние од кои се направени SATA каблите. PCI-E 16x кревачите направени од монолитен рамен кабел, како старите IDE-SCSI, се катастрофа, тие ќе страдаат од грешки поради меѓусебно пречки. И како што веќе реков, Кинезите сега прават и кревачи слични на оние на Thermaltek, но пократки.

Во комбинација со Tesla K20 + GT 610, пробав многу работи, во исто време дознав дека при поврзување на надворешна видео картичка и префрлување на излезот на неа во BIOS-от, vKVM не работи, што навистина не функционираше ме вознемири. Како и да е, не планирав да користам надворешно видео на овој систем, нема видео излези на Teslas, а далечинскиот административен панел преку SSH и без X-owls работи одлично штом малку ќе се сетите што е командна линија без GUI . Но, IPMI + vKVM во голема мера го поедноставува управувањето, повторното инсталирање и другите проблеми со далечинскиот сервер.

Во принцип, IPMI на оваа табла е одличен. Посебна порта од 100 Mbit, можност за реконфигурирање на вбризгување пакети на една од портите од 10 Gbit, вграден веб-сервер за управување со енергија и контрола на серверите, преземање vKVM Java клиент директно од него и клиент за далечинско монтирање на дискови или слики за преинсталација... Единствено клиентите се исти како стариот Java Oracle кој веќе не е поддржан во Linux и за далечинскиот админ панел морав да земам лаптоп со Win XP SP3 со ова античка жаба. Па, клиентот е бавен, има доволно за административниот панел и сето тоа, но не можете да играте игри од далечина, FPS е мал. А ASPEED видеото што е интегрирано со IPMI е слабо, само VGA.

Во процесот на справување со серверот, научив многу и научив многу во областа на професионалниот серверски хардвер од Dell. За што воопшто не жалам, како и за добро потрошеното време и пари. Едукативната приказна за всушност склопување на рамката со сите компоненти на серверот ќе продолжи подоцна.

Линк до дел 3: habr.com/ru/post/454480

Извор: www.habr.com