Доброго часу доби, дорогі Хабровчани!
Хочу продовжити свою розповідь про складання «сільського суперкомп'ютера». І поясню чому він так названий – причина проста. Я живу в селі. І назва — легкий тролінг над тими, хто кричить в інтернеті «За МКАД життя немає!», «Російське село спилося і вимирає!» Так ось, десь це може бути й так, а я буду винятком із правил. Не п'ю, не курю, роблю речі які не всякому «міському креаклу(с)» за розумом та кишеню. Але повернемося до наших баранів, точніше — сервера, який наприкінці першої частини статті вже «подав ознаки життя».
Плата лежала на столі, я полазив по BIOS налаштовуючи його на свій смак, накатал Ubuntu 16.04 Desktop для простоти і вирішив підключити до «супер-машини» відеокарту. Але під рукою була лише GTS 250 з приклеєним здоровенним не рідним вентилятором. Яку я і встановив у PCI-E 16x слот біля кнопки живлення.
"Знімав на пачку Біломора(с)" так що прошу не штовхати за якість фото. Краще я прокоментую те, що на них зображено.
По-перше, виявилося, що при встановленні в слот, навіть коротка відеокарта впирається платою в роз'єми пам'яті, в які з цієї нагоди її не можна встановити і навіть доводиться опускати клямки. По-друге, залізна кріпильна планка відеокарти закриває кнопку живлення, так що її довелося зняти. До речі і сама кнопка живлення — підсвічена двоколірним світлодіодом, який горить зеленим, коли все в порядку і блимає помаранчевим, якщо якісь проблеми, замикання і спрацював захист БП або живлення +12VSB завищено або занижено.
Насправді, ця материнська плата не призначена, щоб до її слотів PCI-E 16x включалися відеокарти «безпосередньо», вони всі приєднуються на райзерах. Для встановлення карти розширення в слоти біля кнопки живлення є кутові райзери, низький для встановлення коротких карт довжиною до першого радіатора процесора, і високий кутовий з роз'ємом додаткового живлення +12В для встановлення відеокарти над штатним низьким 1U кулером. У нього можна включати великі відеокарти на кшталт GTX 780, GTX 980, GTX 1080 або спеціалізовані GPGPU-карти Nvidia Tesla K10-K20-K40 або обчислювальні карти Intel Xeon Phi 5110p і йому подібні.
Зате в GPGPU-райзер включається в EdgeSlot карту можна включити безпосередньо, тільки знову ж таки підключивши додаткове живлення таким же роз'ємом як на високому кутовому райзері. Кому цікаво - на eBay цей гнучкий райзер називається "Dell PowerEdge C8220X PCI-E GPGPU DJC89" і коштує близько 2.5-3 тисяч рублів. Кутові райзери з додатковим харчуванням штука набагато рідкісніша і мені довелося домовлятися, щоб їх купили зі спеціалізованого магазину серверних запчастин через Шопотам. Вийшли по 7 тисяч за штуку.
Скажу відразу, «ризикові хлопці(тм)» можуть підключити навіть пару GTX 980 до плати китайськими гнучкими райзерами 16х як зробив один чоловік на «Тому Самому Форумі», китайці до речі роблять непогано працюють на PCI-E 16х 2.0 вироби в стилі Термалтеков райзерів, але якщо у вас від такого одного разу прогорять ланцюги живлення на платі сервера — звинувачуватимете тільки себе. Я не став ризикувати дорогим обладнанням і використав оригінальні райзери з додатковим харчуванням і один китайський гнучкий, вважаючи, що підключення однієї картки «безпосередньо» плату не спалить.
Потім приїхали довгоочікувані роз'єми для підключення додаткового живлення, і я зробив хвіст для свого райзера в EdgeSlot. І такий же роз'єм, але з іншою розпинкою використаний щоб подати додаткове харчування на материнську плату. Цей роз'єм саме біля цього самого роз'єму EdgeSlot, там цікава розпинка. Якщо на райзері 2 проводи +12 та 2 загальних, то на платі 3 проводи +12 та 1 загальний.
Ось власне та сама GTS 250 включена в GPGPU-райзер. Додаткове харчування у мене до речі береться на райзери та материнку - з другого роз'єму живлення +12В CPU мого БП. Я вирішив, що так буде зробити більш правильно.
Швидко казка дається взнаки, та повільно посилки в Росію з Китаю та інших місць земної кулі їдуть. Тому в збиранні «суперкомп'ютера» були великі проміжки. Але нарешті до мене приїхала серверна Nvidia Tesla K20M з пасивним радіатором. Причому абсолютно нульова, із зберігання, заклеєна в рідну коробку, у рідний пакет, із гарантійними папірцями. І почалися страждання як її охолоджувати?
Спочатку був куплений з Англії кастомний кулер із двома маленькими «турбінами», ось воно на фото, із саморобним картонним дифузором.
І виявились вони повною лажею. Шуміли сильно, кріплення не підійшло взагалі, дули слабо і давали таку вібрацію що я боявся що від плати Тесла компоненти відваляться! Чому вони були відправлені в смітник майже відразу.
До речі, на фото під Теслою видно встановлені на процесори радіатори LGA 2011 1U мідні серверні з равликом від Coolerserver куплені з Аліекспресу. Дуже гідні хоч і галасливі кулери. Підійшли ідеально.
Але власне поки я чекав новий кулер на Теслу, цього разу замовивши аж з Австралії равлик великий BFB1012ЕН з роздрукованим на 3D-принтері кріпленням, дійшло до системи зберігання даних сервера. На платі сервера є роз'єм mini-SAS через який виведено 4 SATA і ще 2 SATA звичайними роз'ємами. Всі SATA стандарту 2.0, але мене це влаштовує.
Інтегрований в чіпсет RAID intel C602 непоганий і головне пропускає команду TRIM для SSD, що зовнішні RAID-контролери недорогі багато хто не вміє.
На еВау я купив кабель mini-SAS to 4 SATA довжиною в метр, а на Авіто - кошик гарячої заміни в 5,25 "відсік на 4 х 2,5" SAS-SATA. Так що коли приїхав кабель і корзина - в неї були встановлені 4 терабайтних Сігейта, в BIOS був зібраний RAID5 на 4 пристрої, почав я ставити серверну Ubuntu ... і уткнувся в те, що програма розмітки дисків не давала на рейді зробити swap-розділ.
Вирішив я проблему в лоб - купив у DNS PCI-E to M.2 адаптер ASUS HYPER M.2 x 4 MINI і M.2 SSD високим обчислювальним навантаженням, а пам'яті все одно явно менше ніж розмір даних. Та й пам'ять на 960 гб дорожча була, ніж цей SSD.
Ось цей самий перехідник із встановленим SSD у низькому кутовому райзері.
Передбачаючи питання - "А чому не зробити всю систему на М.2 і мати максимальну швидкість доступу вище ніж у рейду на SATA?" - Відповім. По-перше, на 1 і більше Тб М2 SSD коштують для мене занадто дорого. По друге - навіть після оновлення BIOS на останню версію 2.8.1 сервер все одно не підтримує завантаження в M.2 NVE пристроїв. Я досвід коли система ставила /boot на USB FLASH 64 Gb а все інше на М.2 SSD, але мені не сподобалося. Хоча в принципі така зв'язка цілком працездатна. Якщо М.2 NVE великої ємності подешевшають - я, можливо, повернуся до такого варіанту, але поки SATA RAID як система зберігання мене цілком влаштовує.
Коли з дисковою підсистемою я визначився прийшовши до комбінації 2 х SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb swap прийшов час продовжити свої досвіди з GPU. Тесла у мене вже була і якраз приїхав австралійський кулер зі «злим» равликом, що їсть аж 2.94А по 12В, другий слот займала М.2 і для третього я позичив «на досліди» GT 610.
Ось на фото всі 3 пристрої підключені, причому М.2 SSD через гнучкий Термалтеківський райзер для відеокарт, який на 3.0 шині працює без помилок. Він ось такий, з безлічі окремих «стрічок» на кшталт тих з яких виготовлені кабелі SATA. PCI-E 16x райзери зроблені з монолітного плоского шлейфу начебто у старих IDE-SCSI - в топку, вони замучують помилками через взаємні наведення. І як я вже казав, китайці роблять тепер також такі райзери як у Термалтека але коротше.
У комбінації з Теслою К20 + GT 610 я багато чого пробував, заодно з'ясувавши що при підключенні зовнішньої відеокарти і перемиканні на неї виведення в BIOS не працює vKVM, що мене не дуже засмутило. Все одно використовувати на цій системі зовнішнє відео я не планував, на Тесла немає відеовиходів, а віддалена адмінка по SSH і без Х-сов працює чудово коли злегка згадаєш що таке командний рядок без GUI. Проте IPMI + vKVM дуже спрощує управління, переустановку та інші моменти з віддаленим сервером.
Взагалі у цієї плати IPMI шикарний. Окремий порт 100 мбіт, можливість переналаштувати інжекцію пакетів на один із 10 Гбіт портів, Web-сервер вбудований для керування живленням та контролю серверів, закачування прямо з нього Java-клієнта vKVM та клієнта віддаленого монтування дисків або образів для переустановки… Єдине — клієнти під стару Java Оракловську, яка вже не підтримується в Linux і для віддаленої адмінки довелося завести ноутбук з Win XP SP3 з цією найдавнішою Жабою. Та й клієнт повільний, для адмінки і всього такого вистачає, але в іграшки не пограєш віддалено, FPS маленький. Та й відео ASPEED яке інтегроване з IPMI слабеньке, тільки VGA.
У процесі розгляду з сервером я багато чого дізнався і багато чого навчився у сфері професійного серверного заліза фірми Dell. Про що зовсім не шкодую, як і про витрачений з користю час і гроші. Продовження пізнавальної історії про власне складання каркаса з усіма компонентами сервера буде пізніше.
Посилання на частину 3:
Джерело: habr.com