Доброго дня, хабровчане! Продолжу свою историю сборку «суперкомпьютера в деревне».
Третью часть я начну с выражения искренней благодарности своим друзьям, которые поддерживали меня в трудную минуту, мотивировали, помогали деньгами спонсируя это достаточно дорогое дело на протяжении длительного времени и даже помогали с покупкой комплектующих из-за границы в случаях когда я не мог купить их на прямую сам. Например если фирма торгующая серверными запчастями в США или Канаде просто не слала в Россию. Без их долгой и регулярной помощи мои успехи были бы намного скромнее.
Так-же благодаря их просьбам я решился и завел аккаунт на Youtube, купил старый смартфон Lumia 640 который я использую исключительно как видеокамеру и начал снимать познавательные видео, как про сборку «деревенского суперкомпьютера» так и про другие аспекты и проекты своей деревенской жизни.
Плейлист «Деревенский суперкомпьютер»:
Желающие спойлеров могут ознакомиться, хотя конечно делать это лучше в процессе прочтения моей истории или вовсе после.
Вторая часть моего повествования прервалась на том, что подсоединил к системе Tesla K20М, GT 610 и M.2 NVE SSD + дисковый массив. Кстати чем еще хороша эта плата Dell — у нее встроенная «дисковая полка» пускай и всего на 6 устройств и RAID не «самый наворочанный на свете», но зато в отличии от своих более профессиональных внешних собратьев он пропускает команду TRIM на SSD. Что тоже важно если интенсивно использовать не профессиональные серверные SSD.
Да кстати, про эту плату есть так-же один интересный и важный момент. Радиаторы на чипсетах — низкие с небольшими ребрами. Это хорошо работает когда плата в оригинальной стойке, где мощные турбины ее продувают вдоль. Но при использовании платы отдельно надо убрать с ближнего к слотам расширения радиатора пластиковую наклейку, а дальний — желательно заменить на любой подходящий радиатор с чипсета старой материнки с большими ребрами, потому что расположенный под ним чип — греется больше всего на плате.
Убрав из системы видеокарту я стал собирать каркас для своего сервера, в тестовом варианте все было на изоленте, спичечных коробках и прочих пластиковых подпорках, но для полноценного использования 24/7/365 такой вариант мне не показался приемлемым. Надо было сделать нормальный каркас из алюминиевого уголка. В ход пошли алюминиевые уголки из «Леруа Мерлен» которые мне прислал друг из Подмосковья, в своем близлежащем городе они просто нигде не продавались вообще!
Кроме уголков в конструкции были использованы винты под потайную головку М5 и гайки, винты М3 и гайки, уголки небольшие мебельные, заклепки алюминиевые под 5 мм отверстия, заклепочник, ножовка по металлу, шуруповерт, сверло 5.0 мм по металлу, напильник, отвертка крестовая, кабельные стяжки и руки растущие не из задницы.
Уголки были использованы для крепления платы к каркасу и некоторых других элементов. Это конечно добавило несколько высоты всей системе, потому что плата оказалась приподнята достаточно высоко над нижней плоскостью каркаса, но я решил что это для меня допустимо. Борьбы за каждый грамм веса, миллиметр высоты я не вел, в конце концов это не БЦВМ самолета где стандарт «15 G по 3-м осям, удары до 1000 G и вибрация».
Плата установлена, прикручены райзеры, прикручен переходник с SSD M.2.
Плата, SSD, райзеры и Тесла на своих местах установлены. DC-DC пока еще на свое место не прикрутил и он болтается на проводах за кадром. Это версия сервера 1.0, еще пока на одной Тесла К20М.
Тут DC-DC уже закреплен на каркасе, вон он там маленькая платка сбоку за материнской платой под «хвостами» питания.
А это система уже собранная, вид сверху. Над Теслой еще одна раза из уголков в которой прикручены бок о бок пара SSD, над ними корзина HDD, на а сверху на замыкающей каркас раме висит БП 850 Вт Термалтэк модульный. БП модный, геймерский, с RGB-подсветкой которую я отключил чтобы не мигал как новогодняя елка. Единственный на тот момент мощный модульный БП в магазинах близлежащего города.
Вид сервера версии 1.0 сбоку.
Вид сервера с «переднего торца». Разъемы и рек для дисков я сделал на одну сторону как в серверных системах, чтобы для всех манипуляций не надо было вертеть туда-сюда всю систему. На «планке с вырезами» прикручен вынос с двумя USB 2.0 который я подключил вместо картридера, а к ее нижней части прикручена плата переходника на М.2.
Вот тут показано как закреплен DC-DC и плата, те самые уголки про которые я говорил.
Вид с другой стороны, как закреплен GPGPU-райзер, который EdgeSlot.
Тот самый высокий уголовой райзер с дополнительным питанием для GPGPU который мне покупали через Шопотам с Америки.
Машина была собрана, было установлена операционка, драйвера, настроен CUDA Toolkit…
Вот видео про нее небольшое.
В таком виде система с одной Тесла К20М 5 Гб работала пол года, пока мой друг-астроном считал свои задачи. Потом он ушел в отпуск и внезапно на еВау обнаружились серверные Тесла К20Х 6 Гб по 6000 р б/у, бы распродажа с датацентра в Англии. И мы решили собрать вторую версию «суперкомпьютера» уже на 3х Тесла К20Х.
Теслы были куплены, была куплена вторая материнка точно такая-же только решили сэкономить на доставке и выбрали доставку службой еВау. Которая отвезла ее В ИСПАНИЮ и там выдала какому-то совершенно левому типу. На еВау был открыт спор, меня поддержал продавец из США и деньги вернули, и уже третья плата поехала ко мне обычной дорогой но надежной USPS. Другие запчасти тоже приехали и вот видео про начало сборки «деревенского суперкомпьютера» 2.0.
Видео про запчасти для этой самой «машины».
Запуск платы и некоторые особенности.
Тут начал собирать каркас второй версии сервера.
Приехали Тесла К20Х, первое видео.
Познавательное видео про Тесла К20Х, про конструкцию карты и ее системы охлаждения, и облом с водоблоком от GTX 780 Ti.
Продолжение видео про Тесла К20Х, отсканировал ее плату на сканере, если кому вдруг надо.
Передняя сторона с GPU-чипом.
Задняя сторона.
Как видим Tesla К20 хотя и похожа «в общих чертах» на GTX 780 GTX 780 ti GTX TITAN на GPU GK110 Kepler но тем не менее по плате и системе охлаждения с ними не совместима. Если у меня будет Quadro K5200 K6000 GK110 Kepler то тогда сравню и ее плату с платой Теслы К20, но пока выше указанных Квадро у меня нет.
А вот продолжение сборки сервера 2.0
Снова 1U кулеры с улитками и прочее что требуется для сервера большей мощности чем первый. Пришлось кстати первый сервер разобрать чтобы собрать второй, пока острой потребности считать у моего друга не было.
Немного кабельменеджмента…
И вторая Тесла установлена на свое место.
А вот тут меня постиг обидный облом. Оказалось что система не тянет 3 штуки Тесла К20. При старте BIOS вылазит вот такая вот ошибка и все, третья Тесла не работает никак. Не помогло даже обновление биос до версии 2.8.1 после которого плата из Dell DCS 6220 превратилась в Dell C6220 2.8.1 Я включал и выключал разные опции в БИОС, даже пробовал заклеить скотчем часть контактов на Теслах чтобы сделать их 8х — ничего не помогло. Пришлось смириться и остановится на конфигурации 2 Тесла К20Х + NVE SSD. Кстати, в версии 2.0 сервера все SATA-накопители живут в одной китайской корзине на 6 отсеков. Теперь там пара Samsung 860 EVO 500 Gb + 4 терабайтных Сигейта. Самсунги я купил на Али по 3600 за штуку. Диски ОЕМ, но меня устраивают.
Теперь «суперкомпьютер 2.0» полностью собран и готов к работе.
В прочем доехали запчасти купленные на вторую систему и я подсобрал назад первую, вот тут про это видео.
И предлагаю читателям проголосовать что делать с первой платой? Что собрать на ее основе интересное? Или если кто-то хочет купить ее как и Теслы К20М и К20Х с кулерами-улиткам или без — я готов, пишите.
Вот такая вот история, надеюсь оказавшаяся интересной и полезной уважаемым читателям.
P.S.: Тем кому хватило терпения дочитать до конца — подписывайтесь на мой канал на Ютубе, комментируйте, оценивайте нравится / не нравится — это будет меня мотивировать на дальнейшие публикации и съемку новых познавательных видео.
Sursa: www.habr.com