Добры дзень, дарагія Хабраўчане!
Жадаю распавесці вам доўгую і як я спадзяюся займальную, а можа быць і якая стала камусьці карыснай гісторыю зборкі «вясковага суперкампутара» з платы ноды сервера Dell, GPU Nvidia Tesla K20 і таго што было набыта то тут, то там па ўсякіх інтэрнэт крамах або у кампутарных крамах свайго горада.
Гісторыя пачалася з таго, што мой сябар-праграміст, які заадно яшчэ і астраном - заняўся вывучэннем нейросетей. Іх "штатны спецыяліст" звольніўся і тэму павесілі на самага "блізкага спецыяліста". Я сам не праграміст, усяго толькі «радыёмеханік па рамонце вылічальнай тэхнікі(с)мой дыплом», таму зборка ўсякіх цікавых кампутарных жалязяк для мяне цікавы і прыемны занятак. Працую я нажаль у іншай вобласці.
Каб больш дакладна сфармуляваць задачу я стварыў тэму на форуме «Жалезныя прывіды мінулага», дзе яна дастаткова доўга абмяркоўвалася. Спачатку была досыць наіўная ідэя "сабраць 4-way SLI на GTX 580 3Gb" якая паступова трансфармавалася ў разуменне – збіраць трэба сервер! Кошты на матчыны поплаткі сервераў бязбожна кусаліся, пакуль я не натыкнуўся на Youtube на цікавае відэа пра запуск кітайскай сервернай платы на 2-х працэсарах нестандартнага фармату.
Вось гэтае відэа:
Асабліва мяне ў гэтым відэа парадавала бюджэтны кошт сістэмы.
Аднак кансультацыя з больш дасведчанымі таварышамі, якія мелі справу з кітайскімі серверамі пераканалі мяне - "Кітайскае шчасце нам не трэба!" Па іх водгуках кітайскія серверы былі проста жахліва ненадзейныя. І я стаў шукаць на Авіта варыянты з сервернымі поплаткамі Dell. У мяне два ноўтбукі гэтай фірмы і ад іх толькі станоўчыя ўражанні. Вельмі надзейная тэхніка.
На Авіта была знойдзена поплатак ноды сервера Dell PowerEdge C6220 падчас зносін з прадаўцом якой - ён падказаў мне выдатны сайт, дзе была публікацыя аб тым як адзін умелец запускаў такую плату, . А там знайшлася спасылка і на амерыканскі форум, дзе на такіх поплатках збіралі магутныя працоўныя станцыі..
Прачытаў усю тэму ад пачатку і да канца я вызначыўся з мэтамі, задачамі і шляхамі іх дасягнення. Задача была сфармуляваная так – "Сабраць двухпрацэсарны сервер на плаце ноды Dell PowerEdge C8220 з GPU Tesla K10 або K20". Выбар на спецыялізаваныя GPU упаў пасля абмеркавання з чалавекам для якога сістэма ўласна і збіралася – маючы "карты" якія могуць весці працяглыя вылічэнні з падвойнай дакладнасцю і кантролем памылак памяці ЕСС ён мог выкарыстоўваць іх для сваёй навуковай дзейнасці, а не толькі для навучання нейросетей. Чаму ён уласна моцна ўзрадаваўся.
Для абмеркавання і захавання для гісторыі працэсу зборкі на форуме "Жалезныя прывіды мінулага" я стварыў адпаведную тэму, дзе ўласна і пісаў аб працэсе і выкладваў фатаграфіі. .
Задача была пастаўлена і я заняўся пошукам кампанентаў. У той час калі ўсё пачалося ў мяне яшчэ не было рэгістрацыі на eBay і спачатку патрэбныя запчасткі куплялі мае сябры, якім я аплачваў выдаткі на куплю і перасылку. Пазней я і сам там зарэгістраваўся і стаў купляць напрамую, хоць часам даводзіцца прасіць дапамогі тых у каго ёсць акаўнты на Шапатаме і падобных сэрвісах. Не ўсе патрэбныя запчасткі напроста шлюць з ЗША у Расію.
Першай з еВау была набытая матчына плата Dell PowerEdge C8220 0083N0. Па дакументацыі Дэл яна ставілася да версіі поплаткаў 1.2 маючы 3 слота PCI-E 16x. Два звычайных каля кнопкі ўключэння харчавання і трэці на другім баку платы нестандартны, пад так званы GPGPU-райзер які ўключаўся ў так званы Edge Slot.
Фота платы, той самай 0083N0, фота з eBay.
А гэта ўжо маё фота, да платы прыкладзена лінейка для ўсведамлення маштабу.
Да таго часу да мяне прыехаў і райзер для GPGPU у той самы Edge Slot.
Вось фота дзе ён падключаны на спробу на сваё штатнае месца.
Адначасова на eBay быў набыты адаптар харчавання, з АТХ на гэты раз'ём харчавання С6100. Іх на еВау прадаюць два віды, на 12 і на 18 пін. Нам патрэбен апошні, і яшчэ DC-DC які падвышае каб ператварыць +5VSB ад АТХ БП у +12VSB сервера Dell. І вядома зваротная калодка мама у раздым каб усталяваць патрэбную для запуску платы перамычку і вывесці з яе сігнал PS_ON. Дарэчы, яна з нестандартным крокам кантактаў 2.0 мм. Вядома адчайныя хлопцы могуць выткаць адвёртку або цвік прама ў раз'ём платы, але я ўпадабаў зрабіць усё культурна.
Акрамя таго для выпрабавальнага запуску платы з Аліэкспрэса былі набытыя самыя танныя Xeon E5-2604 V1 і з еВау – пара планак памяці DDR3 ECC REG якія прадаваліся як сумяшчальныя з Dell PowerEdge C8220. Кулеры па першасці я выкарыстаў Alpine 20 Plus C0 для LGA 2011 якія прыйшлося дапрацаваць - былі падпілаваны балгаркай іх краю якія ўпіраліся ў слоты памяці, з шруб мацаванняў былі знятыя спружынныя шайбы, а на разьбярствы навинчены па пары гаек - каб не ўкруціць він не праламаць плату. Серверныя сокеты LGA 2011 уладкованыя некалькі інакш чым звычайныя і ў шруб радыятараў тамака разьбярства павінна быць кароткай. Дарэчы кулер нядрэнна працавалі, нягледзячы на тое, што чыста алюмініевыя.
І вось, наступіў той момант калі прыехалі працэсары, усталёўку іх я захаваў на фота на памяць.
А вось і ўсталяваны тыя самыя алюмініевыя кулер Alpine.
Сабраная і запушчаная сістэма.
Да сістэмы быў падлучаны мой стары верны блок харчавання Чыфтэк 550 Вт, USB-хаб на 4 прылады у які былі ўключаны клавіятура, мышка і флэшка з Ubuntu, да раздыма для USB-картрыдара на плаце быў падлучаны картрыдар у які я ўторкнуў кітайскую USB гукавую, яшчэ падлучыў VGA-манітор і патчкорд да порта IPMI 100 мбіт, які абазваны Delicated-NIC. Побач з ім два 10Gbe-порта якія працуюць па звычайнай вітай пары «медзі» і суцэль падтрымліваюць звычайную 100/1000 сетка.
У такім выглядзе сістэма была запушчана і аказалася што плата пры запуску вельмі доўга правярае памяць. А ў застаўцы BIOS яна назвала сябе Dell DCS 6220.
На гэтым першую частку свайго апавядання я скончу каб не стамляць удзячных чытачоў.
Спасылка на частку 2:
Крыніца: habr.com