Добър ден, скъпи жители на Хабровск!
Искам да ви разкажа една дълга и, надявам се, завладяваща и може би полезна история за сглобяването на „селски суперкомпютър“ от сървърна възлова платка на Dell, графичен процесор Nvidia Tesla K20 и какво се купува тук-там от различни онлайн магазини или в компютърни магазини във вашия град.
Историята започна, когато мой приятел програмист, който също е астроном, започна да изучава невронни мрежи. Техният „щатен специалист“ напусна и проблемът беше прехвърлен на „най-близкия специалист“. Аз самият не съм програмист, а просто „радиомеханик за ремонт на компютърна техника (с) моята диплома“, така че сглобяването на всякакъв интересен компютърен хардуер е интересно и приятно занимание за мен. За съжаление работя в друга област.
За да формулирам по-ясно задачата, създадох тема във форума „Железни призраци от миналото“, където се обсъждаше доста дълго време. Първоначално имаше доста наивна идея „да се изгради 4-посочен SLI на GTX 580 3Gb“, която постепенно се трансформира в разбиране - трябва да изградите сървър! Цените на сървърните дънни платки бяха безбожно високи, докато не попаднах на интересно видео в Youtube за пускането на китайска сървърна платка на 2 процесора с нестандартен формат.
Ето видеото:
Бях особено доволен от бюджетната цена на системата в това видео.
Въпреки това консултацията с по-осведомени другари, които се занимаваха с китайски сървъри, ме убеди - „Нямаме нужда от китайско щастие!“ Според техните прегледи китайските сървъри са просто чудовищно ненадеждни. И започнах да търся в Avito варианти със сървърни платки на Dell. Имам два лаптопа на тази фирма и имам само положителни впечатления от тях. Много надеждна технология.
На Avito намерих дъска за сървърен възел Dell PowerEdge C6220 в процес на комуникация с продавача на която - той ми предложи отличен сайт, където имаше публикация за това как един майстор пусна такава платка, . И имаше линк към американски форум, където на такива платки бяха сглобени мощни работни станции..
Прочетох цялата тема от началото до края, реших целите, задачите и начините за постигането им. Задачата беше формулирана по следния начин: „Сглобете двупроцесорен сървър на възлова платка Dell PowerEdge C8220 с Tesla K10 или K20 GPU.“ Изборът за специализирани графични процесори падна след дискусия с човека, за когото системата всъщност се сглобява - разполагайки с „карти“, които могат да извършват дългосрочни изчисления с двойна точност и контрол на грешките в ECC паметта, той може да ги използва за своите научни дейности, а не само за обучение на невронни мрежи. За което всъщност беше много щастлив.
За да обсъдя и запиша историята на процеса на сглобяване във форума „Железни призраци от миналото“, създадох съответна тема, където всъщност писах за процеса и публикувах снимки. .
Задачата беше поставена и започнах да търся компоненти. По времето, когато започна всичко, все още нямах регистрация в eBay и първоначално необходимите резервни части бяха закупени от мои приятели, на които заплатих разходите за покупка и доставка. По-късно аз самият се регистрирах там и започнах да купувам директно, въпреки че понякога трябва да помоля за помощ от тези, които имат акаунти в Shopotam и подобни услуги. Не всички необходими резервни части се изпращат директно от САЩ в Русия.
Първата дънна платка, която купих от eBay беше Dell PowerEdge C8220 0083N0. Според документацията на Dell, той принадлежеше към версия на платката 1.2 и имаше 3 PCI-E 16x слота. Има два обикновени близо до бутона за захранване и трети от другата страна на платката е нестандартен, за така наречения GPGPU riser, който беше включен в така наречения Edge Slot.
Снимка на платката, същата 0083N0, снимка от eBay.
И това е моята снимка, на дъската е прикрепена линийка, за да разберете мащаба.
По това време щранг за GPGPU в същия Edge Slot също беше пристигнал при мен.
Ето снимка, където е свързан към редовното му място за тестване.
В същото време беше закупен захранващ адаптер от eBay, от ATX към този конектор за захранване C6100. Има два вида от тях, продавани в eBay, 12 и 18 пина. Имаме нужда от последното, както и от DC-DC усилване, за да превърнем +5VSB от ATX PSU в +12VSB на сървъра на Dell. И разбира се, женският конектор в конектора за инсталиране на джъмпера, необходим за стартиране на платката и извеждане на сигнала PS_ON от нея. Между другото, той има нестандартна контактна стъпка от 2.0 мм. Разбира се, отчаяните момчета могат да забият отвертка или пирон директно в конектора на платката, но аз предпочетох да направя всичко цивилизовано.
В допълнение, за тестване на платката, купихме най-евтиния Xeon E5-2604 V1 от Aliexpress и чифт DDR3 ECC REG памети от eBay, които се продаваха като съвместими с Dell PowerEdge C8220. Първо, използвах охладители Alpine 20 Plus C0 за LGA 2011, които трябваше да бъдат модифицирани - ръбовете им, които лежаха върху слотовете за памет, бяха изпилени с мелница, пружинните шайби бяха отстранени от закрепващите винтове и чифт гайки бяха завинтени върху резбите - за да не завиете винтовете твърде дълбоко и да не счупите дъската. Сървърните гнезда LGA 2011 са проектирани малко по-различно от обикновените и резбите на винтовете на радиатора трябва да са къси. Между другото, охладителите работеха добре, въпреки факта, че бяха чисто алуминиеви.
И така дойде момента, в който процесорите пристигнаха, запечатах монтажа им на снимка за спомен.
И тук са монтирани същите алуминиеви охладители Alpine.
Сглобена и работеща система.
Старото ми вярно захранване Chieftek 550 W беше свързано към системата, USB хъб за 4 устройства, който включваше клавиатура, мишка и флашка с Ubuntu, четец на карти беше свързан към конектора за USB четец на карти на платка, в която включих китайско USB аудио устройство, също така свързах VGA монитор и пач кабел към 100 Mbit IPMI порт, който се нарича Delicated-NIC. До него има два 10Gbe порта, които работят с обикновена медна усукана двойка и напълно поддържат обикновена 100/1000 мрежа.
Системата беше стартирана в този вид и се оказа, че платката проверява паметта за много дълго време при стартиране. И в началния екран на BIOS се нарече Dell DCS 6220.
Тук ще завърша първата част от моя разказ, за да не отегчавам благодарните читатели.
Линк към част 2:
Източник: www.habr.com