Доброго дня, дорогі Хабровчани!
Хочу розповісти вам довгу і як я сподіваюся захоплюючу, а може бути і комусь корисною історію збірки «сільського суперкомп'ютера» з плати ноди сервера Dell, GPU Nvidia Tesla K20 і того що було куплено то тут, то там по будь-яких інтернет магазинах або у комп'ютерних магазинах свого міста.
Історія почалася з того, що мій друг-програміст, який заразом ще й астроном, зайнявся вивченням нейромереж. Їхній «штатний фахівець» звільнився і тему повісили на «близького фахівця». Я сам не програміст, лише «радіомеханік з ремонту обчислювальної техніки (с) мій диплом», тому складання будь-яких цікавих комп'ютерних залозок для мене цікаве і приємне заняття. Працюю я, на жаль, в іншій області.
Щоб чіткіше сформулювати завдання, я створив тему на форумі «Залізні привиди минулого», де вона досить довго обговорювалася. Спочатку була досить наївна ідея "зібрати 4-way SLI на GTX 580 3Gb", яка поступово трансформувалася в розуміння - збирати потрібно сервер! Ціни на материнські плати серверів безбожно кусалися, доки я не натрапив на Youtube на цікаве відео про запуск китайської серверної плати на 2-х процесорах нестандартного формату.
Ось це відео:
Особливо мене в цьому відео потішила бюджетна ціна системи.
Однак консультація з більш обізнаними товаришами, які мали справу з китайськими серверами, переконали мене — «Китайське щастя нам не треба!» За їхніми відгуками, китайські сервери були просто жахливо ненадійні. І я почав шукати на Авіто варіанти із серверними платами Dell. У мене два ноутбуки цієї фірми і від них лише позитивні враження. Дуже надійна техніка.
На Авіто була знайдена плата ноди сервера Dell PowerEdge C6220 в процесі спілкування з продавцем якої він підказав мені відмінний сайт, де була публікація про те, як один умілець запускав таку плату, . А там знайшлося посилання на американський форум, де на таких платах збирали потужні робочі станції..
Прочитав усю тему від початку і до кінця я визначився з цілями, завданнями та шляхами їх досягнення. Завдання було сформульовано так - "Зібрати двопроцесорний сервер на платі ноди Dell PowerEdge C8220 з GPU Tesla K10 або K20". Вибір на спеціалізовані GPU впав після обговорення з людиною для якої система власне і збиралася — маючи «карти», які могли вести тривалі обчислення з подвійною точністю та контролем помилок пам'яті ЄСС, він міг використовувати їх для своєї наукової діяльності, а не лише для навчання нейромереж. Чому він власне сильно зрадів.
Для обговорення та зйомки для історії процесу складання на форумі «Залізні привиди минулого» я створив відповідну тему, де власне і писав про процес та викладав фотографії. .
Завдання було поставлене і я зайнявся пошуком компонентів. У той час коли все почалося у мене ще не було реєстрації на eBay і спочатку потрібні запчастини купували мої друзі, яким я оплачував витрати на покупку і пересилання. Пізніше я і сам там зареєструвався і став купувати безпосередньо, хоча іноді доводиться просити допомоги тих, хто має аккаунти на Шопотамі і подібних сервісах. Не всі потрібні запчастини безпосередньо шлють із США до Росії.
Першою з еВау була куплена материнська плата Dell PowerEdge C8220 0083N0. За документацією Делл вона належала до версії плат 1.2 маючи 3 слоти PCI-E 16x. Два звичайних біля кнопки включення живлення та третій на іншій стороні плати нестандартний, під так званий GPGPU-райзер, який включався в так званий Edge Slot.
Фото плати, тієї самої 0083N0, фото з eBay.
А це вже моє фото, до плати додана лінійка для усвідомлення масштабу.
На той час до мене приїхав і райзер для GPGPU в цей Edge Slot.
Ось фото, де він підключений на пробу на своє штатне місце.
Одночасно на eBay було куплено адаптер живлення, з АТХ на цей роз'єм живлення С6100. Їх на евау продають два види, на 12 і на 18 пін. Нам потрібен останній, і ще DC-DC підвищує, щоб перетворити +5VSB від АТХ БП на +12VSB сервера Dell. І звичайно колодка у відповідь «мама» в роз'єм щоб встановити потрібну для запуску плати перемичку і вивести з неї сигнал PS_ON. До речі, вона з нестандартним кроком контактів 2.0 мм. Звичайно відчайдушні хлопці можуть виткати викрутку або цвях прямо в роз'єм плати, але я вважав за краще зробити все культурно.
Крім того для пробного запуску плати з Аліекспрес були куплені найдешевші Xeon E5-2604 V1 і з еВау - пара планок пам'яті DDR3 ECC REG які продавалися як сумісні з Dell PowerEdge C8220. Кулери по першості я використовував Alpine 20 Plus C0 для LGA 2011, які довелося доопрацювати - були підпиляні болгаркою їх краю, які впиралися в слоти пам'яті, з гвинтів кріплень були зняті пружинні шайби, а на різьблення нагвинчені по парі гайок - щоб не крутити вин не проломити плату. Серверні сокети LGA 2011 влаштовані трохи інакше ніж звичайні і у гвинтів радіаторів там різьблення має бути коротким. До речі, кулери непогано працювали, незважаючи на те, що чисто алюмінієві.
І ось, настав той момент коли приїхали процесори, встановлення їх я зняв на фото на згадку.
А ось і встановлені самі алюмінієві кулери Alpine.
Зібрана та запущена система.
До системи був приєднаний мій старий вірний блок живлення Чифтек 550 Вт, USB-хаб на 4 пристрої у який були включені клавіатура, мишка та флешка з Ubuntu, до роз'єму для USB-картридера на платі був підключений картридер у котрий я встромив китайську USB звукову, ще підключив VGA-монітор і патчкорд до порту IPMI 100 Мбіт, який покликаний Delicated-NIC. Поруч із ним два 10Gbe-порти які працюють по звичайній кручений парі «міді» і цілком підтримують звичайну 100/1000 мережу.
У такому вигляді система була запущена і виявилося, що плата при запуску дуже довго перевіряє пам'ять. А у заставці BIOS вона назвала себе Dell DCS 6220.
На цьому першу частину своєї розповіді я закінчу, щоб не втомлювати вдячних читачів.
Посилання на частину 2:
Джерело: habr.com