Доброго дня, хабрівчани! Продовжу свою історію складання «суперкомп'ютера на селі».
Третю частину я почну з висловлення щирої подяки своїм друзям, які підтримували мене у скрутну хвилину, мотивували, допомагали грошима спонсуючи цю досить дорогу справу протягом тривалого часу і навіть допомагали з купівлею комплектуючих з-за кордону у випадках, коли я не міг купити їх на пряму сам. Наприклад, якщо фірма торгує серверними запчастинами в США або Канаді просто не слала в Росію. Без їхньої довгої та регулярної допомоги мої успіхи були б набагато скромнішими.
Також завдяки їхнім проханням я зважився і завів акаунт на Youtube, купив старий смартфон Lumia 640 який я використовую виключно як відеокамеру і почав знімати пізнавальні відео, як про збірку «сільського суперкомп'ютера» так і про інші аспекти та проекти свого сільського життя.
Плейлист «Сільський суперкомп'ютер»:
Охочі спойлерів можуть ознайомитися, хоча звичайно робити це краще в процесі прочитання моєї історії або зовсім після.
Друга частина моєї розповіді перервалася на тому, що приєднав до системи Tesla K20М, GT 610 та M.2 NVE SSD + дисковий масив. До речі чим ще гарна ця плата Dell - у неї вбудована "дискова полиця" нехай і всього на 6 пристроїв і RAID не "наворочений на світі", зате на відміну від своїх професійніших зовнішніх побратимів він пропускає команду TRIM на SSD. Що теж важливо, якщо інтенсивно використовувати не професійні серверні SSD.
До речі, про цю плату є також один цікавий і важливий момент. Радіатори на чіпсетах низькі з невеликими ребрами. Це добре працює, коли плата в оригінальній стійці, де потужні турбіни її продувають уздовж. Але при використанні плати окремо треба прибрати з ближнього до слотів розширення радіатора пластикову наклейку, а дальній - бажано замінити на будь-який радіатор з чіпсету старої материнки з великими ребрами, тому що розташований під ним чіп - гріється найбільше на платі.
Прибравши із системи відеокарту я став збирати каркас для свого сервера, у тестовому варіанті все було на ізоленті, сірникових коробках та інших пластикових підпорах, але для повноцінного використання 24/7/365 такий варіант мені не видався прийнятним. Треба було зробити нормальний каркас із алюмінієвого куточка. У хід пішли алюмінієві куточки з «Леруа Мерлен», які мені прислав друг з Підмосков'я, у своєму прилеглому місті вони просто ніде не продавалися взагалі!
Крім куточків у конструкції були використані гвинти під потайну головку М5 та гайки, гвинти М3 та гайки, кутки невеликі меблеві, заклепки алюмінієві під 5 мм отвори, заклепочник, ножівка по металу, шуруповерт, свердло 5.0 мм по металу, напильник, стяжки і руки, що ростуть не з дупи.
Кутки були використані для кріплення плати до каркасу та деяких інших елементів. Це звичайно додало декілька висоти всієї системи, тому що плата виявилася піднесена досить високо над нижньою площиною каркасу, але я вирішив що це для мене припустимо. Боротьба за кожен грам ваги, міліметр висоти я не вів, зрештою це не БЦВМ літака де стандарт «15 G по 3 осі, удари до 1000 G і вібрація».
Плата встановлена, прикручені райзери, прикручений перехідник із SSD M.2.
Плата, SSD, райзери та Тесла на своїх місцях встановлені. DC-DC поки що на своє місце не прикрутив і він бовтається на дротах за кадром. Це версія сервера 1.0, поки що на одній Тесла К20М.
Тут DC-DC вже закріплений на каркасі, он там маленька хустка збоку за материнською платою під «хвостами» харчування.
А ця система вже зібрана, вид зверху. Над Теслой ще один раз з куточків в якій прикручені пліч-о-пліч пара SSD, над ними кошик HDD, а зверху на замикаючій каркас рамі висить БП 850 Вт Термалтек модульний. БП модний, геймерський, з RGB-підсвічуванням яке я відключив щоб не блимав як новорічна ялинка. Єдиний на той момент потужний модульний БП у магазинах міста.
Вид сервера версії 1.0 збоку.
Вигляд сервера з переднього торця. Роз'єми та річок для дисків я зробив на один бік як у серверних системах, щоб для всіх маніпуляцій не треба було крутити туди-сюди всю систему. На «планці з вирізами» прикручено винесення з двома USB 2.0, який я підключив замість картридера, а до її нижньої частини прикручена плата перехідника на М.2.
Ось тут показано як закріплений DC-DC і плата, ті куточки про які я говорив.
З іншого боку, як закріплений GPGPU-райзер, який EdgeSlot.
Цей найвищий кримінальний райзер з додатковим харчуванням для GPGPU що мені купували через Шопотам з Америки.
Машина була зібрана, було встановлено операційну систему, драйвера, налаштований CUDA Toolkit…
Ось відео про неї невелике.
У такому вигляді система з одного Тесла К20М 5 Гб працювала пів року, поки мій друг-астроном вважав свої завдання. Потім він пішов у відпустку і раптово на евау виявилися серверні Тесла К20Х 6 Гб по 6000 р б / у, як розпродаж з датацентру в Англії. І ми вирішили зібрати другу версію "суперкомп'ютера" вже на 3х Тесла К20Х.
Тесла були куплені, була куплена друга материнка така сама тільки вирішили заощадити на доставці і вибрали доставку службою еВау. Яка відвезла її до Іспанії і там видала якомусь зовсім лівому типу. На еВау була відкрита суперечка, мене підтримав продавець із США і гроші повернули, і вже третя плата поїхала до мене звичайною дорогою, але надійною USPS. Інші запчастини теж приїхали і ось відео про початок збирання «сільського суперкомп'ютера» 2.0.
Відео про запчастини для цієї самої «машини».
Запуск плати та деякі особливості.
Тут почав збирати каркас другої версії сервера.
Приїхали Тесла К20Х, перше відео.
Пізнавальне відео про Тесла К20Х, про конструкцію карти та її системи охолодження та облом з водоблоком від GTX 780 Ti.
Продовження відео про Тесла К20Х відсканував її плату на сканері, якщо кому раптом треба.
Передня сторона із GPU-чіпом.
Задня сторона.
Як бачимо Tesla К20 хоча і схожа «загалом» на GTX 780 GTX 780 ti GTX TITAN на GPU GK110 Kepler але тим не менш по платі та системі охолодження з ними не сумісна. Якщо у мене буде Quadro K5200 K6000 GK110 Kepler то тоді порівняю і її плату з платою Тесла К20, але поки вище зазначених Квадро у мене немає.
А ось продовження збирання сервера 2.0
Знову 1U кулери з равликами та інше що потрібно для сервера більшої потужності ніж перший. Довелося до речі перший сервер розібрати, щоб зібрати другий, поки гострої потреби рахувати у мого друга не було.
Небагато кабельменеджменту ...
І друге Тесло встановлено на своє місце.
А ось тут мене спіткав образливий облом. Виявилося, що система не тягне 3 штуки Тесла К20. При старті BIOS вилазить ось така помилка і все, третя Тесла не працює ніяк. Не допомогло навіть оновлення біос до версії 2.8.1 після якого плата з Dell DCS 6220 перетворилася на Dell C6220 2.8.1 Я включав і вимикав різні опції в БІОС, навіть пробував заклеїти частину контактів на Теслах скотчем щоб зробити їх 8х - нічого не допомогло. Довелося змиритися та зупиниться на конфігурації 2 Тесла К20Х + NVE SSD. До речі, у версії 2.0 сервера всі SATA-накопичувачі живуть в одному китайському кошику на 6 відсіків. Тепер там пара Samsung 860 EVO 500 Gb + 4 терабайтні Сігейти. Самсунги я купив на Алі по 3600 за штуку. Диски ОЕМ, але мене влаштовують.
Тепер «суперкомп'ютер 2.0» повністю зібраний та готовий до роботи.
В іншому доїхали запчастини куплені на другу систему і я підібрав назад першу, ось тут про це відео.
І пропоную читачам проголосувати, що робити з першою платою? Що зібрати на її основі найцікавіше? Або якщо хтось хоче купити її як і Тесла К20М і К20Х з кулерами-равликами або без - я готовий, пишіть.
Ось така історія, сподіваюся виявилася цікавою і корисною шановним читачам.
PS: Тим кому вистачило терпіння дочитати до кінця — підписуйтесь на мій канал на Ютубі, коментуйте, оцінюйте подобається/не подобається — це мене мотивуватиме на подальші публікації та зйомку нових пізнавальних відео.
Джерело: habr.com