Добрага часу сутак, дарагія Хабраўчане!
Жадаю працягнуць сваё апавяданне аб зборцы «вясковага суперкампутара». І растлумачу чаму ён так названы - прычына простая. Я сам жыву ў вёсцы. І назва — лёгкі тролінг над тымі, хто крычыць у інтэрнэце «За МКАД жыцця няма!», «Руская вёска спілася і вымірае!» Дык вось, недзе гэта можа быць і так, а я буду выключэннем з правілаў. Не п'ю, не палю, раблю рэчы якія не ўсякаму «гарадскому крэаклу(з)» па розуме і кішэні. Але вернемся да нашых бараноў, дакладней – серверу, які ў канцы першай часткі артыкула ўжо "падаваў прыкметы жыцця".
Поплатак ляжала на стале, я палазіць па BIOS наладжваючы яго на свой густ, накатаў Ubuntu 16.04 Desktop для прастаты і вырашыў падлучыць да супер-машыне відэакарту. Але пад рукой была толькі GTS 250 з прылепленым здаравенным не родным вентылятарам. Якую я і ўсталяваў у PCI-E 16x слот каля кнопкі сілкавання.
«Здымаў на пачак Беламора(з)» так што прашу не штурхаць за якасць фота. Лепш я пракаментую тое, што на іх адлюстравана.
У першых - апынулася што пры ўсталёўцы ў слот - нават кароткая відэакарта ўпіраецца платай у раздымы памяці, у якія з гэтай нагоды яе нельга ўсталяваць і нават даводзіцца апускаць зашчапкі. У другіх жалезная крапежная планка відэакарты закрывае кнопку харчавання, так што яе прыйшлося зняць. Дарэчы і сама кнопка харчавання - падсветлена двухколерным святлодыёдам, які гарыць зялёным калі ўсё ў парадку і міргае аранжавым калі нейкія праблемы, замыканне і спрацавала абарона БП або харчаванне +12VSB завышана або заніжана.
Насамрэч, гэтая матчына поплатак не прызначаная каб у яе слоты PCI-E 16x уключаліся відэакарты «наўпрост», яны ўсё далучаюцца на райзерах. Для ўсталёўкі карты пашырэння ў слоты каля кнопкі сілкавання ёсць кутнія райзеры, нізкі для ўсталёўкі кароткіх карт даўжынёй да першага радыятара працэсара, і высокі кутні з раздымам дадатковага сілкавання +12В для ўсталёўкі відэакарты над штатным нізкім 1U кулерам. У яго можна ўключаць вялікія відэакарты накшталт GTX 780, GTX 980, GTX 1080 альбо спецыялізаваныя GPGPU-карты Nvidia Tesla K10-K20-K40 або "вылічальныя карты" Intel Xeon Phi 5110p і яму падобныя.
Затое ў GPGPU-райзер які ўключаецца ў EdgeSlot карту можна ўлучыць напроста, толькі ізноў жа падлучыўшы дадатковае сілкаванне такім жа раздымам як на высокім кутнім райзеры. Каму цікава – на eBay гэты гнуткі райзер называецца "Dell PowerEdge C8220X PCI-E GPGPU DJC89" і каштуе каля 2.5-3 тысяч рублёў. Кутнія райзеры з дадатковым сілкаваннем штука нашмат больш рэдкая і мне прыйшлося дамаўляцца каб іх купілі са спецыялізаванай крамы серверных запчастак праз Шапатам. Выйшлі яны па 7 тысяч за штуку.
Скажу адразу, «рызыкоўныя хлопцы(тм)» могуць падлучыць нават пару GTX 980 да платы кітайскімі гнуткімі райзерамі 16х як зрабіў адзін чалавек на «Тым Самім Форуме», кітайцы дарэчы робяць суцэль нядрэнна якія працуюць на PCI-E 16х 2.0 вырабы ў стылі Термалтэ райзераў, але калі ў вас ад такога аднойчы прагараць ланцугі сілкавання на плаце сервера - вінаваціць будзеце толькі сябе. Я не стаў рызыкаваць дарагім абсталяваннем і выкарыстоўваў арыгінальныя райзеры з дадатковым харчаваннем і адзін кітайскі гнуткі, палічыўшы што падлучэнне адной карты «наўпрост» плату не спаліць.
Потым прыехалі доўгачаканыя раздымы для падлучэння дадатковага харчавання і я зрабіў хвост для свайго райзера ў EdgeSlot. І такі ж раз'ём, але з іншай распіноўкай выкарыстаны каб падаць дадатковае харчаванне на матчыну плату. Гэты раз'ём якраз каля гэтага самага раздыма EdgeSlot, там цікавая распіноўка. Калі на райзеры 2 правады 12 і 2 агульных, то на плаце 3 правады 12 і 1 агульны.
Вось уласна тая самая GTS 250 уключана ў GPGPU-райзер. Дадатковае харчаванне ў мяне дарэчы бярэцца на райзеры і мацярынку - з другога раздыма харчавання +12В CPU майго БП. Я вырашыў, што так будзе зрабіць больш правільна.
Хутка казка адбіваецца, ды павольна пасылкі ў Расію з Кітая і іншых месцаў зямнога шара едуць. Таму ў зборцы «суперкампутара» былі вялікія прамежкі. Але вось нарэшце да мяне прыехала серверная Nvidia Tesla K20M з пасіўным радыятарам. Прычым зусім нулявая, з захоўвання, залепленая ў родную скрынку, у родны пакет, з гарантыйнымі паперкамі. І пачаліся пакуты як жа яе астуджаць?
Спачатку быў набыты з Англіі кастамны кулер з двума маленькімі турбінамі , вось яно на фота, з самаробным кардонным дыфузарам.
І аказаліся яны поўнай лажай. Шумелі моцна, мацаванне не падышло наогул, дзьмулі слаба і давалі такую вібрацыю што я баяўся што ад платы Теслы кампаненты адваляцца! Чаму яны былі адпраўленыя ў памыйніцу амаль адразу.
Дарэчы, на фота пад Теслой бачныя ўсталяваныя на працэсары радыятары LGA 2011 1U серверныя медныя з слімаком ад Coolerserver набытыя з Аліэкспрэса. Вельмі годныя хоць і шумнаватыя кулер. Падышлі ідэальна.
Але ўласна пакуль я чакаў новы кулер на Теслу, на гэты раз замовіўшы аж з Аўстраліі слімак вялікі BFB1012ЕН з раздрукаваным на 3D-друкарцы мацаваннем, дайшла справа да сістэмы захоўвання дадзеных сервера. На плаце сервера ёсць раздым mini-SAS праз які выведзеныя 4 SATA і яшчэ 2 SATA звычайнымі раздымамі. Усе SATA стандарту 2.0, але мяне гэта задавальняе.
Інтэграваны ў чыпсэт RAID intel C602 добры і галоўнае прапускае каманду TRIM для SSD, што вонкавыя RAID-кантролеры недарагія шматлікія не ўмеюць.
На еВау я купіў кабель mini-SAS to 4 SATA даўжынёй у метр, а на Авіта – кошык гарачай замены ў 5,25 "адсек на 4 х 2,5" SAS-SATA. Так што калі прыехаў кабель і кошык - у яе былі ўсталяваныя 4 тэрабайтных Сигейта, у BIOS быў сабраны RAID5 на 4 прылады, пачаў я ставіць серверную Ubuntu… і уткнуўся ў тое, што праграма разметкі дыскаў не давала на рэйдзе зрабіць swap-частка.
Вырашыў я праблему ў ілоб купіў у DNS PCI-E to M.2 адаптар ASUS HYPER M.2 x 4 MINI і M.2 SSD высокай вылічальнай нагрузкай, а памяці ўсё роўна загадзя менш за памер дадзеных. Ды і памяць на 960 гігабайт даражэй была чым гэты SSD.
Вось гэты самы перахаднік з усталяваным SSD у нізкім кутнім райзеры.
Прадбачачы пытанні — "А чаму не зрабіць усю сістэму на М.2 і мець максімальную хуткасць доступу вышэй чым у рэйду на SATA?" - адкажу. У першых на 1 і больш Тб М2 SSD каштуюць для мяне занадта дорага. У другіх – нават пасля абнаўлення BIOS на апошнюю версію 2.8.1 сервер усё роўна не падтрымлівае загрузку ў M.2 NVE прылад. Я рабіў досвед калі сістэма ставіла /boot на USB FLASH 64 Gb а ўсё астатняе на М.2 SSD, але мне не спадабалася. Хоць у прынцыпе такая звязак суцэль працаздольная. Калі М.2 NVE вялікай ёмістасці патаннеюць – я магчыма вярнуся да такога варыянту, але пакуль SATA RAID як сістэма захоўвання мяне цалкам уладкоўвае.
Калі з дыскавай падсістэмай я вызначыўся прыйдучы да камбінацыі 2 х SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb swap GPU. Цеслы ў мяне ўжо была і як раз прыехаў аўстралійскі кулер са «злым» слімаком, які есць аж 2.94А па 12В, другі слот займала М.2 і для трэцяга я пазычыў «на доследы» GT 610.
Вось на фота ўсе 3 прылады падлучаныя, прычым М.2 SSD праз гнуткі Тэрмалтэкаўскі райзер для відэакарт які на 3.0 шыне працуе без памылак. Ён вось такі, са мноства асобных «стужачак» накшталт тых з якіх зроблены кабелі SATA. PCI-E 16x райзеры зробленыя з маналітнага плоскага шлейфу накшталт як у старых IDE-SCSI – у топку, яны замучаць памылкамі з-за ўзаемных навядзенняў. І як я ўжо казаў, кітайцы робяць зараз таксама такія райзеры як у Тэрмалтэка але карацей.
У камбінацыі з Цеслай К20 + GT 610 я шмат чаго спрабаваў, заадно высветліўшы што пры падлучэнні вонкавай відэакарты і пераключэнні на яе высновы ў BIOS не працуе vKVM, што мяне не асоба знервавала. Усё роўна выкарыстоўваць на гэтай сістэме вонкавае відэа я не планаваў, на Теслах няма відэавыхадаў, а выдаленая адмінка па SSH і без Х-сов працуе выдатна калі злёгку ўспомніш што такое камандны радок без GUI. Затое IPMI + vKVM вельмі спрашчае кіраванне, пераўсталёўку і іншыя моманты з выдаленым серверам.
Наогул у гэтай платы IPMI шыкоўны. Асобны порт 100 мбіт, магчымасць пераналадзіць инжекцию пакетаў на адзін з 10 Гбіт партоў, Web-сервер убудаваны для кіравання сілкаваннем і кантролю сервераў, запампоўка прама з яго Java-кліента vKVM і кліента выдаленага мантавання кружэлак або выяў для пераўсталёўкі… Адзінае - кліенты пад старую Java Араклаўскую, якая ўжо не падтрымліваецца ў Linux і для выдаленай адмінкі прыйшлося завесці наўтбук з Win XP SP3 з гэтай самай старажытнай Жабай. Ну і кліент павольны, для адмінкі і ўсяго такога хапае, але ў цацкі не пагуляеш выдалена, FPS маленькі. Ды і відэа ASPEED якое інтэгравана з IPMI слабенькае, толькі VGA.
У працэсе разбору з серверам я шмат чаго даведаўся і шмат чаму навучыўся ў галіне прафесійнага сервернага жалеза фірмы Dell. Пра што зусім не шкадую, як і аб патрачаным з карысцю часу і грошах. Працяг пазнавальнай гісторыі пра ўласна зборку каркаса са ўсімі кампанентамі сервера будзе пазней.
Спасылка на частку 3:
Крыніца: habr.com