Добар дан, драги становници Хабровска!
Желео бих да наставим своју причу о склапању „сеоског суперкомпјутера“. И објаснићу зашто се тако зове - разлог је једноставан. И сам живим на селу. А име је лагано троловање оних који на интернету вичу „Нема живота даље од московског обилазнице!“, „Руско село је постало пијаница и изумире!“ Дакле, негде ово може бити тачно, али ја ћу бити изузетак од правила. Не пијем, не пушим, радим ствари које не може да приушти сваки „урбани крекер(и)“. Али да се вратимо на нашу овцу, тачније на сервер, који је на крају првог дела чланка већ „давао знаке живота“.
Плоча је лежала на столу, попео сам се кроз БИОС, подесио га по свом укусу, спустио Убунту 16.04 Десктоп ради једноставности и одлучио да повежем видео картицу на „супер машину“. Али једино што је при руци био је ГТС 250 са великим неоригиналним вентилатором. Који сам инсталирао у ПЦИ-Е 16к слот близу дугмета за напајање.
„Узео сам га са паковањем Беломора (ц)“ тако да молим вас немојте ме кривити за квалитет фотографије. Радије бих коментарисао оно што је снимљено на њима.
Прво, испоставило се да када се угради у слот, чак и кратка видео картица наслања плочу на меморијске слотове, при чему се у овом случају не може инсталирати, па чак и резе морају да се спусте. Друго, гвоздена трака за монтажу видео картице покрива дугме за напајање, тако да је морала да се уклони. Иначе, само дугме за напајање је осветљено двобојном ЛЕД диодом, која светли зелено када је све у реду и трепће наранџасто ако има проблема, кратког споја и искључења заштите напајања или +12ВСБ напајања понуда је превисока или прениска.
У ствари, ова матична плоча није дизајнирана да укључи видео картице „директно“ у своје ПЦИ-Е 16к слотове; све су повезане на успоне. За уградњу картице за проширење у уторе близу дугмета за напајање, постоје угаони подизачи, ниски за уградњу кратких картица до дужине првог процесорског радијатора и високи угаони са додатним +12В конектором за напајање за уградњу видео картица "изнад" стандардног ниског хладњака од 1У. Може укључивати велике видео картице као што су ГТКС 780, ГТКС 980, ГТКС 1080 или специјализоване ГПГПУ картице Нвидиа Тесла К10-К20-К40 или „рачунарске картице“ Интел Ксеон Пхи 5110п и слично.
Али у ГПГПУ успону, картица укључена у ЕдгеСлот може да се повеже директно, само поновним повезивањем додатног напајања са истим конектором као на високом углу. За заинтересоване, на еБаи-у овај флексибилни успон се зове „Делл ПоверЕдге Ц8220Кс ПЦИ-Е ГПГПУ ДЈЦ89“ и кошта око 2.5-3 хиљаде рубаља. Угаони стубови са додатним напајањем су много ређи и морао сам да преговарам да их набавим из специјализоване продавнице делова за сервере преко Вхиспера. Коштају 7 хиљада по комаду.
Одмах ћу рећи, „ризични момци (тм)“ могу чак и да повежу пар ГТКС 980 на плочу са кинеским флексибилним успонима 16к, као што је једна особа урадила на „Том истом форуму“; узгред, Кинези праве прилично добри занати који раде на ПЦИ-Е 16к 2.0 у стилу Тхермалтек флексибилних успона, али ако ово једног дана изазове да прегорете струјна кола на плочи сервера, бићете криви само сами. Нисам ризиковао скупу опрему и користио сам оригиналне успоне са додатном снагом и један кинески флексибилни, мислећи да повезивање једне картице „директно“ неће спалити плочу.
Онда су стигли дуго очекивани конектори за повезивање додатног напајања и направио сам реп за свој рисер у ЕдгеСлот-у. И исти конектор, али са другачијим пиноутом, користи се за додатно напајање матичне плоче. Овај конектор је одмах поред овог истог ЕдгеСлот конектора, тамо се налази занимљив пиноут. Ако успон има 2 жице +12 и 2 заједничке, онда плоча има 3 жице +12 и 1 заједничку.
Ово је заправо исти ГТС 250 укључен у ГПГПУ успон. Узгред, додатно напајање се напаја на успонима и матичној плочи - са другог +12В конектора за напајање ЦПУ-а мог напајања. Одлучио сам да би било исправније ово урадити.
Бајка се прича брзо, али полако пакети стижу у Русију из Кине и других места широм света. Због тога су постојале велике празнине у монтажи „суперкомпјутера“. Али коначно ми је стигао Нвидиа Тесла К20М сервер са пасивним радијатором. Штавише, апсолутно је нула, из складишта, запечаћена у оригиналној кутији, у оригиналном паковању, са гарантним папирима. И почела је патња: како то охладити?
Прво је из Енглеске купљен прилагођени хладњак са две мале „турбине“, ево га на фотографији, са дифузором од картона домаће израде.
И испоставило се да су потпуно срање. Направили су велику буку, носач никако није стајао, слабо су дували и давали такве вибрације да сам се плашио да ће компоненте отпасти са Теслине плоче! Зашто су скоро одмах бачени у смеће?
Иначе, на фотографији испод Тесле можете видети бакарне радијаторе сервера ЛГА 2011 1У инсталиране на процесорима са пужем од Цоолерсервера купљеним са Алиекпресс-а. Врло пристојни хладњаци, иако мало бучни. Савршено се уклапају.
Али заправо, док сам чекао нови хладњак за Теслу, овај пут пошто сам наручио великог пужа БФБ1012ЕН из Аустралије са 3Д штампаним носачем, дошао је до серверског система за складиштење података. Серверска плоча има мини-САС конектор кроз који излазе 4 САТА и још 2 САТА конектора. Све САТА стандард 2.0 али мени то одговара.
Интел Ц602 РАИД интегрисан у чипсет није лош и главна ствар је да прескаче ТРИМ команду за ССД, што многи јефтини екстерни РАИД контролери не раде.
На еБаи-у сам купио метар дуг мини-САС на 4 САТА кабл, а на Авито-у сам купио колица за брзо замену са лежиштем од 5,25″ за 4 к 2,5″ САС-САТА. Па кад је стигао кабл и корпа, у њега је инсталирано 4 терабајта Сеагате-а, уграђен је РАИД5 за 4 уређаја у БИОС-у, почео сам да инсталирам сервер Убунту... и налетео сам на то да ми програм за партиционисање диска не дозвољава да бисте направили свап партицију на раид-у.
Решио сам проблем директно - купио сам АСУС ХИПЕР М.2 к 2 МИНИ и М.4 ССД Самсунг 2 ЕВО 960 Гб адаптер од ДНС-а и одлучио да се уређај са максималном брзином додели за замену, пошто ће систем радити са великим рачунарским оптерећењем, а меморија је и даље очигледно мања од величине података. А меморија од 250 ГБ је била скупља од овог ССД-а.
Овај исти адаптер са ССД-ом инсталираним у ниском углу.
Предвиђајући питања – „Зашто не направити цео систем на М.2 и имати максималну брзину приступа већу од оне за раид на САТА?“ - Ја ћу одговорити. Прво, 1 ТБ или више М2 ССД-ова су прескупи за мене. Друго, чак и након ажурирања БИОС-а на најновију верзију 2.8.1, сервер и даље не подржава учитавање М.2 НВЕ уређаја. Урадио сам експеримент где је систем подесио /боот на УСБ ФЛАСХ 64 Гб, а све остало на М.2 ССД, али ми се није допало. Иако је, у принципу, таква комбинација прилично изводљива. Ако М.2 НВЕ-ови великог капацитета појефтине, можда ћу се вратити овој опцији, али за сада ми САТА РАИД као систем за складиштење сасвим одговара.
Када сам се одлучио за диск подсистем и смислио комбинацију 2 к ССД Кингстон 240 Гб РАИД1 “/” + 4 к ХДД Сеагате 1 Тб РАИД5 “/хоме” + М.2 ССД Самсунг 960 ЕВО 250 Гб “свап” било је време је да наставим своје експерименте са ГПУ-ом Већ сам имао Теслу и управо је стигао аустралијски хладњак са „злим“ пужем који једе чак 2.94А на 12В, други слот је заузео М.2 а за трећи сам позајмио ГТ 610 „за експерименте“.
Овде на фотографији су сва 3 уређаја повезана, а М.2 ССД је преко флексибилног Тхермалтецх-а за видео картице који ради на 3.0 магистрали без грешака. Овако је направљен од многих појединачних „трака” сличних онима од којих се праве САТА каблови. ПЦИ-Е 16к рајзери направљени од монолитног равног кабла, као стари ИДЕ-СЦСИ, су катастрофа, паће од грешака због међусобних сметњи. И као што сам већ рекао, Кинези сада такође праве успоне сличне онима од Тхермалтека, али краће.
У комбинацији са Тесла К20 + ГТ 610, покушао сам много ствари, а истовремено сам сазнао да приликом повезивања екстерне видео картице и пребацивања излаза на њу у БИОС-у, вКВМ не ради, што заправо није успело узнемирило ме. У сваком случају, нисам планирао да користим екстерни видео на овом систему, на Теслас нема видео излаза, а удаљени админ панел преко ССХ-а и без Кс-овл-а ради одлично када се мало сетите шта је командна линија без ГУИ-а . Али ИПМИ + вКВМ у великој мери поједностављује управљање, поновну инсталацију и друге проблеме са удаљеним сервером.
Генерално, ИПМИ ове плоче је одличан. Посебан порт од 100 Мбит, могућност реконфигурисања убацивања пакета на један од 10 Гбит портова, уграђени веб сервер за управљање напајањем и контролу сервера, преузимање вКВМ Јава клијента директно са њега и клијент за даљинско монтирање дискова или слике за реинсталацију... Једино што су клијенти исти као стари Јава Орацле, који више није подржан у Линуксу и за удаљени админ панел сам морао да набавим лаптоп са Вин КСП СП3 са овим баш древна жаба. Па, клијент је спор, има довољно за админ панел и све то, али не можете да играте игрице на даљину, ФПС је мали. А АСПЕЕД видео који је интегрисан са ИПМИ је слаб, само ВГА.
У процесу бављења сервером, научио сам много и научио много у области професионалног серверског хардвера компаније Делл. Због чега нимало не жалим, као и због добро утрошеног времена и новца. Образовна прича о стварном склапању рама са свим компонентама сервера биће настављена касније.
Линк до 3. дела:
Извор: ввв.хабр.цом