Кайырлы кун, кымбатты Хабаровск!
Мен «айылдык суперкомпьютерди» чогултуу тууралуу баянымды уланткым келет. Анан эмне үчүн минтип аталып калганын түшүндүрүп берем — себеби жөнөкөй. Мен өзүм айылда жашайм. Ал эми аты болсо интернетте “Москва айланма жолунан ары жашоо жок!”, “Орус айылы аракеч болуп, өлүп баратат!” деп кыйкырып жүргөндөрдүн кичине тролдугу. Демек, бир жерде бул чындык болушу мүмкүн, бирок мен эрежеден тышкары болом. Мен ичпейм, тамеки чекпейм, ар бир "шаардык крекер(лер)" көтөрө албаган нерселерди жасайм. Бирок, келгиле, койлорубузга, тагыраагы, макаланын биринчи бөлүгүнүн аягында «жашоо белгилерин көрсөткөн» серверге кайрылып көрөлү.
Такта столдун үстүндө жатыптыр, мен BIOS аркылуу өтүп, аны өзүмө ылайыкташтырдым, жөнөкөйлүгү үчүн Ubuntu 16.04 Иш тактасынан чыгып кеттим жана видеокартаны "супер машинага" туташтырууну чечтим. Бирок колдо болгон бир гана нерсе - GTS 250, оригиналдуу эмес күйөрман тиркелген. Мен кубат баскычынын жанындагы PCI-E 16x уячасына орноттум.
"Мен аны Беломордун (c) пакети менен алдым" андыктан сүрөттүн сапаты үчүн мени айыптабаңыз. Мен алар жөнүндө эмнени камтыганына токтолгум келет.
Биринчиден, уячага орнотулганда, ал тургай кыска видеокарта да тактаны эс тутум уячаларына таянып коёт, мында аны орнотууга болбойт, жадагалса бекиткичтерди түшүрүүгө туура келет. Экинчиден, видео картанын темир монтаждоо тилкеси кубат баскычын жаап турат, ошондуктан аны алып салуу керек болчу. Айтмакчы, кубат баскычынын өзү эки түстүү LED менен жарыктандырат, ал баары өз ордунда болгондо жашыл күйөт жана кандайдыр бир көйгөйлөр, кыска туташуу жана кубат менен камсыздоонун коргоосу иштен чыккан же +12VSB кубаты иштесе кызгылт сары түстө күйөт. камсыз кылуу өтө жогору же өтө төмөн.
Чынында, бул энелик плата видеокарталарды өзүнүн PCI-E 16x уячаларына "түздөн-түз" киргизүү үчүн иштелип чыккан эмес; алардын баары стоякка туташтырылган. Кеңейтүүчү картаны кубат баскычынын жанындагы уячаларга орнотуу үчүн бурч көтөргүчтөр, биринчи процессордун радиаторунун узундугуна чейин кыска карталарды орнотуу үчүн төмөн жана кошумча +12 В электр туташтыргычы бар бийик бурчу бар. видео карта стандарттык төмөн 1U муздаткыч "жогоруда". Ал GTX 780, GTX 980, GTX 1080 же адистештирилген GPGPU карталары Nvidia Tesla K10-K20-K40 же "эсептөө карталары" Intel Xeon Phi 5110p жана ушул сыяктуу чоң видео карталарды камтышы мүмкүн.
Бирок GPGPU көтөргүчүндө EdgeSlot камтылган картаны түз туташтырууга болот, жогорку бурчтагы көтөргүчтөгүдөй эле туташтыргыч менен кошумча кубаттуулукту кайра туташтыруу менен. Кызыккандар үчүн, eBayде бул ийкемдүү көтөргүч "Dell PowerEdge C8220X PCI-E GPGPU DJC89" деп аталат жана болжол менен 2.5-3 миң рублди түзөт. Кошумча кубат менен камсыздалган бурчтук көтөргүчтөр сейрек кездешет жана мен аларды Whisper аркылуу адистештирилген сервердик тетиктер дүкөнүнөн алуу үчүн сүйлөшүүгө туура келди. Алардын ар бири 7 миңден турат.
Мен дароо эле айтам, "тобокелчилер (tm)" бир адам "Ошол эле форумда" кылгандай, GTX 980 жупту 16x кытай ийкемдүү көтөргүчтөрү менен доскага туташтыра алат; Айтмакчы, кытайлар бир топ жасашат. Thermaltek ийкемдүү көтөргүчтөрдүн стилинде PCI-E 16x 2.0де иштеген жакшы кол өнөрчүлүк, бирок бул бир күнү сервердик тактадагы электр схемаларын күйгүзүп салса, анда сиз өзүңүздү күнөөлөшүңүз керек. Мен кымбат баалуу жабдууларды тобокелге салган жокмун жана кошумча кубаттуулугу бар оригиналдуу көтөргүчтөрдү жана бир кытай ийкемдүү стоянкаларды колдондум, анткени бир картаны "түз" туташтыруу тактайды күйгүзбөйт деп ойлодум.
Андан кийин кошумча кубаттуулукту туташтыруу үчүн көптөн күткөн туташтыргычтар келди жана мен EdgeSlot'то өзүмдүн көтөргүчүм үчүн куйрук жасадым. Жана ошол эле туташтыргыч, бирок башка pinout менен, энелик платага кошумча кубат берүү үчүн колдонулат. Бул туташтыргыч дал ушул EdgeSlot туташтыргычынын жанында, ал жерде кызыктуу пинут бар. Эгерде көтөргүчтүн 2 зымы +12 жана 2 жалпы зым болсо, тактада 3 зым +12 жана 1 жалпы болот.
Бул чындыгында GPGPU көтөргүчүнө киргизилген ошол эле GTS 250. Айтмакчы, кошумча кубат ротрейзерлерге жана энелик платага берилет - менин энергия булагымдын CPU экинчи +12V кубат туташтыргычынан. Муну кылсам туура болот деп чечтим.
Жомок тез эле айтылат, бирок посылкалар Кытайдан жана дүйнөнүн башка жерлеринен Орусияга акырындап келет. Ошондуктан, "суперкомпьютерди" чогултууда чоң боштуктар болгон. Бирок акыры мага пассивдүү радиатору бар Nvidia Tesla K20M сервери келди. Анын үстүнө, бул таптакыр нөл, сактоодон тартып, өзүнүн баштапкы кутусунда, оригиналдуу таңгагында, кепилдик кагаздары менен мөөр басылган. Ошондо азап башталды: аны кантип муздатуу керек?
Биринчиден, Англиядан эки кичинекей "турбинасы" бар атайын муздаткыч сатылып алынган, бул жерде ал үйдө жасалган картон диффузору менен сүрөттө.
Жана алар толугу менен келесоо болуп чыкты. Алар катуу ызы-чуу чыгарышты, монтаж такыр туура келбей калды, алар начар үйлөп, термелишти, мен тетиктери Тесла тактасынан кулап калат деп корктум! Эмне үчүн алар дароо эле таштандыга ыргытылды?
Айтмакчы, Tesla астындагы сүрөттө сиз LGA 2011 1U серверинин жез радиаторлорун Aliexpressтен сатып алынган Coolerserverден үлүлү бар процессорлорго орнотсоңуз болот. Бир аз ызы-чуу болсо да, абдан жакшы муздаткычтар. Алар кемчиликсиз туура келет.
Бирок, чындыгында, мен Tesla үчүн жаңы муздаткычты күтүп жатканымда, бул жолу Австралиядан 1012D басып чыгарылган чоң BFB3EN үлүлүнө заказ берип, ал сервердик сактоо тутумуна келди. Сервер тактасында мини-SAS туташтыргычы бар, ал аркылуу 4 SATA жана дагы 2 SATA туташтыргычы чыгарылат. Бардык SATA стандарты 2.0, бирок бул мага туура келет.
Чипсетке интеграцияланган intel C602 RAID жаман эмес жана эң негизгиси, ал SSD үчүн TRIM буйругун өткөрүп жиберет, аны көптөгөн арзан тышкы RAID контроллерлору жасабайт.
eBayде мен метрлик мини-SASдан 4 SATA кабелин сатып алдым, ал эми Avitoдо 5,25 x 4 ″ SAS-SATA үчүн 2,5 дюймдук булуңу бар ысык алмаштыруучу арабаны сатып алдым. Ошентип, кабель жана себет келгенде, ага 4 терабайт Seagates орнотулган, BIOS'та 5 түзмөк үчүн RAID4 курулган, мен Ubuntu серверин орното баштадым ... жана дискти бөлүү программасы мага уруксат бербей жатканын түшүндүм. рейдде своп бөлүмүн түзүү.
Мен көйгөйдү бетме-бет чечтим - мен DNS'тен ASUS HYPER M.2 x 2 MINI жана M.4 SSD Samsung 2 EVO 960 Гб адаптерин сатып алдым жана система иштей тургандыктан, алмашуу үчүн максималдуу ылдамдыктагы түзмөктү бөлүштүрүү керек деп чечтим. жогорку эсептөө жүктөмү менен, жана эстутум дагы эле, албетте, маалымат өлчөмүнөн азыраак. Ал эми 250 ГБ эстутум бул SSDге караганда кымбатыраак болчу.
Ушул эле адаптер SSD менен төмөн бурч көтөргүчкө орнотулган.
Суроолорду күтүү - "Эмне үчүн бүт системаны M.2де жасап, SATAдагы рейддикинен жогорку ылдамдыкка ээ болууга болбойт?" - Жооп берем. Биринчиден, 1 ТБ же андан көп M2 SSDs мен үчүн өтө кымбат. Экинчиден, BIOS 2.8.1 акыркы версиясына жаңыртылгандан кийин да сервер M.2 NVE түзмөктөрүн жүктөөнү колдобойт. Мен эксперимент жасадым, анда система / жүктөө USB FLASH 64 Гб жана башка бардыгы M.2 SSDге орнотулган, бирок мага жаккан жок. Бирок, негизи, мындай айкалышы абдан ишке ашат. Эгерде жогорку сыйымдуулуктагы M.2 NVEs арзандаса, мен бул вариантка кайтып келишим мүмкүн, бирок азыр SATA RAID сактоо тутуму катары мага абдан ылайыктуу.
Мен дисктин подсистемасын тандап, 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Гб “алмаштыруу” комбинациясын ойлоп тапканымда, бул GPU менен эксперименттеримди улантууга убакыт келди Менде Tesla бар болчу жана австралиялык муздаткыч 2.94Вда 12А жеген "жаман" үлүл менен келди, экинчи уячаны M.2 ээледи, үчүнчүсү үчүн "эксперимент үчүн" GT 610 алдым.
Бул жерде сүрөттө бардык 3 түзмөк туташтырылган жана M.2 SSD 3.0 автобусунда катасыз иштеген видеокарталар үчүн ийкемдүү Thermaltech көтөргүч аркылуу. Бул SATA кабелдери жасалгандарга окшош көптөгөн жеке "ленталардан" жасалган. Монолиттик жалпак кабелден жасалган PCI-E 16x көтөргүчтөрү, эски IDE-SCSI сыяктуу, кырсык болуп саналат, алар өз ара кийлигишүүдөн улам каталарга дуушар болушат. Жогоруда айткандай, кытайлар азыр Термалтектикине окшош, бирок кыскараак стоянкаларды жасашат.
Tesla K20 + GT 610 менен айкалыштырып, мен көп нерсени сынап көрдүм, ошол эле учурда тышкы видеокартаны туташтырууда жана BIOS'та ага чыгарууну которууда vKVM иштебей турганын билдим. мени капа кылды. Эмнеси болсо да, мен бул системада тышкы видеону колдонууну пландаган эмесмин, Teslaда видео чыгаруулар жок жана SSH аркылуу жана X-owls жок алыскы администратор панели GUI жок буйрук сабы эмне экенин бир аз эстегенде сонун иштейт. . Бирок IPMI + vKVM башкарууну, кайра орнотууну жана алыскы сервер менен башка маселелерди абдан жөнөкөйлөтөт.
Жалпысынан алганда, бул башкармалыктын IPMI сонун. Өзүнчө 100 Мбит порт, 10 Гбит порттордун бирине пакет инъекциясын кайра конфигурациялоо мүмкүнчүлүгү, кубаттуулукту башкаруу жана серверлерди башкаруу үчүн орнотулган веб-сервер, vKVM Java кардарын түздөн-түз андан жүктөө жана дисктерди алыстан орнотуу үчүн кардар же кайра орнотуу үчүн сүрөттөр... Бир гана нерсе, кардарлар эски Java Oracle менен бирдей, ал Linux'та мындан ары колдоого алынбайт жана алыскы администратор панели үчүн мен Win XP SP3 менен ноутбук алышым керек болчу. байыркы Бака. Ооба, кардар жай, администратор панели жана мунун баары жетиштүү, бирок сиз оюндарды алыстан ойной албайсыз, FPS кичинекей. Ал эми IPMI менен бириктирилген ASPEED видеосу алсыз, бир гана VGA.
Сервер менен иштөө процессинде мен Dell компаниясынан профессионалдуу сервердик жабдыктар тармагында көп нерсени үйрөндүм. Кайсы мен эч өкүнбөйм, ошондой эле убакыт жана акча сарпталган. Бардык сервер компоненттери менен кадрды чындыгында чогултуу жөнүндө билим берүү окуясы кийинчерээк уланат.
3-бөлүккө шилтеме:
Source: www.habr.com