Laba diena, dÄrgie Habrovskas iedzÄ«votÄji!
VÄlos turpinÄt savu stÄstu par āciema superdatoraā salikÅ”anu. Un es paskaidroÅ”u, kÄpÄc to sauc Å”Ädi ā iemesls ir vienkÄrÅ”s. Es pats dzÄ«voju ciematÄ. Un nosaukums ir viegla to cilvÄku troļļoÅ”ana, kuri internetÄ kliedz āTÄlÄk par Maskavas apvedceļu nav dzÄ«ves!ā, āKrievu ciems ir kļuvis par dzÄrÄju un izmirst!ā TÄtad, kaut kur tÄ var bÅ«t taisnÄ«ba, bet es bÅ«Å”u noteikuma izÅÄmums. Es nedzeru, nesmÄÄ·Äju, es daru lietas, ko ne katrs "pilsÄtas krekeris" var atļauties. Bet atgriezÄ«simies pie mÅ«su aitÄm, precÄ«zÄk, pie servera, kas raksta pirmÄs daļas beigÄs jau "rÄdÄ«ja dzÄ«vÄ«bas pazÄ«mes".
DÄlis gulÄja uz galda, es izkÄpu cauri BIOS, iestatot to pÄc saviem ieskatiem, vienkÄrŔības labad norauju Ubuntu 16.04 Desktop un nolÄmu pievienot videokarti āsuper maŔīnaiā. Bet vienÄ«gais, kas bija pa rokai, bija GTS 250 ar pievienotu dūŔīgu neoriÄ£inÄlu ventilatoru. Ko es instalÄju PCI-E 16x slotÄ netÄlu no baroÅ”anas pogas.
āEs to paÅÄmu kopÄ ar Belomor (c) iepakojumuā, tÄpÄc, lÅ«dzu, nepÄrmetiet mani par fotoattÄla kvalitÄti. Es drÄ«zÄk komentÄÅ”u, kas tajos ir iemūžinÄts.
PirmkÄrt, izrÄdÄ«jÄs, ka, ievietojot slotÄ, pat Ä«sa videokarte atbalsta plati pret atmiÅas slotiem, kuros Å”ajÄ gadÄ«jumÄ to nevar uzstÄdÄ«t un pat fiksatori ir jÄnolaiž. OtrkÄrt, videokartes dzelzs stiprinÄjuma sloksne aizsedz ieslÄgÅ”anas pogu, tÄpÄc tÄ bija jÄnoÅem. Starp citu, paÅ”u ieslÄgÅ”anas pogu izgaismo divu krÄsu gaismas diode, kas iedegas zaÄ¼Ä krÄsÄ, kad viss ir kÄrtÄ«bÄ un mirgo oranÅ¾Ä krÄsÄ, ja ir kÄdas problÄmas, Ä«ssavienojums un nostrÄdÄjusi baroÅ”anas aizsardzÄ«ba vai +12VSB jauda piedÄvÄjums ir pÄrÄk liels vai pÄrÄk mazs.
Faktiski Ŕī mÄtesplate nav paredzÄta videokarÅ”u ātieÅ”uā iekļauÅ”anai tÄs PCI-E 16x slotos; tÄs visas ir savienotas ar stÄvvadiem. Lai ievietotu paplaÅ”inÄÅ”anas karti slotos pie baroÅ”anas pogas, ir stÅ«ra stÄvvadi, zemais Ä«so karÅ”u uzstÄdÄ«Å”anai lÄ«dz pirmÄ procesora radiatora garumam un augstais stÅ«ris ar papildu +12 V strÄvas savienotÄju, lai uzstÄdÄ«tu videokarte āvirsā standarta zema 1U dzesÄtÄja. Tas var ietvert lielas videokartes, piemÄram, GTX 780, GTX 980, GTX 1080 vai specializÄtas GPGPU kartes Nvidia Tesla K10-K20-K40 vai āskaitļoÅ”anas kartesā Intel Xeon Phi 5110p un tamlÄ«dzÄ«gi.
Bet GPGPU stÄvvadÄ EdgeSlot iekļauto karti var pieslÄgt tieÅ”i, tikai atkal pieslÄdzot papildu jaudu ar to paÅ”u savienotÄju kÄ uz augstÄ stÅ«ra stÄvvada. Tiem, kas interesÄjas, vietnÄ eBay Å”is elastÄ«gais stÄvvads tiek saukts par āDell PowerEdge C8220X PCI-E GPGPU DJC89ā un maksÄ apmÄram 2.5ā3 tÅ«kstoÅ”us rubļu. StÅ«ra stÄvvadi ar papildu baroÅ”anas avotu ir daudz retÄk, un man bija jÄvienojas, lai tos iegÅ«tu specializÄtÄ serveru detaļu veikalÄ, izmantojot Whisper. Tie maksÄ 7 tÅ«kstoÅ”us gabalÄ.
Uzreiz teikÅ”u, āriskantie puiÅ”i (tm)ā var pat pieslÄgt GTX 980 pÄri ar Ä·Ä«nieÅ”u lokanajiem stÄvvadiem 16x, kÄ to darÄ«ja viens cilvÄks āTajÄ paÅ”Ä forumÄā; starp citu, Ä·Ä«nieÅ”i dara diezgan labi amatniecÄ«ba, kas darbojas uz PCI-E 16x 2.0 Thermaltek elastÄ«go stÄvvadu stilÄ, bet, ja jÅ«s kÄdu dienu izdegsiet servera plates strÄvas Ä·Ädes, vainÄ«gs bÅ«s tikai jÅ«s pats. Es neriskÄju ar dÄrgu aprÄ«kojumu un izmantoju oriÄ£inÄlos stÄvvadus ar papildu jaudu un vienu Ä·Ä«nieÅ”u elastÄ«go, domÄjot, ka, pieslÄdzot vienu karti "pa tieÅ”o", tÄfele nesadegs.
Tad ieradÄs ilgi gaidÄ«tie savienotÄji papildu jaudas pieslÄgÅ”anai, un es izveidoju asti savam stÄvvadam EdgeSlot. Un tas pats savienotÄjs, bet ar atŔķirÄ«gu kontaktdakÅ”u, tiek izmantots, lai mÄtesplatÄ nodroÅ”inÄtu papildu baroÅ”anu. Å is savienotÄjs atrodas tieÅ”i blakus tam paÅ”am EdgeSlot savienotÄjam, tur ir interesants spraudnis. Ja stÄvvadam ir 2 vadi +12 un 2 kopÄjie, tad platei ir 3 vadi +12 un 1 kopÄ«gs.
Tas faktiski ir tas pats GTS 250, kas iekļauts GPGPU stÄvvadÄ. Starp citu, stÄvvadiem un mÄtesplatei tiek piegÄdÄta papildu jauda - no mana baroÅ”anas bloka CPU otrÄ +12V baroÅ”anas savienotÄja. Es nolÄmu, ka tÄ bÅ«tu pareizÄk.
Pasaka stÄsta pati par sevi Ätri, bet lÄnÄm pakas nonÄk KrievijÄ no Ķīnas un citÄm vietÄm visÄ pasaulÄ. TÄpÄc āsuperdatoraā montÄÅ¾Ä bija lielas nepilnÄ«bas. Bet beidzot pie manis nonÄca Nvidia Tesla K20M serveris ar pasÄ«vo radiatoru. TurklÄt tas ir absolÅ«ti nulle, no uzglabÄÅ”anas, aizzÄ«mogots oriÄ£inÄlajÄ kastÄ, oriÄ£inÄlajÄ iepakojumÄ, ar garantijas papÄ«riem. Un sÄkÄs cieÅ”anas: kÄ to atdzesÄt?
Vispirms no Anglijas tika iegÄdÄts pasÅ«tÄ«juma dzesÄtÄjs ar divÄm mazÄm āturbÄ«nÄmā, lÅ«k, bildÄ, ar paÅ”taisÄ«tu kartona difuzoru.
Un tÄs izrÄdÄ«jÄs pilnÄ«gas muļķības. Tie radÄ«ja lielu troksni, stiprinÄjums vispÄr nederÄja, pÅ«ta vÄji un radÄ«ja tÄdu vibrÄciju, ka baidÄ«jos, ka komponenti nokritÄ«s no Tesla dÄļa! KÄpÄc tie gandrÄ«z uzreiz tika izmesti miskastÄ?
Starp citu, fotoattÄlÄ zem Tesla var redzÄt LGA 2011 1U servera vara radiatorus, kas uzstÄdÄ«ti uz procesoriem ar gliemezi no Coolerserver, kas iegÄdÄts no Aliexpress. Ä»oti pieklÄjÄ«gi dzesÄtÄji, kaut arÄ« nedaudz trokÅ”Åaini. Tie lieliski der.
Bet patiesÄ«bÄ, kamÄr es gaidÄ«ju jaunu Tesla dzesÄtÄju, Å”oreiz pasÅ«tÄ«jis lielu BFB1012EN gliemezi no AustrÄlijas ar 3D drukÄtu stiprinÄjumu, tas nonÄca servera uzglabÄÅ”anas sistÄmÄ. Servera platei ir mini-SAS savienotÄjs, caur kuru tiek izvadÄ«ti 4 SATA un vÄl 2 SATA savienotÄji. Viss SATA standarts 2.0, bet tas man der.
ChipsetÄ integrÄtais intel C602 RAID nav slikts un galvenais, ka tas SSD diskiem izlaiž komandu TRIM, ko daudzi lÄti ÄrÄjie RAID kontrolieri nedara.
VietnÄ eBay es nopirku metru garu mini-SAS uz 4 SATA kabeli, un vietnÄ Avito nopirku karstÄs maiÅas ratiÅus ar 5,25 collu nodalÄ«jumu 4 x 2,5 collu SAS-SATA. TÄtad, kad atnÄca kabelis un grozs, tajÄ tika uzstÄdÄ«ts 4 terabaitu Seagates, BIOS tika iebÅ«vÄts RAID5 4 ierÄ«cÄm, es sÄku instalÄt serveri Ubuntu... un saskÄros ar to, ka diska sadalÄ«Å”anas programma man neļÄva. lai izveidotu mijmaiÅas nodalÄ«jumu reidÄ.
ProblÄmu atrisinÄju uzreiz - no DNS nopirku ASUS HYPER M.2 x 2 MINI un M.4 SSD Samsung 2 EVO 960 Gb adapteri un nolÄmu, ka maiÅai jÄpieŔķir maksimÄlÄ Ätruma ierÄ«ce, jo sistÄma darbosies. ar lielu skaitļoÅ”anas slodzi, un atmiÅa joprojÄm ir acÄ«mredzami mazÄka par datu apjomu. Un 250 GB atmiÅa bija dÄrgÄka nekÄ Å”is SSD.
Tas pats adapteris ar SSD, kas uzstÄdÄ«ts zemÄ stÅ«ra stÄvvadÄ.
Paredzot jautÄjumus: "KÄpÄc gan neizveidot visu sistÄmu uz M.2, un tÄs maksimÄlais piekļuves Ätrums ir lielÄks nekÄ SATA reidam?" - Es atbildÄÅ”u. PirmkÄrt, 1 TB vai vairÄk M2 SSD man ir pÄrÄk dÄrgi. OtrkÄrt, pat pÄc BIOS atjauninÄÅ”anas uz jaunÄko versiju 2.8.1, serveris joprojÄm neatbalsta M.2 NVE ierÄ«Äu ielÄdi. Es veicu eksperimentu, kurÄ sistÄma iestatÄ«ja / boot uz USB FLASH 64 Gb un visu pÄrÄjo uz M.2 SSD, bet man tas nepatika. Lai gan principÄ Å”Äda kombinÄcija ir diezgan funkcionÄla. Ja lielÄs ietilpÄ«bas M.2 NVE kļūs lÄtÄki, iespÄjams, atgriezÄ«Å”os pie Ŕī varianta, bet pagaidÄm SATA RAID kÄ uzglabÄÅ”anas sistÄma man der diezgan labi.
Kad es izlÄmu par diska apakÅ”sistÄmu un nÄca klajÄ ar kombinÄciju 2 x SSD Kingston 240 Gb RAID1 ā/ā + 4 x HDD Seagate 1 Tb RAID5 ā/homeā + M.2 SSD Samsung 960 EVO 250 Gb āswapā, tas ir laiks turpinÄt eksperimentus ar GPU Man jau bija Tesla, un tikko ieradÄs AustrÄlijas dzesÄtÄjs ar āļaunuā gliemezi, kas Äd pat 2.94 A pie 12 V, otro slotu aizÅÄma M.2, bet treÅ”ajam es aizÅÄmos GT 610 āeksperimentiemā.
Å eit fotoattÄlÄ ir savienotas visas 3 ierÄ«ces, un M.2 SSD ir caur elastÄ«gu Thermaltech stÄvvadu videokartÄm, kas darbojas uz 3.0 kopnes bez kļūdÄm. Tas ir Å”Äds, izgatavots no daudzÄm atseviŔķÄm "lentÄm", kas ir lÄ«dzÄ«gas tÄm, no kurÄm tiek izgatavoti SATA kabeļi. PCI-E 16x stÄvvadi, kas izgatavoti no monolÄ«ta plakana kabeļa, lÄ«dzÄ«gi kÄ vecie IDE-SCSI, ir katastrofa, tie cietÄ«s no kļūdÄm savstarpÄju traucÄjumu dÄļ. Un kÄ jau teicu, Ä·Ä«nieÅ”i tagad taisa arÄ« stÄvvadus lÄ«dzÄ«gus Thermaltek, bet Ä«sÄkus.
KombinÄcijÄ ar Tesla K20 + GT 610 es izmÄÄ£inÄju daudzas lietas, tajÄ paÅ”Ä laikÄ es atklÄju, ka, pievienojot ÄrÄjo video karti un pÄrslÄdzot uz to izeju BIOS, vKVM nedarbojas, kas Ä«sti nedarbojÄs. mani apbÄdinÄja. JebkurÄ gadÄ«jumÄ es neplÄnoju Å”ajÄ sistÄmÄ izmantot ÄrÄjo video, Teslas nav video izvadu, un attÄlais administratora panelis, izmantojot SSH un bez X-owls, darbojas lieliski, ja atceraties, kas ir komandrinda bez GUI. . Bet IPMI + vKVM ievÄrojami vienkÄrÅ”o pÄrvaldÄ«bu, atkÄrtotu instalÄÅ”anu un citas problÄmas ar attÄlo serveri.
KopumÄ Å”Ä«s plates IPMI ir lieliska. AtseviŔķs 100 Mbit ports, iespÄja pÄrkonfigurÄt pakeÅ”u ievadi vienÄ no 10 Gbit portiem, iebÅ«vÄts Web serveris jaudas pÄrvaldÄ«bai un serveru kontrolei, vKVM Java klienta lejupielÄde tieÅ”i no tÄ un klients disku attÄlinÄtai montÄžai. vai attÄli pÄrinstalÄÅ”anai... VienÄ«gais, ka klienti ir tÄdi paÅ”i kÄ vecajam Java Oracle, kas Linux vairs netiek atbalstÄ«ts un attÄlajam admin panelim man bija jÄdabÅ« portatÄ«vais dators ar Win XP SP3 ar Å”o ļoti senais krupis. Labi, klients ir lÄns, pietiek ar admin paneli un visu to, bet jÅ«s nevarat spÄlÄt spÄles attÄlinÄti, FPS ir mazs. Un ASPEED video, kas ir integrÄts ar IPMI, ir vÄjÅ”, tikai VGA.
StrÄdÄjot ar serveri, es daudz iemÄcÄ«jos un daudz iemÄcÄ«jos profesionÄlÄs serveru aparatÅ«ras jomÄ no Dell. Par ko es nemaz nenožÄloju, kÄ arÄ« labi iztÄrÄto laiku un naudu. IzglÄ«tojoÅ”ais stÄsts par reÄlu rÄmja salikÅ”anu ar visÄm servera sastÄvdaļÄm tiks turpinÄts vÄlÄk.
Saite uz 3. daļu:
Avots: www.habr.com