Laba diena, mieli chabrovskiečiai!
Norėčiau tęsti savo pasakojimą apie „kaimo superkompiuterio“ surinkimą. Ir aš paaiškinsiu, kodėl jis taip vadinamas – priežastis paprasta. Pats gyvenu kaime. O pavadinimas – lengvas troliavimas tų, kurie internete šaukia „Anapus Maskvos žiedinio kelio nėra gyvenimo!“, „Rusijos kaimas tapo girtuokliu ir išmiršta! Taigi, kai kur tai gali būti tiesa, bet aš būsiu taisyklės išimtis. Aš negeriu, nerūkau, darau tai, ko ne kiekvienas „miesto krekeris“ gali sau leisti. Bet grįžkime prie savo avelių, tiksliau, prie serverio, kuris pirmos straipsnio dalies pabaigoje jau „rodė gyvybės ženklus“.
Lenta gulėjo ant stalo, aš perlipau per BIOS, nustatydamas jį pagal savo skonį, paprastumo dėlei ištraukiau Ubuntu 16.04 Desktop ir nusprendžiau prijungti vaizdo plokštę prie „super mašinos“. Tačiau vienintelis dalykas, kurį turėjote, buvo GTS 250 su dideliu neoriginaliu ventiliatoriumi. Kurį įdėjau į PCI-E 16x lizdą šalia maitinimo mygtuko.
„Paėmiau jį su pakuote Belomor (c)“, todėl prašau nekaltinti manęs dėl nuotraukos kokybės. Verčiau pakomentuosiu, kas ant jų užfiksuota.
Pirma, paaiškėjo, kad įdėjus į lizdą, net trumpa vaizdo plokštė plokštę atremia į atminties lizdus, tokiu atveju jos negalima sumontuoti ir net skląsčius reikia nuleisti. Antra, geležinė vaizdo plokštės tvirtinimo juostelė uždengia maitinimo mygtuką, todėl ją teko nuimti. Beje, patį maitinimo mygtuką apšviečia dviejų spalvų šviesos diodas, kuris šviečia žaliai, kai viskas tvarkoje ir mirksi oranžine spalva, jei yra kokių nors problemų, trumpas jungimas ir suveikė maitinimo apsauga arba +12VSB maitinimas pasiūla per didelė arba per maža.
Tiesą sakant, ši pagrindinė plokštė nėra skirta „tiesiogiai“ įtraukti vaizdo plokštes į PCI-E 16x lizdus; visos jos yra prijungtos prie stovų. Prie maitinimo mygtuko esančiuose lizduose montuoti išplėtimo plokštę yra kampiniai stovai, žemas trumpoms kortelėms montuoti iki pirmojo procesoriaus radiatoriaus ilgio ir aukštas kampinis su papildoma +12V maitinimo jungtimi, skirta montuoti vaizdo plokštė "virš" standartinio žemo 1U aušintuvo. Tai gali apimti dideles vaizdo plokštes, tokias kaip GTX 780, GTX 980, GTX 1080 arba specializuotas GPGPU korteles Nvidia Tesla K10-K20-K40 arba „kompiuterines korteles“ Intel Xeon Phi 5110p ir panašiai.
Bet GPGPU stove į EdgeSlot įeinančią kortelę galima prijungti tiesiogiai, tik vėl prijungus papildomą maitinimą ta pačia jungtimi kaip ir ant aukšto kampo stove. Besidomintiems „eBay“ šis lankstus stovas vadinamas „Dell PowerEdge C8220X PCI-E GPGPU DJC89“ ir kainuoja apie 2.5–3 tūkstančius rublių. Kampiniai stovai su papildomu maitinimo šaltiniu yra daug retesni ir man teko derėtis, kad juos gaučiau iš specializuotos serverių dalių parduotuvės per Whisper. Jie kainavo 7 tūkst.
Iš karto pasakysiu, kad „rizikingi vaikinai (tm)“ gali prijungti net porą GTX 980 prie plokštės su kiniškais lanksčiais 16x stovais, kaip tai padarė vienas žmogus „Tame pačiame forume“; beje, kinai daro gana. geri amatai, kurie veikia su PCI-E 16x 2.0 Thermaltek lanksčiųjų stovų stiliumi, bet jei vieną dieną dėl to sudeginsite serverio plokštės maitinimo grandines, liksite kaltinti tik save. Nerizikavau brangia įranga ir naudojau originalius stovus su papildoma galia ir vieną kinišką lanksčią, supratau, kad prijungus vieną kortelę "tiesiogiai" plokštė nesudegins.
Tada atkeliavo ilgai lauktos jungtys papildomai galiai prijungti ir EdgeSlot savo stovui padariau uodegą. Ir ta pati jungtis, tik su kitokiu kištuku, naudojama papildomai maitinimui į pagrindinę plokštę tiekti. Ši jungtis yra šalia tos pačios EdgeSlot jungties, ten yra įdomus kištukas. Jei stove yra 2 laidai +12 ir 2 bendrieji, tai plokštėje yra 3 laidai +12 ir 1 bendras.
Tai iš tikrųjų yra tas pats GTS 250, įtrauktas į GPGPU stovą. Beje, papildoma maitinimas tiekiamas į stovus ir pagrindinę plokštę - iš antros mano maitinimo šaltinio CPU +12V maitinimo jungties. Nusprendžiau, kad tai būtų teisingiau.
Pasaka pasakojama greitai, bet lėtai į Rusiją atkeliauja siuntiniai iš Kinijos ir kitų pasaulio vietų. Todėl „superkompiuterio“ surinkime buvo didelių spragų. Bet pagaliau pas mane atkeliavo Nvidia Tesla K20M serveris su pasyviu radiatoriumi. Be to, jis yra absoliučiai nulis, iš sandėliavimo, uždarytas originalioje dėžutėje, originalioje pakuotėje, su garantiniais dokumentais. Ir prasidėjo kančios: kaip ją atvėsinti?
Pirmiausia iš Anglijos buvo pirktas nestandartinis aušintuvas su dviem mažomis "turbinomis", čia yra nuotraukoje, su savadarbiu kartoniniu difuzoriumi.
Ir jie pasirodė visiški šūdai. Jie kėlė daug triukšmo, laikiklis visiškai netiko, silpnai pūtė ir davė tokią vibraciją, kad bijojau, kad komponentai nukris nuo Tesla plokštės! Kodėl jie beveik iš karto buvo išmesti į šiukšliadėžę?
Beje, nuotraukoje po Tesla matosi ant procesorių sumontuoti LGA 2011 1U serverio variniai radiatoriai su sraigte iš Coolerserver pirkto iš Aliexpress. Labai padorūs aušintuvai, nors ir šiek tiek triukšmingi. Jie puikiai tinka.
Bet iš tikrųjų, kol laukiau naujo aušintuvo Teslai, šį kartą iš Australijos užsisakęs didelę BFB1012EN sraigę su 3D spausdintu laikikliu, jis atkeliavo į serverio saugojimo sistemą. Serverio plokštėje yra mini-SAS jungtis, per kurią išvedamos 4 SATA ir dar 2 SATA jungtys. Visi SATA standartai 2.0, bet man tinka.
Į mikroschemų rinkinį integruotas intel C602 RAID nėra blogas ir svarbiausia, kad jis praleidžia SSD komandą TRIM, ko daugelis nebrangių išorinių RAID valdiklių nedaro.
„eBay“ nusipirkau metro ilgio mini-SAS į 4 SATA kabelį, o „Avito“ – greitojo keitimo vežimėlį su 5,25 colio skyriumi, skirtą 4 x 2,5 colių SAS-SATA. Taigi kai atvažiavo laidas ir krepšelis, jame buvo įdiegta 4 terabaitų Seagates, BIOS buvo pastatytas RAID5 4 įrenginiams, pradėjau diegti serverį Ubuntu... ir užtikau, kad disko skaidymo programa neleido. reide sukurti apsikeitimo skaidinį.
Problemą išsprendžiau iš karto - iš DNS nusipirkau ASUS HYPER M.2 x 2 MINI ir M.4 SSD Samsung 2 EVO 960 Gb adapterį ir nusprendžiau, kad apsikeitimui reikia skirti maksimalaus greičio įrenginį, nes sistema veiks. su didele skaičiavimo apkrova, o atmintis vis tiek akivaizdžiai mažesnė nei duomenų dydis. O 250 GB atmintis buvo brangesnė nei šis SSD.
Tas pats adapteris su SSD, sumontuotu žemame kampiniame stove.
Numatydami klausimus: „Kodėl nepadarius visos sistemos M.2 ir neturint maksimalaus prieigos greičio, nei naudojant SATA reidą? - atsakysiu. Pirma, 1 TB ar daugiau M2 SSD man yra per brangūs. Antra, net atnaujinus BIOS į naujausią 2.8.1 versiją, serveris vis tiek nepalaiko M.2 NVE įrenginių įkėlimo. Atlikau eksperimentą, kai sistema nustatė /boot į USB FLASH 64 Gb, o visa kita - į M.2 SSD, bet man nepatiko. Nors iš principo toks derinys yra gana veiksmingas. Jei didelės talpos M.2 NVE atpigs, gal grįšiu prie šio varianto, bet kol kas SATA RAID kaip saugojimo sistema man visai tinka.
Kai apsisprendžiau dėl disko posistemio ir sugalvojau 2 x SSD Kingston 240 Gb RAID1 „/“ + 4 x HDD Seagate 1 Tb RAID5 „/home“ + M.2 SSD Samsung 960 EVO 250 Gb „swap“ derinį, tai buvo laikas tęsti eksperimentus su GPU Jau turėjau Teslą, o ką tik atkeliavo australiškas aušintuvas su „pikta“ sraigė, kuri valgo net 2.94A prie 12V, antrą lizdą užėmė M.2, o trečiam pasiskolinau „eksperimentams“ GT 610.
Čia nuotraukoje sujungti visi 3 įrenginiai, o M.2 SSD yra per lankstų Thermaltech stovą vaizdo plokštėms, kuris veikia 3.0 magistrale be klaidų. Jis yra toks, pagamintas iš daugybės atskirų „juostelių“, panašių į tas, iš kurių gaminami SATA kabeliai. PCI-E 16x stovai, pagaminti iš monolitinio plokščio kabelio, panašūs į senus IDE-SCSI, yra katastrofa, jie patirs klaidų dėl abipusių trukdžių. Ir kaip jau sakiau, dabar kinai taip pat gamina stovus, panašius į Thermaltek, tik trumpesnius.
Kartu su Tesla K20 + GT 610 išbandžiau daugybę dalykų, tuo pačiu sužinojau, kad prijungus išorinę vaizdo plokštę ir perjungiant į ją išvestį BIOS, vKVM neveikia, o tai tikrai neveikė. nuliūdinai mane. Šiaip neplanavau šioje sistemoje naudoti išorinio vaizdo, Teslas neturi vaizdo išėjimų, o nuotolinis administratoriaus skydelis per SSH ir be X-owls veikia puikiai, kai tik šiek tiek prisimeni, kas yra komandų eilutė be GUI. . Tačiau IPMI + vKVM labai supaprastina valdymą, diegimą iš naujo ir kitas nuotolinio serverio problemas.
Apskritai šios plokštės IPMI yra puikus. Atskiras 100 Mbit prievadas, galimybė perkonfigūruoti paketų įpurškimą į vieną iš 10 Gbit prievadų, įmontuotas žiniatinklio serveris, skirtas serverių energijos valdymui ir valdymui, vKVM Java kliento atsisiuntimas tiesiai iš jo ir klientas, skirtas nuotoliniam diskų montavimui. arba vaizdelius instaliuoti iš naujo... Tik tiek, kad klientai yra tokie patys kaip senojo Java Oracle, kurio Linux nebepalaiko ir nuotoliniam administratoriaus skydeliui teko gauti nešiojamąjį kompiuterį su Win XP SP3 su šiuo labai senovės Rupūžė. Na, klientas lėtas, užtenka admin panelės ir viso kito, bet nuotoliniu būdu žaisti negalima, FPS mažas. O ASPEED vaizdo įrašas, kuris yra integruotas su IPMI, yra silpnas, tik VGA.
Dirbdamas su serveriu iš „Dell“ daug išmokau ir išmokau profesionalios serverio aparatinės įrangos srityje. Dėl ko visiškai nesigailiu, taip pat dėl gerai išleisto laiko ir pinigų. Mokomoji istorija apie faktinį rėmo su visais serverio komponentais surinkimą bus tęsiama vėliau.
Nuoroda į 3 dalį:
Šaltinis: www.habr.com