Bonan tagon, karaj Ĥabrovskanoj!
Mi ŝatus daŭrigi mian rakonton pri muntado de "vilaĝa superkomputilo". Kaj mi klarigos kial ĝi nomiĝas tiel—la kialo estas simpla. Mi mem loĝas en vilaĝo. Kaj la nomo estas eta trolado de tiuj, kiuj krias en la interreto "Ne ekzistas vivo preter la Moskva Ringa Vojo!", "La rusa vilaĝo fariĝis ebriulo kaj formortas!" Do, ie ĉi tio povas esti vera, sed mi estos la escepto al la regulo. Mi ne trinkas, mi ne fumas, mi faras aferojn, kiujn ne ĉiu "urba biskvito(j)" povas pagi. Sed ni revenu al niaj ŝafoj, aŭ pli precize, al la servilo, kiu fine de la unua parto de la artikolo jam "montris signojn de vivo".
La tabulo kuŝis sur la tablo, mi grimpis tra la BIOS, agordante ĝin laŭ mia plaĉo, forĵetis Ubuntu 16.04 Desktop por simpleco kaj decidis konekti videokarton al la "supermaŝino". Sed la nura aĵo ĉemane estis GTS 250 kun forta ne-originala ventumilo alkroĉita. Kiun mi instalis en la fendo PCI-E 16x proksime de la butono de potenco.
"Mi prenis ĝin kun pako da Belomor (c)" do bonvolu ne kulpigi min pri la kvalito de la foto. Mi preferus komenti pri tio, kio estas kaptita sur ili.
Unue, montriĝis, ke instalite en fendo, eĉ mallonga vidkarto apogas la tabulon kontraŭ la memorfendoj, en kiuj ĉi-kaze ĝi ne povas esti instalita kaj eĉ la klinkoj devas esti malaltigitaj. Due, la fera munta strio de la vidkarto kovras la ŝaltan butonon, do ĝi devis esti forigita. Cetere, la butono de ŝaltilo mem estas lumigita de dukolora LED, kiu lumiĝas verda kiam ĉio estas en ordo kaj palpebrumas oranĝe se estas problemoj, fuŝkontakto kaj la protekto de nutrado estas stumblita aŭ la +12VSB-potenco. provizo estas tro alta aŭ tro malalta.
Fakte, ĉi tiu baztabulo ne estas desegnita por inkluzivi vidkartojn "rekte" en siaj PCI-E 16x-fendoj; ili ĉiuj estas konektitaj al kreskaĵoj. Por instali vastigkarton en la fendoj proksime de la elektra butono, estas anguloj, malalta por instali mallongajn kartojn ĝis la longo de la unua procesora radiatoro, kaj alta angulo kun plia +12V elektra konektilo por instali. vidkarto "super" norma malalta 1U malvarmigilo. Ĝi povas inkluzivi grandajn videokartojn kiel GTX 780, GTX 980, GTX 1080 aŭ specialigitajn GPGPU-kartojn Nvidia Tesla K10-K20-K40 aŭ "komputikaj kartoj" Intel Xeon Phi 5110p kaj similaj.
Sed en la GPGPU-levilo, la karto inkluzivita en la EdgeSlot povas esti konektita rekte, nur denove konektante plian potencon per la sama konektilo kiel sur la alta angulo. Por tiuj, kiuj interesiĝas, ĉe eBay ĉi tiu fleksebla kreskaĵo nomiĝas "Dell PowerEdge C8220X PCI-E GPGPU DJC89" kaj kostas ĉirkaŭ 2.5-3 mil rublojn. Angulaj liftoj kun plia nutrado estas multe pli maloftaj kaj mi devis negoci por akiri ilin de specialigita servila butiko per Whisper. Ili kostas po 7 mil.
Mi tuj diros, "riskaj uloj (tm)" eĉ povas ligi paron da GTX 980 al la tabulo per ĉinaj flekseblaj leviloj 16x, kiel unu persono faris en "Tiu Sama Forumo"; cetere, la ĉinoj faras sufiĉe. bonaj metioj, kiuj funkcias sur PCI-E 16x 2.0 en la stilo de Thermaltek flekseblaj leviloj, sed se ĉi tiu unu tagon kaŭzos vin forbruligi la potencajn cirkvitojn sur la servila tabulo, vi nur havos vin kulpigi. Mi ne riskis multekostan ekipaĵon kaj uzis originalajn levilojn kun plia potenco kaj unu ĉinan flekseblan, supozante, ke konekti unu karton "rekte" ne bruligos la tabulon.
Tiam alvenis la longe atenditaj konektiloj por konekti aldonan potencon kaj mi faris voston por mia levilo en EdgeSlot. Kaj la sama konektilo, sed kun malsama pinout, estas uzata por provizi plian potencon al la baztabulo. Ĉi tiu konektilo estas tuj apud ĉi tiu sama EdgeSlot-konektilo, tie estas interesa pinglo. Se la kreskaĵo havas 2 dratojn +12 kaj 2 komunajn, tiam la tabulo havas 3 dratojn +12 kaj 1 komunan.
Ĉi tio fakte estas la sama GTS 250 inkluzivita en la GPGPU-altigilo. Cetere, plia potenco estas liverita al la kreskaĵoj kaj la baztabulo - de la dua +12V elektra konektilo de la CPU de mia elektroprovizo. Mi decidis, ke estus pli ĝuste fari ĉi tion.
La fabelo rakontas sin rapide, sed malrapide la pakaĵoj alvenas al Rusio el Ĉinio kaj aliaj lokoj ĉirkaŭ la terglobo. Tial, estis grandaj breĉoj en la kunigo de la "superkomputilo". Sed finfine alvenis al mi la servilo Nvidia Tesla K20M kun pasiva radiatoro. Plie, ĝi estas absolute nula, de stokado, sigelita en sia originala skatolo, en sia originala pako, kun garantiaj paperoj. Kaj komenciĝis la sufero: kiel malvarmigi ĝin?
Unue, kutima malvarmigilo kun du malgrandaj "turbinoj" estis aĉetita el Anglio, jen ĝi estas en la foto, kun memfarita kartona difuzilo.
Kaj ili montriĝis tute aĉaj. Ili faris multe da bruo, la monto tute ne konvenis, ili blovis malforte kaj donis tian vibradon, ke mi timis, ke la komponantoj falos de la Tesla tabulo! Kial ili preskaŭ tuj estis ĵetitaj en la rubon?
Cetere, en la foto sub Tesla vi povas vidi LGA 2011 1U-servilo-kuprajn radiatorojn instalitajn sur la procesoroj kun heliko de Coolerserver aĉetita de Aliexpress. Tre decaj malvarmigiloj, kvankam iom bruaj. Ili konvenas perfekte.
Sed fakte, dum mi atendis novan malvarmigilon por Tesla, ĉi-foje mendinte grandan BFB1012EN-limakon el Aŭstralio kun 3D presita monto, ĝi venis al la servila stokado. La servila tabulo havas mini-SAS-konektilon per kiu 4 SATA kaj 2 pliaj SATA-konektiloj estas eligitaj. Ĉiuj SATA normo 2.0 sed tio konvenas al mi.
La intel C602 RAID integrita en la pecetaro ne estas malbona kaj la ĉefa afero estas, ke ĝi preterlasas la TRIM-komandon por SSD-oj, kion multaj malmultekostaj eksteraj RAID-regiloj ne faras.
Ĉe eBay mi aĉetis metro-longan mini-SAS al 4 SATA-kablon, kaj ĉe Avito mi aĉetis varm-interŝanĝan ĉaron kun 5,25″ golfeto por 4 x 2,5″ SAS-SATA. Do kiam alvenis la kablo kaj la korbo, en ĝi estis instalitaj 4 terabajtaj Seagates, RAID5 por 4 aparatoj estis konstruita en la BIOS, mi komencis instali la servilon Ubuntu... kaj renkontis la fakton, ke la diskpartiga programo ne permesis al mi. krei interŝanĝan sekcion sur la atako.
Mi solvis la problemon rekte - mi aĉetis adaptilon ASUS HYPER M.2 x 2 MINI kaj M.4 SSD Samsung 2 EVO 960 Gb de DNS kaj decidis, ke la maksimumrapida aparato estu asignita por interŝanĝo, ĉar la sistemo funkcios. kun alta komputila ŝarĝo, kaj la memoro ankoraŭ estas evidente malpli ol la datengrandeco. Kaj la 250 GB-memoro estis pli multekosta ol ĉi tiu SSD.
Ĉi tiu sama adaptilo kun SSD instalita en malalta angula altigilo.
Anticipante la demandojn - "Kial ne fari la tutan sistemon sur M.2 kaj havi maksimuman alirrapidecon pli alta ol tiu de atako sur SATA?" - Mi respondos. Unue, 1 TB aŭ pli da M2-SSD-oj estas tro multekostaj por mi. Due, eĉ post ĝisdatigi la BIOS al la plej nova versio 2.8.1, la servilo ankoraŭ ne subtenas ŝarĝi M.2 NVE-aparatojn. Mi faris eksperimenton kie la sistemo starigis /boot al USB FLASH 64 Gb kaj ĉion alian al M.2 SSD, sed mi ne ŝatis ĝin. Kvankam, principe, tia kombinaĵo estas sufiĉe realigebla. Se alt-kapacaj M.2 NVE-oj iĝos pli malmultekostaj, mi eble revenos al ĉi tiu opcio, sed nuntempe SATA RAID kiel konserva sistemo sufiĉe bone konvenas al mi.
Kiam mi decidis pri la disksubsistemo kaj elpensis kombinaĵon de 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “interŝanĝo” ĝi estas tempo daŭrigi miajn eksperimentojn kun GPU Mi jam havis Teslon kaj aŭstralian malvarmigilon ĵus alvenis kun "malbona" heliko, kiu manĝas tiom multe kiom 2.94A ĉe 12V, la dua fendo estis okupita de M.2 kaj por la tria mi pruntis GT 610 "por eksperimentoj."
Ĉi tie en la foto ĉiuj 3 aparatoj estas konektitaj, kaj la M.2 SSD estas per fleksebla Thermaltech-elevaro por vidkartoj, kiu funkcias sur la 3.0-buso sen eraroj. Ĝi estas tiel, farita el multaj individuaj "rubandoj" similaj al tiuj, el kiuj SATA-kabloj estas faritaj. PCI-E 16x leviloj faritaj el monolita plata kablo, kvazaŭ la malnovaj IDE-SCSI, estas katastrofo, ili suferos erarojn pro reciproka interfero. Kaj kiel mi jam diris, la ĉinoj nun ankaŭ faras levilojn similajn al tiuj de Thermaltek, sed pli mallongajn.
En kombinaĵo kun la Tesla K20 + GT 610, mi provis multajn aferojn, samtempe mi eksciis, ke kiam vi konektas eksteran vidkarton kaj ŝanĝas la eliron al ĝi en la BIOS, vKVM ne funkcias, kio ne vere funkciis. ĉagrenis min. Ĉiukaze, mi ne planis uzi eksteran videon en ĉi tiu sistemo, ne estas videoproduktaĵoj en Teslaso, kaj la fora administra panelo per SSH kaj sen X-strigoj funkcias bonege kiam vi memoras iomete, kio estas komandlinio sen GUI. . Sed IPMI + vKVM multe simpligas administradon, reinstaladon kaj aliajn problemojn kun fora servilo.
Ĝenerale, la IPMI de ĉi tiu tabulo estas bonega. Aparta 100 Mbit-haveno, la kapablo reagordi pakaĵinjekton al unu el la 10 Gbit-havenoj, enkonstruita TTT-servilo por potenca administrado kaj kontrolo de serviloj, elŝutante vKVM Java klienton rekte de ĝi kaj kliento por fora muntado de diskoj. aŭ bildoj por reinstalo... La sola afero estas, ke la klientoj estas samaj kiel la malnova Java Oracle, kiu ne plu estas subtenata en Linukso kaj por la fora administra panelo mi devis akiri tekkomputilon kun Win XP SP3 kun ĉi tiu tre. antikva Bufo. Nu, la kliento estas malrapida, sufiĉas por la administra panelo kaj ĉio tio, sed vi ne povas ludi ludojn malproksime, la FPS estas malgranda. Kaj la video ASPEED, kiu estas integrita kun IPMI, estas malforta, nur VGA.
En la procezo de traktado de la servilo, mi lernis multon kaj lernis multon en la kampo de profesia servila aparataro de Dell. Kion mi tute ne bedaŭras, same kiel la tempon kaj monon bone elspezitaj. La eduka rakonto pri efektive muntado de la kadro kun ĉiuj servilaj komponantoj daŭros poste.
Ligo al parto 3:
fonto: www.habr.com