Dober dan, dragi prebivalci Khabrovska!
Rad bi nadaljeval svojo zgodbo o sestavljanju "vaškega superračunalnika". In razložil bom, zakaj se tako imenuje - razlog je preprost. Sam živim na vasi. In ime je rahlo trolanje tistih, ki na internetu kričijo: "Onkraj moskovske obvoznice ni življenja!", "Ruska vas je postala pijanec in izumira!" Torej, nekje je to morda res, vendar bom jaz izjema od pravila. Ne pijem, ne kadim, počnem stvari, ki si jih ne more privoščiti vsak "urbani kreker(ji)". A vrnimo se k našim ovčicam, natančneje k strežniku, ki je ob koncu prvega dela članka že »kazal znake življenja«.
Plošča je ležala na mizi, pobrskal sem po BIOS-u, ga nastavil po svojih željah, zaradi enostavnosti odrinil Ubuntu 16.04 Desktop in se odločil, da na »super stroj« priključim video kartico. Pri roki pa je bil le GTS 250 s priloženim zajetnim neoriginalnim ventilatorjem. Ki sem ga namestil v režo PCI-E 16x blizu gumba za vklop.
"Snemal sem s paketom Belomorja (c)", tako da mi prosim ne zamerite kakovosti fotografije. Raje komentiram, kaj je ujeto na njih.
Prvič, izkazalo se je, da pri vgradnji v režo tudi kratka grafična kartica nasloni ploščo na pomnilniške reže, v katere pa je v tem primeru ni mogoče namestiti in je treba celo zapahe spustiti. Drugič, železni pritrdilni trak video kartice pokriva gumb za vklop, zato ga je bilo treba odstraniti. Mimogrede, sam gumb za vklop je osvetljen z dvobarvno LED, ki sveti zeleno, ko je vse v redu in utripa oranžno, če pride do težav, kratkega stika in se je sprožila zaščita napajalnika ali napajanje +12VSB ponudba je previsoka ali prenizka.
Pravzaprav ta matična plošča ni zasnovana za vključitev video kartic "neposredno" v svoje reže PCI-E 16x; vse so povezane z dvižnimi priključki. Za namestitev razširitvene kartice v reže blizu gumba za vklop so na voljo kotni dvižniki, nizki za namestitev kratkih kartic do dolžine prvega procesorskega radiatorja in visoki kotni z dodatnim napajalnim konektorjem +12 V za namestitev video kartica "nad" standardnim nizkim 1U hladilnikom. Vključuje lahko velike video kartice, kot so GTX 780, GTX 980, GTX 1080 ali specializirane kartice GPGPU Nvidia Tesla K10-K20-K40 ali "računalniške kartice" Intel Xeon Phi 5110p in podobno.
Toda v dvižnem priključku GPGPU je mogoče kartico, ki je vključena v režo EdgeSlot, priključiti neposredno, le tako, da znova priključite dodatno napajanje z istim konektorjem kot na dvižnem priključku v visokem kotu. Za tiste, ki jih zanima, na eBayu se ta prilagodljivi riser imenuje "Dell PowerEdge C8220X PCI-E GPGPU DJC89" in stane približno 2.5-3 tisoč rubljev. Kotni dvižniki z dodatnim napajanjem so veliko redkejši in sem se moral pogajati, da sem jih dobil v specializirani trgovini s strežniškimi deli preko Whisperja. Stanejo 7 tisoč na kos.
Takoj bom rekel, "tvegani fantje (tm)" lahko celo povežejo par GTX 980 na ploščo s kitajskimi fleksibilnimi dvižnimi 16x, kot je to storila ena oseba na "Ta istem forumu"; mimogrede, Kitajci naredijo precej dobre obrti, ki delajo na PCI-E 16x 2.0 v stilu Thermaltekovih upogljivih dvižnikov, ampak če ti nekega dne zaradi tega pregorijo napajalni tokokrogi na strežniški plošči, si boš kriv samo sam. Nisem tvegal z drago opremo in sem uporabil original riserje z dodatnim napajanjem in enega kitajskega fleksibilnega, saj sem računal, da priklop ene kartice "direktno" ne bo zažgal plošče.
Potem so prišli težko pričakovani konektorji za priključitev dodatnega napajanja in v EdgeSlot sem naredil rep za moj riser. In isti konektor, vendar z drugačnim pinoutom, se uporablja za dodatno napajanje matične plošče. Ta konektor je tik ob istem konektorju EdgeSlot, tam je zanimiva razporeditev zatičev. Če ima dvižni vod 2 žici +12 in 2 skupni, potem ima plošča 3 žice +12 in 1 skupno.
To je pravzaprav isti GTS 250, vključen v dvižni vod GPGPU. Mimogrede, dodatno napajanje se napaja na dvižnih vodilih in matični plošči - iz drugega napajalnega konektorja +12 V CPU mojega napajalnika. Odločil sem se, da bi bilo to bolj pravilno.
Pravljica se hitro pripoveduje, počasi pa paketi prihajajo v Rusijo iz Kitajske in drugod po svetu. Zato so bile pri sestavljanju "superračunalnika" velike vrzeli. A končno je do mene prišel strežnik Nvidia Tesla K20M s pasivnim radiatorjem. Poleg tega je absolutno nič, iz skladišča, zaprt v originalni škatli, v originalni embalaži, z garancijskimi listi. In začelo se je trpljenje: kako ga ohladiti?
Najprej je bil iz Anglije kupljen custom hladilnik z dvema malima “turbinama”, tukaj je na sliki, z doma narejenim difuzorjem iz kartona.
In izkazali so se za popolno sranje. Povzročali so veliko hrupa, nosilec se sploh ni prilegal, pihali so šibko in tako vibrirali, da sem se bal, da bodo komponente padle s Teslove plošče! Zakaj so jih skoraj takoj vrgli v smeti?
Mimogrede, na fotografiji pod Teslo lahko vidite bakrene radiatorje za strežnike LGA 2011 1U, nameščene na procesorjih s polžem iz Coolerserverja, kupljenega pri Aliexpressu. Zelo spodobni hladilniki, čeprav malo hrupni. Odlično se prilegajo.
Ampak pravzaprav, medtem ko sem čakal na nov hladilnik za Teslo, tokrat sem naročil velikega polža BFB1012EN iz Avstralije s 3D natisnjenim nosilcem, je prišel do strežniškega sistema za shranjevanje. Strežniška plošča ima mini-SAS konektor preko katerega so izhodni 4 SATA in še 2 SATA konektorja. Vse SATA standard 2.0 ampak to mi ustreza.
Intel C602 RAID, integriran v nabor čipov, ni slab in glavno je, da preskoči ukaz TRIM za SSD, česar številni poceni zunanji krmilniki RAID ne počnejo.
Na eBayu sem kupil meter dolg kabel mini-SAS na 4 SATA, na Avitu pa sem kupil voziček za menjavo med delovanjem z 5,25″ ležiščem za 4 x 2,5″ SAS-SATA. Torej, ko je prišel kabel in košarica, je bil vanj nameščen 4 terabajtni Seagate, v BIOS vgrajen RAID5 za 4 naprave, začel sem nameščati strežnik Ubuntu ... in naletel na to, da mi program za particioniranje diska ne dovoli. da ustvarite izmenjalno particijo na napadu.
Težavo sem rešil neposredno - kupil sem adapter ASUS HYPER M.2 x 2 MINI in M.4 SSD Samsung 2 EVO 960 Gb pri DNS in se odločil, da je treba za zamenjavo dodeliti napravo z največjo hitrostjo, saj bo sistem deloval z visoko računalniško obremenitvijo, pomnilnik pa je še vedno očitno manjši od velikosti podatkov. In pomnilnik 250 GB je bil dražji od tega SSD.
Ta isti adapter s SSD-jem, nameščenim v nizkem vogalu.
Predvidevanje vprašanj - "Zakaj ne bi naredili celotnega sistema na M.2 in imeli največjo hitrost dostopa večjo od raid na SATA?" - bom odgovoril. Prvič, 1 TB ali več M2 SSD-ji so zame predragi. Drugič, tudi po posodobitvi BIOS-a na najnovejšo različico 2.8.1 strežnik še vedno ne podpira nalaganja naprav M.2 NVE. Naredil sem eksperiment, kjer je sistem nastavil /boot na USB FLASH 64 Gb in vse ostalo na M.2 SSD, vendar mi ni bil všeč. Čeprav je načeloma takšna kombinacija precej izvedljiva. Če bodo zmogljivi M.2 NVE cenejši, se bom morda vrnil k tej možnosti, vendar mi zaenkrat SATA RAID kot sistem za shranjevanje kar ustreza.
Ko sem se odločil za diskovni podsistem in prišel do kombinacije 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” je čas je, da nadaljujem svoje eksperimente z GPU Imel sem že Teslo in pravkar je prišel avstralski hladilnik z "zlobnim" polžem, ki požre kar 2.94A pri 12V, drugo režo je zasedel M.2, za tretjo pa sem si sposodil GT 610 "za eksperimente".
Tukaj na sliki so povezane vse 3 naprave, M.2 SSD pa preko upogljivega Thermaltech riserja za video kartice, ki brez napak deluje na vodilu 3.0. Tako je, narejeno iz številnih posameznih "trakov", podobnih tistim, iz katerih so izdelani kabli SATA. PCI-E 16x riseri narejeni iz monolitnega ploščatega kabla, nekako kot stari IDE-SCSI, so katastrofa, zaradi medsebojnih motenj bodo trpeli napake. In kot sem že rekel, tudi Kitajci sedaj izdelujejo dvižne cevi, podobne Thermaltekovim, le krajše.
V kombinaciji s Teslo K20 + GT 610 sem poskusil veliko stvari, hkrati pa sem ugotovil, da pri priključitvi zunanje video kartice in preklopu izhoda nanjo v BIOS-u vKVM ne deluje, kar v resnici ni bilo vznemirja me. Sicer pa na tem sistemu nisem nameraval uporabljati zunanjega videa, na Teslah ni video izhodov, oddaljena skrbniška plošča preko SSH in brez X-owl pa deluje odlično, ko se malo spomniš, kaj je ukazna vrstica brez GUI-ja. . Toda IPMI + vKVM močno poenostavi upravljanje, ponovno namestitev in druge težave z oddaljenim strežnikom.
Na splošno je IPMI te plošče odličen. Ločena 100 Mbitna vrata, možnost ponovne konfiguracije vbrizgavanja paketov v enega od 10 Gbitnih vrat, vgrajen spletni strežnik za upravljanje porabe energije in nadzor nad strežniki, nalaganje odjemalca vKVM Java neposredno iz njega in odjemalca za oddaljeno namestitev diskov ali slike za ponovno namestitev... Edino, da so odjemalci isti kot stari Java Oracle, ki ni več podprt v Linuxu in za oddaljeno skrbniško ploščo sem moral dobiti prenosnik z Win XP SP3 s tem prav starodavna krastača. No, odjemalec je počasen, dovolj je za skrbniško ploščo in vse to, vendar iger ne morete igrati na daljavo, FPS je majhen. In ASPEED video, ki je integriran z IPMI, je šibak, samo VGA.
V procesu ukvarjanja s strežnikom sem se veliko naučil in naučil na področju profesionalne strežniške strojne opreme podjetja Dell. Za kar mi ni žal, kot tudi za dobro porabljen čas in denar. Poučno zgodbo o dejanskem sestavljanju okvirja z vsemi strežniškimi komponentami bomo nadaljevali kasneje.
Povezava do 3. dela:
Vir: www.habr.com