Goeie dei, leave ynwenners fan Khabrovsk!
Ik wol myn ferhaal oer it gearstallen fan in "doarpssuperkomputer" trochgean. En ik sil útlizze wêrom't it sa neamd wurdt - de reden is ienfâldich. Ik sels wenje yn in doarp. En de namme is in lichte trolling fan dyjingen dy't op it ynternet roppe "Der is gjin libben bûten de Moskouske Ringwei!", "It Russyske doarp is in dronken wurden en stjert út!" Dat, earne kin dit wier wêze, mar ik sil de útsûndering wêze op 'e regel. Ik drink net, ik smoke net, ik doch dingen dy't net elke "stedske cracker(s)" kin betelje. Mar litte wy weromgean nei ús skiep, of krekter, nei de tsjinner, dy't oan 'e ein fan it earste diel fan it artikel al "tekens fan it libben toande."
It boerd lei op 'e tafel, ik klom troch de BIOS, stelde it nei myn smaak, skuorde Ubuntu 16.04 Desktop út foar ienfâld en besleat om in fideokaart te ferbinen mei de "super masine". Mar it ienige ding by de hân wie in GTS 250 mei in fikse net-orizjinele fan taheakke. Dy't ik ynstallearre yn de PCI-E 16x slot tichtby de macht knop.
"Ik naam it mei in pakje Belomor (c)" dus jou my asjebleaft net de skuld foar de kwaliteit fan 'e foto. Ik leaver kommentaar op wat is fêstlein op harren.
As earste, it die bliken dat by ynstallearre yn in slot, sels in koarte fideo card rêst it bestjoer tsjin de ûnthâld slots, dêr't yn dit gefal kin net ynstallearre en sels de latches moatte wurde ferlege. Twad, de izeren mounting strip fan 'e fideokaart beslacht de macht knop, dus it moast wurde fuortsmiten. Trouwens, de krêftknop sels wurdt ferljochte troch in twa-kleuren LED, dy't grien opljochtet as alles yn oarder is en oranje knippert as der problemen binne, in koartsluting en de beskerming fan 'e stroomfoarsjenning is útskeakele of de +12VSB-krêft oanbod is te heech of te leech.
Yn feite is dit moederbord net ûntworpen om fideokaarten "direkt" op te nimmen yn har PCI-E 16x-slots; se binne allegear ferbûn mei risers. Om in útwreidingskaart te ynstallearjen yn 'e slots yn' e buert fan 'e krêftknop, binne d'r hoekstierers, in lege foar it ynstallearjen fan koarte kaarten oant de lingte fan' e earste prosessorradiator, en in hege hoeke mei in ekstra +12V power connector foar it ynstallearjen fan in video card "boppe" in standert lege 1U cooler. It kin befetsje grutte fideo kaarten lykas GTX 780, GTX 980, GTX 1080 of spesjalisearre GPGPU kaarten Nvidia Tesla K10-K20-K40 of "kompjûterkaarten" Intel Xeon Phi 5110p en sa.
Mar yn 'e GPGPU-riser kin de kaart opnommen yn' e EdgeSlot direkt wurde ferbûn, allinich troch opnij oanfoljende krêft te ferbinen mei deselde ferbining as op 'e hege hoekstier. Foar belangstellenden, op eBay wurdt dizze fleksibele riser neamd "Dell PowerEdge C8220X PCI-E GPGPU DJC89" en kostet sa'n 2.5-3 tûzen roebel. Corner risers mei ekstra Netzteil binne folle seldsumer en ik moast ûnderhannelje te krijen se út in spesjalisearre tsjinner dielen winkel fia Whisper. Se kostje 7 tûzen it stik.
Ik sil daliks sizze, "risikofolle jonges (tm)" kinne sels in pear GTX 980 ferbine mei it boerd mei Sineeske fleksibele risers 16x, lykas ien persoan die op "Dat Selde Forum"; trouwens, de Sinezen meitsje frijwat goede ambachten dy't wurkje op PCI-E 16x 2.0 yn 'e styl fan Thermaltek fleksibele ones risers, mar as dizze iene dei feroarsaket jo te burn out de macht circuits op de tsjinner board, do silst allinne hawwe dysels te skuld. Ik hie gjin risiko djoere apparatuer en brûkte orizjinele risers mei ekstra macht en ien Sineesk fleksibele, útfine dat it ferbinen ien kaart "direkt" soe net burn it bestjoer.
Doe kamen de langverwachte Anschlüsse foar it ferbinen fan ekstra macht en ik makke in sturt foar myn riser yn EdgeSlot. En deselde ferbining, mar mei in oare pinout, wurdt brûkt om ekstra macht oan it moederbord te leverjen. Dizze connector is krekt neist dizze deselde EdgeSlot connector, der is in nijsgjirrige pinout dêr. As de riser hat 2 triedden +12 en 2 mienskiplik, dan hat it bestjoer 3 triedden +12 en 1 mienskiplik.
Dit is eins deselde GTS 250 opnommen yn 'e GPGPU-riser. Trouwens, ekstra krêft wurdt levere oan 'e risers en it moederbord - fan' e twadde +12V power connector fan 'e CPU fan myn stroomfoarsjenning. Ik besleat dat it krekter wêze soe om dit te dwaan.
It mearke fertelt himsels fluch, mar stadichoan komme de pakjes nei Ruslân út Sina en oare plakken om 'e wrâld. Dêrom wiene der grutte gatten yn 'e gearstalling fan' e "superkomputer". Mar úteinlik kaam de Nvidia Tesla K20M-tsjinner mei in passive radiator by my. Boppedat is it absolút nul, fan opslach, fersegele yn syn orizjinele doaze, yn syn orizjinele pakket, mei garânsjepapieren. En it lijen begûn: hoe koelje it?
Earst waard in oanpaste koeler mei twa lytse "turbines" kocht út Ingelân, hjir is it op 'e foto, mei in selsmakke kartonnen diffuser.
En se bliken te wêzen folsleine crap. Se makken in soad lûd, de berch paste hielendal net, se bliezen swak en joegen sa'n trilling dat ik bang wie dat de ûnderdielen fan it Tesla-boerd falle soene! Wêrom waarden se hast fuortendaliks yn it jiskefet smiten?
Trouwens, op 'e foto ûnder Tesla kinne jo LGA 2011 1U-server koperen radiatoren sjen ynstalleare op' e processors mei in slak fan Coolerserver kocht fan Aliexpress. Hiel fatsoenlike koelers, hoewol in bytsje lawaaierich. Se passe perfekt.
Mar eins, wylst ik wachte op in nije koeler foar Tesla, dizze kear in grutte BFB1012EN slak út Austraalje besteld mei in 3D printe mount, kaam it ta de tsjinner opslach systeem. De tsjinner board hat in mini-SAS Anschluss troch hokker 4 SATA en 2 mear SATA Anschlüsse wurde útfier. Alle SATA standert 2.0 mar dat past by my.
De intel C602 RAID yntegreare yn 'e chipset is net min en it wichtichste is dat it it TRIM-kommando foar SSD's oerslaan, wat in protte goedkeap eksterne RAID-controllers net dogge.
Op eBay kocht ik in meterlange mini-SAS nei 4 SATA-kabel, en op Avito kocht ik in hot-swap-karre mei in 5,25 ″ baai foar 4 x 2,5 ″ SAS-SATA. Dus doe't de kabel en de koer oankamen, waarden 4 terabyte Seagates ynstalleare, RAID5 foar 4-apparaten waard yn 'e BIOS boud, ik begon de server Ubuntu te ynstallearjen ... om in ruilferdieling te meitsjen op 'e oerfal.
Ik haw oplost it probleem head-on - ik kocht in ASUS HYPER M.2 x 2 MINI en M.4 SSD Samsung 2 EVO 960 Gb adapter út DNS en besletten dat de maksimale snelheid apparaat moat wurde tawiisd foar swap, sûnt it systeem sil wurkje mei hege computational load, en it ûnthâld is noch fansels minder as de gegevens grutte. En it 250 GB-ûnthâld wie djoerder dan dizze SSD.
Dizze selde adapter mei in SSD ynstalleare yn in lege hoeke riser.
It antisipearjen fan de fragen - "Wêrom net it hiele systeem op M.2 meitsje en in maksimale tagongssnelheid heger hawwe as dy fan in oerfal op SATA?" - Ik sil antwurdzje. As earste binne 1 TB of mear M2 SSD's te djoer foar my. Twads, sels nei it bywurkjen fan it BIOS nei de lêste ferzje 2.8.1, stipet de tsjinner noch gjin laden fan M.2 NVE-apparaten. Ik die in eksperimint dêr't it systeem set / boot nei USB FLASH 64 Gb en al it oare oan M.2 SSD, mar ik net leuk it. Hoewol, yn prinsipe, sa'n kombinaasje is frij wurkber. As hege-kapasiteit M.2 NVEs wurde goedkeaper, Ik kin werom nei dizze opsje, mar foar no SATA RAID as opslach systeem past my hiel goed.
Doe't ik besletten op de skiif subsysteem en kaam mei in kombinaasje fan 2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/ home" + M.2 SSD Samsung 960 EVO 250 Gb "swap" it is tiid om myn eksperiminten mei GPU troch te gean Ik hie al in Tesla en in Australyske koeler kaam krekt oan mei in "kwea" slak dy't safolle yt as 2.94A by 12V, it twadde slot waard beset troch M.2 en foar de tredde liende ik in GT 610 "foar eksperiminten."
Hjir op 'e foto binne alle 3-apparaten ferbûn, en de M.2 SSD is fia in fleksibele Thermaltech-riser foar fideokaarten dy't wurket op' e 3.0-bus sûnder flaters. It is sa, makke fan in protte yndividuele "linten" fergelykber mei dyjingen wêrfan SATA-kabels binne makke. PCI-E 16x risers makke fan in monolithic platte kabel, sa'n bytsje as de âlde IDE-SCSI ones, binne in ramp, se sille lije oan flaters fanwege ûnderlinge ynterferinsje. En sa't ik al sei, de Sinezen meitsje no ek risers lykas dy fan Thermaltek, mar koarter.
Yn kombinaasje mei de Tesla K20 + GT 610 haw ik in protte dingen besocht, tagelyk fûn ik út dat by it ferbinen fan in eksterne fideokaart en de útfier dêrop yn 'e BIOS wikselje, vKVM net wurket, wat net echt die. meitsje my oerstjoer. Hoe dan ek, ik wie net fan plan om eksterne fideo op dit systeem te brûken, d'r binne gjin fideo-útgongen op Teslas, en it adminpaniel op ôfstân fia SSH en sûnder X-owls wurket geweldich as jo in bytsje ûnthâlde wat in kommandorigel sûnder GUI is . Mar IPMI + vKVM simplifies gâns behear, reinstallation en oare problemen mei in remote tsjinner.
Yn 't algemien is de IPMI fan dit boerd geweldich. In aparte 100 Mbit-poarte, de mooglikheid om pakketynjeksje opnij te konfigurearjen nei ien fan 'e 10 Gbit-poarten, in ynboude webserver foar machtbehear en kontrôle fan servers, it downloaden fan in vKVM Java-kliïnt direkt derfan en in kliïnt foar montage op ôfstân fan skiven of ôfbyldings foar werynstallaasje ... It ienige ding is dat de kliïnten itselde binne as de âlde Java Oracle, dy't net mear stipe wurdt yn Linux en foar it remote adminpaniel moast ik in laptop krije mei Win XP SP3 mei dizze tige âlde Toad. No, de kliïnt is stadich, d'r is genôch foar it adminpaniel en dat alles, mar jo kinne gjin spultsjes op ôfstân spylje, de FPS is lyts. En de ASPEED-fideo dy't yntegreare is mei IPMI is swak, allinich VGA.
Yn it proses fan omgean mei de tsjinner, Ik learde in protte en learde in protte op it mêd fan profesjonele tsjinner hardware fan Dell. Dêr't ik hielendal gjin spyt fan haw, lykas de tiid en jild goed bestege. It edukative ferhaal oer it feitlik gearstallen fan it frame mei alle serverkomponinten sil letter trochgean.
Link nei diel 3:
Boarne: www.habr.com