Dobar dan, dragi stanovnici Habrovska!
Želio bih da nastavim svoju priču o sklapanju „seoskog superkompjutera“. I objasniću zašto se tako zove - razlog je jednostavan. Ja lično živim na selu. A ime je lagano trolovanje onih koji na internetu viču "Nema života dalje od moskovskog obilaznice!", "Rusko selo je postalo pijanica i izumire!" Dakle, negde ovo može biti tačno, ali ja ću biti izuzetak od pravila. Ne pijem, ne pušim, radim stvari koje si ne može priuštiti svaki "urbani kreker(i)". No, vratimo se na našu ovcu, tačnije na server koji je na kraju prvog dijela članka već „davao znakove života“.
Ploča je ležala na stolu, popeo sam se kroz BIOS, podesio ga po svom ukusu, spustio Ubuntu 16.04 Desktop radi jednostavnosti i odlučio da povežem video karticu na „super mašinu“. Ali jedino što je pri ruci bio je GTS 250 sa velikim neoriginalnim ventilatorom. Koje sam instalirao u PCI-E 16x slot pored dugmeta za napajanje.
“Uzeo sam ga sa paketom Belomora (c)” pa vas molim da mi ne zamjerate kvalitet fotografije. Radije bih komentirao ono što je snimljeno na njima.
Prvo, pokazalo se da kada se ugradi u slot, čak i kratka video kartica prisloni ploču na memorijske slotove, pri čemu se u ovom slučaju ne može ugraditi, pa čak i kvake moraju biti spuštene. Drugo, gvozdena traka za montažu video kartice prekriva dugme za uključivanje, pa ga je trebalo ukloniti. Inače, sam gumb za napajanje je osvijetljen dvobojnim LED diodom, koji svijetli zeleno kada je sve u redu i treperi narandžasto ako ima problema, kratkog spoja i zaštite napajanja ili napajanja +12VSB ponuda je previsoka ili preniska.
U stvari, ova matična ploča nije dizajnirana da uključi video kartice "direktno" u svoje PCI-E 16x slotove; sve su povezane na uspone. Za ugradnju kartice za proširenje u utore blizu dugmeta za uključivanje, postoje ugaoni usponi, niski za ugradnju kratkih kartica do dužine prvog procesorskog radijatora i visoki ugaoni sa dodatnim +12V konektorom za napajanje za ugradnju video kartica "iznad" standardnog niskog hladnjaka od 1U. Može uključivati velike video kartice poput GTX 780, GTX 980, GTX 1080 ili specijalizirane GPGPU kartice Nvidia Tesla K10-K20-K40 ili "računarske kartice" Intel Xeon Phi 5110p i slično.
Ali u GPGPU usponu, kartica uključena u EdgeSlot može se povezati direktno, samo ponovnim povezivanjem dodatnog napajanja sa istim konektorom kao na visokom uglom usponu. Za zainteresovane, na eBayu se ovaj fleksibilni uspon zove „Dell PowerEdge C8220X PCI-E GPGPU DJC89“ i košta oko 2.5-3 hiljade rubalja. Ugaoni stubovi sa dodatnim napajanjem su mnogo ređi i morao sam da pregovaram da ih nabavim iz specijalizovane prodavnice delova za servere preko Whispera. Koštaju 7 hiljada po komadu.
Odmah ću reći, "rizični momci (tm)" mogu čak i da spoje par GTX 980 na ploču sa kineskim fleksibilnim usponima 16x, kao što je jedna osoba uradila na "Tom istom forumu"; usput, Kinezi prave prilično dobri zanati koji rade na PCI-E 16x 2.0 u stilu Thermaltek flexible ones risera, ali ako ovo jednog dana prouzrokuje da pregorite strujna kola na serverskoj ploci, samo ste sami krivi. Nisam rizikovao skupu opremu i koristio sam originalne risere sa dodatnom snagom i jedan kineski fleksibilni, misleći da povezivanje jedne kartice „direktno“ neće spaliti ploču.
Tada su stigli dugo očekivani konektori za povezivanje dodatnog napajanja i napravio sam rep za svoj riser u EdgeSlotu. I isti konektor, ali sa drugačijim pinoutom, koristi se za dodatno napajanje matične ploče. Ovaj konektor je odmah pored ovog istog EdgeSlot konektora, tamo se nalazi zanimljiv pinout. Ako uspon ima 2 žice +12 i 2 zajedničke, tada ploča ima 3 žice +12 i 1 zajedničku.
Ovo je zapravo isti GTS 250 uključen u GPGPU riser. Usput, dodatno napajanje se dovodi do uspona i matične ploče - iz drugog +12V konektora za napajanje CPU-a mog napajanja. Odlučio sam da bi bilo ispravnije ovo učiniti.
Bajka se priča brzo, ali polako paketi stižu u Rusiju iz Kine i drugih mjesta širom svijeta. Zbog toga su postojale velike praznine u montaži "superkompjutera". Ali konačno mi je stigao Nvidia Tesla K20M server sa pasivnim radijatorom. Štaviše, apsolutno je nula, iz skladištenja, zapečaćena u originalnoj kutiji, u originalnom pakovanju, sa garantnim papirima. I počela je patnja: kako je ohladiti?
Prvo je iz Engleske kupljen prilagođeni hladnjak sa dvije male “turbine”, evo ga na fotografiji, sa difuzorom od kartona domaće izrade.
I ispostavilo se da su potpuno sranje. Napravili su veliku buku, nosač nikako nije stajao, slabo su duvali i davali takve vibracije da sam se bojao da će komponente otpasti sa Tesline ploče! Zašto su skoro odmah bačeni u smeće?
Inače, na fotografiji ispod Tesle možete vidjeti LGA 2011 1U server bakrene radijatore instalirane na procesore sa pužem sa Coolerservera kupljenim sa Aliexpressa. Veoma pristojni hladnjaci, iako malo bučni. Savršeno se uklapaju.
Ali zapravo, dok sam čekao novi hladnjak za Teslu, ovaj put pošto sam naručio velikog puža BFB1012EN iz Australije sa 3D štampanim nosačem, došao je do serverskog sistema za skladištenje podataka. Serverska ploča ima mini-SAS konektor kroz koji izlaze 4 SATA i još 2 SATA konektora. Sve SATA standard 2.0 ali meni to odgovara.
Intel C602 RAID integrisan u čipset nije loš i glavna stvar je da preskače TRIM komandu za SSD, što mnogi jeftini eksterni RAID kontroleri ne rade.
Na eBay-u sam kupio metar dug mini-SAS do 4 SATA kabl, a na Avito-u sam kupio hot-swap kolica sa ležištem od 5,25″ za 4 x 2,5″ SAS-SATA. Dakle, kada je stigao kabl i korpa, u njega je instalirano 4 terabajta Seagate-a, u BIOS ugrađen RAID5 za 4 uređaja, počeo sam da instaliram server Ubuntu... i naleteo sam na to da mi program za particionisanje diska ne dozvoljava da kreirate swap particiju na raid-u.
Rešio sam problem direktno - kupio sam ASUS HYPER M.2 x 2 MINI i M.4 SSD Samsung 2 EVO 960 Gb adapter od DNS-a i odlučio da se uređaj sa maksimalnom brzinom dodeli za zamenu, pošto će sistem raditi uz veliko računarsko opterećenje, a memorija je i dalje očito manja od veličine podataka. A memorija od 250 GB je bila skuplja od ovog SSD-a.
Ovaj isti adapter sa SSD-om instaliranim u niskom uglu.
Predviđajući pitanja - "Zašto ne napraviti cijeli sistem na M.2 i imati maksimalnu brzinu pristupa veću od one za raid na SATA?" - Ja ću odgovoriti. Prvo, 1 TB ili više M2 SSD-ova su preskupi za mene. Drugo, čak i nakon ažuriranja BIOS-a na najnoviju verziju 2.8.1, server i dalje ne podržava učitavanje M.2 NVE uređaja. Napravio sam eksperiment gdje je sistem postavio /boot na USB FLASH 64 Gb, a sve ostalo na M.2 SSD, ali mi se nije svidjelo. Iako je, u principu, takva kombinacija prilično izvodljiva. Ako M.2 NVE velikog kapaciteta pojeftine, možda ću se vratiti ovoj opciji, ali za sada mi SATA RAID kao sistem za skladištenje dosta odgovara.
Kada sam se odlučio za diskovni podsistem i smislio kombinaciju 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” bilo je vrijeme je da nastavim svoje eksperimente sa GPU-om Već sam imao Teslu i upravo je stigao australijski hladnjak sa “zlim” pužem koji jede čak 2.94A na 12V, drugi slot je zauzeo M.2 a za treći sam pozajmio GT 610 “za eksperimente”.
Ovdje na fotografiji su spojena sva 3 uređaja, a M.2 SSD je preko fleksibilnog Thermaltech risera za video kartice koji radi na 3.0 magistrali bez grešaka. Ovako je, napravljen od mnogih pojedinačnih "traka" sličnih onima od kojih se prave SATA kablovi. PCI-E 16x riseri napravljeni od monolitnog ravnog kabla, kao stari IDE-SCSI, su katastrofa, patiti će od grešaka zbog međusobnih smetnji. I kao što sam već rekao, Kinezi sada prave i usponke slične onima od Thermalteka, ali kraće.
U kombinaciji sa Tesla K20 + GT 610, pokušao sam puno stvari, a istovremeno sam otkrio da pri povezivanju eksterne video kartice i prebacivanju izlaza na nju u BIOS-u, vKVM ne radi, što baš i nije uspjelo uznemiri me. U svakom slučaju, nisam planirao da koristim eksterni video na ovom sistemu, na Teslas nema video izlaza, a udaljeni admin panel preko SSH-a i bez X-owl-a radi odlično kada se malo sjetite šta je komandna linija bez GUI-a . Ali IPMI + vKVM uvelike pojednostavljuje upravljanje, ponovnu instalaciju i druge probleme sa udaljenim serverom.
Općenito, IPMI ove ploče je odličan. Odvojeni port od 100 Mbit, mogućnost rekonfiguracije ubacivanja paketa na jedan od 10 Gbit portova, ugrađeni Web server za upravljanje napajanjem i kontrolu servera, preuzimanje vKVM Java klijenta direktno sa njega i klijent za daljinsko montiranje diskova ili slike za reinstalaciju... Jedino sto su klijenti isti kao stari Java Oracle koji vise nije podrzan u Linuxu i za udaljeni admin panel sam morao da nabavim laptop sa Win XP SP3 sa ovim drevna krastača. Pa, klijent je spor, ima dovoljno za admin panel i sve to, ali ne možete igrati igre na daljinu, FPS je mali. A ASPEED video koji je integrisan sa IPMI je slab, samo VGA.
U procesu bavljenja serverom, naučio sam mnogo i naučio mnogo na polju profesionalnog serverskog hardvera od Della. Zbog čega nimalo ne žalim, kao i dobro utrošenog vremena i novca. Poučna priča o stvarnom sklapanju okvira sa svim komponentama servera biće nastavljena kasnije.
Link do 3. dijela:
izvor: www.habr.com