Dobar dan, dragi stanovnici Khabrovsk!
Htio bih nastaviti svoju priču o sastavljanju "seoskog superračunala". I objasnit ću zašto se tako zove - razlog je jednostavan. I sam živim na selu. A ime je lagano trolanje onih koji na internetu viču "Nema života izvan Moskovske obilaznice!", "Rusko selo postalo je pijanica i izumire!" Dakle, negdje ovo može biti istina, ali ja ću biti iznimka od pravila. Ne pijem, ne pušim, radim stvari koje si ne može priuštiti svaki “urbani kreker(i)”. No, vratimo se našim ovcama, točnije serveru koji je na kraju prvog dijela članka već “davao znakove života”.
Ploča je ležala na stolu, provukao sam se kroz BIOS, namjestio ga po svom ukusu, odjurio od Ubuntu 16.04 Desktop radi jednostavnosti i odlučio spojiti video karticu na "super stroj". Ali jedino što je bilo pri ruci bio je GTS 250 s priloženim pozamašnim neoriginalnim ventilatorom. Koju sam instalirao u PCI-E 16x utor blizu gumba za napajanje.
"Snimio sam ga s pakiranjem Belomora (c)" pa molim da mi ne zamjerite na kvaliteti fotografije. Radije bih komentirao ono što je na njima snimljeno.
Prvo, pokazalo se da kada se ugradi u utor, čak i kratka video kartica naslanja ploču na memorijske utore, u koje se u ovom slučaju ne može ugraditi, pa čak i zasune treba spustiti. Drugo, željezna traka za montažu video kartice prekriva gumb za uključivanje, pa ju je trebalo ukloniti. Inače, sama tipka za uključivanje je osvijetljena dvobojnom LED diodom koja svijetli zeleno kada je sve u redu i treperi narančasto ako ima problema, kratkog spoja i zaštite od napajanja ili +12VSB napajanja ponuda je prevelika ili premala.
Zapravo, ova matična ploča nije dizajnirana za uključivanje video kartica "izravno" u svoje PCI-E 16x utore; sve su one spojene na uspone. Za ugradnju kartice za proširenje u utore blizu gumba za uključivanje/isključivanje postoje kutni usponi, niski za ugradnju kratkih kartica do duljine prvog radijatora procesora i visoki kutni s dodatnim +12V konektorom za napajanje za ugradnju video kartica “iznad” standardnog niskog 1U hladnjaka. Može uključivati velike video kartice poput GTX 780, GTX 980, GTX 1080 ili specijalizirane GPGPU kartice Nvidia Tesla K10-K20-K40 ili “računalne kartice” Intel Xeon Phi 5110p i slično.
Ali u GPGPU riseru, kartica uključena u EdgeSlot može se spojiti izravno, samo ponovnim spajanjem dodatnog napajanja s istim konektorom kao na visokom kutnom riseru. Za one koji su zainteresirani, na eBayu se ovaj fleksibilni uspon zove "Dell PowerEdge C8220X PCI-E GPGPU DJC89" i košta oko 2.5-3 tisuće rubalja. Kutni usponi s dodatnim napajanjem su puno rjeđi i morao sam pregovarati da ih nabavim u specijaliziranoj trgovini serverskih dijelova preko Whispera. Koštaju 7 tisuća kuna po komadu.
Odmah ću reći, “rizični momci (tm)” mogu čak spojiti par GTX 980 na ploču s kineskim fleksibilnim usponima 16x, kao što je jedna osoba učinila na “Tom istom forumu”; usput, Kinezi čine prilično dobri zanati koji rade na PCI-E 16x 2.0 u stilu Thermaltek fleksibilnih uspona, ali ako zbog toga jednog dana pregore strujni krugovi na serverskoj ploči, morat ćete samo sebe kriviti. Nisam riskirao sa skupom opremom i koristio sam originalne risere s dodatnim napajanjem i jedan kineski savitljivi, računajući da spajanje jedne kartice “izravno” neće spaliti ploču.
Onda su stigli dugo očekivani konektori za spajanje dodatne struje i napravio sam rep za moj riser u EdgeSlotu. I isti konektor, ali s različitim pinoutom, koristi se za dodatno napajanje matične ploče. Ovaj konektor je odmah do ovog istog EdgeSlot konektora, tamo je zanimljiva pinout. Ako usponska voda ima 2 žice +12 i 2 zajedničke, tada ploča ima 3 žice +12 i 1 zajedničku.
Ovo je zapravo isti GTS 250 uključen u GPGPU riser. Usput, dodatno napajanje dolazi do uspona i matične ploče - iz drugog +12V konektora napajanja CPU-a mog napajanja. Odlučio sam da bi bilo ispravnije to učiniti.
Bajka se brzo priča, ali polako paketi stižu u Rusiju iz Kine i drugih mjesta diljem svijeta. Stoga su postojale velike praznine u sastavljanju "superračunala". Ali konačno mi je stigao Nvidia Tesla K20M poslužitelj s pasivnim radijatorom. Štoviše, apsolutno je nula, iz skladišta, zapečaćen u originalnoj kutiji, u originalnom pakiranju, s jamstvenim papirima. I počela je patnja: kako to ohladiti?
Prvo je iz Engleske kupljen custom cooler sa dvije male "turbine", evo ga na slici, sa kućnim difuzorom od kartona.
I ispali su potpuno sranje. Pravili su veliku buku, nosač nikako nije odgovarao, slabo su puhali i davali takve vibracije da sam se bojao da će komponente otpasti s Tesline ploče! Zašto su gotovo odmah bačeni u smeće?
Usput, na fotografiji ispod Tesle možete vidjeti LGA 2011 1U poslužiteljske bakrene radijatore instalirane na procesorima s pužom iz Coolerservera kupljenog s Aliexpressa. Vrlo pristojni hladnjaci, iako malo bučni. Savršeno pristaju.
Ali zapravo, dok sam čekao novi hladnjak za Teslu, ovaj put naručivši velikog BFB1012EN puža iz Australije s 3D printanim nosačem, došao je na serverski sustav za pohranu. Poslužiteljska ploča ima mini-SAS konektor kroz koji izlaze 4 SATA i još 2 SATA konektora. Sve SATA standard 2.0 ali to mi odgovara.
Intel C602 RAID integriran u čipset nije loš i glavna stvar je da preskače naredbu TRIM za SSD-ove, što mnogi jeftini vanjski RAID kontroleri ne rade.
Na eBayu sam kupio metar dug mini-SAS na 4 SATA kabel, a na Avitu sam kupio hot-swap kolica s 5,25" ležištem za 4 x 2,5" SAS-SATA. Pa kad je stigao kabel i košarica, u njega su bili instalirani Seagate od 4 terabajta, u BIOSu ugrađen RAID5 za 4 uređaja, krenuo sam instalirati server Ubuntu... i naletio na to da mi program za particioniranje diska ne dozvoljava za stvaranje swap particije na napadu.
Riješio sam problem izravno - kupio sam ASUS HYPER M.2 x 2 MINI i M.4 SSD Samsung 2 EVO 960 Gb adapter od DNS-a i odlučio da se uređaj s maksimalnom brzinom dodijeli za swap, jer će sustav raditi s velikim računalnim opterećenjem, a memorija je još uvijek očito manja od veličine podataka. I memorija od 250 GB bila je skuplja od ovog SSD-a.
Isti ovaj adapter sa SSD-om instaliranim u niskom kutu.
Predviđajući pitanja - "Zašto ne napraviti cijeli sustav na M.2 i imati maksimalnu brzinu pristupa veću od one raid na SATA?" - Ja ću odgovoriti. Prvo, 1 TB ili više M2 SSD-ovi su mi preskupi. Drugo, čak i nakon ažuriranja BIOS-a na najnoviju verziju 2.8.1, poslužitelj još uvijek ne podržava učitavanje M.2 NVE uređaja. Napravio sam eksperiment gdje je sustav postavio /boot na USB FLASH 64 Gb, a sve ostalo na M.2 SSD, ali nije mi se svidjelo. Iako je, u načelu, takva kombinacija prilično izvediva. Ako M.2 NVE velikog kapaciteta pojeftine, možda ću se vratiti na ovu opciju, ali za sada mi SATA RAID kao sustav za pohranu sasvim dobro odgovara.
Kad sam se odlučio za diskovni podsustav i smislio kombinaciju 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” je vrijeme je da nastavim svoje eksperimente s GPU-om Imao sam već Teslu i upravo je stigao australski hladnjak sa “zlim” pužem koji jede čak 2.94A na 12V, drugi slot je zauzeo M.2 a za treći sam posudio GT 610 “za pokuse”.
Ovdje na fotografiji sva 3 uređaja su spojena, a M.2 SSD je preko savitljivog Thermaltech risera za video kartice koji bez greške radi na 3.0 sabirnici. Ovako je, napravljen od mnogo pojedinačnih "vrpci" sličnih onima od kojih se izrađuju SATA kabeli. PCI-E 16x riseri napravljeni od monolitnog ravnog kabela, nešto kao stari IDE-SCSI, su katastrofa, patit će od grešaka zbog međusobnih smetnji. I kao što sam već rekao, Kinezi sada također rade uspone slične onima Thermalteka, ali kraće.
U kombinaciji s Tesla K20 + GT 610 isprobao sam svašta, ujedno sam saznao da pri spajanju vanjske video kartice i prebacivanju izlaza na nju u BIOS-u, vKVM ne radi, što zapravo i nije uzrujati me. Uglavnom, nisam planirao koristiti eksterni video na ovom sustavu, na Teslama nema video izlaza, a daljinski admin panel preko SSH-a i bez X-owls radi super kad se malo prisjetite što je komandna linija bez GUI-ja . Ali IPMI + vKVM uvelike pojednostavljuje upravljanje, ponovnu instalaciju i druge probleme s udaljenim poslužiteljem.
Općenito, IPMI ove ploče je odličan. Odvojeni 100 Mbit port, mogućnost rekonfiguracije ubacivanja paketa na jedan od 10 Gbit portova, ugrađeni web poslužitelj za upravljanje napajanjem i kontrolu poslužitelja, preuzimanje vKVM Java klijenta izravno s njega i klijent za udaljeno montiranje diskova ili slike za reinstalaciju... Jedino što su klijenti isti kao stari Java Oracle koji više nije podržan u Linuxu i za udaljeni admin panel sam morao nabaviti laptop s Win XP SP3 s ovim baš drevna Žaba. Dobro, klijent je spor, ima dovoljno za admin panel i sve to, ali ne možete igrati igre na daljinu, FPS je mali. I ASPEED video koji je integriran sa IPMI je slab, samo VGA.
U procesu bavljenja serverom puno sam naučio i naučio na području profesionalnog poslužiteljskog hardvera tvrtke Dell. Što mi nije nimalo žao, kao ni dobro potrošenog vremena i novca. Edukativna priča o stvarnom sastavljanju okvira sa svim komponentama poslužitelja bit će nastavljena kasnije.
Link na 3. dio:
Izvor: www.habr.com