Ditë të mbarë, të dashur banorë të Khabrovsk!
Do të doja të vazhdoja historinë time rreth montimit të një "superkompjuteri fshati". Dhe unë do të shpjegoj pse quhet kështu - arsyeja është e thjeshtë. Unë vetë jetoj në një fshat. Dhe emri është një trolling i lehtë i atyre që bërtasin në internet "Nuk ka jetë përtej Unazës së Moskës!", "Fshati rus është bërë një pijanec dhe po shuhet!" Pra, diku kjo mund të jetë e vërtetë, por unë do të bëj përjashtim nga rregulli. Unë nuk pi, nuk pi duhan, bëj gjëra që jo çdo “cracker(s) urban” mund t’i përballojë. Por le të kthehemi te delet tona, ose më saktë, te serveri, i cili në fund të pjesës së parë të artikullit tashmë "po tregonte shenja jete".
Pllaka ishte shtrirë në tavolinë, u ngjita nëpër BIOS, duke e vendosur atë sipas dëshirës sime, hoqa nga Ubuntu 16.04 Desktop për thjeshtësi dhe vendosa të lidh një kartë video me "super makinën". Por e vetmja gjë në dorë ishte një GTS 250 me një ventilator të fuqishëm jo origjinal të bashkangjitur. Të cilën e instalova në folenë PCI-E 16x pranë butonit të energjisë.
"E mora me një paketë Belomor (c)" kështu që ju lutem mos më fajësoni për cilësinë e fotografisë. Unë preferoj të komentoj atë që është kapur në to.
Së pari, doli që kur instalohet në një vend të caktuar, edhe një kartë video e shkurtër e mbështet tabelën në foletë e memories, në të cilat në këtë rast nuk mund të instalohet dhe madje edhe shulat duhet të ulen. Së dyti, shiriti i montimit të hekurit të kartës video mbulon butonin e energjisë, kështu që duhej hequr. Nga rruga, vetë butoni i energjisë ndriçohet nga një LED me dy ngjyra, e cila ndizet jeshile kur gjithçka është në rregull dhe pulson portokalli nëse ka ndonjë problem, një qark të shkurtër dhe mbrojtja e furnizimit me energji është fikur ose fuqia +12VSB furnizimi është shumë i lartë ose shumë i ulët.
Në fakt, kjo motherboard nuk është krijuar për të përfshirë kartat video "direkt" në lojërat e saj PCI-E 16x; ato janë të gjitha të lidhura me ngritëset. Për të instaluar një kartë zgjerimi në foletë pranë butonit të energjisë, ka ngritës qoshe, një të ulët për instalimin e kartave të shkurtra deri në gjatësinë e radiatorit të parë të procesorit dhe një kënd të lartë me një lidhës shtesë të energjisë +12 V për instalimin e një kartë video "mbi" një ftohës standard të ulët 1U. Mund të përfshijë karta video të mëdha si GTX 780, GTX 980, GTX 1080 ose karta të specializuara GPGPU Nvidia Tesla K10-K20-K40 ose "karta kompjuterike" Intel Xeon Phi 5110p dhe të ngjashme.
Por në ngritësin GPGPU, karta e përfshirë në EdgeSlot mund të lidhet drejtpërdrejt, vetëm duke lidhur përsëri energji shtesë me të njëjtin lidhës si në ngritësin e lartë të këndit. Për të interesuarit, në eBay ky ngritës fleksibël quhet "Dell PowerEdge C8220X PCI-E GPGPU DJC89" dhe kushton rreth 2.5-3 mijë rubla. Ngritësit e këndit me furnizim shtesë me energji janë shumë më të rralla dhe më duhej të negocioja për t'i marrë ato nga një dyqan i specializuar i pjesëve të serverit përmes Whisper. Ata kushtojnë 7 mijë copë.
Unë do të them menjëherë, "djemtë e rrezikshëm (tm)" madje mund të lidhin një palë GTX 980 në tabelë me ngritës fleksibël kinezë 16x, siç bëri një person në "Të njëjtin Forum"; meqë ra fjala, kinezët bëjnë mjaft vepra artizanale të mira që punojnë në PCI-E 16x 2.0 në stilin e ngritësve fleksibël të Thermaltek, por nëse kjo një ditë ju bën të djegni qarqet e rrymës në bordin e serverit, do të keni vetëm veten për të fajësuar. Nuk rrezikova pajisje të shtrenjta dhe përdora ngritës origjinalë me fuqi shtesë dhe një fleksibël kinez, duke menduar se lidhja e një karte "direkt" nuk do të digjte tabelën.
Pastaj erdhën lidhësit e shumëpritur për lidhjen e energjisë shtesë dhe bëra një bisht për ngritësin tim në EdgeSlot. Dhe i njëjti lidhës, por me një pinout të ndryshëm, përdoret për të furnizuar energji shtesë në motherboard. Ky lidhës është pranë të njëjtit lidhës EdgeSlot, ka një pikë kyçe interesante atje. Nëse ngritësi ka 2 tela +12 dhe 2 të përbashkët, atëherë bordi ka 3 tela +12 dhe 1 të përbashkët.
Ky është në të vërtetë i njëjti GTS 250 i përfshirë në ngritësin GPGPU. Nga rruga, energji shtesë furnizohet me ngritësit dhe motherboard - nga lidhësi i dytë i energjisë +12V i CPU-së së furnizimit tim me energji elektrike. Vendosa që do të ishte më e drejtë ta bëja këtë.
Përralla tregon veten shpejt, por ngadalë pakot mbërrijnë në Rusi nga Kina dhe vende të tjera anembanë globit. Prandaj, kishte boshllëqe të mëdha në montimin e "superkompjuterit". Por më në fund erdhi tek unë serveri Nvidia Tesla K20M me një radiator pasiv. Për më tepër, është absolutisht zero, nga ruajtja, i mbyllur në kutinë e tij origjinale, në paketimin e tij origjinal, me letra garancie. Dhe vuajtja filloi: si ta ftohësh atë?
Së pari, një ftohës me porosi me dy "turbina" të vogla u ble nga Anglia, këtu është në foto, me një shpërndarës kartoni të bërë vetë.
Dhe ata dolën të ishin marrëzi të plotë. Bënë shumë zhurmë, montimi nuk përshtatej fare, frynë dobët dhe dhanë një dridhje të tillë sa kisha frikë se komponentët do të binin nga bordi Tesla! Pse u hodhën në plehra pothuajse menjëherë?
Nga rruga, në foton nën Tesla mund të shihni radiatorët e bakrit të serverit LGA 2011 1U të instaluar në procesorë me një kërmilli nga Coolerserver të blerë nga Aliexpress. Ftohës shumë të mirë, megjithëse pak të zhurmshëm. Ata përshtaten në mënyrë të përkryer.
Por në fakt, ndërsa isha duke pritur për një ftohës të ri për Tesla-n, këtë herë pasi kisha porositur një kërmill të madh BFB1012EN nga Australia me një montim të printuar 3D, ai erdhi në sistemin e ruajtjes së serverit. Bordi i serverit ka një lidhës mini-SAS përmes të cilit dalin 4 SATA dhe 2 lidhës të tjerë SATA. I gjithë standardi SATA 2.0, por kjo më përshtatet mua.
Intel C602 RAID i integruar në chipset nuk është i keq dhe gjëja kryesore është se ai anashkalon komandën TRIM për SSD, gjë që nuk e bëjnë shumë kontrollues të jashtëm RAID të lirë.
Në eBay bleva një kabllo SATA mini-SAS në 4 metër të gjatë, dhe në Avito bleva një karrocë të nxehtësisë me një fole 5,25" për 4 x 2,5" SAS-SATA. Kështu që kur mbërriti kablloja dhe shporta, në të u instaluan 4 terabajt Seagates, RAID5 për 4 pajisje u ndërtua në BIOS, fillova të instaloja serverin Ubuntu... dhe u përplasa me faktin se programi i ndarjes së diskut nuk më lejonte. për të krijuar një ndarje shkëmbimi në bastisje.
E zgjidha problemin kokë më kokë - bleva një përshtatës ASUS HYPER M.2 x 2 MINI dhe M.4 SSD Samsung 2 EVO 960 Gb nga DNS dhe vendosa që pajisja me shpejtësi maksimale të ndahet për shkëmbim, pasi sistemi do të funksionojë me ngarkesë të lartë llogaritëse, dhe memoria është ende dukshëm më e vogël se madhësia e të dhënave. Dhe memoria 250 GB ishte më e shtrenjtë se kjo SSD.
I njëjti përshtatës me një SSD të instaluar në një ngritës të ulët qoshe.
Duke parashikuar pyetjet - "Pse të mos e bëni të gjithë sistemin në M.2 dhe të keni një shpejtësi maksimale aksesi më të lartë se ajo e një bastisjeje në SATA?" - Unë do të përgjigjem. Së pari, 1 TB ose më shumë SSD M2 janë shumë të shtrenjta për mua. Së dyti, edhe pas përditësimit të BIOS-it në versionin më të fundit 2.8.1, serveri ende nuk mbështet ngarkimin e pajisjeve M.2 NVE. Bëra një eksperiment ku sistemi vendosi /boot në USB FLASH 64 Gb dhe gjithçka tjetër në M.2 SSD, por nuk më pëlqeu. Edhe pse, në parim, një kombinim i tillë është mjaft i zbatueshëm. Nëse M.2 NVE me kapacitet të lartë bëhen më të lira, mund t'i rikthehem këtij opsioni, por tani për tani SATA RAID si sistem ruajtjeje më përshtatet mjaft mirë.
Kur vendosa për nënsistemin e diskut dhe dola me një kombinim të 2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb "ndërrim" është koha për të vazhduar eksperimentet e mia me GPU Unë kisha tashmë një Tesla dhe një ftohës australian të sapo ardhur me një kërmilli "të keq" që ha 2.94A në 12V, slota e dytë ishte e zënë nga M.2 dhe për të tretën huazova një GT 610 "për eksperimente".
Këtu në foto janë të lidhura të 3 pajisjet, dhe SSD M.2 është përmes një ngritësi fleksibël Thermaltech për kartat video që funksionon në autobusin 3.0 pa gabime. Është si kjo, e bërë nga shumë "shirita" individuale të ngjashme me ato nga të cilat janë bërë kabllot SATA. Ngritësit PCI-E 16x të bëra nga një kabllo e sheshtë monolit, disi si ato të vjetra IDE-SCSI, janë një fatkeqësi, ata do të vuajnë nga gabimet për shkak të ndërhyrjeve të ndërsjella. Dhe siç thashë tashmë, kinezët tani bëjnë gjithashtu ngritës të ngjashëm me ato të Thermaltek, por më të shkurtër.
Në kombinim me Tesla K20 + GT 610, provova shumë gjëra, në të njëjtën kohë zbulova se kur lidhni një kartë video të jashtme dhe kaloni daljen në të në BIOS, vKVM nuk funksionon, gjë që në të vërtetë nuk funksionoi më mërziti. Gjithsesi, nuk kam planifikuar të përdor video të jashtme në këtë sistem, nuk ka dalje video në Teslas dhe paneli i administratorit në distancë nëpërmjet SSH dhe pa X-owls funksionon shkëlqyeshëm pasi të kujtosh pak se çfarë është një linjë komande pa një GUI . Por IPMI + vKVM thjeshton shumë menaxhimin, riinstalimin dhe çështje të tjera me një server në distancë.
Në përgjithësi, IPMI i këtij bordi është i shkëlqyeshëm. Një port i veçantë 100 Mbit, aftësia për të rikonfiguruar injektimin e paketave në një nga portet 10 Gbit, një server në internet i integruar për menaxhimin e energjisë dhe kontrollin e serverëve, shkarkimin e një klienti Java vKVM direkt prej tij dhe një klient për montimin në distancë të disqeve ose imazhe per riinstalim... E vetmja gje eshte qe klientet jane njesoj si Java Oracle e vjeter, e cila nuk mbeshtetet me ne Linux dhe per panelin e administratorit ne distance me duhej te merrja nje laptop me Win XP SP3 me kete Toad e lashtë. Epo, klienti është i ngadalshëm, ka mjaft për panelin e administratorit dhe gjithçka, por nuk mund të luani lojëra nga distanca, FPS është i vogël. Dhe video ASPEED që është e integruar me IPMI është e dobët, vetëm VGA.
Në procesin e përballjes me serverin, mësova shumë dhe mësova shumë në fushën e pajisjeve profesionale të serverëve nga Dell. Për të cilën nuk pendohem aspak, si dhe për kohën dhe paratë e shpenzuara mirë. Historia edukative rreth montimit të kornizës me të gjithë komponentët e serverit do të vazhdojë më vonë.
Lidhja me pjesën 3:
Burimi: www.habr.com