Roj baş, niştecîhên Xabrovsk ên delal!
Ez dixwazim çîroka xwe ya li ser komkirina "superkomputerek gund" bidomînim. Û ez ê rave bikim ka çima bi vî rengî tê gotin - sedem hêsan e. Ez bi xwe li gundekî dijîm. Û ev nav jî trollingek sivik e ji wan kesên ku li ser Înternetê diqîrin "Li derveyî Riya Zengala Moskowê jiyan tune!", "Gundê rûsan bûye serxweş û dimire!" Ji ber vê yekê, li cîhek dibe ku ev rast be, lê ez ê ji rêzê îstîsna bim. Ez venaxwim, cixarê nakişînim, ez tiştên ku ne her "çîrvan(yên) bajarî" dikim. Lê em vegerin ser pezê xwe, an jî rasttir, serverê, yê ku di dawiya beşa yekem a gotarê de jixwe "nîşanên jiyanê nîşan dida".
Tablo li ser masê razayî bû, min hilkişiyam nav BIOS-ê, min ew li gorî dilê xwe saz kir, ji bo sadebûnê ji sermaseya Ubuntu 16.04 veqetand û biryar da ku ez qerta vîdyoyê bi "makîna super" ve girêbidim. Lê tiştê ku di dest de bû GTS 250 bû ku bi fanek ne-orijînal ve girêdayî bû. Ya ku min di hêlîna PCI-E 16x de li nêzî bişkoja hêzê saz kir.
"Min ew bi pakêtek Belomor (c) girt" ji ber vê yekê ji kerema xwe min ji ber kalîteya wêneyê sûcdar nekin. Ez tercîh dikim li ser tiştên ku li ser wan hatine girtin şîrove bikim.
Ya yekem, derket holê ku dema ku di hêlînê de tê saz kirin, tewra qerta vîdyoyek kurt jî panelê li hember hêlînên bîranînê radiweste, ku di vê rewşê de ew nikare were saz kirin û tewra pêdivî ye ku pêl jî werin daxistin. Ya duyemîn, şibaka hesinî ya qerta vîdyoyê bişkoka hêzê vedigire, ji ber vê yekê neçar ma ku were rakirin. Bi awayê, bişkojka hêzê bixwe ji hêla LEDek du-reng ve tê ronî kirin, ku dema ku her tişt di rê de ye kesk ronî dibe û heke pirsgirêk hebin, kurtebir û parastina dabînkirina hêzê qut bibe an jî hêza +12VSB-ê kesk ronî dike. tedarik pir zêde ye an jî kêm e.
Bi rastî, ev motherboard ne hatî sêwirandin ku qertên vîdyoyê "rasterast" di nav hêlînên xwe yên PCI-E 16x de bihewîne; ew hemî bi rakeran ve girêdayî ne. Ji bo sazkirina qertek berfirehkirinê di hêlînên li nêzî bişkoja hêzê de, rakêşên quncikê hene, yekî nizm ji bo sazkirina kartên kurt heya dirêjiya radyatora yekem a pêvajoyê, û quncikek bilind a bi girêdanek hêzê ya zêde +12V ji bo sazkirina karta vîdyoyê "li jor" sarkerek 1U ya kêm standard. Ew dikare qertên vîdyoyê yên mezin ên mîna GTX 780, GTX 980, GTX 1080 an kartên GPGPU-ya pispor Nvidia Tesla K10-K20-K40 an "kartên kompîturê" Intel Xeon Phi 5110p û yên wekî wan bigire.
Lê di hilkişîna GPGPU de, qerta ku di EdgeSlot-ê de tê de heye dikare rasterast were girêdan, tenê bi girêdana hêzek zêde bi heman girêdana ku li ser rabûna goşeya bilind ve tê girêdan. Ji bo kesên eleqedar, li ser eBay vê rabûna maqûl bi navê "Dell PowerEdge C8220X PCI-E GPGPU DJC89" tê gotin û bi qasî 2.5-3 hezar rubleyan lêçû. Rakerên goşeyê yên bi hêza zêde pir hindiktir in, û ez neçar bûm ku danûstandinan bikim da ku wan ji firotgehek perçeyên serverê yên pispor bi navgîniya Whisper bistînim. Bihayê wan 7 hezar e.
Ez ê tavilê bibêjim, "xortên xeternak (tm)" tewra dikarin cotek GTX 980 bi rakêşên maqûl ên çînî 16x ve bi panelê ve girêbidin, wekî ku yek kes li ser "Heman Forum" kir; bi awayê, çînî pir çêdikin. hunerên baş ên ku li ser PCI-E 16x 2.0 bi şêwaza rakirên maqûl ên Thermaltek dixebitin, lê heke ev rojek bibe sedem ku hûn çerxên hêzê li ser panela serverê bişewitînin, hûn ê tenê xwe sûcdar bikin. Min metirsî neda alavên giranbiha û rakêşên orîjînal ên bi hêzek zêde û yek maqûl a çînî bikar anîn, fêhm kir ku girêdana yek kartê "rasterast" dê panelê neşewitîne.
Dûv re girêdanên bendewar ên ji bo girêdana hêza zêde gihîştin û min li EdgeSlot dûvikek ji bo rabûna xwe çêkir. Û heman girêdan, lê bi pinoutek cûda, ji bo peydakirina hêzek zêde ji dayikê re tê bikar anîn. Ev girêdan rast li tenişta heman girêdana EdgeSlot-ê ye, li wir pinoutek balkêş heye. Ger raser 2 têl +12 û 2 hevpar hebin, wê hingê panel 3 têlên +12 û 1 hevpar heye.
Ev bi rastî heman GTS 250 e ku di hilkişîna GPGPU de tê de ye. Bi awayê, hêzek zêde ji hilberan û motherboard-ê re tê peyda kirin - ji girêdana hêza duyemîn +12V ya CPU ya dabînkirina hêza min. Min biryar da ku ew ê rasttir be ku vê yekê bikim.
Çîrok zû xwe vedibêje, lê hêdî hêdî pakêt ji Chinaînê û deverên din ên cîhanê digihîjin Rûsyayê. Ji ber vê yekê, di civîna "supercomputer" de kêmasiyên mezin hebûn. Lê di dawiyê de servera Nvidia Tesla K20M bi radyatorek pasîf gihîşte min. Wekî din, ew bi tevahî sifir e, ji hilanînê, di qutiya xweya orjînal de, di pakêta xweya orjînal de, bi kaxezên garantiyê ve hatî mohrkirin. Û êş dest pê kir: meriv wê çawa sar bike?
Pêşîn, sarkerek xwerû ya bi du "turbînên" piçûk ji Englandngilîztan hate kirîn, li vir ew di wêneyê de ye, bi belavkerek kartonê xwemalî.
Û ew derket holê ku bêkêmahî ne. Wan pir deng derdixist, çiya qet li hev nedihat, wan qels difiriyan û lerzek wusa didin ku ez ditirsim ku pêkhate ji panela Tesla bikevin! Çima hema di cih de hatin avêtin çopê?
Bi awayê, di wêneya li binê Tesla de hûn dikarin radyatorên sifir ên servera LGA 2011 1U yên ku li ser pêvajoyan bi şûjinek ji Coolerserver-ê ku ji Aliexpress hatî kirîn hatine saz kirin bibînin. Sarînên pir maqûl, her çend piçek bi deng be. Ew bi temamî li hev dikin.
Lê bi rastî, dema ku ez li benda sarkerek nû ji bo Tesla bûm, vê carê ku ji Avusturalya şemalek mezin BFB1012EN bi çiyayek çapkirî ya 3D ferman kir, ew hat pergala hilanîna serverê. Di panela serverê de girêdanek mini-SAS heye ku tê de 4 SATA û 2 girêdanên SATA yên din derdikevin. Hemî standard SATA 2.0 lê ew li gorî min e.
Intel C602 RAID-a ku di nav chipset de hatî yek kirin ne xirab e û ya sereke ev e ku ew fermana TRIM-ê ji bo SSD-yê berdide, ku gelek kontrolkerên RAID-ê yên erzan ên derveyî nakin.
Li ser eBay min kabloyek mini-SAS a metre dirêj a 4 SATA kirî, û li ser Avito min selikek guheztina germ a bi benderek 5,25 ″ ji bo 4 x 2,5 ″ SAS-SATA kirî. Ji ber vê yekê gava kablo û selik hat, 4 terabyte Seagates tê de hate bicîkirin, RAID5 ji bo 4 cîhazan di BIOS-ê de hate çêkirin, min dest bi sazkirina servera Ubuntu kir... û ez ketim wê rastiyê ku bernameya dabeşkirina dîskê rê neda min. ji bo avakirina dabeşkirina swap li ser raid.
Min pirsgirêk bi serê xwe çareser kir - min ji DNS-ê adapterek ASUS HYPER M.2 x 2 MINI û M.4 SSD Samsung 2 EVO 960 Gb ji DNS kirî û biryar da ku pêdivî ye ku cîhaza leza herî zêde ji bo guheztinê were veqetandin, ji ber ku pergal dê bixebite bi bargiraniya hesabkerî ya bilind, û bîranîn hîn jî eşkere ji mezinahiya daneyê kêmtir e. Û bîra 250 GB ji vê SSD-ê bihatir bû.
Vê heman adapterê bi SSD-ya ku di hilkişînek nizm de hatî saz kirin.
Pêşbîniya pirsan - "Çima pergala tevahî li ser M.2 çênabe û leza gihîştina herî zêde ji ya serdegirtina li SATA-yê mezintir nabe?" - Ez ê bersiv bidim. Ya yekem, 1 TB an jî zêdetir M2 SSD ji bo min pir biha ne. Ya duyemîn, tewra piştî nûvekirina BIOS-ê li guhertoya herî dawî 2.8.1 jî, server dîsa jî barkirina cîhazên M.2 NVE piştgirî nake. Min ceribandinek kir ku pergal li USB FLASH 64 Gb û her tiştê din li M.2 SSD danî / boot kir, lê min jê hez nekir. Her çend, di prensîbê de, tevliheviyek wusa pir bikêr e. Ger M.2 NVE-yên kapasîteya bilind erzantir bibin, dibe ku ez vegerim vê vebijarkê, lê heya niha SATA RAID wekî pergala hilanînê ji min re pir xweş tê.
Gava ku min biryar da ku li ser bine-pergala dîskê û bi kombînasyona 2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/mal" + M.2 SSD Samsung 960 EVO 250 Gb "swap" derket. dema ku ez ceribandinên xwe bi GPU re bidomînim Min berê Teslayek û sarkerek Awustralya hebû ku nû hati bû bi şemalokek "xerab" ku bi qasî 2.94A li 12V dixwe, hêlîna duyemîn ji hêla M.2 ve hatibû dagirkirin û ji bo ya sêyemîn jî min GT 610 "ji bo ceribandinan" deyn kir.
Li vir di wêneyê de her 3 cîhaz bi hev ve girêdayî ne, û M.2 SSD ji bo kartên vîdyoyê yên ku li ser otobusa 3.0-ê bêyî xeletî dixebite bi riya rakerek Thermaltech-a maqûl e. Ew bi vî rengî ye, ji gelek "bandên" kesane yên mîna yên ku ji wan kabloyên SATA têne çêkirin têne çêkirin. Rakerên PCI-E 16x ên ku ji kabloyek daîre ya monolîtîk hatine çêkirin, mîna yên kevn IDE-SCSI, karesatek in, ew ê ji ber destwerdana hevdu ji xeletiyan derbikevin. Û wek ku min berê jî got, Çînî niha jî rakêşan mîna yên Thermaltek, lê kurttir çêdikin.
Bi tevhevbûna bi Tesla K20 + GT 610 re, min gelek tişt ceriband, di heman demê de min fêr kir ku dema ku qerta vîdyoyek derveyî ve girêdide û di BIOS-ê de derketinê diguhezîne, vKVM nexebite, ku bi rastî jî çênebû. min aciz kir. Digel vê yekê, min plan nedikir ku li ser vê pergalê vîdyoya derveyî bikar bînim, li ser Teslas ti derketinên vîdyoyê tune ne, û panela rêveberiyê ya dûr bi navgîniya SSH û bêyî X-owls baş dixebite gava ku hûn hinekî bi bîr bînin ka rêzika fermanê bêyî GUI çi ye . Lê IPMI + vKVM bi serverek dûr re rêveberî, ji nû ve sazkirin û pirsgirêkên din pir hêsan dike.
Bi gelemperî, IPMI-ya vê panelê mezin e. Portek 100 Mbit cuda, şiyana ji nû ve veavakirina derzîlêdana pakêtê li yek ji portên 10 Gbit, serverek Webê ya çêkirî ya ji bo birêvebirina hêz û kontrolkirina pêşkêşkeran, dakêşana rasterast jê re muwekîlê Java-ya vKVM û xerîdar ji bo sazkirina dîskan ji dûr ve. an jî wêneyên ji bo ji nû ve sazkirinê... Tiştek tenê ev e ku xerîdar heman Java Oracle-ya kevn in, ku êdî di Linux-ê de nayê piştgirî kirin û ji bo panela rêveberiyê ya dûr, neçar mabû ku bi vê yekê laptopek bi Win XP SP3 bigirim. Toad kevnar. Welê, xerîdar hêdî ye, têra panela rêveberiyê û her tiştî heye, lê hûn nekarin ji dûr ve lîstikan bilîzin, FPS piçûk e. Û vîdyoya ASPEED ya ku bi IPMI-ê ve girêdayî ye qels e, tenê VGA.
Di pêvajoya mijûlbûna bi serverê re, ez gelek tişt fêr bûm û di warê hardware servera profesyonel de ji Dell re gelek tişt fêr bûm. Ya ku ez qet ne poşman im, hem jî dem û dravê ku baş hatî xerc kirin. Çîroka perwerdehiyê ya di derbarê berhevkirina çarçovê de bi hemî hêmanên serverê re dê paşê were domandin.
Girêdana beşê 3:
Source: www.habr.com