Maayong adlaw, minahal nga mga lumulupyo sa Khabrovsk!
Gusto nako ipadayon ang akong istorya bahin sa pag-assemble sa usa ka "supercomputer sa barangay". Ug akong ipasabut kung nganong gitawag kini nga ingon niana-simple ang rason. Ako mismo nagpuyo sa usa ka baryo. Ug ang ngalan usa ka gamay nga trolling sa mga nagsinggit sa Internet nga "Walaβy kinabuhi sa unahan sa Moscow Ring Road!", "Ang baryo sa Russia nahimong palahubog ug namatay!" Busa, bisan asa kini mahimong tinuod, apan ako mahimong eksepsiyon sa lagda. Dili ko moinom, dili ko manigarilyo, mobuhat kog mga butang nga dili makaya sa tanang βurban cracker(s)β. Apan mobalik kita sa atong mga karnero, o mas tukma, sa server, nga sa katapusan sa unang bahin sa artikulo βnagpakita na sa mga timailhan sa kinabuhi.β
Ang board nahimutang sa lamesa, misaka ako sa BIOS, gipahimutang kini sumala sa akong gusto, giputol ang Ubuntu 16.04 Desktop alang sa kayano ug nakahukom sa pagkonektar sa usa ka video card ngadto sa "super machine". Apan ang bugtong butang nga anaa sa kamot mao ang usa ka GTS 250 nga adunay usa ka dako nga dili orihinal nga fan nga gilakip. Nga akong gi-install sa PCI-E 16x slot duol sa power button.
"Gikuha nako kini uban ang usa ka pakete nga Belomor (c)" busa palihug ayaw ako pagbasol sa kalidad sa litrato. Mas gusto nako nga magkomento kung unsa ang nakuha sa kanila.
Una, nahimo nga kung gi-install sa usa ka slot, bisan ang usa ka mubo nga video card nagbutang sa board batok sa mga slot sa memorya, diin sa kini nga kaso dili kini ma-install ug bisan ang mga trangka kinahanglan nga ipaubos. Ikaduha, ang iron mounting strip sa video card nagtabon sa power button, mao nga kinahanglan kining tangtangon. Pinaagi sa dalan, ang power button mismo gipadan-ag sa usa ka duha ka kolor nga LED, nga nagsiga nga berde kung ang tanan naa sa pagkahan-ay ug nagkidlap orange kung adunay bisan unsang mga problema, usa ka mubo nga sirkito ug ang proteksyon sa suplay sa kuryente nahulog o ang +12VSB nga gahum. taas kaayo o ubos kaayo ang suplay.
Sa tinuud, kini nga motherboard wala gidesinyo nga maglakip sa mga video card nga "direkta" sa mga slot sa PCI-E 16x; silang tanan konektado sa mga risers. Aron ma-install ang usa ka expansion card sa mga slots duol sa power button, adunay mga risers sa eskina, usa ka ubos alang sa pag-instalar sa mugbo nga mga kard hangtod sa gitas-on sa unang processor radiator, ug usa ka taas nga eskina nga adunay dugang nga +12V power connector alang sa pag-instalar sa usa ka video card "ibabaw" sa usa ka standard nga ubos nga 1U cooler. Mahimong maglakip kini sa dagkong mga video card sama sa GTX 780, GTX 980, GTX 1080 o espesyal nga GPGPU cards Nvidia Tesla K10-K20-K40 o "computing cards" Intel Xeon Phi 5110p ug uban pa.
Apan sa GPGPU riser, ang card nga gilakip sa EdgeSlot mahimong direktang konektado, pinaagi lamang sa pagkonektar pag-usab sa dugang nga gahum nga adunay sama nga connector sama sa taas nga eskina riser. Alang sa mga interesado, sa eBay kini nga flexible riser gitawag nga "Dell PowerEdge C8220X PCI-E GPGPU DJC89" ug nagkantidad mga 2.5-3 ka libo nga mga rubles. Ang mga riser sa eskina nga adunay dugang nga suplay sa kuryente labi ka talagsaon ug kinahanglan nako nga makigsabot aron makuha kini gikan sa usa ka espesyal nga tindahan sa mga piyesa sa server pinaagi sa Whisper. Nagkantidad sila og 7 mil matag usa.
Moingon dayon ko, "mga peligroso nga mga lalaki (tm)" mahimo pa gani nga magkonektar sa usa ka pares sa GTX 980 sa board uban sa Chinese flexible risers 16x, sama sa gibuhat sa usa ka tawo sa "That Same Forum"; sa paagi, ang mga Intsik naghimo og medyo maayo nga mga crafts nga nagtrabaho sa PCI-E 16x 2.0 sa estilo sa Thermaltek flexible ones risers, apan kung kini usa ka adlaw hinungdan nga masunog nimo ang mga sirkito sa kuryente sa server board, ikaw ra ang mabasol. Wala ko magpameligro sa mahal nga kagamitan ug migamit sa orihinal nga mga riser nga adunay dugang nga gahum ug usa ka Intsik nga flexible, nga naghunahuna nga ang pagkonektar sa usa ka kard "direkta" dili makasunog sa board.
Dayon ang dugay nang gipaabot nga mga konektor alang sa pagkonektar sa dugang nga gahum miabut ug naghimo ako og ikog alang sa akong riser sa EdgeSlot. Ug ang parehas nga konektor, apan adunay lahi nga pinout, gigamit sa paghatag dugang nga gahum sa motherboard. Kini nga konektor naa ra sa tupad niining parehas nga EdgeSlot nga konektor, adunay usa ka makapaikag nga pinout didto. Kung ang riser adunay 2 wires +12 ug 2 common, nan ang board adunay 3 wires +12 ug 1 common.
Kini sa tinuud parehas nga GTS 250 nga gilakip sa GPGPU riser. Pinaagi sa dalan, dugang nga gahum ang gihatag sa mga risers ug motherboard - gikan sa ikaduha nga +12V power connector sa CPU sa akong power supply. Nakahukom ko nga mas husto ang pagbuhat niini.
Ang fairy tale dali nga nagsulti sa kaugalingon, apan hinay nga ang mga parsela moabut sa Russia gikan sa China ug uban pang mga lugar sa tibuuk kalibutan. Busa, adunay dagkong mga kal-ang sa asembliya sa "supercomputer". Apan sa katapusan ang Nvidia Tesla K20M server nga adunay passive radiator miabut kanako. Dugang pa, kini hingpit nga zero, gikan sa pagtipig, gisilyohan sa orihinal nga kahon, sa orihinal nga pakete, nga adunay mga papel nga garantiya. Ug nagsugod ang pag-antos: unsaon kini pagpabugnaw?
Una, ang usa ka custom cooler nga adunay duha ka gagmay nga "turbine" gipalit gikan sa England, ania kini sa litrato, nga adunay usa ka homemade cardboard diffuser.
Ug nahimo silang bug-os nga kabuang. Naghimo sila og daghang kasaba, ang bukid wala gayud mohaum, sila huyang nga mihuyop ug naghatag sa ingon nga vibration nga nahadlok ko nga ang mga sangkap mahulog gikan sa Tesla board! Ngano nga gilabay dayon sila sa basurahan?
Pinaagi sa dalan, sa litrato ubos sa Tesla imong makita ang LGA 2011 1U server copper radiators nga gi-install sa mga processor nga adunay snail gikan sa Coolerserver nga gipalit gikan sa Aliexpress. Maayo kaayo nga mga cooler, bisan gamay nga saba. Sila mohaum sa hingpit.
Apan sa tinuud, samtang naghulat ako alang sa usa ka bag-ong cooler alang sa Tesla, niining higayona nga nag-order sa usa ka dako nga BFB1012EN snail gikan sa Australia nga adunay usa ka 3D nga giimprinta nga bukid, miabot kini sa sistema sa pagtipig sa server. Ang server board adunay mini-SAS connector diin 4 SATA ug 2 pa ka SATA connectors ang output. Tanan nga SATA standard 2.0 apan angay kana kanako.
Ang intel C602 RAID nga gisagol sa chipset dili daotan ug ang panguna nga butang mao nga gilaktawan niini ang TRIM nga mando alang sa mga SSD, nga dili mahimo sa daghang mga barato nga external RAID controllers.
Sa eBay mipalit ko og usa ka metro nga gitas-on nga mini-SAS ngadto sa 4 SATA cable, ug sa Avito mipalit ko og hot-swap cart nga adunay 5,25β³ bay para sa 4 x 2,5β³ SAS-SATA. Mao nga sa pag-abot sa cable ug basket, 4 terabyte Seagate ang na-install niini, ang RAID5 alang sa 4 nga mga aparato gitukod sa BIOS, gisugdan nako ang pag-install sa server nga Ubuntu ... ug midagan sa kamatuoran nga ang disk partitioning program wala magtugot kanako sa paghimo og swap partition sa raid.
Nasulbad nako ang problema sa ulo-on - Nagpalit ko og ASUS HYPER M.2 x 2 MINI ug M.4 SSD Samsung 2 EVO 960 Gb adapter gikan sa DNS ug nakahukom nga ang maximum speed device kinahanglan nga igahin alang sa swap, tungod kay ang sistema magtrabaho nga adunay taas nga computational load, ug ang panumduman klaro gihapon nga ubos sa gidak-on sa datos. Ug ang 250 GB nga panumduman mas mahal kaysa kini nga SSD.
Kining sama nga adapter nga adunay SSD nga gi-install sa ubos nga suok nga riser.
Pagpaabut sa mga pangutana - "Ngano nga dili himuon ang tibuuk nga sistema sa M.2 ug adunay labing taas nga tulin sa pag-access nga mas taas kaysa sa usa ka pag-atake sa SATA?" - Ako motubag. Una, ang 1 TB o daghan pa nga M2 SSDs mahal kaayo alang kanako. Ikaduha, bisan human sa pag-update sa BIOS sa pinakabag-o nga bersyon 2.8.1, ang server wala gihapon mosuporta sa pagkarga sa M.2 NVE device. Naghimo ako usa ka eksperimento diin ang sistema nagtakda / nag-boot sa USB FLASH 64 Gb ug ang tanan sa M.2 SSD, apan dili ko ganahan niini. Bisan pa, sa prinsipyo, ang ingon nga kombinasyon magamit kaayo. Kung ang mga high-capacity nga M.2 NVEs mahimong mas barato, mahimo akong mobalik sa kini nga kapilian, apan sa pagkakaron ang SATA RAID ingon usa ka sistema sa pagtipig nahiangay kanako.
Sa diha nga ako nakahukom sa disk subsystem ug miabut uban sa usa ka kombinasyon sa 2 x SSD Kingston 240 Gb RAID1 β/β + 4 x HDD Seagate 1 Tb RAID5 β/ balayβ + M.2 SSD Samsung 960 EVO 250 Gb βswapβ kini panahon sa pagpadayon sa akong mga eksperimento sa GPU Naa na koy Tesla ug usa ka Australian cooler bag-o lang miabot nga adunay "daotan" nga kuhol nga mokaon kutob sa 2.94A sa 12V, ang ikaduha nga slot giokupar sa M.2 ug alang sa ikatulo nanghulam ko og GT 610 "para sa mga eksperimento."
Dinhi sa litrato ang tanan nga 3 nga mga aparato konektado, ug ang M.2 SSD pinaagi sa usa ka flexible nga Thermaltech riser alang sa mga video card nga nagtrabaho sa 3.0 bus nga walaβy mga sayup. Kini sama niini, nga gihimo gikan sa daghang mga indibidwal nga "mga laso" nga susama sa kung diin gihimo ang mga SATA cable. Ang mga PCI-E 16x risers nga gihimo gikan sa usa ka monolithic flat cable, sama sa mga karaan nga IDE-SCSI, usa ka katalagman, sila mag-antus sa mga sayup tungod sa panagsama sa usag usa. Ug sa ako nang giingon, ang mga Intsik karon naghimo usab og mga risers nga susama sa Thermaltek, apan mas mubo.
Sa kombinasyon sa Tesla K20 + GT 610, gisulayan nako ang daghang mga butang, sa samang higayon nahibal-an nako nga kung nagkonektar sa usa ka eksternal nga video card ug gibalhin ang output niini sa BIOS, ang vKVM wala molihok, nga wala gyud. naglagot nako. Bisan pa, wala ako nagplano nga mogamit sa gawas nga video sa kini nga sistema, walaβy mga output sa video sa Teslas, ug ang hilit nga admin panel pinaagi sa SSH ug kung wala ang mga X-owls molihok nga maayo sa higayon nga mahinumdom ka gamay kung unsa ang linya sa mando nga wala usa ka GUI. . Apan ang IPMI + vKVM labi nga gipasimple ang pagdumala, pag-instalar ug uban pang mga isyu sa usa ka hilit nga server.
Sa kinatibuk-an, maayo ang IPMI sa board. Usa ka bulag nga 100 Mbit port, ang abilidad sa pag-reconfigure sa packet injection sa usa sa 10 Gbit port, usa ka built-in nga Web server alang sa pagdumala sa kuryente ug pagkontrol sa mga server, pag-download sa usa ka vKVM Java nga kliyente direkta gikan niini ug usa ka kliyente alang sa hilit nga pag-mount sa mga disk. o mga imahe alang sa pag-instalar pag-usab ... Ang bugtong butang mao nga ang mga kliyente parehas sa daan nga Java Oracle, nga wala na gisuportahan sa Linux ug alang sa hilit nga admin panel kinahanglan nako nga makakuha usa ka laptop nga adunay Win XP SP3 nga adunay kini kaayo. karaang Toad. Aw, ang kliyente hinay, adunay igo alang sa admin panel ug tanan nga, apan dili ka makadula sa mga dula sa layo, ang FPS gamay ra. Ug ang ASPEED nga video nga gisagol sa IPMI huyang, VGA ra.
Sa proseso sa pag-atubang sa server, nakakat-on ko og daghan ug nakakat-on og daghan sa natad sa propesyonal nga server hardware gikan sa Dell. Nga wala gyud nako gibasol, ingon man ang oras ug kuwarta nga gigasto nga maayo. Ang istorya sa edukasyon bahin sa aktuwal nga pag-assemble sa frame sa tanan nga mga sangkap sa server ipadayon sa ulahi.
Link sa bahin 3:
Source: www.habr.com