Magandang araw, mahal na mga residente ng Khabrovsk!
Nais kong ipagpatuloy ang aking kwento tungkol sa pag-assemble ng isang "supercomputer ng nayon". At ipapaliwanag ko kung bakit ito tinawag na ganoon—simple lang ang dahilan. Ako mismo ay nakatira sa isang nayon. At ang pangalan ay isang bahagyang trolling ng mga sumisigaw sa Internet na "Walang buhay sa kabila ng Moscow Ring Road!", "Ang nayon ng Russia ay naging isang lasing at namamatay!" Kaya, sa isang lugar na ito ay maaaring totoo, ngunit ako ay magiging pagbubukod sa panuntunan. Hindi ako umiinom, hindi ako naninigarilyo, gumagawa ako ng mga bagay na hindi kayang bayaran ng bawat “urban cracker(s)”. Ngunit bumalik tayo sa ating mga tupa, o mas tiyak, sa server, na sa dulo ng unang bahagi ng artikulo ay "nagpapakita na ng mga palatandaan ng buhay."
Ang board ay nakahiga sa mesa, umakyat ako sa BIOS, itinatakda ito ayon sa gusto ko, tinanggal ang Ubuntu 16.04 Desktop para sa pagiging simple at nagpasyang ikonekta ang isang video card sa "super machine". Ngunit ang tanging bagay na nasa kamay ay isang GTS 250 na may nakakabit na mabigat na hindi orihinal na fan. Na na-install ko sa PCI-E 16x slot malapit sa power button.
"Kinuha ko ito kasama ng isang pakete ng Belomor (c)" kaya huwag mo akong sisihin sa kalidad ng larawan. Mas gusto kong magkomento sa kung ano ang nakunan sa kanila.
Una, lumabas na kapag naka-install sa isang puwang, kahit na ang isang maikling video card ay nakapatong sa board laban sa mga puwang ng memorya, kung saan sa kasong ito ay hindi ito mai-install at kahit na ang mga trangka ay kailangang ibaba. Pangalawa, ang iron mounting strip ng video card ay sumasaklaw sa power button, kaya kinailangan itong tanggalin. Sa pamamagitan ng paraan, ang power button mismo ay iluminado ng isang dalawang-kulay na LED, na nag-iilaw ng berde kapag ang lahat ay nasa ayos at kumukurap na orange kung may anumang mga problema, isang maikling circuit at ang proteksyon ng power supply ay tripped o ang +12VSB power masyadong mataas o masyadong mababa ang supply.
Sa katunayan, ang motherboard na ito ay hindi idinisenyo upang isama ang mga video card "direkta" sa mga puwang ng PCI-E 16x nito; lahat sila ay konektado sa mga risers. Para mag-install ng expansion card sa mga slot malapit sa power button, may mga corner risers, isang mababa para sa pag-install ng mga short card hanggang sa haba ng unang processor radiator, at isang high corner na may karagdagang +12V power connector para sa pag-install ng isang video card “sa itaas” isang karaniwang low 1U cooler. Maaari itong magsama ng malalaking video card tulad ng GTX 780, GTX 980, GTX 1080 o mga dalubhasang GPGPU card Nvidia Tesla K10-K20-K40 o "computing card" Intel Xeon Phi 5110p at iba pa.
Ngunit sa GPGPU riser, ang card na kasama sa EdgeSlot ay maaaring direktang ikonekta, sa pamamagitan lamang ng muling pagkonekta ng karagdagang kapangyarihan na may parehong connector tulad ng sa high corner riser. Para sa mga interesado, sa eBay ang nababaluktot na riser na ito ay tinatawag na "Dell PowerEdge C8220X PCI-E GPGPU DJC89" at nagkakahalaga ng mga 2.5-3 libong rubles. Ang mga corner risers na may karagdagang power supply ay mas bihira at kinailangan kong makipag-ayos para makuha ang mga ito mula sa isang dalubhasang tindahan ng mga bahagi ng server sa pamamagitan ng Whisper. Nagkakahalaga sila ng tig-7 libo.
Sasabihin ko kaagad, ang "mga mapanganib na lalaki (tm)" ay maaaring magkonekta ng isang pares ng GTX 980 sa board na may mga Chinese flexible risers na 16x, tulad ng ginawa ng isang tao sa "That Same Forum"; siya nga pala, ang mga Chinese ay kumikita ng medyo mahusay na mga crafts na gumagana sa PCI-E 16x 2.0 sa estilo ng Thermaltek flexible ones risers, ngunit kung ito balang araw ay magsasanhi sa iyo na masunog ang mga power circuit sa server board, ikaw lang ang masisisi. Hindi ko isinapanganib ang mga mamahaling kagamitan at gumamit ako ng mga orihinal na risers na may karagdagang kapangyarihan at isang Chinese flexible, sa pag-uunawa na ang pagkonekta ng isang card "nang direkta" ay hindi masusunog ang board.
Pagkatapos ay dumating ang pinakahihintay na mga konektor para sa pagkonekta ng karagdagang kapangyarihan at gumawa ako ng isang buntot para sa aking riser sa EdgeSlot. At ang parehong connector, ngunit may ibang pinout, ay ginagamit upang magbigay ng karagdagang kapangyarihan sa motherboard. Ang connector na ito ay nasa tabi mismo ng parehong EdgeSlot connector, mayroong isang kawili-wiling pinout doon. Kung ang riser ay may 2 wires +12 at 2 common, ang board ay may 3 wires +12 at 1 common.
Ito ay talagang ang parehong GTS 250 na kasama sa GPGPU riser. Sa pamamagitan ng paraan, ang karagdagang kapangyarihan ay ibinibigay sa mga risers at motherboard - mula sa pangalawang +12V power connector ng CPU ng aking power supply. Napagpasyahan kong mas tama na gawin ito.
Mabilis na sinasabi ng fairy tale ang sarili nito, ngunit dahan-dahang dumating ang mga parsela sa Russia mula sa China at iba pang mga lugar sa buong mundo. Samakatuwid, mayroong malalaking puwang sa pagpupulong ng "supercomputer". Ngunit sa wakas ay dumating sa akin ang Nvidia Tesla K20M server na may passive radiator. Bukod dito, ito ay ganap na zero, mula sa imbakan, na selyadong sa orihinal nitong kahon, sa orihinal na pakete nito, na may mga papel na warranty. At nagsimula ang pagdurusa: paano ito palamigin?
Una, ang isang pasadyang palamigan na may dalawang maliit na "turbine" ay binili mula sa England, narito ito sa larawan, na may isang gawang bahay na karton na diffuser.
At sila ay naging ganap na kalokohan. Gumawa sila ng maraming ingay, ang bundok ay hindi magkasya sa lahat, humihip sila ng mahina at nagbigay ng gayong panginginig ng boses na natatakot ako na ang mga bahagi ay mahulog mula sa Tesla board! Bakit sila itinapon kaagad sa basurahan?
Sa pamamagitan ng paraan, sa larawan sa ilalim ng Tesla maaari mong makita ang LGA 2011 1U server na mga radiator ng tanso na naka-install sa mga processor na may snail mula sa Coolerserver na binili mula sa Aliexpress. Napaka disenteng mga cooler, kahit na medyo maingay. Tamang-tama ang mga ito.
Ngunit sa totoo lang, habang naghihintay ako ng bagong cooler para sa Tesla, sa pagkakataong ito ay nag-order ng malaking BFB1012EN snail mula sa Australia na may 3D printed mount, dumating ito sa sistema ng imbakan ng server. Ang server board ay may mini-SAS connector kung saan 4 SATA at 2 pang SATA connector ang output. Lahat ng SATA standard 2.0 ngunit nababagay sa akin.
Ang intel C602 RAID na isinama sa chipset ay hindi masama at ang pangunahing bagay ay nilalaktawan nito ang TRIM command para sa SSDs, na hindi ginagawa ng maraming murang panlabas na RAID controllers.
Sa eBay bumili ako ng isang metrong mini-SAS hanggang 4 na SATA cable, at sa Avito bumili ako ng hot-swap cart na may 5,25″ bay para sa 4 x 2,5″ SAS-SATA. Kaya nang dumating ang cable at ang basket, 4 terabyte Seagate ang na-install dito, ang RAID5 para sa 4 na device ay binuo sa BIOS, sinimulan kong i-install ang server na Ubuntu... at tumakbo sa katotohanan na ang disk partitioning program ay hindi pinapayagan ako para gumawa ng swap partition sa raid.
Nalutas ko ang problema nang direkta - Bumili ako ng ASUS HYPER M.2 x 2 MINI at M.4 SSD Samsung 2 EVO 960 Gb adapter mula sa DNS at nagpasya na ang maximum na bilis ng device ay dapat ilaan para sa swap, dahil gagana ang system na may mataas na computational load, at ang memorya ay malinaw na mas mababa pa sa laki ng data. At ang 250 GB na memorya ay mas mahal kaysa sa SSD na ito.
Ang parehong adaptor na ito na may SSD na naka-install sa isang mababang sulok na riser.
Inaasahan ang mga tanong - "Bakit hindi gawin ang buong system sa M.2 at magkaroon ng maximum na bilis ng pag-access na mas mataas kaysa sa isang raid sa SATA?" -Sasagot ako. Una, ang 1 TB o higit pang M2 SSD ay masyadong mahal para sa akin. Pangalawa, kahit na matapos i-update ang BIOS sa pinakabagong bersyon 2.8.1, hindi pa rin sinusuportahan ng server ang paglo-load ng mga M.2 NVE device. Gumawa ako ng isang eksperimento kung saan itinakda ang /boot ng system sa USB FLASH 64 Gb at lahat ng iba pa sa M.2 SSD, ngunit hindi ko ito nagustuhan. Bagaman, sa prinsipyo, ang gayong kumbinasyon ay lubos na magagawa. Kung magiging mas mura ang mga high-capacity na M.2 NVE, maaari akong bumalik sa opsyong ito, ngunit sa ngayon ay nababagay sa akin ang SATA RAID bilang isang storage system.
Nang magpasya ako sa disk subsystem at magkaroon ng kumbinasyon ng 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” ito ay oras na para ipagpatuloy ang aking mga eksperimento sa GPU Mayroon na akong Tesla at isang Australian cooler na kadadating lang na may dalang "evil" snail na kumakain ng hanggang 2.94A sa 12V, ang pangalawang slot ay inookupahan ng M.2 at para sa pangatlo ay humiram ako ng GT 610 "para sa mga eksperimento."
Dito sa larawan ang lahat ng 3 device ay konektado, at ang M.2 SSD ay sa pamamagitan ng isang flexible Thermaltech riser para sa mga video card na gumagana sa 3.0 bus nang walang mga error. Ito ay tulad nito, na ginawa mula sa maraming indibidwal na "ribbons" na katulad ng kung saan ginawa ang mga SATA cable. Ang mga PCI-E 16x risers na ginawa mula sa isang monolithic flat cable, tulad ng mga lumang IDE-SCSI, ay isang kalamidad, sila ay magdurusa sa mga error dahil sa kapwa interference. At gaya ng sinabi ko na, ang mga Intsik ngayon ay gumagawa din ng mga risers na katulad ng sa Thermaltek, ngunit mas maikli.
Sa kumbinasyon ng Tesla K20 + GT 610, sinubukan ko ang maraming bagay, sa parehong oras nalaman ko na kapag kumokonekta sa isang panlabas na video card at inilipat ang output dito sa BIOS, ang vKVM ay hindi gumagana, na hindi talaga nagagalit ako. Gayon pa man, hindi ko binalak na gumamit ng panlabas na video sa system na ito, walang mga video output sa Teslas, at ang remote admin panel sa pamamagitan ng SSH at walang X-owls ay gumagana nang mahusay kapag naaalala mo nang kaunti kung ano ang command line na walang GUI . Ngunit lubos na pinasimple ng IPMI + vKVM ang pamamahala, muling pag-install at iba pang mga isyu sa isang malayuang server.
Sa pangkalahatan, ang IPMI ng board na ito ay mahusay. Isang hiwalay na 100 Mbit port, ang kakayahang muling i-configure ang packet injection sa isa sa 10 Gbit port, isang built-in na Web server para sa pamamahala ng kapangyarihan at kontrol ng mga server, pag-download ng vKVM Java client nang direkta mula dito at isang kliyente para sa malayuang pag-mount ng mga disk o mga imahe para sa muling pag-install... Ang tanging bagay ay ang mga kliyente ay pareho sa lumang Java Oracle, na hindi na suportado sa Linux at para sa remote admin panel kailangan kong kumuha ng laptop na may Win XP SP3 na may ganitong napaka sinaunang palaka. Well, ang kliyente ay mabagal, mayroong sapat para sa admin panel at lahat ng iyon, ngunit hindi ka maaaring maglaro ng mga laro nang malayuan, ang FPS ay maliit. At mahina ang ASPEED video na kasama sa IPMI, VGA lang.
Sa proseso ng pagharap sa server, marami akong natutunan at marami akong natutunan sa larangan ng propesyonal na hardware ng server mula sa Dell. Na hindi ko pinagsisisihan, pati na rin ang oras at pera na ginugol nang maayos. Ang kwentong pang-edukasyon tungkol sa aktwal na pag-assemble ng frame kasama ang lahat ng mga bahagi ng server ay ipagpapatuloy mamaya.
Link sa part 3:
Pinagmulan: www.habr.com