Deagh latha, luchd-còmhnaidh Khabrovsk!
Bu mhath leam leantainn air adhart leis an sgeulachd agam mu bhith a’ cruinneachadh “supercomputer baile”. Agus mìnichidh mi carson a chanar ris mar sin - tha an adhbhar sìmplidh. Tha mi fhìn a’ fuireach ann am baile beag. Agus tha an t-ainm na trolling beag den fheadhainn a bhios ag èigheach air an eadar-lìn “Chan eil beatha taobh a-muigh Rathad Cearcall Moscow!”, “Tha am baile Ruiseanach air fàs gu bhith na mhisg agus a’ bàsachadh! ” Mar sin, an àiteigin faodaidh seo a bhith fìor, ach bidh mi mar eisgeachd don riaghailt. Chan eil mi ag òl, chan eil mi a’ smocadh, bidh mi a’ dèanamh rudan nach urrainn a h-uile “craicer(s) bailteil” a phàigheadh. Ach tillidh sinn chun na caoraich againn, no nas mionaidiche, chun an t-seirbheisiche, a bha aig deireadh a 'chiad phàirt den artaigil mu thràth "a' nochdadh comharran beatha."
Bha am bòrd na laighe air a ’bhòrd, dhìrich mi tron BIOS, ga shuidheachadh mar a chòrd e rium, chuir mi dheth Ubuntu 16.04 Desktop airson sìmplidheachd agus cho-dhùin mi cairt bhidio a cheangal ris an“ super machine ”. Ach b ’e an aon rud a bha ri làimh GTS 250 le neach-leantainn mòr neo-thùsail ceangailte. A chuir mi a-steach san t-slot PCI-E 16x faisg air a’ phutan cumhachd.
“Thug mi le pasgan de Belomor (c)" agus mar sin na cuir a’ choire orm airson càileachd an dealbh. B’ fheàrr leam iomradh a thoirt air na tha air a ghlacadh orra.
An toiseach, thionndaidh e a-mach, nuair a thèid a chuir a-steach ann an slot, gu bheil eadhon cairt bhidio goirid a ’seasamh a’ bhòrd an aghaidh na slotan cuimhne, agus anns a ’chùis seo chan urrainnear a chuir a-steach agus feumar eadhon na latches a lughdachadh. San dàrna h-àite, tha an stiall sreap iarainn den chairt bhidio a ’còmhdach a’ phutan cumhachd, agus mar sin dh'fheumadh e a thoirt air falbh. Air an t-slighe, tha am putan cumhachd fhèin air a shoilleireachadh le LED dà-dath, a bhios a ’lasadh suas uaine nuair a tha a h-uile càil ann an òrdugh agus a’ brùthadh orains ma tha duilgheadas sam bith ann, cuairt ghoirid agus tha dìon an t-solair cumhachd air tuiteam no an cumhachd + 12VSB tha an solar ro àrd no ro ìosal.
Gu dearbh, chan eil am bòrd-màthair seo air a dhealbhadh gus cairtean bhidio a thoirt a-steach “gu dìreach” anns na sliotan PCI-E 16x aige; tha iad uile ceangailte ri risers. Gus cairt leudachaidh a chuir a-steach anns na sliotan faisg air a ’phutan cumhachd, tha risers oisean, fear ìosal airson a bhith a’ stàladh chairtean goirid suas gu fad a ’chiad radiator pròiseasar, agus oisean àrd le ceanglaiche cumhachd + 12V a bharrachd airson a chuir a-steach. cairt bhidio “gu h-àrd” inneal-fuarachaidh 1U ìosal àbhaisteach. Faodaidh e a bhith a’ toirt a-steach cairtean bhidio mòra leithid GTX 780, GTX 980, GTX 1080 no cairtean sònraichte GPGPU Nvidia Tesla K10-K20-K40 no “cairtean coimpiutaireachd” Intel Xeon Phi 5110p agus an leithid.
Ach anns an riser GPGPU, faodar a ’chairt a tha air a ghabhail a-steach san EdgeSlot a cheangal gu dìreach, dìreach le bhith a’ ceangal cumhachd a bharrachd a-rithist leis an aon cheangal ris an riser oisean àrd. Dhaibhsan aig a bheil ùidh, air eBay canar “Dell PowerEdge C8220X PCI-E GPGPU DJC89” ris an riser sùbailte seo agus cosgaidh e timcheall air 2.5-3 mìle rubles. Tha àrdachadh oisean le solar cumhachd a bharrachd gu math nas teirce agus bha agam ri co-rèiteachadh gus am faighinn bho stòr pàirtean frithealaiche sònraichte tro Whisper. Chosg iad 7 mìle gach fear.
Canaidh mi anns a’ bhad, faodaidh “guys cunnartach (tm)" eadhon paidhir GTX 980 a cheangal ris a’ bhòrd le risers sùbailte Sìneach 16x, mar a rinn aon neach air “That Same Forum”; co-dhiù, tha na Sìonaich a’ dèanamh gu math deagh obair-ciùird a bhios ag obair air PCI-E 16x 2.0 ann an stoidhle Thermaltek sùbailte feadhainn risers, ach ma tha an aon latha seo ag adhbhrachadh gun cuir thu a-mach na cuairtean cumhachd air bòrd an fhrithealaiche, cha bhith agad ach thu fhèin as coireach. Cha do chuir mi cunnart air uidheamachd daor agus chleachd mi risers tùsail le cumhachd a bharrachd agus aon shùbailte Sìneach, a’ nochdadh nach loisgeadh aon chairt “gu dìreach” am bòrd.
An uairsin thàinig na ceanglaichean ris an robh dùil o chionn fhada airson cumhachd a bharrachd a cheangal agus rinn mi earball airson an riser agam ann an EdgeSlot. Agus tha an aon cheangail, ach le pinout eadar-dhealaichte, air a chleachdadh gus cumhachd a bharrachd a thoirt don motherboard. Tha an ceanglaiche seo dìreach ri taobh an aon cheangail EdgeSlot seo, tha pinout inntinneach an sin. Ma tha 2 uèir +12 agus 2 cumanta aig an riser, tha 3 uèirichean +12 agus 1 cumanta aig a’ bhòrd.
Is e seo gu dearbh an aon GTS 250 a tha air a ghabhail a-steach don riser GPGPU. Air an t-slighe, tha cumhachd a bharrachd air a thoirt dha na risers agus am motherboard - bhon dàrna ceanglaiche cumhachd + 12V den CPU den t-solar cumhachd agam. Cho-dhùin mi gum biodh e na bu chòir seo a dhèanamh.
Tha an sgeulachd sìthiche ag innse gu sgiobalta, ach gu slaodach thig na parsailean chun Ruis à Sìona agus àiteachan eile air feadh an t-saoghail. Mar sin, bha beàrnan mòra ann an co-chruinneachadh an "supercomputer". Ach mu dheireadh ràinig am frithealaiche Nvidia Tesla K20M le rèididheatoran fulangach thugam. A bharrachd air an sin, tha e gu tur neoni, bho stòradh, air a seuladh sa bhogsa tùsail aige, sa phasgan tùsail aige, le pàipearan barantais. Agus thòisich an fhulangas: ciamar a fhuaras e e?
An toiseach, chaidh inneal-fuarachaidh àbhaisteach le dà “turbines” beag a cheannach à Sasainn, seo e san dealbh, le diffuser cairt-bhòrd dachaigh.
Agus thionndaidh iad a-mach gu bhith nan crap iomlan. Rinn iad tòrr fuaim, cha robh an t-sliabh a’ freagairt idir, shèid iad gu lag agus thug iad a leithid de chreathadh is gu robh eagal orm gun tuiteadh na pàirtean far bòrd Tesla! Carson a chaidh an tilgeil dhan sgudal cha mhòr sa bhad?
Air an t-slighe, anns an dealbh fo Tesla chì thu rèididheatoran copair frithealaiche LGA 2011 1U air an cur a-steach air na pròiseasairean le seilcheag bho Coolerserver a chaidh a cheannach bho Aliexpress. Innealan fuarachaidh fìor mhath, ged a tha iad beagan fuaimneach. Bidh iad a’ freagairt gu foirfe.
Ach gu fìrinneach, fhad ‘s a bha mi a’ feitheamh ri inneal-fuarachaidh ùr airson Tesla, an turas seo às deidh dhomh seilcheag mòr BFB1012EN òrdachadh à Astràilia le sliabh clò-bhuailte 3D, thàinig e gu siostam stòraidh an fhrithealaiche. Tha ceanglaiche mini-SAS aig bòrd an fhrithealaiche tro bheil 4 SATA agus 2 a bharrachd de luchd-ceangail SATA air an toirt a-mach. A h-uile ìre SATA 2.0 ach tha sin iomchaidh dhomh.
Chan eil an intel C602 RAID amalaichte a-steach don chipset dona agus is e am prìomh rud gu bheil e a ’sgioblachadh an àithne TRIM airson SSDs, rud nach bi mòran de luchd-riaghlaidh RAID taobh a-muigh saor a’ dèanamh.
Air eBay cheannaich mi meanbh-SAS meatair de dh'fhaid gu càball 4 SATA, agus air Avito cheannaich mi cairt iomlaid teth le bàgh 5,25 ″ airson 4 x 2,5 ″ SAS-SATA. Mar sin nuair a ràinig an càball agus a’ bhasgaid, chaidh 4 terabyte Seagates a chuir a-steach ann, chaidh RAID5 airson innealan 4 a thogail anns a’ BIOS, thòisich mi a’ stàladh an fhrithealaiche Ubuntu ... gus sgaradh suaip a chruthachadh air an ionnsaigh.
Dh’ fhuasgail mi an duilgheadas an ceann - air adhart - cheannaich mi inneal-atharrachaidh ASUS HYPER M.2 x 2 MINI agus M.4 SSD Samsung 2 EVO 960 Gb bho DNS agus cho-dhùin mi gum bu chòir an inneal astar as àirde a thoirt seachad airson suaip, oir obraichidh an siostam le luchd àireamhachd àrd, agus tha an cuimhne fhathast gu follaiseach nas lugha na meud an dàta. Agus bha an cuimhne 250 GB nas daoire na an SSD seo.
An aon inneal-atharrachaidh seo le SSD air a chuir a-steach ann an riser oisean ìosal.
A’ sùileachadh nan ceistean - “Carson nach dèan thu an siostam gu lèir air M.2 agus gum bi astar ruigsinneachd as àirde agad nas àirde na ionnsaigh air SATA?” - Freagraidh mi. An toiseach, tha 1 TB no barrachd M2 SSDs ro dhaor dhomh. San dàrna h-àite, eadhon an dèidh ùrachadh BIOS chun dreach 2.8.1 as ùire, chan eil am frithealaiche fhathast a ’toirt taic do luchdachadh innealan M.2 NVE. Rinn mi deuchainn far an do shuidhich an siostam / boot gu USB FLASH 64 Gb agus a h-uile càil eile gu M.2 SSD, ach cha do chòrd e rium. Ged, ann am prionnsabal, tha an leithid de mheasgachadh gu math obrachail. Ma dh’ fhàsas M.2 NVEn àrd-comais nas saoire, is dòcha gun till mi chun an roghainn seo, ach airson a-nis tha SATA RAID mar shiostam stòraidh a’ freagairt gu math dhomh.
Nuair a cho-dhùin mi air an fho-shiostam diosc agus a thàinig mi suas le measgachadh de 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “swap” is e ùine airson leantainn air adhart leis na deuchainnean agam le GPU Bha Tesla agam mu thràth agus inneal-fuarachaidh Astràilianach dìreach air ruighinn le seilcheag “olc” a bhios ag ithe uimhir ri 2.94A aig 12V, bha an dàrna slot air a ghabhail thairis le M.2 agus airson an treas fear fhuair mi iasad GT 610 “airson deuchainnean.”
An seo san dealbh tha na 3 innealan uile ceangailte, agus tha an M.2 SSD tro riser sùbailte Thermaltech airson cairtean bhidio a bhios ag obair air a’ bhus 3.0 gun mhearachdan. Is ann mar seo a tha e, air a dhèanamh le mòran de “riobanan” fa leth coltach ris an fheadhainn às an dèanar càbaill SATA. Tha risers PCI-E 16x air an dèanamh le càball còmhnard monolithic, coltach ris an t-seann fheadhainn IDE-SCSI, nan mòr-thubaist, bidh iad a’ fulang le mearachdan mar thoradh air eadar-theachd dha chèile. Agus mar a thuirt mi mu thràth, tha na Sìonaich a-nis cuideachd a’ dèanamh risers coltach ris an fheadhainn aig Thermaltek, ach nas giorra.
Ann an co-bhonn ris an Tesla K20 + GT 610, dh'fheuch mi tòrr rudan, aig an aon àm fhuair mi a-mach, nuair a bha mi a 'ceangal cairt bhidio taobh a-muigh agus a' tionndadh an toraidh thuige anns a 'BIOS, chan eil vKVM ag obair, rud nach do rinn gu fìor. cuir dragh orm. Co-dhiù, cha robh dùil agam bhidio taobh a-muigh a chleachdadh air an t-siostam seo, chan eil toraidhean bhidio ann air Teslas, agus tha am pannal rianachd iomallach tro SSH agus às aonais X-owls ag obair glè mhath aon uair ‘s gu bheil cuimhne agad beagan dè a th’ ann an loidhne-àithne às aonais GUI. . Ach tha IPMI + vKVM gu mòr a’ sìmpleachadh riaghladh, ath-shuidheachadh agus cùisean eile le frithealaiche iomallach.
San fharsaingeachd, tha IPMI a’ bhùird seo sgoinneil. Port 100 Mbit air leth, an comas in-stealladh pacaid ath-dhealbhadh gu aon de na puirt 10 Gbit, frithealaiche lìn stèidhichte airson riaghladh cumhachd agus smachd air frithealaichean, luchdachadh sìos teachdaiche vKVM Java gu dìreach bhuaithe agus teachdaiche airson diosgan a chuir suas aig astar. no ìomhaighean airson ath-shuidheachadh... Is e an aon rud gu bheil an luchd-dèiligidh an aon rud ris an t-seann fhear Java Oracle, nach eil a’ faighinn taic tuilleadh ann an Linux agus airson a’ phannal rianachd iomallach bha agam ri laptop fhaighinn le Win XP SP3 leis an fhìor seo seann Mhalaig. Uill, tha an neach-dèiligidh slaodach, tha gu leòr ann airson a’ phannal rianachd agus sin uile, ach chan urrainn dhut geamannan a chluich air astar, tha an FPS beag. Agus tha am bhidio ASPEED a tha ceangailte ri IPMI lag, dìreach VGA.
Anns a’ phròiseas a bhith a’ dèiligeadh ris an fhrithealaiche, dh’ ionnsaich mi tòrr agus dh’ ionnsaich mi tòrr ann an raon bathar-cruaidh frithealaiche proifeasanta bho Dell. Rud nach eil aithreachas orm idir, a bharrachd air an ùine agus an airgead a chaidh a chosg gu math. Leanaidh an sgeulachd foghlaim mu bhith a’ cruinneachadh an fhrèam leis na pàirtean frithealaiche gu lèir nas fhaide air adhart.
Ceangal gu Pàirt 3:
Source: www.habr.com