Bon ghjornu, cari abitanti di Khabrovsk!
Vogliu cuntinuà a mo storia nantu à l'assemblea di un "supercomputer di paese". E spiegheraghju perchè hè chjamatu cusì - a raghjoni hè simplice. Eiu stessu campu in un paese. È u nome hè un ligeru trolling di quelli chì gridanu nantu à Internet "Ùn ci hè micca vita fora di u Ring Road di Mosca!", "U paesi russu hè diventatu un ubriacu è mori!" Allora, in qualchì locu pò esse veru, ma seraghju l'eccezzioni à a regula. Ùn beie micca, ùn fume micca, facciu cose chì micca ogni "cracker (s) urbanu" pò permette. Ma vultemu à e nostre pecure, o più precisamente, à u servitore, chì à a fine di a prima parte di l'articulu era digià "mostra segni di vita".
U tavulinu era stendu nantu à a tavula, aghju cullatu à traversu u BIOS, mettendulu à u mo gustu, sguassate Ubuntu 16.04 Desktop per simplicità è decisu di cunnette una carta video à a "super machine". Ma l'unicu cosa in manu era un GTS 250 cù un fanàticu non originale attaccatu. Chì aghju installatu in u slot PCI-E 16x vicinu à u buttone di putenza.
"L'aghju pigliatu cù un pacchettu di Belomor (c)" cusì per piacè ùn mi culpisce micca per a qualità di a foto. Preferite cummentà ciò chì hè catturatu nantu à elli.
Prima, hè statu chì quandu hè stallatu in un slot, ancu una corta video card appoghja u tavulinu contr'à i slot di memoria, in quale in questu casu ùn pò micca esse installatu è ancu i latches anu da esse calatu. Siconda, a striscia di muntatura di ferru di a carta video copre u buttone di putenza, per quessa, deve esse eliminata. In modu, u buttone di putenza stessu hè illuminatu da un LED di dui culori, chì si accende in verde quandu tuttu hè in ordine è lampeggia in aranciu s'ellu ci sò prublemi, un cortu circuitu è a prutezzione di l'alimentazione s'hè lampata o a putenza +12VSB. l'offerta hè troppu alta o troppu bassa.
In fattu, sta scheda madre ùn hè micca pensata per include carte video "direttamente" in i so slot PCI-E 16x; sò tutti cunnessi à risers. Per installà una carta di espansione in i slot vicinu à u buttone di putenza, ci sò risers d'angle, un bassu per installà carte brevi finu à a lunghezza di u primu radiatore di processore, è un angulu altu cù un cunnessu di putenza + 12V addiziale per installà un scheda video "sopra" un cooler 1U standard bassu. Puderà include grandi carte video cum'è GTX 780, GTX 980, GTX 1080 o carte GPGPU specializate Nvidia Tesla K10-K20-K40 o "carte di computer" Intel Xeon Phi 5110p è simili.
Ma in u riser GPGPU, a carta inclusa in l'EdgeSlot pò esse cunnessa direttamente, solu cunnessu di novu una putenza addiziale cù u stessu connettore cum'è nantu à u riser di u cantonu altu. Per quelli chì anu interessatu, in eBay stu riser flexible hè chjamatu "Dell PowerEdge C8220X PCI-E GPGPU DJC89" è costa circa 2.5-3 mila rubli. I risers d'angle cun alimentazione supplementaria sò assai più rari è aghju avutu à negozià per uttene da un magazinu di pezzi di servitore specializatu attraversu Whisper. Custanu 7 mila apiece.
Diciaraghju subitu, "ragazzi risicatu (tm)" ponu ancu cunnette un paru di GTX 980 à u tavulinu cù risers flessibili cinesi 16x, cum'è una persona hà fattu in "U stessu Forum"; per via, i Cinesi facenu abbastanza. boni articuli chì travaglianu nantu à PCI-E 16x 2.0 in u stilu di i risers flexibles Thermaltek, ma se questu un ghjornu vi face brusgià i circuiti di putenza nantu à a scheda di u servitore, avete solu a culpa. Ùn aghju micca risicatu l'equipaggiu caru è aghju utilizatu risers originali cù una putenza supplementaria è una flessibilità cinese, fighjendu chì a cunnessione di una carta "direttamente" ùn brusgiava micca a tavola.
Allora sò ghjunti i connettori longu aspittati per cunnette u putere supplementu è aghju fattu una cuda per u mo riser in EdgeSlot. È u listessu connettore, ma cù un pinout differenti, hè utilizatu per furnisce una putenza supplementaria à a scheda madre. Stu connettore hè ghjustu accantu à stu stessu connettore EdgeSlot, ci hè un pinout interessante quì. Se u riser hà 2 fili + 12 è 2 cumuni, allura u bordu hà 3 fili + 12 è 1 cumuni.
Questu hè veramente u stessu GTS 250 inclusu in u riser GPGPU. In modu, u putere supplementu hè furnitu à i risers è a scheda madre - da u sicondu cunnessu di putenza + 12V di u CPU di a mo alimentazione. Aghju decisu chì seria più curretta per fà questu.
U conte di fata si conta rapidamente, ma pianu pianu i pacchi arrivanu in Russia da a Cina è altri lochi in u globu. Per quessa, ci era grande lacune in l'assemblea di u "supercomputer". Ma infine u servitore Nvidia Tesla K20M cun un radiatore passiu hè ghjuntu à mè. Inoltre, hè assolutamente zero, da u almacenamentu, sigillatu in a so scatula originale, in u so pacchettu originale, cù documenti di garanzia. E u soffrenu cuminciò: cumu per rinfriscà?
Prima, un cooler customizatu cù dui picculi "turbines" hè statu acquistatu da l'Inghilterra, quì hè in a foto, cù un diffusore di cartuni casanu.
È sò diventati una merda cumpleta. Anu fattu assai rumore, a muntagna ùn si adattava à tuttu, sbattevanu debbuli è dà una vibrazione tale chì aghju a paura chì i cumpunenti cascanu da u bordu di Tesla! Perchè sò stati ghjittati in a basura quasi subitu ?
In modu, in a foto sottu Tesla pudete vede LGA 2011 1U server radiatori di cobre installati nantu à i prucessori cù una lumaca da Coolerserver compru da Aliexpress. Coolers assai decenti, anche se un pocu rumoroso. Si adattanu perfettamente.
Ma in realtà, mentre aspittava un novu cooler per Tesla, sta volta dopu avè urdinatu una grande lumaca BFB1012EN da l'Australia cù un supportu stampatu 3D, hè ghjuntu à u sistema di almacenamentu di u servitore. A scheda di u servitore hà un connettore mini-SAS per via di quale 4 SATA è 2 più SATA sò in uscita. Tuttu u standard SATA 2.0 ma chì mi cunvene.
L'intel C602 RAID integrata in u chipset ùn hè micca male è a cosa principal hè chì salta u cumandamentu TRIM per SSD, chì parechji cuntrolli RAID esterni ùn anu micca fà.
In eBay aghju compru un cable mini-SAS à 4 SATA di un metru, è in Avito aghju compru un carrettu hot-swap cù una baia 5,25 "per 4 x 2,5" SAS-SATA. Allora, quandu u cable è a cesta ghjunsenu, 4 terabyte Seagates sò stati installati in questu, RAID5 per i dispositi 4 hè statu custruitu in u BIOS, aghju cuminciatu à installà u servitore Ubuntu ... è hà scontru in u fattu chì u prugramma di partizione di discu ùn m'hà micca permessu. per creà una partizione swap in u raid.
Aghju risoltu u prublema in capu - aghju compru un ASUS HYPER M.2 x 2 MINI è M.4 SSD Samsung 2 EVO 960 Gb adapter da DNS è decisu chì u dispusitivu di velocità massima deve esse attribuitu per u scambiu, postu chì u sistema hà da travaglià. cun alta carica computazionale, è a memoria hè sempre ovviamente menu di a dimensione di dati. È a memoria di 250 GB era più caru di questu SSD.
Stu stessu adattatore cù un SSD installatu in un riser d'angolo bassu.
Anticipendu e dumande - "Perchè ùn fate micca tuttu u sistema in M.2 è avè una velocità massima di accessu più altu ch'è quella di un raid in SATA?" - Rispondu. Prima, 1 TB o più SSD M2 sò troppu caru per mè. Siconda, ancu dopu avè aghjurnatu u BIOS à l'ultima versione 2.8.1, u servitore ùn sustene micca a carica di i dispositi M.2 NVE. Aghju fattu un esperimentu induve u sistema hà stabilitu / boot à USB FLASH 64 Gb è tuttu u restu à M.2 SSD, ma ùn mi piace micca. Ancu s'ellu, in principiu, una tale cumminazione hè abbastanza pratica. Se i NVE M.2 d'alta capacità diventanu più prezzu, puderaghju turnà à questa opzione, ma per avà SATA RAID cum'è sistema di almacenamentu mi cunvene abbastanza bè.
Quandu aghju decisu di u sottosistema di discu è vinutu cun una cumminazione di 2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb "swap" hè tempu di cuntinuà i mo esperimenti cù GPU Aviu digià avutu un Tesla è un cooler australianu ghjustu ghjuntu cù una lumaca "male" chì manghja quant'è 2.94A à 12V, a seconda slot era occupata da M.2 è per u terzu aghju pigliatu in prestu un GT 610 "per esperimenti".
Quì in a photo tutti i dispositi 3 sò cunnessi, è u SSD M.2 hè via un riser Thermaltech flexible per carte video chì travaglia in u bus 3.0 senza errori. Hè cusì, fattu da parechji "ribbons" individuali simili à quelli chì sò fatti i cables SATA. I risers PCI-E 16x fatti da un cable flat monoliticu, cum'è l'antichi IDE-SCSI, sò un disastru, soffrenu d'errori per l'interferenza mutuale. E cum'è l'aghju digià dettu, i Cinesi facenu ancu risers simili à quelli di Thermaltek, ma più brevi.
In cumbinazione cù u Tesla K20 + GT 610, aghju pruvatu assai cose, à u stessu tempu aghju scupertu chì quandu cunnessu una carta di video esterna è cambiate l'output in u BIOS, vKVM ùn funziona micca, chì ùn hà micca veramente. mi dispiaci. In ogni casu, ùn aghju micca pensatu d'utilizà video esterni in questu sistema, ùn ci sò micca uscite video in Teslas, è u pannellu amministratore remoto via SSH è senza X-owls funziona bè una volta chì vi ricordate un pocu ciò chì hè una linea di cumanda senza GUI. . Ma IPMI + vKVM simplifica assai a gestione, a reinstallazione è altri prublemi cù un servitore remoto.
In generale, l'IPMI di questu bordu hè grande. Un portu separatu di 100 Mbit, a capacità di cunfigurà l'iniezione di pacchetti à unu di i porti di 10 Gbit, un servitore Web integratu per a gestione di l'energia è u cuntrollu di i servitori, scaricamentu di un cliente Java vKVM direttamente da ellu è un cliente per a muntagna remota di discu. o l'imaghjini per a reinstallazione... L'unicu cosa hè chì i clienti sò listessi cum'è l'anzianu Java Oracle, chì ùn hè più supportatu in Linux è per u pannellu di amministrazione remota aghju avutu un laptop cù Win XP SP3 cù questu assai. Anticu Toad. Ebbè, u cliente hè lentu, ci hè abbastanza per u pannellu admin è tuttu ciò chì, ma ùn pudete micca ghjucà remotamente, u FPS hè chjucu. È u video ASPEED chì hè integratu cù IPMI hè debule, solu VGA.
In u prucessu di trattà cù u servitore, aghju amparatu assai è hà amparatu assai in u campu di u hardware di u servitore prufessiunale da Dell. Chì ùn mi dispiace micca in tuttu, è ancu u tempu è i soldi ben spesi. A storia educativa nantu à l'assemblea di u quadru cù tutti i cumpunenti di u servitore serà cuntinuata dopu.
Link à a parte 3:
Source: www.habr.com