Buona giornata, cari residenti di Khabrovsk!
Vorrei continuare la mia storia sull'assemblaggio di un "supercomputer del villaggio". E ti spiego perché si chiama così: il motivo è semplice. Io stesso vivo in un villaggio. E il nome è un leggero trolling di coloro che gridano su Internet "Non c'è vita oltre la tangenziale di Mosca!", "Il villaggio russo è diventato un ubriacone e sta morendo!" Quindi, da qualche parte questo potrebbe essere vero, ma io sarò l’eccezione alla regola. Non bevo, non fumo, faccio cose che non tutti gli “urban cracker” possono permettersi. Ma torniamo alle nostre pecore, o più precisamente al server, che alla fine della prima parte dell’articolo già “mostrava segni di vita”.
La scheda era sul tavolo, sono entrato nel BIOS, impostandolo a mio piacimento, sono scappato da Ubuntu 16.04 Desktop per semplicità e ho deciso di collegare una scheda video alla "super macchina". Ma l'unica cosa a portata di mano era una GTS 250 con attaccata una potente ventola non originale. Che ho installato nello slot PCI-E 16x vicino al pulsante di accensione.
"L'ho presa con una confezione di Belomor (c)" quindi per favore non incolparmi per la qualità della foto. Preferirei commentare ciò che viene catturato su di loro.
In primo luogo, si è scoperto che quando installata nello slot, anche una scheda video corta appoggia la scheda contro gli slot di memoria, in cui in questo caso non può essere installata e anche i fermi devono essere abbassati. In secondo luogo, la striscia di montaggio in ferro della scheda video copre il pulsante di accensione, quindi è stato necessario rimuoverla. A proposito, il pulsante di accensione stesso è illuminato da un LED a due colori, che si illumina di verde quando tutto è in ordine e lampeggia di arancione se ci sono problemi, un cortocircuito e la protezione dell'alimentatore è scattata o l'alimentazione +12VSB l’offerta è troppo alta o troppo bassa.
Infatti, questa scheda madre non è progettata per includere le schede video “direttamente” nei suoi slot PCI-E 16x; sono tutte collegate ai riser. Per installare una scheda di espansione negli slot vicino al pulsante di accensione, sono presenti dei montanti angolari, uno basso per l'installazione di schede corte fino alla lunghezza del primo radiatore del processore e uno angolare alto con un connettore di alimentazione aggiuntivo da +12 V per l'installazione di un scheda video "sopra" un dispositivo di raffreddamento standard da 1U basso. Può includere schede video di grandi dimensioni come GTX 780, GTX 980, GTX 1080 o schede GPGPU specializzate Nvidia Tesla K10-K20-K40 o "schede informatiche" Intel Xeon Phi 5110p e simili.
Ma nel montante GPGPU, la scheda inclusa nell'EdgeSlot può essere collegata direttamente, solo collegando nuovamente l'alimentazione aggiuntiva con lo stesso connettore del montante dell'angolo alto. Per chi fosse interessato, su eBay questo montante flessibile si chiama “Dell PowerEdge C8220X PCI-E GPGPU DJC89” e costa circa 2.5-3 mila rubli. I montanti angolari con alimentatore aggiuntivo sono molto più rari e ho dovuto negoziare per ottenerli da un negozio specializzato di ricambi per server tramite Whisper. Costano 7mila a testa.
Dirò subito che i "ragazzi rischiosi (tm)" possono anche collegare un paio di GTX 980 alla scheda con riser flessibili cinesi 16x, come ha fatto una persona su "That Same Forum"; tra l'altro, i cinesi fanno abbastanza buoni mestieri che funzionano su PCI-E 16x 2.0 nello stile dei riser flessibili Thermaltek, ma se un giorno questo ti farà bruciare i circuiti di alimentazione sulla scheda server, dovrai incolpare solo te stesso. Non ho rischiato attrezzature costose e ho utilizzato riser originali con potenza aggiuntiva e uno flessibile cinese, immaginando che collegando una scheda “direttamente” non avrei bruciato la scheda.
Poi sono arrivati i connettori tanto attesi per il collegamento di alimentazione aggiuntiva e ho realizzato una coda per il mio riser in EdgeSlot. E lo stesso connettore, ma con una piedinatura diversa, viene utilizzato per fornire alimentazione aggiuntiva alla scheda madre. Questo connettore è proprio accanto allo stesso connettore EdgeSlot, lì c'è una piedinatura interessante. Se il montante ha 2 fili +12 e 2 comune, allora la scheda ha 3 fili +12 e 1 comune.
Questo è in realtà lo stesso GTS 250 incluso nel riser GPGPU. A proposito, ai riser e alla scheda madre viene fornita alimentazione aggiuntiva dal secondo connettore di alimentazione +12 V della CPU del mio alimentatore. Ho deciso che sarebbe stato più corretto farlo.
La favola si racconta velocemente, ma lentamente i pacchi arrivano in Russia dalla Cina e da altri luoghi in tutto il mondo. Pertanto, c'erano grandi lacune nell'assemblaggio del "supercomputer". Ma finalmente mi è arrivato il server Nvidia Tesla K20M con radiatore passivo. Inoltre è assolutamente pari a zero, da conservazione, sigillato nella sua scatola originale, nella sua confezione originale, con documenti di garanzia. E iniziò la sofferenza: come raffreddarla?
Per prima cosa è stato acquistato dall'Inghilterra un frigorifero personalizzato con due piccole “turbine”, eccolo nella foto, con un diffusore in cartone fatto in casa.
E si sono rivelate una totale schifezza. Facevano molto rumore, il supporto non si adattava per niente, soffiavano debolmente e davano vibrazioni tali che avevo paura che i componenti cadessero dalla scheda Tesla! Perché sono stati gettati nella spazzatura quasi subito?
A proposito, nella foto sotto Tesla puoi vedere i radiatori in rame del server LGA 2011 1U installati sui processori con una lumaca da Coolerserver acquistata da Aliexpress. Frigoriferi molto buoni, anche se un po' rumorosi. Si adattano perfettamente.
Ma in realtà, mentre aspettavo un nuovo dispositivo di raffreddamento per Tesla, questa volta dopo aver ordinato una grande lumaca BFB1012EN dall'Australia con un supporto stampato in 3D, è arrivata al sistema di archiviazione del server. La scheda server dispone di un connettore mini-SAS attraverso il quale escono 4 connettori SATA e altri 2 connettori SATA. Tutto SATA standard 2.0 ma per me va bene.
Il RAID Intel C602 integrato nel chipset non è male e la cosa principale è che salta il comando TRIM per gli SSD, cosa che molti controller RAID esterni economici non fanno.
Su eBay ho acquistato un cavo mini-SAS a 4 SATA lungo un metro e su Avito ho acquistato un carrello hot-swap con un alloggiamento da 5,25 "per SAS-SATA 4 x 2,5". Quindi, quando sono arrivati il cavo e il cestino, sono stati installati 4 terabyte di Seagate, nel BIOS è stato integrato RAID5 per 4 dispositivi, ho iniziato a installare il server Ubuntu... e mi sono imbattuto nel fatto che il programma di partizionamento del disco non mi permetteva per creare una partizione di swap sul raid.
Ho risolto il problema direttamente: ho acquistato un adattatore ASUS HYPER M.2 x 2 MINI e M.4 SSD Samsung 2 EVO 960 Gb da DNS e ho deciso che il dispositivo con velocità massima dovrebbe essere assegnato per lo scambio, poiché il sistema funzionerà con un carico computazionale elevato e la memoria è ancora ovviamente inferiore alla dimensione dei dati. E la memoria da 250 GB era più costosa di questo SSD.
Lo stesso adattatore con un SSD installato in un montante nell'angolo basso.
Anticipando le domande - “Perché non realizzare l'intero sistema su M.2 e avere una velocità di accesso massima superiore a quella di un raid su SATA?” - Risponderò. Innanzitutto, gli SSD M1 da 2 TB o più sono troppo costosi per me. In secondo luogo, anche dopo aver aggiornato il BIOS all'ultima versione 2.8.1, il server continua a non supportare il caricamento dei dispositivi M.2 NVE. Ho fatto un esperimento in cui il sistema impostava /boot su USB FLASH 64 Gb e tutto il resto su SSD M.2, ma non mi piaceva. Sebbene, in linea di principio, una tale combinazione sia abbastanza realizzabile. Se gli NVE M.2 ad alta capacità diventeranno più economici, potrei tornare a questa opzione, ma per ora SATA RAID come sistema di archiviazione mi va abbastanza bene.
Quando ho deciso per il sottosistema disco e ho pensato a una combinazione di 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + SSD M.2 Samsung 960 EVO 250 Gb “swap” è è ora di continuare i miei esperimenti con la GPU Avevo già una Tesla e un frigo australiano appena arrivato con una lumaca “malvagia” che mangia fino a 2.94A a 12V, il secondo slot era occupato da M.2 e per il terzo mi sono fatto prestare una GT 610 “per esperimenti”.
Qui nella foto tutti e 3 i dispositivi sono collegati e l'SSD M.2 avviene tramite un riser flessibile Thermaltech per schede video che funziona sul bus 3.0 senza errori. È così, composto da tanti "nastri" individuali simili a quelli da cui sono realizzati i cavi SATA. I riser PCI-E 16x realizzati con un cavo piatto monolitico, un po' come i vecchi IDE-SCSI, sono un disastro, soffriranno di errori dovuti alla reciproca interferenza. E come ho già detto, i cinesi ora realizzano anche riser simili a quelli della Thermaltek, ma più corti.
In combinazione con Tesla K20 + GT 610, ho provato molte cose, allo stesso tempo ho scoperto che quando si collega una scheda video esterna e si commuta l'uscita su di essa nel BIOS, vKVM non funziona, il che in realtà non funzionava mi ha sconvolto. Ad ogni modo, non avevo intenzione di utilizzare video esterni su questo sistema, non ci sono uscite video su Tesla e il pannello di amministrazione remoto tramite SSH e senza X-owls funziona benissimo una volta che ti ricordi un po' cos'è una riga di comando senza GUI . Ma IPMI + vKVM semplifica notevolmente la gestione, la reinstallazione e altri problemi con un server remoto.
In generale, l'IPMI di questa scheda è ottimo. Una porta separata da 100 Mbit, la possibilità di riconfigurare l'iniezione di pacchetti su una delle porte da 10 Gbit, un server Web integrato per la gestione dell'alimentazione e il controllo dei server, scaricando un client Java vKVM direttamente da esso e un client per il montaggio remoto dei dischi o immagini per la reinstallazione... L'unica cosa è che i client sono gli stessi del vecchio Java Oracle, che non è più supportato in Linux e per il pannello di amministrazione remoto ho dovuto procurarmi un laptop con Win XP SP3 proprio con questo antico rospo. Bene, il client è lento, ce n'è abbastanza per il pannello di amministrazione e tutto il resto, ma non puoi giocare da remoto, l'FPS è piccolo. E il video ASPEED integrato con IPMI è debole, solo VGA.
Nel processo di gestione del server, ho imparato molto e ho imparato molto nel campo dell'hardware del server professionale di Dell. Cosa di cui non mi pento affatto, così come il tempo e i soldi ben spesi. La storia educativa sull'assemblaggio effettivo del telaio con tutti i componenti del server continuerà in seguito.
Collegamento alla parte 3:
Fonte: habr.com