Buon pomeriggio, cari residenti di Khabrovsk!
Voglio raccontarvi una storia lunga e, spero, affascinante e forse utile, sull'assemblaggio di un "supercomputer del villaggio" da una scheda nodo server Dell, GPU Nvidia Tesla K20 e ciò che è stato acquistato qua e là da vari negozi online o in negozi di computer nella tua città.
La storia è iniziata quando un mio amico programmatore, che è anche astronomo, ha iniziato a studiare le reti neurali. Il loro “specialista a tempo pieno” si è licenziato e la questione è stata attribuita allo “specialista più vicino”. Io stesso non sono un programmatore, ma solo un "radiomeccanico per la riparazione di apparecchiature informatiche (con) il mio diploma", quindi assemblare tutti i tipi di hardware interessante per computer è per me un'attività interessante e divertente. Purtroppo lavoro in un altro settore.
Per formulare più chiaramente il compito, ho creato un argomento sul forum "Iron Ghosts of the Past", dove è stato discusso per un periodo piuttosto lungo. All'inizio c'era un'idea piuttosto ingenua "costruire uno SLI a 4 vie su una GTX 580 3Gb", che gradualmente si trasformò in una comprensione: devi costruire un server! I prezzi per le schede madri dei server erano scandalosamente alti finché non mi sono imbattuto in un video interessante su Youtube sul lancio di una scheda server cinese su 2 processori di formato non standard.
Ecco il video:
Sono rimasto particolarmente soddisfatto del prezzo economico del sistema in questo video.
Tuttavia, la consultazione con compagni più esperti che si occupavano di server cinesi mi ha convinto: “Non abbiamo bisogno della felicità cinese!” Secondo le loro recensioni, i server cinesi erano semplicemente mostruosamente inaffidabili. E ho iniziato a cercare su Avito opzioni con schede server Dell. Ho due laptop di questa azienda e ne ho solo impressioni positive. Tecnologia molto affidabile.
Su Avito ho trovato una scheda nodo server Dell PowerEdge C6220 in procinto di comunicare con il venditore della quale - mi ha suggerito un sito eccellente in cui c'era una pubblicazione su come un artigiano ha lanciato una scheda del genere, . E c'era un collegamento a un forum americano in cui venivano assemblate potenti workstation su tali schede..
Ho letto l'intero argomento dall'inizio alla fine, ho deciso obiettivi, obiettivi e modi per raggiungerli. L'attività è stata formulata come segue: "Assemblare un server a doppio processore su una scheda nodo Dell PowerEdge C8220 con una GPU Tesla K10 o K20". La scelta di GPU specializzate è caduta dopo una discussione con la persona per la quale il sistema veniva effettivamente assemblato: avendo "schede" in grado di eseguire calcoli a lungo termine con doppia precisione e controllo degli errori di memoria ECC, avrebbe potuto utilizzarle per i suoi scopi scientifici attività e non solo per addestrare le reti neurali. Di cui in realtà era molto felice.
Per discutere e registrare la storia del processo di assemblaggio sul forum "Iron Ghosts of the Past", ho creato un argomento corrispondente, in cui ho effettivamente scritto del processo e pubblicato fotografie. .
Il compito era stato fissato e ho iniziato a cercare i componenti. Al momento in cui tutto è iniziato, non avevo ancora la registrazione su eBay e inizialmente i pezzi di ricambio necessari venivano acquistati dai miei amici, ai quali pagavo le spese di acquisto e spedizione. Successivamente mi sono registrato lì e ho iniziato ad acquistare direttamente, anche se a volte devo chiedere aiuto a chi ha un account su Shopotam e servizi simili. Non tutti i pezzi di ricambio necessari vengono spediti direttamente dagli USA alla Russia.
La prima scheda madre che ho acquistato su eBay è stata la Dell PowerEdge C8220 0083N0. Secondo la documentazione Dell, apparteneva alla versione 1.2 della scheda e aveva 3 slot PCI-E 16x. Ce ne sono due normali vicino al pulsante di accensione e un terzo sull'altro lato della scheda non standard, per il cosiddetto riser GPGPU, che era incluso nel cosiddetto Edge Slot.
Foto della scheda, la stessa 0083N0, foto da eBay.
E questa è la mia foto, alla lavagna è attaccato un righello per capire la scala.
A quel punto mi era arrivato anche un riser per GPGPU nello stesso Edge Slot.
Ecco una foto in cui è collegato al suo luogo abituale per i test.
Allo stesso tempo, su eBay è stato acquistato un adattatore di alimentazione, da ATX a questo connettore di alimentazione C6100. Ne esistono due tipi venduti su eBay, 12 e 18 pin. Abbiamo bisogno di quest'ultimo e anche di un boost DC-DC per trasformare +5VSB dall'alimentatore ATX in +12VSB del server Dell. E, naturalmente, il connettore femmina nel connettore per installare il ponticello necessario per avviare la scheda e emettere da essa il segnale PS_ON. A proposito, ha un passo di contatto non standard di 2.0 mm. Naturalmente i disperati possono infilare un cacciavite o un chiodo direttamente nel connettore della scheda, ma io ho preferito fare tutto civilmente.
Inoltre, per testare la scheda, abbiamo acquistato il più economico Xeon E5-2604 V1 da Aliexpress e un paio di memory stick DDR3 ECC REG da eBay, che sono stati venduti come compatibili con il Dell PowerEdge C8220. Prima di tutto, ho utilizzato i dissipatori Alpine 20 Plus C0 per LGA 2011, che hanno dovuto essere modificati: i loro bordi che poggiavano sugli slot di memoria sono stati limati con una smerigliatrice, le rondelle elastiche sono state rimosse dalle viti di fissaggio e un paio di dadi sono stati rimossi avvitato sulle filettature, in modo da non avvitare troppo in profondità le viti e non rompere la tavola. I socket dei server LGA 2011 sono progettati in modo leggermente diverso rispetto a quelli normali e le filettature delle viti del dissipatore di calore dovrebbero essere corte. A proposito, i dispositivi di raffreddamento hanno funzionato bene, nonostante fossero puramente in alluminio.
E così, nel momento in cui sono arrivati i processori, ho catturato la loro installazione in una foto come ricordo.
Ed ecco installati gli stessi radiatori in alluminio Alpine.
Sistema assemblato e funzionante.
Al sistema era collegato il mio vecchio fedele alimentatore Chieftek da 550 W, un hub USB per 4 dispositivi, che comprendeva una tastiera, un mouse e una chiavetta con Ubuntu, un lettore di schede era collegato al connettore per un lettore di schede USB sul scheda a cui ho collegato un dispositivo audio USB cinese, ho anche collegato un monitor VGA e un cavo di connessione alla porta IPMI da 100 Mbit, chiamata Delicated-NIC. Accanto ad essa ci sono due porte 10Gbe che funzionano su normale doppino intrecciato in rame e supportano completamente una normale rete 100/1000.
Il sistema è stato avviato in questa forma e si è scoperto che la scheda ha controllato la memoria per un tempo molto lungo durante l'avvio. E nella schermata iniziale del BIOS si chiamava Dell DCS 6220.
Concludo qui la prima parte della mia storia per non annoiare i lettori riconoscenti.
Collegamento alla parte 2:
Fonte: habr.com