Bona tarda, estimats habitants de Khabrovsk!
Vull explicar-vos una història llarga i, espero, fascinant, i potser útil, de muntar un "superordinador de poble" des d'una placa de nodes de servidor Dell, la GPU Nvidia Tesla K20 i el que es va comprar aquí i allà a diverses botigues en línia o a botigues d'informàtica a la teva ciutat.
La història va començar quan un amic programador meu, que també és astrònom, va començar a estudiar les xarxes neuronals. El seu "especialista a temps complet" va renunciar i el problema es va fixar en l'"especialista més proper". Jo mateix no sóc un programador, només un "mecànic de ràdio per a la reparació d'equips informàtics (amb) el meu diploma", així que muntar tot tipus de maquinari informàtic interessant és una activitat interessant i agradable per a mi. Malauradament, treballo en una altra àrea.
Per formular la tasca amb més claredat, vaig crear un tema al fòrum "Iron Ghosts of the Past", on es va parlar durant força temps. Al principi, hi va haver una idea força ingènua "construir un SLI de 4 vies en una GTX 580 3Gb", que es va transformar gradualment en una comprensió: cal construir un servidor! Els preus de les plaques base de servidor eren escandalosament alts fins que em vaig trobar amb un vídeo interessant a Youtube sobre el llançament d'una placa de servidor xinesa amb 2 processadors de format no estàndard.
Aquí teniu el vídeo:
Em va satisfer especialment el preu pressupostari del sistema en aquest vídeo.
No obstant això, la consulta amb camarades més experts que tractaven amb servidors xinesos em va convèncer: "No necessitem la felicitat xinesa!" Segons les seves ressenyes, els servidors xinesos eren simplement monstruosament poc fiables. I vaig començar a buscar opcions a Avito amb plaques de servidor Dell. Tinc dos ordinadors portàtils d'aquesta empresa i només en tinc impressions positives. Tecnologia molt fiable.
A Avito vaig trobar una placa de nodes de servidor Dell PowerEdge C6220 en procés de comunicació amb el venedor de la qual; em va suggerir un lloc excel·lent on hi havia una publicació sobre com un artesà va llançar una placa d'aquest tipus, . I hi havia un enllaç a un fòrum nord-americà on es van muntar estacions de treball potents en aquests taulers..
Vaig llegir tot el tema de principi a fi, vaig decidir objectius, objectius i maneres d'assolir-los. La tasca es va formular de la següent manera: "Ensamblar un servidor de doble processador en una placa de nodes Dell PowerEdge C8220 amb una GPU Tesla K10 o K20". L'elecció de les GPU especialitzades va caure després d'una discussió amb la persona per a la qual s'estava muntant el sistema: tenint "targetes" que poguessin dur a terme càlculs a llarg termini amb doble precisió i control dels errors de memòria ECC, podia utilitzar-les per als seus científics. activitats, i no només per a la formació de xarxes neuronals. De la qual en realitat estava molt content.
Per discutir i registrar la història del procés de muntatge al fòrum "Iron Ghosts of the Past", vaig crear un tema corresponent, on realment vaig escriure sobre el procés i vaig publicar fotografies. .
La tasca es va establir i vaig començar a buscar components. En el moment en què va començar tot, encara no tenia un registre a eBay i al principi els recanvis necessaris els van comprar els meus amics, als quals vaig pagar les despeses de compra i enviament. Més tard, jo mateix m'hi vaig registrar i vaig començar a comprar directament, tot i que de vegades he de demanar ajuda als que tinguin comptes a Shopotam i serveis similars. No totes les peces de recanvi necessàries s'envien directament des dels EUA a Rússia.
La primera placa base que vaig comprar a eBay va ser la Dell PowerEdge C8220 0083N0. Segons la documentació de Dell, pertanyia a la versió 1.2 de la placa i tenia 3 ranures PCI-E 16x. N'hi ha dos normals a prop del botó d'engegada i un tercer a l'altre costat del tauler no és estàndard, per a l'anomenat GPGPU riser, que es va incloure a l'anomenat Edge Slot.
Foto del tauler, el mateix 0083N0, foto d'eBay.
I aquesta és la meva foto, s'adjunta un regle a la pissarra per entendre l'escala.
En aquell moment, també m'havia arribat un elevador per a GPGPU a la mateixa ranura Edge.
Aquí teniu una foto on està connectat al seu lloc habitual per a la prova.
Al mateix temps, es va comprar un adaptador d'alimentació a eBay, des d'ATX fins a aquest connector d'alimentació C6100. N'hi ha dos tipus venuts a eBay, 12 i 18 pins. Necessitem aquest últim, i també un impuls DC-DC per convertir +5VSB de la PSU ATX en +12VSB del servidor Dell. I, per descomptat, el connector femella del connector per instal·lar el pont necessari per iniciar la placa i emetre el senyal PS_ON. Per cert, té un pas de contacte no estàndard de 2.0 mm. Per descomptat, els nois desesperats poden enganxar un tornavís o un clau directament al connector de la placa, però jo preferia fer-ho tot civilment.
A més, per provar l'execució de la placa, vam comprar el Xeon E5-2604 V1 més barat d'Aliexpress i un parell de llapis de memòria DDR3 ECC REG d'eBay, que es van vendre com a compatibles amb el Dell PowerEdge C8220. En primer lloc, vaig utilitzar refrigeradors Alpine 20 Plus C0 per a LGA 2011, que s'havien de modificar: les vores que descansaven a les ranures de memòria es van arxivar amb una esmoladora, es van treure les volanderes de molla dels cargols de fixació i es van fer un parell de femelles. cargolat a les fils - per no cargolar els cargols massa profundament i no trencar el tauler. Els endolls del servidor LGA 2011 estan dissenyats de manera lleugerament diferent que els normals, i les rosques dels cargols del dissipador de calor han de ser curtes. Per cert, els refrigeradors van funcionar bé, malgrat que eren purament d'alumini.
I així, va arribar el moment en què van arribar els processadors, vaig captar la seva instal·lació en una foto com a record.
I aquí hi ha els mateixos refrigeradors d'alumini Alpine instal·lats.
Sistema muntat i en funcionament.
La meva antiga font d'alimentació Chieftek de 550 W estava connectada al sistema, un concentrador USB per a 4 dispositius, que incloïa un teclat, un ratolí i una unitat flaix amb Ubuntu, un lector de targetes estava connectat al connector per a un lector de targetes USB al placa a la qual vaig connectar un dispositiu d'àudio USB xinès, també vaig connectar un monitor VGA i un cable de connexió al port IPMI de 100 Mbit, que s'anomena Delicated-NIC. Al costat hi ha dos ports de 10 Gbe que funcionen amb coure de parell trenat normal i admeten totalment una xarxa 100/1000 normal.
El sistema es va llançar d'aquesta forma i va resultar que el tauler va comprovar la memòria durant molt de temps durant l'inici. I a la pantalla de presentació de la BIOS es va anomenar Dell DCS 6220.
Aquí és on acabaré la primera part de la meva història per no avorrir els lectors agraïts.
Enllaç a la part 2:
Font: www.habr.com