Dobré popoludnie, milí obyvatelia Khabrovska!
Chcem vám porozprávať dlhý a dúfam, že fascinujúci a možno aj užitočný príbeh o zostavení „dedinského superpočítača“ z dosky uzla servera Dell, GPU Nvidia Tesla K20 a toho, čo sa tu a tam kúpilo v rôznych internetových obchodoch alebo v predajne počítačov vo vašom meste.
Príbeh sa začal, keď môj priateľ programátor, ktorý je tiež astronóm, začal študovať neurónové siete. Ich „špecialista na plný úväzok“ skončil a problém sa dostal na „najbližšieho špecialistu“. Sám nie som programátor, len „rádiomechanik na opravu výpočtovej techniky (s diplomom), takže skladanie najrôznejšieho zaujímavého počítačového hardvéru je pre mňa zaujímavou a príjemnou činnosťou. Žiaľ, pracujem v inej oblasti.
Pre jasnejšiu formuláciu úlohy som vytvoril tému na fóre “Železné prízraky minulosti”, kde sa o nej diskutovalo pomerne dlho. Najprv to bola dosť naivná myšlienka „postaviť 4-cestné SLI na GTX 580 3Gb“, ktorá sa postupne pretavila do pochopenia – musíte postaviť server! Ceny serverových základných dosiek boli nehorázne vysoké, kým som na Youtube nenarazil na zaujímavé video o uvedení čínskej serverovej dosky na 2 procesory neštandardného formátu.
Tu je video:
Na tomto videu ma potešila najmä rozpočtová cena systému.
Konzultácia so znalejšími súdruhmi, ktorí sa zaoberali čínskymi servermi, ma však presvedčila - "Nepotrebujeme čínske šťastie!" Podľa ich recenzií boli čínske servery jednoducho neskutočne nespoľahlivé. A začal som hľadať na Avito možnosti so serverovými doskami Dell. Mám dva notebooky od tejto spoločnosti a mám z nich len pozitívne dojmy. Veľmi spoľahlivá technológia.
Na Avito som v procese komunikácie s predajcom našiel dosku serverového uzla Dell PowerEdge C6220 - navrhol mi skvelú stránku, kde bola publikácia o tom, ako jeden remeselník spustil takúto dosku, . A bol tam odkaz na americké fórum, kde sa na takéto dosky montovali výkonné pracovné stanice..
Prečítal som si celú tému od začiatku do konca, rozhodol som sa pre ciele, ciele a spôsoby ich dosiahnutia. Úloha bola formulovaná takto: „Zostavte dvojprocesorový server na doske uzla Dell PowerEdge C8220 s GPU Tesla K10 alebo K20.“ Voľba špecializovaných GPU padla po diskusii s osobou, pre ktorú sa systém skutočne montoval – keďže mal „karty“, ktoré by mohli vykonávať dlhodobé výpočty s dvojnásobnou presnosťou a kontrolovať chyby pamäte ECC, mohol ich použiť na svoje vedecké účely. činnosti, a to nielen na trénovanie neurónových sietí. Z čoho mal vlastne veľkú radosť.
Aby som prediskutoval a zaznamenal históriu procesu montáže na fóre „Iron Ghosts of the Past“, vytvoril som zodpovedajúcu tému, kde som skutočne písal o procese a zverejnil fotografie. .
Úloha bola nastavená a ja som začal hľadať komponenty. V čase, keď sa to všetko začalo, som ešte nemal registráciu na eBay a najskôr potrebné náhradné diely nakupovali moji známi, ktorým som zaplatil náklady na nákup a dopravu. Neskôr som sa tam sám zaregistroval a začal nakupovať priamo, aj keď niekedy musím požiadať o pomoc tých, ktorí majú účty na Shopotame a podobných službách. Nie všetky potrebné náhradné diely sa posielajú priamo z USA do Ruska.
Prvá základná doska, ktorú som si kúpil z eBay, bola Dell PowerEdge C8220 0083N0. Podľa dokumentácie Dell patril do verzie 1.2 a mal 3 sloty PCI-E 16x. V blízkosti tlačidla napájania sú dva bežné a tretí na druhej strane dosky je neštandardný, pre takzvanú stúpačku GPGPU, ktorá bola súčasťou takzvaného Edge Slot.
Foto dosky, rovnaké 0083N0, foto z eBay.
A toto je moja fotka, na doske je pripevnené pravítko na pochopenie mierky.
V tom čase mi dorazil aj stúpač pre GPGPU v rovnakom Edge Slot.
Tu je fotografia, na ktorej je pripojený k svojmu bežnému miestu na testovanie.
Zároveň bol na eBay zakúpený napájací adaptér od ATX do tohto napájacieho konektora C6100. Na eBay sa predávajú dva typy, 12 a 18 pinové. Potrebujeme to druhé a tiež zvýšenie DC-DC na premenu +5VSB z ATX PSU na +12VSB servera Dell. A samozrejme, samica konektora v konektore na inštaláciu prepojky potrebnej na spustenie dosky a výstup signálu PS_ON z nej. Mimochodom, má neštandardnú rozteč kontaktov 2.0 mm. Samozrejme, zúfalí chlapi vedia zapichnúť skrutkovač alebo klinec priamo do konektora dosky, ale ja som radšej urobil všetko civilne.
Okrem toho sme na testovanie dosky kúpili najlacnejší Xeon E5-2604 V1 z Aliexpressu a dvojicu pamäťových kľúčov DDR3 ECC REG z eBay, ktoré sa predávali ako kompatibilné s Dell PowerEdge C8220. V prvom rade som použil chladiče Alpine 20 Plus C0 pre LGA 2011, ktoré bolo potrebné upraviť - ich hrany, ktoré sa opierali o pamäťové sloty, som zapiloval brúskou, odstránili pružné podložky z upevňovacích skrutiek a pár matíc naskrutkované na závity - aby sa skrutky nezaskrutkovali príliš hlboko a nerozbili dosku. Serverové zásuvky LGA 2011 sú navrhnuté trochu inak ako bežné a závity skrutiek chladiča by mali byť krátke. Mimochodom, chladiče fungovali dobre aj napriek tomu, že boli čisto hliníkové.
A tak prišiel moment, keď dorazili procesory, zachytil som ich inštaláciu na fotografiu na pamiatku.
A tu sú nainštalované rovnaké hliníkové chladiče Alpine.
Zostavený a spustený systém.
Do systému bol zapojený môj starý verný zdroj Chieftek 550 W, USB hub pre 4 zariadenia, ktorý obsahoval klávesnicu, myš a flash disk s Ubuntu, do konektora pre USB čítačku kariet na dosku, do ktorej som zapojil čínske USB audio zariadenie, som do 100 Mbit IPMI portu, ktorý sa nazýva Delicated-NIC, pripojil aj VGA monitor a patch kábel. Vedľa neho sú dva 10Gbe porty, ktoré fungujú cez bežnú krútenú dvojlinku a plne podporujú bežnú 100/1000 sieť.
Systém bol spustený v tejto podobe a ukázalo sa, že doska pri štarte veľmi dlho kontrolovala pamäť. A na úvodnej obrazovke systému BIOS sa nazýval Dell DCS 6220.
Tu ukončím prvú časť môjho príbehu, aby som vďačných čitateľov nenudil.
Odkaz na časť 2:
Zdroj: hab.com