Dobré odpoledne, milí obyvatelé Chabrovska!
Chci vám vyprávět dlouhý a doufám, že fascinující a možná i užitečný příběh o sestavení „vesnického superpočítače“ z desky serverového uzlu Dell, GPU Nvidia Tesla K20 a toho, co bylo tu a tam zakoupeno v různých internetových obchodech nebo v prodejny počítačů ve vašem městě.
Příběh začal, když můj přítel programátor, který je také astronom, začal studovat neuronové sítě. Jejich „specialista na plný úvazek“ skončil a problém se dostal na „nejbližšího specialistu“. Sám nejsem programátor, jen „radiomechanik na opravy výpočetní techniky (s diplomem), takže skládání nejrůznějšího zajímavého počítačového hardwaru je pro mě zajímavou a příjemnou činností. Bohužel pracuji v jiné oblasti.
Pro srozumitelnější formulaci úkolu jsem vytvořil téma na fóru “Iron Ghosts of the Past”, kde se o tom diskutovalo poměrně dlouho. Zpočátku byla poněkud naivní představa „postavit 4-way SLI na GTX 580 3Gb“, která se postupně proměnila v pochopení – je potřeba postavit server! Ceny serverových základních desek byly nehorázně vysoké, dokud jsem na Youtube nenarazil na zajímavé video o uvedení čínské serverové desky na 2 procesory nestandardního formátu.
Zde je video:
Na tomto videu mě potěšila především rozpočtová cena systému.
Nicméně konzultace se znalejšími soudruhy, kteří se zabývali čínskými servery, mě přesvědčila - "Nepotřebujeme čínské štěstí!" Podle jejich recenzí byly čínské servery prostě monstrózně nespolehlivé. A začal jsem hledat na Avitu možnosti se serverovými deskami Dell. Mám dva notebooky od této společnosti a mám z nich jen pozitivní dojmy. Velmi spolehlivá technologie.
Na Avitu jsem našel desku serverového uzlu Dell PowerEdge C6220 v procesu komunikace s jejím prodejcem - navrhl mi výbornou stránku, kde byla publikace o tom, jak jeden řemeslník spustil takovou desku, . A byl tam odkaz na americké fórum, kde se na takové desky montovaly výkonné pracovní stanice..
Přečetl jsem celé téma od začátku do konce, rozhodl jsem se pro cíle, cíle a způsoby, jak jich dosáhnout. Úkol byl formulován následovně: „Sestavte dvouprocesorový server na desce uzlu Dell PowerEdge C8220 s GPU Tesla K10 nebo K20.“ Volba specializovaných GPU padla po diskuzi s osobou, pro kterou byl systém skutečně sestavován - mít „karty“, které by mohly provádět dlouhodobé výpočty s dvojnásobnou přesností a kontrolovat chyby paměti ECC, mohl je použít pro své vědecké aktivit, a to nejen pro trénování neuronových sítí. Z čehož měl vlastně velkou radost.
Abych diskutoval a zaznamenával historii procesu montáže na fóru „Iron Ghosts of the Past“, vytvořil jsem odpovídající téma, kde jsem skutečně psal o procesu a zveřejnil fotografie. .
Úkol byl zadán a já začal hledat komponenty. V době, kdy to všechno začalo, jsem ještě neměl registraci na eBay a nejprve potřebné náhradní díly nakupovali kamarádi, kterým jsem platil náklady na nákup a dopravu. Později jsem se tam sám zaregistroval a začal nakupovat přímo, i když občas musím požádat o pomoc ty, kteří mají účty na Shopotamu a podobných službách. Ne všechny potřebné náhradní díly se zasílají přímo z USA do Ruska.
První základní deska, kterou jsem si koupil z eBay, byla Dell PowerEdge C8220 0083N0. Podle dokumentace Dell patřil k desce verze 1.2 a měl 3 sloty PCI-E 16x. U vypínacího tlačítka jsou dvě běžné a třetí na druhé straně desky je nestandardní, pro tzv. GPGPU riser, který byl obsažen v tzv. Edge Slot.
Foto desky, stejné 0083N0, foto z eBay.
A toto je moje fotka, na desce je připevněno pravítko, aby se pochopilo měřítko.
Do té doby mi dorazil i riser pro GPGPU ve stejném Edge Slotu.
Zde je fotografie, kde je připojen ke svému pravidelnému místu pro testování.
Zároveň byl na eBay zakoupen napájecí adaptér, od ATX k tomuto napájecímu konektoru C6100. Na eBay se prodávají dva typy, 12 a 18pinové. Potřebujeme to druhé a také zvýšení DC-DC, abychom změnili +5 VSB z ATX PSU na +12 VSB serveru Dell. A samozřejmě zásuvka v konektoru pro instalaci jumperu potřebného ke spuštění desky a výstupu signálu PS_ON z ní. Ten má mimochodem nestandardní rozteč kontaktů 2.0 mm. Zoufalci samozřejmě umí zapíchnout šroubovák nebo hřebík přímo do konektoru desky, ale já jsem raději vše dělal civilně.
Pro testovací provoz desky jsme navíc koupili nejlevnější Xeon E5-2604 V1 z Aliexpressu a dvojici pamětí DDR3 ECC REG z eBay, které se prodávaly jako kompatibilní s Dell PowerEdge C8220. Nejprve jsem pro LGA 20 použil chladiče Alpine 0 Plus C2011, které bylo nutné upravit - jejich hrany, které spočívaly na paměťových slotech, byly opilovány bruskou, byly odstraněny pružné podložky z upevňovacích šroubů a pár matic našroubované na závity - aby se šrouby nezašroubovaly příliš hluboko a nezlomily desku. Serverové patice LGA 2011 jsou navrženy trochu jinak než běžné a závity šroubů chladiče by měly být krátké. Chladiče mimochodem fungovaly dobře i přes to, že byly čistě hliníkové.
A tak přišel okamžik, kdy procesory dorazily, zachytil jsem jejich instalaci na fotografii na památku.
A zde jsou nainstalovány stejné hliníkové chladiče Alpine.
Sestavený a běžící systém.
K systému byl připojen můj starý věrný zdroj Chieftek 550 W, USB hub pro 4 zařízení, který obsahoval klávesnici, myš a flash disk s Ubuntu, čtečka karet byla připojena do konektoru pro USB čtečku karet na desku, do které jsem zapojil čínské USB audio zařízení, jsem připojil i VGA monitor a patch kabel do 100 Mbit IPMI portu, který se jmenuje Delicated-NIC. Vedle něj jsou dva 10Gbe porty, které fungují přes běžnou kroucenou dvoulinku a plně podporují běžnou síť 100/1000.
Systém byl spuštěn v této podobě a ukázalo se, že deska při startu kontrolovala paměť velmi dlouho. A na úvodní obrazovce BIOSu se nazýval Dell DCS 6220.
Zde ukončím první část svého příběhu, abych vděčné čtenáře nenudil.
Odkaz na část 2:
Zdroj: www.habr.com