Goedemiddag, beste inwoners van Khabrovsk!
Ik wil je een lang en, naar ik hoop, fascinerend en misschien nuttig verhaal vertellen over het samenstellen van een ‘dorpssupercomputer’ van een Dell-serverknooppuntbord, Nvidia Tesla K20 GPU en wat hier en daar werd gekocht bij verschillende online winkels of in computerwinkels in uw stad.
Het verhaal begon toen een bevriende programmeur, die ook astronoom is, neurale netwerken begon te bestuderen. Hun “fulltime specialist” stopte en de kwestie werd vastgepind op de “dichtstbijzijnde specialist”. Zelf ben ik geen programmeur, slechts een “radiomonteur voor het repareren van computerapparatuur (met) mijn diploma”, dus het assembleren van allerlei interessante computerhardware is voor mij een interessante en plezierige bezigheid. Helaas werk ik in een ander gebied.
Om het probleem duidelijker te formuleren, heb ik een onderwerp gemaakt op het forum 'Iron Ghosts of the Past', waar het geruime tijd werd besproken. In eerste instantie was er een nogal naïef idee "om een 4-weg SLI te bouwen op een GTX 580 3Gb", dat geleidelijk veranderde in een begrip: je moet een server bouwen! De prijzen voor servermoederborden waren schandalig hoog totdat ik op YouTube een interessante video tegenkwam over de lancering van een Chinees serverbord op 2 niet-standaardformaatprocessors.
Hier is de video:
Ik was vooral blij met de budgetprijs van het systeem in deze video.
Overleg met meer deskundige kameraden die met Chinese servers te maken hadden, overtuigde mij echter: “We hebben geen Chinees geluk nodig!” Volgens hun beoordelingen waren Chinese servers simpelweg monsterlijk onbetrouwbaar. En ik begon op Avito te zoeken naar opties met Dell-serverborden. Ik heb twee laptops van dit bedrijf en heb er alleen maar positieve indrukken van. Zeer betrouwbare technologie.
Op Avito vond ik een Dell PowerEdge C6220-serverknooppuntbord terwijl ik aan het communiceren was met de verkoper, waarvan hij me een uitstekende site voorstelde waar een publicatie stond over hoe een vakman zo'n bord lanceerde, . En er was een link naar een Amerikaans forum waar krachtige werkstations op dergelijke borden waren gemonteerd..
Ik heb het hele onderwerp van begin tot eind gelezen, ik heb doelen, doelstellingen en manieren bepaald om deze te bereiken. De taak was als volgt geformuleerd: “Assembleer een server met twee processors op een Dell PowerEdge C8220-nodeboard met een Tesla K10- of K20-GPU.” De keuze voor gespecialiseerde GPU's viel na een gesprek met de persoon voor wie het systeem feitelijk in elkaar werd gezet - omdat hij 'kaarten' had die langetermijnberekeningen konden uitvoeren met dubbele precisie en controle over ECC-geheugenfouten, kon hij ze gebruiken voor zijn wetenschappelijke activiteiten, en niet alleen voor het trainen van neurale netwerken. Waar hij eigenlijk heel blij mee was.
Om de geschiedenis van het assemblageproces op het forum "Iron Ghosts of the Past" te bespreken en vast te leggen, heb ik een overeenkomstig onderwerp gemaakt, waarin ik daadwerkelijk over het proces schreef en foto's plaatste. .
De taak was ingesteld en ik begon naar componenten te zoeken. Op het moment dat het allemaal begon, had ik nog geen registratie op eBay en werden de benodigde reserveonderdelen in eerste instantie gekocht door mijn vrienden, aan wie ik de aankoop- en verzendkosten betaalde. Later heb ik me daar zelf geregistreerd en begon ik rechtstreeks te kopen, hoewel ik soms om hulp moet vragen van degenen die accounts hebben op Shopotam en soortgelijke diensten. Niet alle benodigde reserveonderdelen worden rechtstreeks vanuit de VS naar Rusland verzonden.
Het eerste moederbord dat ik op eBay kocht, was de Dell PowerEdge C8220 0083N0. Volgens Dell-documentatie behoorde het tot bordversie 1.2 en had het 3 PCI-E 16x-slots. Er zitten twee gewone bij de aan/uit-knop en een derde aan de andere kant van het bord is niet standaard, voor de zogenaamde GPGPU-riser, die in het zogenaamde Edge Slot zat.
Foto van het bord, dezelfde 0083N0, foto van eBay.
En dit is mijn foto, er is een liniaal aan het bord bevestigd om de schaal te begrijpen.
Tegen die tijd was er ook een uitbreidingskaart voor GPGPU in hetzelfde Edge Slot bij mij aangekomen.
Hier is een foto waarop hij is aangesloten op zijn vaste testplaats.
Tegelijkertijd werd er op eBay een stroomadapter gekocht, van ATX naar deze C6100-stroomconnector. Er worden twee soorten op eBay verkocht: 12 en 18 pins. We hebben dit laatste nodig, en ook een DC-DC-boost om +5VSB van de ATX PSU om te zetten in +12VSB van de Dell-server. En natuurlijk was de vrouwelijke connector in de connector om de jumper te installeren nodig om het bord te starten en het PS_ON-signaal daaruit uit te voeren. Het heeft trouwens een niet-standaard contactsteek van 2.0 mm. Natuurlijk kunnen wanhopige jongens een schroevendraaier of een spijker rechtstreeks in de bordconnector steken, maar ik deed het liefst alles beleefd.
Om het bord te testen, kochten we bovendien de goedkoopste Xeon E5-2604 V1 van AliExpress en een paar DDR3 ECC REG-geheugensticks van eBay, die werden verkocht als compatibel met de Dell PowerEdge C8220. Allereerst gebruikte ik Alpine 20 Plus C0-koelers voor LGA 2011, die moesten worden aangepast - hun randen die op de geheugenslots rustten, werden met een slijpmachine gevijld, veerringen werden van de bevestigingsschroeven verwijderd en een paar moeren werden op de schroefdraad geschroefd - om de schroeven niet te diep in te draaien en de plank niet te breken. LGA 2011-serversockets zijn iets anders ontworpen dan gewone, en de schroefdraad van de koellichaamschroeven moet kort zijn. De koelers werkten overigens prima, ondanks dat ze puur van aluminium waren.
En dus kwam het moment waarop de processors arriveerden, ik heb hun installatie als aandenken op een foto vastgelegd.
En hier zijn dezelfde Alpine aluminium koelers geïnstalleerd.
Geassembleerd en werkend systeem.
Mijn oude trouwe Chieftek 550 W voeding werd op het systeem aangesloten, een USB-hub voor 4 apparaten, waaronder een toetsenbord, een muis en een flashdrive met Ubuntu, een kaartlezer werd aangesloten op de USB-kaartlezerconnector op het bord in waarop ik een Chinees USB-audioapparaat heb aangesloten, heb ik ook een VGA-monitor en een patchkabel aangesloten op de 100 Mbit IPMI-poort, die Delicated-NIC wordt genoemd. Daarnaast bevinden zich twee 10Gbe-poorten die werken via regulier twisted pair-koper en een regulier 100/1000-netwerk volledig ondersteunen.
Het systeem werd in deze vorm gelanceerd en het bleek dat het bord tijdens het opstarten het geheugen heel lang controleerde. En in het BIOS-opstartscherm noemde het zichzelf Dell DCS 6220.
Dit is waar ik het eerste deel van mijn verhaal zal beëindigen om dankbare lezers niet te vervelen.
Link naar deel 2:
Bron: www.habr.com