Historien om att montera en "bysuperdator" av reservdelar från eBay, Aliexpress och en datorbutik. Del 1

God eftermiddag kära Khabrovskbor!

Jag vill berätta en lång och, hoppas jag, fascinerande, och kanske användbar, historia om att montera en "bysuperdator" från ett Dell-servernodkort, Nvidia Tesla K20 GPU och vad som köptes här och där från olika onlinebutiker eller i datorbutiker i din stad.

Historien började när en programmerare till mig, som också är astronom, började studera neurala nätverk. Deras "heltidsspecialist" slutade och problemet fästes vid den "närmaste specialisten". Jag är själv ingen programmerare, bara en "radiomekaniker för att reparera datorutrustning (med) mitt diplom", så att montera all möjlig intressant datorhårdvara är en intressant och rolig aktivitet för mig. Tyvärr jobbar jag inom ett annat område.

För att tydligare formulera uppgiften skapade jag ett ämne på forumet "Iron Ghosts of the Past", där det diskuterades ganska länge. Först fanns det en ganska naiv idé "att bygga en 4-vägs SLI på en GTX 580 3Gb", som gradvis förvandlades till en förståelse - du måste bygga en server! Priserna för servermoderkort var skandalöst höga tills jag hittade en intressant video på Youtube om lanseringen av ett kinesiskt serverkort på 2 processorer i icke-standardformat.

Här är videon:

Jag var särskilt nöjd med budgetpriset för systemet i den här videon.

Men samråd med mer kunniga kamrater som hanterade kinesiska servrar övertygade mig - "Vi behöver inte kinesisk lycka!" Enligt deras recensioner var kinesiska servrar helt enkelt monstruöst opålitliga. Och jag började titta på Avito efter alternativ med Dell-serverkort. Jag har två bärbara datorer från detta företag och har bara positiva intryck från dem. Mycket pålitlig teknik.

På Avito hittade jag ett Dell PowerEdge C6220-servernodkort i färd med att kommunicera med säljaren av vilket - han föreslog mig en utmärkt sida där det fanns en publikation om hur en hantverkare lanserade ett sådant kort, här är länken. Och det fanns en länk till ett amerikanskt forum där kraftfulla arbetsstationer monterades på sådana brädor. Det här ämnet är här.

Jag läste hela ämnet från början till slut, jag bestämde mig för mål, mål och sätt att uppnå dem. Uppgiften formulerades enligt följande: "Sätt ihop en server med dubbla processorer på ett Dell PowerEdge C8220 nodkort med en Tesla K10 eller K20 GPU." Valet av specialiserade GPU:er föll efter en diskussion med personen för vilken systemet faktiskt sattes ihop - med "kort" som kunde utföra långtidsberäkningar med dubbel precision och kontroll av ECC-minnesfel, han kunde använda dem för sin vetenskapliga aktiviteter, och inte bara för att träna neurala nätverk. Vilket han faktiskt var väldigt glad över.

För att diskutera och spela in historien om monteringsprocessen på forumet "Iron Ghosts of the Past" skapade jag ett motsvarande ämne, där jag faktiskt skrev om processen och postade fotografier. Intresserade kan bekanta sig.

Uppgiften var klar och jag började leta efter komponenter. Vid den tidpunkt då allt började hade jag ännu ingen registrering på eBay och först köptes de nödvändiga reservdelarna av mina vänner, till vilka jag betalade kostnaderna för köp och frakt. Senare registrerade jag mig själv där och började köpa direkt, även om jag ibland måste be om hjälp från de som har konton på Shopotam och liknande tjänster. Alla nödvändiga reservdelar skickas inte direkt från USA till Ryssland.
Det första moderkortet jag köpte från eBay var Dell PowerEdge C8220 0083N0. Enligt Dells dokumentation tillhörde den kortversion 1.2 och hade 3 PCI-E 16x-platser. Det finns två vanliga nära strömknappen och en tredje på andra sidan av kortet är icke-standard, för den så kallade GPGPU-risern, som ingick i den så kallade Edge Slot.

Foto av tavlan, samma 0083N0, foto från eBay.

Och det här är mitt foto, en linjal är fäst på tavlan för att förstå skalan.

Vid det laget hade jag också fått en stigare för GPGPU i samma Edge Slot.

Här är ett foto där den är kopplad till sin vanliga plats för testning.

Samtidigt köptes en strömadapter på eBay, från ATX till denna C6100 strömkontakt. Det finns två typer av dem som säljs på eBay, 12 och 18 stift. Vi behöver det senare, och även en DC-DC-boost för att förvandla +5VSB från ATX PSU till +12VSB för Dell-servern. Och naturligtvis, honkontakten i kontakten för att installera bygeln som behövs för att starta kortet och mata ut PS_ON-signalen från den. Den har förresten en icke-standard kontaktdelning på 2.0 mm. Naturligtvis kan desperata killar sticka en skruvmejsel eller en spik direkt i kortkontakten, men jag föredrog att göra allt civilt.

För att testköra kortet köpte vi dessutom den billigaste Xeon E5-2604 V1 från Aliexpress och ett par DDR3 ECC REG-minnen från eBay, som såldes som kompatibla med Dell PowerEdge C8220. Först och främst använde jag Alpine 20 Plus C0-kylare för LGA 2011, som måste modifieras - deras kanter som vilade på minnesplatserna filades med en kvarn, fjäderbrickor togs bort från fästskruvarna och ett par muttrar var skruvas fast på gängorna - för att inte skruva in skruvarna för djupt och inte bryta brädet. LGA 2011-serversocklar är designade något annorlunda än vanliga, och gängorna på kylflänsskruvarna bör vara korta. För övrigt fungerade kylarna bra, trots att de var rent aluminium.

Och så, i det ögonblick som kom när processorerna kom, fångade jag deras installation på ett foto som en minnessak.

Och här är samma Alpine aluminiumkylare installerade.

Monterat och kört system.

Min gamla trogna Chieftek 550 W strömförsörjning var ansluten till systemet, en USB-hubb för 4 enheter, som inkluderade ett tangentbord, en mus och en flash-enhet med Ubuntu, en kortläsare kopplades till kontakten för en USB-kortläsare på kort som jag kopplade in en kinesisk USB-ljudenhet i, jag kopplade även en VGA-skärm och en patchkabel till 100 Mbit IPMI-porten, som kallas Delicated-NIC. Bredvid den finns två 10Gbe-portar som fungerar över vanlig tvinnad kopparpar och fullt stödjer ett vanligt 100/1000-nätverk.

Systemet lanserades i denna form och det visade sig att kortet kollade minnet väldigt länge under uppstarten. Och på BIOS-startskärmen kallade den sig Dell DCS 6220.

Det är här jag ska avsluta den första delen av min berättelse för att inte tråka ut tacksamma läsare.

Länk till del 2: habr.com/en/post/454448

Källa: will.com