Dzień dobry, drodzy mieszkańcy Chabrowska!
Chcę opowiedzieć Wam długą i mam nadzieję fascynującą i być może przydatną historię składania „wiejskiego superkomputera” z płyty serwerowej Dell, karty graficznej Nvidia Tesla K20 i tego, co kupowano tu i ówdzie w różnych sklepach internetowych lub w sklepy komputerowe w Twoim mieście.
Historia zaczęła się, gdy mój przyjaciel programista, który jest także astronomem, zaczął badać sieci neuronowe. Ich „specjalista pracujący na pełny etat” odszedł, a sprawę zrzucono na „najbliższego specjalistę”. Ja sam nie jestem programistą, a jedynie „radiomechanikiem zajmującym się naprawą sprzętu komputerowego (z) dyplomem”, dlatego składanie wszelkiego rodzaju ciekawego sprzętu komputerowego jest dla mnie ciekawym i przyjemnym zajęciem. Niestety pracuję w innym zawodzie.
Aby jaśniej sformułować zadanie, założyłem temat na forum „Iron Ghosts of the Past”, gdzie był on omawiany dość długo. Na początku był dość naiwny pomysł „zbudowania 4-way SLI na GTX 580 3Gb”, który stopniowo przerodził się w zrozumienie - trzeba zbudować serwer! Ceny płyt głównych do serwerów były skandalicznie wysokie, dopóki nie natknąłem się na ciekawy film na Youtube o premierze chińskiej płyty serwerowej na 2 procesorach o niestandardowym formacie.
Oto wideo:
Szczególnie podobała mi się budżetowa cena systemu przedstawionego w tym filmie.
Jednak konsultacje z bardziej doświadczonymi towarzyszami, którzy mieli do czynienia z chińskimi serwerami, przekonały mnie: „Nie potrzebujemy chińskiego szczęścia!” Według ich recenzji chińskie serwery były po prostu potwornie zawodne. Zacząłem szukać w Avito opcji z płytami serwerowymi Dell. Mam dwa laptopy tej firmy i mam z nich same pozytywne wrażenia. Bardzo niezawodna technologia.
Na Avito znalazłem w trakcie komunikacji ze sprzedawcą płytkę węzła serwerowego Dell PowerEdge C6220 - polecił mi świetną stronę, na której była publikacja o tym, jak jeden rzemieślnik wypuścił taką płytkę, . I był link do amerykańskiego forum, gdzie na takich płytach montowano potężne stacje robocze..
Przeczytałem cały temat od początku do końca, ustaliłem cele, założenia i sposoby ich osiągnięcia. Zadanie zostało sformułowane w następujący sposób: „Zmontuj serwer dwuprocesorowy na płycie węzła Dell PowerEdge C8220 z procesorem graficznym Tesla K10 lub K20”. Wybór specjalizowanych procesorów graficznych padł po rozmowie z osobą, dla której faktycznie montowany był system – dysponując „kartami” mogącymi wykonywać długoterminowe obliczenia z podwójną precyzją i kontrolą błędów pamięci ECC, mógł je wykorzystywać do swoich celów naukowych działań, a nie tylko do uczenia sieci neuronowych. Z czego właściwie był bardzo zadowolony.
Aby omówić i udokumentować historię procesu montażu na forum „Iron Ghosts of the Past”, założyłem odpowiedni temat, w którym faktycznie pisałem o procesie i zamieszczałem zdjęcia. .
Zadanie zostało postawione i zacząłem szukać komponentów. W momencie kiedy to wszystko się zaczęło nie miałem jeszcze rejestracji na eBay'u i początkowo potrzebne części kupowali moi znajomi, którym pokrywałem koszty zakupu i wysyłki. Później sam się tam zarejestrowałem i zacząłem kupować bezpośrednio, chociaż czasami muszę prosić o pomoc osoby, które mają konta na Shopotamie i podobnych usługach. Nie wszystkie niezbędne części zamienne wysyłane są bezpośrednio z USA do Rosji.
Pierwszą płytą główną, którą kupiłem w serwisie eBay, była Dell PowerEdge C8220 0083N0. Według dokumentacji Della należała ona do płyty w wersji 1.2 i posiadała 3 sloty PCI-E 16x. Są dwa zwykłe w pobliżu przycisku zasilania i trzeci po drugiej stronie płytki jest niestandardowy, dla tzw. pionu GPGPU, który znalazł się w tzw. Edge Slocie.
Zdjęcie płytki, ten sam 0083N0, zdjęcie z eBay'a.
A to moje zdjęcie, do tablicy dołączona jest linijka, żeby zrozumieć skalę.
W tym czasie dotarł do mnie również pionek dla GPGPU w tym samym gnieździe Edge.
Oto zdjęcie, na którym jest podłączony do swojego zwykłego miejsca do testowania.
W tym samym czasie na eBay'u został zakupiony zasilacz z ATX na to złącze zasilania C6100. W serwisie eBay sprzedawane są dwa typy, 12- i 18-pinowe. Potrzebujemy tego ostatniego, a także wzmocnienia DC-DC, aby zamienić +5VSB z zasilacza ATX na +12VSB serwera Dell. No i oczywiście złącze żeńskie w złączu do założenia zworki potrzebnej do uruchomienia płytki i wypuszczenia z niej sygnału PS_ON. Nawiasem mówiąc, ma niestandardową podziałkę styków wynoszącą 2.0 mm. Oczywiście zdesperowani goście mogą wbić śrubokręt lub gwóźdź bezpośrednio w złącze płytki, ale ja wolałem zrobić wszystko cywilnie.
Dodatkowo, w celu przetestowania płyty, kupiliśmy najtańszy Xeon E5-2604 V1 z Aliexpress i parę kości pamięci DDR3 ECC REG z eBay, które były sprzedawane jako kompatybilne z Dell PowerEdge C8220. W pierwszej kolejności zastosowałem chłodnice Alpine 20 Plus C0 na LGA 2011, które wymagały modyfikacji - ich krawędzie opierające się o sloty pamięci zostały oszlifowane szlifierką, ze śrub mocujących zdjęto podkładki sprężyste i dokręcono parę nakrętek. przykręcane do gwintów - tak, aby nie wkręcać wkrętów zbyt głęboko i nie połamać deski. Gniazda serwerowe LGA 2011 są zaprojektowane nieco inaczej niż zwykłe, a gwinty śrub radiatora powinny być krótkie. Nawiasem mówiąc, chłodnice działały dobrze, mimo że były czysto aluminiowe.
I tak nadszedł moment, kiedy procesory dotarły, uwieczniłem ich instalację na zdjęciu na pamiątkę.
A tutaj zainstalowano te same aluminiowe chłodnice Alpine.
System złożony i działający.
Do systemu podłączony został mój stary wierny zasilacz Chieftek 550 W, koncentrator USB na 4 urządzenia w skład których wchodziła klawiatura, mysz i pendrive z systemem Ubuntu, czytnik kart został podłączony do złącza czytnika kart USB na płytkę, do której podłączyłem chińskie urządzenie audio USB, podłączyłem także monitor VGA i patchcord do portu 100 Mbit IPMI, który nazywa się Delicated-NIC. Obok znajdują się dwa porty 10Gbe, które działają po zwykłej skrętce miedzianej i w pełni obsługują zwykłą sieć 100/1000.
Układ został uruchomiony w takiej formie i okazało się, że płyta podczas uruchamiania sprawdzała pamięć przez bardzo długi czas. A na ekranie powitalnym BIOS-u nazwał się Dell DCS 6220.
Na tym zakończę pierwszą część mojej historii, żeby nie zanudzać wdzięcznych czytelników.
Link do części 2:
Źródło: www.habr.com