Dzień dobry, drodzy mieszkańcy Chabrowska!
Chciałbym kontynuować moją opowieść o złożeniu „wiejskiego superkomputera”. I wyjaśnię, dlaczego tak się to nazywa – powód jest prosty. Sam mieszkam na wsi. A nazwa to lekki trolling tych, którzy krzyczą w Internecie: „Za obwodnicą Moskwy nie ma życia!”, „Rosyjska wieś stała się pijacka i wymiera!” Więc gdzieś to może być prawdą, ale ja będę wyjątkiem od reguły. Nie piję, nie palę, robię rzeczy, na które nie każdy „miejski krakers” może sobie pozwolić. Wróćmy jednak do naszych owieczek, a dokładniej do serwera, który pod koniec pierwszej części artykułu już „dał znaki życia”.
Płyta leżała na stole, wspiąłem się przez BIOS, ustawiając go według własnych upodobań, dla uproszczenia wyrzuciłem Ubuntu 16.04 Desktop i zdecydowałem się podłączyć kartę graficzną do „super maszyny”. Ale jedyną rzeczą, jaką miałem pod ręką, był GTS 250 z dołączonym mocnym, nieoryginalnym wentylatorem. Które zainstalowałem w gnieździe PCI-E 16x w pobliżu przycisku zasilania.
„Zabrałem go z paczką Belomoru (c)”, więc proszę nie wińcie mnie za jakość zdjęcia. Wolę komentować to, co jest na nich uchwycone.
Po pierwsze okazało się, że nawet krótka karta graficzna po zainstalowaniu w gnieździe opiera płytkę o gniazda pamięci, w których w tym przypadku nie można jej zainstalować, a nawet trzeba opuścić zatrzaski. Po drugie, żelazny pasek montażowy karty graficznej zakrywa przycisk zasilania, więc trzeba go było usunąć. Nawiasem mówiąc, sam przycisk zasilania jest podświetlany dwukolorową diodą LED, która świeci na zielono, gdy wszystko jest w porządku i miga na pomarańczowo, jeśli są jakieś problemy, zwarcie i zadziałało zabezpieczenie zasilacza lub zasilanie +12VSB podaż jest zbyt wysoka lub zbyt niska.
W rzeczywistości ta płyta główna nie jest zaprojektowana do umieszczania kart graficznych „bezpośrednio” w gniazdach PCI-E 16x; wszystkie są podłączone do pionów. Aby zainstalować kartę rozszerzeń w gniazdach w pobliżu przycisku zasilania, służą podstawki narożne, niska do montażu krótkich kart do długości pierwszego radiatora procesora i wysoka narożna z dodatkowym złączem zasilania +12V do montażu karty karta graficzna „nad” standardową chłodnicą o niskim rozmiarze 1U. Może obejmować duże karty graficzne, takie jak GTX 780, GTX 980, GTX 1080 lub wyspecjalizowane karty GPGPU Nvidia Tesla K10-K20-K40 lub „karty obliczeniowe” Intel Xeon Phi 5110p i tym podobne.
Ale w pionie GPGPU kartę znajdującą się w EdgeSlot można podłączyć bezpośrednio, jedynie poprzez ponowne podłączenie dodatkowego zasilania tym samym złączem, co w pionie o wysokim narożniku. Dla zainteresowanych na eBay ten elastyczny pion nazywa się „Dell PowerEdge C8220X PCI-E GPGPU DJC89” i kosztuje około 2.5-3 tysięcy rubli. Narożne podstawki z dodatkowym zasilaczem są znacznie rzadsze i musiałem negocjować, aby je kupić w specjalistycznym sklepie z częściami serwerowymi za pośrednictwem Whisper. Kosztowały po 7 tys. za sztukę.
Od razu powiem, „ryzykowni goście (tm)” potrafią nawet podłączyć parę GTX 980 do płyty za pomocą chińskich elastycznych pionków 16x, jak to zrobiła jedna osoba na „That Same Forum”; swoją drogą, Chińczycy robią to całkiem nieźle dobre rzemiosło, które działa na PCI-E 16x 2.0 w stylu elastycznych pionów Thermaltek, ale jeśli pewnego dnia spowoduje to spalenie obwodów zasilania na płycie serwerowej, będziesz mógł winić tylko siebie. Nie ryzykowałem drogiego sprzętu i użyłem oryginalnych pionów z dodatkowym zasilaniem i jednego chińskiego elastycznego, uznając, że podłączenie jednej karty „bezpośrednio” nie spowoduje spalenia płyty.
Potem przyjechały długo wyczekiwane złącza do podłączenia dodatkowego zasilania i zrobiłem ogon do mojego pionu w EdgeSlot. To samo złącze, ale z innym układem pinów, służy do zasilania dodatkowej mocy płyty głównej. To złącze znajduje się zaraz obok tego samego złącza EdgeSlot, jest tam ciekawy rozkład pinów. Jeśli pion ma 2 przewody +12 i 2 wspólne, to na płycie znajdują się 3 przewody +12 i 1 wspólny.
W rzeczywistości jest to ten sam GTS 250 zawarty w pionie GPGPU. Nawiasem mówiąc, dodatkowe zasilanie dostarczane jest do pionów i płyty głównej - z drugiego złącza zasilania +12V procesora mojego zasilacza. Zdecydowałem, że bardziej poprawne będzie to zrobić.
Bajka opowiada się szybko, ale powoli paczki docierają do Rosji z Chin i innych miejsc na całym świecie. Dlatego w montażu „superkomputera” wystąpiły duże luki. Ale w końcu dotarł do mnie serwer Nvidia Tesla K20M z pasywnym radiatorem. Poza tym jest absolutnie zerowa, od przechowywania, zapieczętowana w oryginalnym pudełku, w oryginalnym opakowaniu, z dokumentami gwarancyjnymi. I zaczęło się cierpienie: jak je ochłodzić?
Najpierw zakupiono z Anglii niestandardową chłodnicę z dwiema małymi „turbinami”, tutaj na zdjęciu, z domowym dyfuzorem kartonowym.
A okazały się kompletną bzdurą. Hałasowały strasznie, uchwyt w ogóle nie pasował, słabo dmuchały i dawały takie wibracje, że aż się bałem, że elementy spadną z płytki Tesli! Dlaczego niemal natychmiast wyrzucono je do kosza?
Swoją drogą na zdjęciu pod Teslą widać miedziane radiatory serwerowe LGA 2011 1U zamontowane na procesorach za pomocą ślimaka od Coolerserver zakupionego na Aliexpress. Bardzo przyzwoite lodówki, chociaż trochę głośne. Pasują idealnie.
Ale tak naprawdę, gdy czekałem na nową chłodnicę dla Tesli, tym razem zamawiając z Australii dużego ślimaka BFB1012EN z mocowaniem wydrukowanym w 3D, trafiła ona do systemu przechowywania serwerów. Płyta serwerowa posiada złącze mini-SAS, przez które wyprowadzane są 4 złącza SATA i 2 kolejne złącza SATA. Wszystko w standardzie SATA 2.0, ale mi to odpowiada.
Intel C602 RAID zintegrowany z chipsetem nie jest zły, a najważniejsze jest to, że pomija polecenie TRIM dla dysków SSD, czego nie robi wiele niedrogich zewnętrznych kontrolerów RAID.
Na eBay kupiłem metrowy kabel mini-SAS na 4 SATA, a na Avito kupiłem wózek typu hot-swap z zatoką 5,25″ na 4 x 2,5″ SAS-SATA. Tak więc gdy kabel i koszyk doszły, zainstalowano w nim 4 terabajtowe dyski Seagate, w BIOSie wbudowano RAID5 dla 4 urządzeń, zacząłem instalować serwer Ubuntu... i natknąłem się na to, że program do partycjonowania dysku mi nie pozwolił aby utworzyć partycję wymiany na raid.
Problem rozwiązałem od razu - kupiłem adapter ASUS HYPER M.2 x 2 MINI i M.4 SSD Samsung 2 EVO 960 Gb od DNS i zdecydowałem, że do wymiany należy przeznaczyć urządzenie o maksymalnej prędkości, ponieważ system będzie działał przy dużym obciążeniu obliczeniowym, a pamięć jest nadal oczywiście mniejsza niż rozmiar danych. A pamięć 250 GB była droższa od tego SSD.
Ten sam adapter z dyskiem SSD zainstalowanym w dolnym narożniku.
Uprzedzając pytania - „Dlaczego nie zrobić całego systemu na M.2 i mieć maksymalną prędkość dostępu wyższą niż w przypadku raidu na SATA?” - Odpowiem. Po pierwsze, dyski SSD M1 o pojemności 2 TB lub więcej są dla mnie za drogie. Po drugie, nawet po aktualizacji BIOS-u do najnowszej wersji 2.8.1, serwer w dalszym ciągu nie wspiera ładowania urządzeń M.2 NVE. Przeprowadziłem eksperyment, w którym system ustawił /boot na USB FLASH 64 Gb, a wszystko inne na M.2 SSD, ale nie podobało mi się to. Chociaż w zasadzie taka kombinacja jest całkiem wykonalna. Jeśli dyski M.2 NVE o dużej pojemności staną się tańsze, być może wrócę do tej opcji, ale na razie SATA RAID jako system przechowywania danych całkiem mi odpowiada.
Kiedy zdecydowałem się na podsystem dyskowy i wymyśliłem kombinację 2 x SSD Kingston 240 Gb RAID1 „/” + 4 x HDD Seagate 1 Tb RAID5 „/home” + M.2 SSD Samsung 960 EVO 250 Gb „swap” to był to czas kontynuować moje eksperymenty z GPU Miałem już Teslę i właśnie przyjechała australijska chłodnica ze „złym” ślimakiem, który zjada aż 2.94A przy 12V, drugie gniazdo zajmowało M.2, a na trzecie pożyczyłem GT 610 „na eksperymenty”.
Tutaj na zdjęciu wszystkie 3 urządzenia są podłączone, a dysk SSD M.2 jest podłączony do elastycznego pionu Thermaltech dla kart graficznych, który działa na magistrali 3.0 bez błędów. Jest taki, wykonany z wielu pojedynczych „wstążek”, podobnych do tych, z których robi się kable SATA. Podstawki PCI-E 16x wykonane z monolitycznego płaskiego kabla, przypominające stare IDE-SCSI, to katastrofa, będą cierpieć z powodu błędów spowodowanych wzajemnymi zakłóceniami. I jak już mówiłem, Chińczycy produkują teraz także piony podobne do tych Thermalteka, ale krótsze.
W połączeniu z Teslą K20 + GT 610 próbowałem wielu rzeczy, jednocześnie dowiedziałem się, że po podłączeniu zewnętrznej karty graficznej i przełączeniu na nią wyjścia w BIOS-ie, vKVM nie działa, co tak naprawdę nie działało zdenerwował mnie. Tak czy inaczej nie planowałem używać zewnętrznego wideo w tym systemie, na Teslach nie ma wyjść wideo, a zdalny panel administracyjny przez SSH i bez X-owls działa świetnie, jak już trochę przypomnisz sobie, co to jest linia poleceń bez GUI . Ale IPMI + vKVM znacznie upraszcza zarządzanie, ponowną instalację i inne problemy ze zdalnym serwerem.
Ogólnie rzecz biorąc, IPMI tej płyty jest świetne. Oddzielny port 100 Mbit, możliwość rekonfiguracji wtrysku pakietów na jeden z portów 10 Gbit, wbudowany serwer WWW do zarządzania zasilaniem i kontroli serwerów, bezpośredniego pobierania z niego klienta Java vKVM oraz klienta do zdalnego montażu dysków lub obrazy do ponownej instalacji... Jedyną rzeczą jest to, że klienci są tacy sami jak stara Java Oracle, która nie jest już obsługiwana w systemie Linux i do zdalnego panelu administracyjnego musiałem zdobyć laptopa z Win XP SP3 z tym właśnie starożytna ropucha. Cóż, klient jest powolny, wystarczy na panel administracyjny i tak dalej, ale nie można grać w gry zdalnie, FPS jest mały. A wideo ASPEED zintegrowane z IPMI jest słabe, tylko VGA.
W procesie zajmowania się serwerem wiele się nauczyłem i wiele nauczyłem w zakresie profesjonalnego sprzętu serwerowego firmy Dell. Czego ani trochę nie żałuję, podobnie jak dobrze wydanego czasu i pieniędzy. Edukacyjna opowieść o właściwym złożeniu ramy ze wszystkimi komponentami serwera będzie kontynuowana w dalszej części.
Link do części 3:
Źródło: www.habr.com