eBay, Aliexpress 및 컴퓨터 상점의 예비 부품으로 "마을 슈퍼컴퓨터"를 조립하는 이야기입니다. 2부

안녕하세요, 하브로프스크 주민 여러분!

혹시 놓치신 분들을 위해 이야기의 첫 부분을 링크해 드립니다

저는 "마을 슈퍼컴퓨터" 조립에 관한 이야기를 계속하고 싶습니다. 그리고 왜 그렇게 불리는지 설명하겠습니다. 이유는 간단합니다. 나 자신도 마을에 산다. 그리고 그 이름은 인터넷에서 "모스크바 순환 도로 너머에는 생명이 없습니다!", "러시아 마을은 술고래가되어 죽어 가고 있습니다! "라고 외치는 사람들을 약간 트롤링 한 것입니다. 따라서 어딘가에서는 이것이 사실일 수도 있지만 나는 규칙에서 예외가 될 것입니다. 나는 술도, 담배도 피우지 않으며 모든 "도시 크래커"가 감당할 수 없는 일을 합니다. 하지만 우리 양, 더 정확하게는 기사의 첫 번째 부분 끝에서 이미 "생명의 징후를 보이고 있는" 서버로 돌아가 보겠습니다.

보드가 테이블 위에 놓여 있었고 BIOS를 통해 원하는 대로 설정하고 단순화를 위해 Ubuntu 16.04 Desktop을 실행한 다음 비디오 카드를 "슈퍼 머신"에 연결하기로 결정했습니다. 그러나 손에 있는 유일한 것은 정품이 아닌 무거운 팬이 부착된 GTS 250뿐이었습니다. 전원 버튼 근처의 PCI-E 16x 슬롯에 설치했습니다.





"벨로모르(c) 한 팩과 함께 찍었습니다." 사진 품질에 대해 비난하지 말아주세요. 나는 그들에 대해 무엇을 포착했는지에 대해 언급하고 싶습니다.

첫째, 슬롯에 설치하면 짧은 비디오 카드라도 보드가 메모리 슬롯에 닿게 되어 ​​이 경우 설치할 수 없으며 래치도 내려야 한다는 것이 밝혀졌습니다. 둘째, 비디오 카드의 철제 장착 스트립이 전원 버튼을 덮고 있으므로 제거해야 했습니다. 그런데 전원 버튼 자체는 12색 LED로 조명됩니다. 이 LED는 모든 것이 정상일 때 녹색으로 켜지고 문제가 있거나 단락이 발생하고 전원 공급 장치 보호 장치가 작동했거나 +XNUMXVSB 전원이 깜박이면 주황색으로 깜박입니다. 공급량이 너무 높거나 너무 낮습니다.

실제로 이 마더보드는 비디오 카드를 PCI-E 16x 슬롯에 "직접" 포함하도록 설계되지 않았으며 모두 라이저에 연결되어 있습니다. 전원 버튼 근처 슬롯에 확장 카드를 설치하기 위해 코너 라이저, 첫 번째 프로세서 라디에이터 길이까지 짧은 카드를 설치하기 위한 낮은 라이저, 추가 +12V 전원 커넥터 설치를 위한 높은 코너 라이저가 있습니다. 표준 저 1U 쿨러 "위"의 비디오 카드. 여기에는 GTX 780, GTX 980, GTX 1080과 같은 대형 비디오 카드 또는 특수 GPGPU 카드 Nvidia Tesla K10-K20-K40 또는 "컴퓨팅 카드" Intel Xeon Phi 5110p 등이 포함될 수 있습니다.

그러나 GPGPU 라이저에서는 EdgeSlot에 포함된 카드를 직접 연결할 수 있으며, 하이 코너 라이저와 동일한 커넥터로 추가 전원을 다시 연결해야만 합니다. 관심 있는 사람들을 위해 eBay에서는 이 유연한 라이저를 "Dell PowerEdge C8220X PCI-E GPGPU DJC89"라고 하며 가격은 약 2.5-3루블입니다. 추가 전원 공급 장치가 있는 코너 라이저는 훨씬 더 드물기 때문에 Whisper를 통해 전문 서버 부품 매장에서 구입하기 위해 협상해야 했습니다. 하나에 7천원이에요.

즉시 말씀드리겠습니다. "위험한 사람(tm)"은 한 사람이 "That Same Forum"에서 했던 것처럼 중국의 유연한 라이저 980x를 사용하여 한 쌍의 GTX 16을 보드에 연결할 수도 있습니다. 그런데 중국인은 상당히 Thermaltek 유연한 라이저 스타일로 PCI-E 16x 2.0에서 작동하는 훌륭한 기술이지만 이로 인해 언젠가 서버 보드의 전원 회로가 소진되면 책임을 져야 할 것입니다. 나는 값비싼 장비의 위험을 무릅쓰지 않고 추가 전력을 갖춘 원래의 라이저와 유연한 중국산 라이저를 사용했습니다. 하나의 카드를 "직접" 연결해도 보드가 타지 않을 것이라고 생각했습니다.

그런 다음 오랫동안 기다려온 추가 전원 연결용 커넥터가 도착했고 EdgeSlot에 라이저용 꼬리를 만들었습니다. 그리고 동일한 커넥터이지만 핀아웃이 다르므로 마더보드에 추가 전원을 공급하는 데 사용됩니다. 이 커넥터는 동일한 EdgeSlot 커넥터 바로 옆에 있으며 흥미로운 핀 배치가 있습니다. 라이저에 +2 와이어 12개와 공통 2개가 있는 경우 보드에는 +3 와이어 12개와 공통 1개가 있습니다.

이는 실제로 GPGPU 라이저에 포함된 동일한 GTS 250입니다. 그건 그렇고, 내 전원 공급 장치 CPU의 두 번째 +12V 전원 커넥터에서 라이저와 마더보드에 추가 전원이 공급됩니다. 나는 이렇게 하는 것이 더 정확할 것이라고 결정했습니다.

동화는 빠르게 설명되지만 천천히 중국과 전 세계 다른 곳에서 러시아로 소포가 도착합니다. 따라서 '슈퍼컴퓨터' 조립에는 큰 공백이 있었습니다. 그러나 마침내 패시브 라디에이터가 장착된 Nvidia Tesla K20M 서버가 나에게 도착했습니다. 또한 원래 상자, 원래 패키지, 보증서와 함께 밀봉된 보관 시에는 전혀 문제가 없습니다. 그리고 고통이 시작되었습니다. 어떻게 식힐 수 있을까요?

먼저, 두 개의 작은 "터빈"이 있는 맞춤형 쿨러를 영국에서 구입했습니다. 여기 사진에는 집에서 만든 판지 디퓨저가 포함되어 있습니다.

그리고 그들은 완전한 쓰레기로 판명되었습니다. 소음이 많이 나고, 마운트가 전혀 맞지 않고, 약하게 불고 진동이 너무 심해서 부품이 Tesla 보드에서 떨어질 까봐 두려웠습니다! 왜 그들은 거의 즉시 쓰레기통에 버려졌습니까?

그건 그렇고, Tesla 아래 사진에서 Aliexpress에서 구입한 Coolerserver의 달팽이가 있는 프로세서에 설치된 LGA 2011 1U 서버 구리 라디에이터를 볼 수 있습니다. 약간 시끄럽기는하지만 매우 괜찮은 쿨러입니다. 그들은 완벽하게 맞습니다.

그런데 사실 제가 Tesla의 새로운 쿨러를 기다리고 있던 중, 이번에는 1012D 프린팅 마운트가 포함된 대형 BFB3EN 달팽이를 호주에서 주문했는데, 그것이 서버 스토리지 시스템으로 왔습니다. 서버 보드에는 4개의 SATA 커넥터와 2개의 추가 SATA 커넥터가 출력되는 미니 SAS 커넥터가 있습니다. 모든 SATA 표준 2.0이지만 나에게는 적합합니다.

칩셋에 통합된 인텔 C602 RAID는 나쁘지 않으며 가장 중요한 점은 많은 저렴한 외부 RAID 컨트롤러가 수행하지 않는 SSD에 대한 TRIM 명령을 건너뛴다는 것입니다.

eBay에서는 4미터 길이의 미니 SAS-5,25 SATA 케이블을 구입했고, Avito에서는 4 x 2,5" SAS-SATA용 4" 베이가 있는 핫스왑 카트를 구입했습니다. 그래서 케이블과 바스켓이 도착했을 때 5테라바이트 Seagate가 설치되어 있었고 BIOS에 4개 장치용 RAIDXNUMX가 내장되어 있었고 서버 Ubuntu를 설치하기 시작했는데... 디스크 파티셔닝 프로그램이 허용하지 않는다는 사실에 부딪혔습니다. 레이드에 스왑 파티션을 생성합니다.

문제를 정면으로 해결했습니다. DNS에서 ASUS HYPER M.2 x 2 MINI 및 M.4 SSD Samsung 2 EVO 960Gb 어댑터를 구입했으며 시스템이 작동하므로 최대 속도 장치를 스왑에 할당해야 한다고 결정했습니다. 계산 부하가 높고 메모리는 여전히 데이터 크기보다 작습니다. 그리고 250GB 메모리는 이 SSD보다 더 비쌌습니다.

낮은 모서리 라이저에 SSD가 설치된 동일한 어댑터입니다.

질문 예상 - "전체 시스템을 M.2로 만들고 SATA RAID보다 최대 액세스 속도가 더 빠른 이유는 무엇입니까?" - 대답하겠습니다. 첫째, 1TB 이상의 M2 SSD는 나에게 너무 비싸다. 둘째, BIOS를 최신 버전 2.8.1로 업데이트한 후에도 서버는 여전히 M.2 NVE 장치 로딩을 지원하지 않습니다. 시스템이 /boot를 USB FLASH 64Gb로 설정하고 다른 모든 것을 M.2 SSD로 설정하는 실험을 했지만 마음에 들지 않았습니다. 원칙적으로 이러한 조합은 상당히 실행 가능합니다. 대용량 M.2 NVE가 더 저렴해지면 이 옵션으로 돌아갈 수도 있지만 현재로서는 스토리지 시스템으로서 SATA RAID가 제게 아주 잘 맞습니다.
디스크 하위 시스템을 결정하고 2 x SSD Kingston 240 Gb RAID1 "/" + 4 x HDD Seagate 1 Tb RAID5 "/home" + M.2 SSD Samsung 960 EVO 250 Gb "스왑"의 조합을 생각해냈습니다. GPU 실험을 계속할 시간입니다 나는 이미 Tesla를 가지고 있었고 호주 쿨러는 2.94V에서 12A를 먹는 "사악한" 달팽이와 함께 방금 도착했습니다. 두 번째 슬롯은 M.2가 차지하고 세 번째 슬롯은 "실험용" GT 610을 빌렸습니다.

여기 사진에서는 3개의 장치가 모두 연결되어 있으며 M.2 SSD는 비디오 카드용 유연한 Thermaltech 라이저를 통해 3.0 버스에서 오류 없이 작동합니다. SATA 케이블을 만드는 것과 유사한 많은 개별 "리본"으로 만든 것과 같습니다. 기존 IDE-SCSI 케이블과 같은 모놀리식 평면 케이블로 만들어진 PCI-E 16x 라이저는 재앙이며 상호 간섭으로 인해 오류가 발생합니다. 그리고 이미 말했듯이 중국은 이제 Thermaltek과 유사하지만 더 짧은 라이저를 만듭니다.

Tesla K20 + GT 610과 함께 많은 것을 시도했지만 동시에 외부 비디오 카드를 연결하고 BIOS에서 출력을 전환하면 vKVM이 작동하지 않는다는 사실을 발견했습니다. 나를 화나게 했어요. 어쨌든 저는 이 시스템에서 외부 비디오를 사용할 계획이 없었고 Tesla에는 비디오 출력이 없으며 SSH를 통한 원격 관리 패널은 X-owl 없이 GUI 없이 명령줄이 무엇인지 조금 기억하면 훌륭하게 작동합니다. . 그러나 IPMI + vKVM은 원격 서버의 관리, 재설치 및 기타 문제를 크게 단순화합니다.

전반적으로 이 보드의 IPMI는 훌륭합니다. 별도의 100Mbit 포트, 10Gbit 포트 중 하나로 패킷 주입을 재구성하는 기능, 서버 전원 관리 및 제어를 위한 내장 웹 서버, vKVM Java 클라이언트를 직접 다운로드하고 디스크 원격 마운트를 위한 클라이언트 또는 재설치용 이미지... 유일한 점은 클라이언트가 이전 Java Oracle과 동일하다는 것입니다. 이는 Linux에서 더 이상 지원되지 않으며 원격 관리 패널의 경우 Win XP SP3이 포함된 노트북을 구입해야 했습니다. 고대 두꺼비. 글쎄, 클라이언트가 느리고 관리자 패널 등을 사용하기에 충분하지만 원격으로 게임을 할 수 없으며 FPS가 작습니다. 그리고 IPMI와 통합된 ASPEED 비디오는 약하고 VGA만 있습니다.

서버를 다루는 과정에서 저는 델로부터 전문적인 서버 하드웨어 분야에 대해 많은 것을 배우고 배웠습니다. 시간과 돈을 잘 쓴 것뿐만 아니라 전혀 후회하지 않습니다. 서버의 모든 구성 요소를 실제로 프레임에 조립하는 교육 이야기는 나중에 계속하겠습니다.

3부 링크: habr.com/en/post/454480

출처 : habr.com