Chúc một ngày tốt lành, cư dân Khabrovsk thân mến!
Tôi xin tiếp tục câu chuyện lắp ráp một “siêu máy tính làng”. Và tôi sẽ giải thích tại sao nó được gọi như vậy—lý do rất đơn giản. Bản thân tôi sống ở một ngôi làng. Và cái tên này mang tính chất troll nhẹ của những người hét lên trên Internet “Không có sự sống ngoài Đường vành đai Moscow!”, “Ngôi làng Nga đã trở thành kẻ say rượu và đang lụi tàn!” Vì vậy, ở đâu đó điều này có thể đúng, nhưng tôi sẽ là ngoại lệ của quy tắc này. Tôi không uống rượu, không hút thuốc, tôi làm những việc mà không phải “cánh bánh quy thành thị” nào cũng có thể mua được. Nhưng chúng ta hãy quay trở lại với con cừu của chúng ta, hay chính xác hơn là máy chủ, ở cuối phần đầu của bài viết đã “có dấu hiệu của sự sống”.
Bo mạch nằm trên bàn, tôi trèo qua BIOS, thiết lập theo ý thích, tắt Ubuntu 16.04 Desktop cho đơn giản và quyết định kết nối card màn hình với “siêu máy”. Nhưng thứ duy nhất có trong tay là một chiếc GTS 250 có gắn một chiếc quạt khổng lồ không nguyên bản. Mà tôi đã lắp vào khe PCI-E 16x gần nút nguồn.
“Tôi chụp nó cùng với một gói Belomor (c)” vì vậy xin đừng đổ lỗi cho tôi về chất lượng của bức ảnh. Tôi muốn bình luận về những gì được ghi lại trên chúng.
Đầu tiên, hóa ra là khi lắp vào một khe cắm, ngay cả một card màn hình ngắn cũng tựa bo mạch vào các khe cắm bộ nhớ, trong trường hợp này nó không thể lắp được và thậm chí các chốt phải hạ xuống. Thứ hai, dải sắt gắn card màn hình che mất nút nguồn nên phải tháo ra. Nhân tiện, bản thân nút nguồn được chiếu sáng bằng đèn LED hai màu, đèn này sáng màu xanh lục khi mọi thứ đều ổn và nhấp nháy màu cam nếu có bất kỳ sự cố nào, đoản mạch và bảo vệ nguồn điện bị ngắt hoặc nguồn +12VSB nguồn cung quá cao hoặc quá thấp.
Trên thực tế, bo mạch chủ này không được thiết kế để lắp các card màn hình “trực tiếp” vào các khe cắm PCI-E 16x của nó; tất cả chúng đều được kết nối với các khe cắm. Để lắp card mở rộng vào các khe gần nút nguồn, có các khe nâng ở góc, một khe thấp để lắp các card ngắn có chiều dài bằng chiều dài của bộ tản nhiệt bộ xử lý đầu tiên và một khe ở góc cao có thêm đầu nối nguồn +12V để lắp đặt card mở rộng. card màn hình “ở trên” bộ làm mát tiêu chuẩn thấp 1U. Nó có thể bao gồm các card màn hình lớn như GTX 780, GTX 980, GTX 1080 hoặc các card GPGPU chuyên dụng Nvidia Tesla K10-K20-K40 hay các “card tính toán” Intel Xeon Phi 5110p và những thứ tương tự.
Nhưng trong Riser GPGPU, thẻ đi kèm trong EdgeSlot có thể được kết nối trực tiếp, chỉ bằng cách kết nối lại nguồn điện bổ sung với cùng một đầu nối như trên Riser góc cao. Đối với những người quan tâm, trên eBay, chiếc Riser linh hoạt này có tên là “Dell PowerEdge C8220X PCI-E GPGPU DJC89” và có giá khoảng 2.5-3 nghìn rúp. Các ống đứng ở góc có nguồn điện bổ sung hiếm hơn nhiều và tôi đã phải thương lượng để mua chúng từ một cửa hàng linh kiện máy chủ chuyên dụng thông qua Whisper. Chúng có giá 7 nghìn mỗi chiếc.
Tôi sẽ nói ngay, “những kẻ mạo hiểm (tm)” thậm chí có thể kết nối một cặp GTX 980 với bo mạch bằng các ống nâng linh hoạt 16x của Trung Quốc, như một người đã làm trên “That Same Forum”; nhân tiện, người Trung Quốc làm khá tốt những sản phẩm thủ công tốt hoạt động trên PCI-E 16x 2.0 theo kiểu các Riser linh hoạt của Thermaltek, nhưng nếu một ngày nào đó điều này khiến bạn làm cháy mạch điện trên bo mạch máy chủ thì bạn sẽ chỉ có thể tự trách mình. Tôi không mạo hiểm với thiết bị đắt tiền và sử dụng các bộ nâng nguyên bản có thêm nguồn điện và một bộ linh hoạt của Trung Quốc, vì nghĩ rằng việc kết nối một thẻ “trực tiếp” sẽ không làm cháy bảng.
Sau đó, các đầu nối được chờ đợi từ lâu để kết nối nguồn điện bổ sung đã xuất hiện và tôi đã tạo ra một cái đuôi cho Riser của mình trong EdgeSlot. Và cùng một đầu nối, nhưng có sơ đồ chân khác, được sử dụng để cấp nguồn bổ sung cho bo mạch chủ. Đầu nối này nằm ngay cạnh đầu nối EdgeSlot này, có một sơ đồ chân thú vị ở đó. Nếu Riser có 2 dây +12 và 2 dây chung thì bo mạch có 3 dây +12 và 1 dây chung.
Đây thực sự là GTS 250 tương tự có trong Riser GPGPU. Nhân tiện, nguồn điện bổ sung được cung cấp cho các tấm nâng và bo mạch chủ - từ đầu nối nguồn +12V thứ hai của CPU trong bộ nguồn của tôi. Tôi quyết định rằng làm điều này sẽ đúng đắn hơn.
Câu chuyện cổ tích tự kể một cách nhanh chóng, nhưng dần dần các bưu kiện đến Nga từ Trung Quốc và những nơi khác trên toàn cầu. Vì vậy, có những khoảng trống lớn trong quá trình lắp ráp “siêu máy tính”. Nhưng cuối cùng máy chủ Nvidia Tesla K20M với bộ tản nhiệt thụ động đã đến với tôi. Hơn nữa, nó hoàn toàn bằng XNUMX, từ khâu bảo quản, niêm phong trong hộp ban đầu, trong bao bì gốc, có giấy bảo hành. Và sự đau khổ bắt đầu: làm thế nào để làm mát nó?
Đầu tiên, một bộ làm mát tùy chỉnh với hai “tua-bin” nhỏ được mua từ Anh, nó như trong ảnh, với bộ khuếch tán bằng bìa cứng tự chế.
Và hóa ra chúng hoàn toàn là chuyện tào lao. Chúng gây ra nhiều tiếng ồn, giá đỡ không vừa vặn chút nào, thổi yếu và rung lắc đến mức tôi sợ các bộ phận sẽ rơi ra khỏi bo mạch Tesla! Tại sao chúng gần như bị ném vào thùng rác ngay lập tức?
Nhân tiện, trong bức ảnh chụp dưới Tesla, bạn có thể thấy bộ tản nhiệt bằng đồng của máy chủ LGA 2011 1U được cài đặt trên bộ xử lý bằng một con ốc từ Coolerserver được mua từ Aliexpress. Máy làm mát rất tốt, mặc dù hơi ồn. Chúng hoàn toàn phù hợp.
Nhưng thực ra, trong lúc tôi đang chờ mua tản nhiệt mới cho Tesla, lần này đặt mua một con ốc sên BFB1012EN cỡ lớn từ Úc có giá đỡ in 3D nên nó đã đến hệ thống lưu trữ máy chủ. Bo mạch máy chủ có một đầu nối mini-SAS, qua đó có 4 đầu nối SATA và 2 đầu nối SATA nữa được xuất ra. Tất cả đều là chuẩn SATA 2.0 nhưng phù hợp với tôi.
Intel C602 RAID được tích hợp vào chipset không tệ và điều chính là nó bỏ qua lệnh TRIM cho SSD, điều mà nhiều bộ điều khiển RAID bên ngoài rẻ tiền không làm được.
Trên eBay, tôi đã mua một cáp mini-SAS đến 4 SATA dài một mét và trên Avito, tôi đã mua một xe đẩy trao đổi nóng có khoang 5,25 inch cho 4 x 2,5 inch SAS-SATA. Vì vậy, khi cáp và giỏ đến, 4 terabyte Seagates đã được cài đặt trong đó, RAID5 cho 4 thiết bị được tích hợp trong BIOS, tôi bắt đầu cài đặt máy chủ Ubuntu... và nhận ra rằng chương trình phân vùng đĩa không cho phép tôi để tạo một phân vùng trao đổi trong cuộc đột kích.
Tôi đã giải quyết trực tiếp vấn đề - Tôi đã mua bộ chuyển đổi ASUS HYPER M.2 x 2 MINI và M.4 SSD Samsung 2 EVO 960 Gb từ DNS và quyết định rằng thiết bị tốc độ tối đa sẽ được phân bổ để trao đổi, vì hệ thống sẽ hoạt động với tải tính toán cao và bộ nhớ rõ ràng vẫn nhỏ hơn kích thước dữ liệu. Và bộ nhớ 250 GB đắt hơn ổ SSD này.
Bộ chuyển đổi tương tự này có ổ SSD được lắp ở góc thấp.
Dự đoán các câu hỏi - “Tại sao không tạo toàn bộ hệ thống trên M.2 và có tốc độ truy cập tối đa cao hơn tốc độ đột kích vào SATA?” - Tôi sẽ trả lời. Thứ nhất, ổ SSD M1 2 TB trở lên là quá đắt đối với tôi. Thứ hai, ngay cả sau khi cập nhật BIOS lên phiên bản 2.8.1 mới nhất, máy chủ vẫn không hỗ trợ tải thiết bị M.2 NVE. Tôi đã thực hiện một thử nghiệm trong đó hệ thống đặt /khởi động thành USB FLASH 64 Gb và mọi thứ khác thành SSD M.2, nhưng tôi không thích nó. Mặc dù về nguyên tắc, sự kết hợp như vậy là khá khả thi. Nếu M.2 NVE dung lượng cao trở nên rẻ hơn, tôi có thể quay lại tùy chọn này, nhưng hiện tại, SATA RAID như một hệ thống lưu trữ khá phù hợp với tôi.
Khi tôi quyết định chọn hệ thống con đĩa và nghĩ ra sự kết hợp giữa 2 x SSD Kingston 240 Gb RAID1 “/” + 4 x HDD Seagate 1 Tb RAID5 “/home” + M.2 SSD Samsung 960 EVO 250 Gb “trao đổi” thì đó là đã đến lúc tiếp tục thử nghiệm của tôi với GPU Tôi đã có một chiếc Tesla và một chiếc máy làm mát của Úc vừa xuất hiện với một con ốc sên “ác quỷ” ăn tới 2.94A ở 12V, khe thứ hai đã bị M.2 chiếm giữ và khe thứ ba tôi mượn một chiếc GT 610 “để thử nghiệm”.
Ở đây trong ảnh, cả 3 thiết bị đều được kết nối và SSD M.2 thông qua một khe cắm Thermaltech linh hoạt dành cho card màn hình hoạt động trên bus 3.0 mà không gặp lỗi. Nó giống như thế này, được làm từ nhiều “dải băng” riêng lẻ tương tự như các dải băng được tạo ra từ cáp SATA. Riser PCI-E 16x được làm từ cáp phẳng nguyên khối, giống như IDE-SCSI cũ, là một thảm họa, chúng sẽ mắc lỗi do nhiễu lẫn nhau. Và như tôi đã nói, người Trung Quốc hiện nay cũng chế tạo các ống nâng tương tự như của Thermaltek, nhưng ngắn hơn.
Kết hợp với Tesla K20 + GT 610, tôi đã thử rất nhiều thứ, đồng thời tôi phát hiện ra rằng khi kết nối card màn hình ngoài và chuyển đầu ra sang nó trong BIOS, vKVM không hoạt động, điều này thực sự không làm tôi buồn. Dù sao, tôi không định sử dụng video bên ngoài trên hệ thống này, không có đầu ra video nào trên Teslas và bảng quản trị từ xa thông qua SSH và không có X-owls hoạt động rất tốt khi bạn nhớ một chút dòng lệnh không có GUI là gì . Nhưng IPMI + vKVM giúp đơn giản hóa đáng kể việc quản lý, cài đặt lại và các vấn đề khác với máy chủ từ xa.
Nói chung IPMI của bo mạch này rất tuyệt. Một cổng 100 Mbit riêng biệt, khả năng cấu hình lại gói tiêm vào một trong các cổng 10 Gbit, một máy chủ Web tích hợp để quản lý và kiểm soát nguồn điện của máy chủ, tải xuống trực tiếp từ máy khách vKVM Java và máy khách để gắn đĩa từ xa hoặc hình ảnh để cài đặt lại... Điều duy nhất là các máy khách đều giống với Java Oracle cũ, không còn được hỗ trợ trong Linux và đối với bảng quản trị từ xa, tôi phải có một máy tính xách tay chạy Win XP SP3 với chính cái này Cóc cổ đại. Chà, ứng dụng khách chậm, có đủ bảng quản trị và tất cả những thứ đó, nhưng bạn không thể chơi trò chơi từ xa, FPS thấp. Còn video ASPEED tích hợp IPMI thì yếu, chỉ có VGA.
Trong quá trình làm việc với máy chủ, tôi đã học hỏi được rất nhiều điều và học hỏi rất nhiều ở lĩnh vực phần cứng máy chủ chuyên nghiệp của Dell. Điều mà tôi không hối tiếc chút nào, cũng như thời gian và tiền bạc đã bỏ ra. Câu chuyện mang tính giáo dục về việc thực sự lắp ráp khung với tất cả các thành phần máy chủ sẽ được tiếp tục sau.
Link tới phần 3:
Nguồn: www.habr.com