[Siêu máy tính 2019]. Lưu trữ nhiều đám mây như một lĩnh vực ứng dụng cho ổ đĩa Kingston DC1000M mới

Hãy tưởng tượng rằng bạn đang khởi động một doanh nghiệp y tế sáng tạo - lựa chọn thuốc riêng lẻ dựa trên phân tích bộ gen của con người. Mỗi bệnh nhân có 3 tỷ cặp gen và một máy chủ thông thường trên bộ xử lý x86 sẽ mất vài ngày để tính toán. Bạn biết rằng bạn có thể tăng tốc quá trình trên máy chủ bằng bộ xử lý FPGA có khả năng song song hóa các phép tính trên hàng nghìn luồng. Nó sẽ hoàn thành việc tính toán bộ gen trong khoảng một giờ. Những máy chủ như vậy có thể được thuê từ Amazon Web Services (AWS). Nhưng vấn đề là ở chỗ: khách hàng, bệnh viện, nhất quyết phản đối việc đưa dữ liệu di truyền lên đám mây của nhà cung cấp. Tôi nên làm gì? Kingston và startup đám mây trình diễn kiến ​​trúc tại triển lãm Supercomputing-2019 Bộ nhớ đa đám mây riêng (PMCS), giải quyết vấn đề này.

Ba điều kiện để tính toán hiệu năng cao

Tính toán bộ gen của con người không phải là nhiệm vụ duy nhất trong lĩnh vực điện toán hiệu năng cao (HPC, Máy tính hiệu năng cao). Các nhà khoa học tính toán các trường vật lý, các kỹ sư tính toán các bộ phận máy bay, các nhà tài chính tính toán các mô hình kinh tế và họ cùng nhau phân tích dữ liệu lớn, xây dựng mạng lưới thần kinh và thực hiện nhiều phép tính phức tạp khác.

Ba điều kiện của HPC là sức mạnh tính toán khổng lồ, bộ nhớ rất lớn và nhanh cũng như thông lượng mạng cao. Do đó, thông lệ tiêu chuẩn để tiến hành tính toán LPC là ở trung tâm dữ liệu của chính công ty (tại chỗ) hoặc tại nhà cung cấp trên đám mây.

Nhưng không phải tất cả các công ty đều có trung tâm dữ liệu của riêng mình và những trung tâm đó thường kém hơn các trung tâm dữ liệu thương mại về hiệu quả tài nguyên (cần chi vốn để mua và cập nhật phần cứng và phần mềm, trả tiền cho nhân sự có trình độ cao, v.v.). Ngược lại, các nhà cung cấp đám mây cung cấp tài nguyên CNTT theo mô hình chi phí vận hành “Trả tiền khi bạn sử dụng”, tức là. tiền thuê chỉ được tính cho thời gian sử dụng. Khi quá trình tính toán hoàn tất, máy chủ có thể bị xóa khỏi tài khoản, từ đó tiết kiệm ngân sách CNTT. Nhưng nếu có lệnh cấm của cơ quan lập pháp hoặc doanh nghiệp đối với việc truyền dữ liệu đến nhà cung cấp thì điện toán HPC trên đám mây sẽ không khả dụng.

Bộ nhớ đa đám mây riêng tư

Kiến trúc Private MultiCloud Storage được thiết kế để cung cấp quyền truy cập vào các dịch vụ đám mây trong khi để lại dữ liệu trên trang web doanh nghiệp hoặc trong một ngăn an toàn riêng biệt của trung tâm dữ liệu bằng dịch vụ colocation. Về cơ bản, đây là mô hình điện toán phân tán tập trung vào dữ liệu, nơi các máy chủ đám mây hoạt động với hệ thống lưu trữ từ xa từ đám mây riêng. Theo đó, bằng cách sử dụng cùng một bộ lưu trữ dữ liệu cục bộ, bạn có thể làm việc với các dịch vụ đám mây từ các nhà cung cấp lớn nhất: AWS, MS Azure, Google Cloud Platform‎, v.v.

Đưa ra ví dụ về việc triển khai PMCS tại triển lãm Supercomputing-2019, Kingston đã giới thiệu mẫu hệ thống lưu trữ dữ liệu (SSD) hiệu suất cao dựa trên ổ SSD DC1000M và một trong những công ty khởi nghiệp về đám mây đã giới thiệu phần mềm quản lý StorOne S1 dành cho phần mềm- các kênh lưu trữ được xác định và liên lạc chuyên dụng với các nhà cung cấp đám mây lớn.

Cần lưu ý rằng PMCS, với tư cách là một mô hình hoạt động của điện toán đám mây với bộ lưu trữ riêng, được thiết kế cho thị trường Bắc Mỹ với khả năng kết nối mạng phát triển giữa các trung tâm dữ liệu được hỗ trợ trên cơ sở hạ tầng AT&T và Equinix. Do đó, ping giữa hệ thống lưu trữ colocation trong bất kỳ nút Equinix Cloud Exchange nào và đám mây AWS đều nhỏ hơn 1 mili giây (nguồn: ITProHôm nay).

Trong phần trình diễn kiến ​​trúc PMCS được trưng bày tại triển lãm, hệ thống lưu trữ trên các đĩa NVMe DC1000M được đặt ở vị trí colocation và các máy ảo được cài đặt trên các đám mây AWS, MS Azure và Google Cloud Platform, ping lẫn nhau. Ứng dụng máy khách-máy chủ hoạt động từ xa với hệ thống lưu trữ Kingston và máy chủ HP DL380 trong trung tâm dữ liệu, đồng thời thông qua cơ sở hạ tầng kênh liên lạc Equinix, đã truy cập nền tảng đám mây của các nhà cung cấp chính nêu trên.

Slide từ phần trình bày về Bộ lưu trữ đa đám mây riêng tại triển lãm Siêu máy tính-2019. Nguồn: Kingston

Phần mềm có chức năng tương tự để quản lý kiến ​​trúc lưu trữ đa đám mây riêng tư được cung cấp bởi các công ty khác nhau. Các thuật ngữ cho kiến ​​trúc này cũng có thể nghe khác nhau - Private MultiCloud Storage hoặc Private Storage for Cloud.

Keith Schimmenti, giám đốc quản lý SSD doanh nghiệp tại Kingston cho biết: “Các siêu máy tính ngày nay chạy nhiều ứng dụng HPC đi đầu trong các tiến bộ, từ thăm dò dầu khí đến dự báo thời tiết, thị trường tài chính và phát triển công nghệ mới”. “Các ứng dụng HPC này yêu cầu sự kết hợp tốt hơn nhiều giữa hiệu suất bộ xử lý và tốc độ I/O. Chúng tôi tự hào chia sẻ cách các giải pháp của Kingston đang giúp thúc đẩy những đột phá trong lĩnh vực điện toán, mang lại hiệu năng cần thiết trong các ứng dụng và môi trường điện toán khắc nghiệt nhất thế giới.”

Ổ đĩa DC1000M và một ví dụ về hệ thống lưu trữ dựa trên nó

SSD DC1000M U.2 NVMe được Kingston thiết kế cho trung tâm dữ liệu và được thiết kế đặc biệt cho các ứng dụng sử dụng nhiều dữ liệu và HPC như ứng dụng trí tuệ nhân tạo (AI) và máy học (ML).

Ổ DC1000M U.2 NVMe 3.84TB. Nguồn: Kingston

Ổ đĩa DC1000M U.2 dựa trên bộ nhớ Intel 96D NAND 3 lớp, được điều khiển bởi bộ điều khiển Silicon Motion SM2270 (PCIe 3.0 và NVMe 3.0). Silicon Motion SM2270 là bộ điều khiển NVMe dành cho doanh nghiệp 16 làn với giao diện PCIe 3.0 x8, bus dữ liệu DRAM 32 bit kép và ba bộ xử lý kép ARM Cortex R5.

DC1000M có nhiều mức dung lượng khác nhau được cung cấp để phát hành: từ 0.96 đến 7.68 TB (dung lượng phổ biến nhất được cho là 3.84 và 7.68 TB). Hiệu suất của ổ đĩa được ước tính là 800 nghìn IOPS.

Hệ thống lưu trữ với 10x DC1000M U.2 NVMe 7.68 TB. Nguồn: Kingston

Để làm ví dụ về hệ thống lưu trữ cho các ứng dụng HPC, Kingston đã giới thiệu tại Supercomputing 2019 một giải pháp giá đỡ với 10 ổ DC1000M U.2 NVMe, mỗi ổ có dung lượng 7.68 TB. Hệ thống lưu trữ dựa trên SB122A-PH, nền tảng hệ số dạng 1U của AIC. Bộ xử lý: 2x CPU Intel Xeon E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Số bộ phận: KSM24RS4/16HAI). Hệ điều hành được cài đặt là Ubuntu 18.04.3 LTS, Linux kernel ver 5.0.0-31. Thử nghiệm gfio v3.13 (Trình kiểm tra I/O linh hoạt) cho thấy hiệu suất đọc là 5.8 triệu IOPS với thông lượng 23.8 Gbps.

Hệ thống lưu trữ được trình bày cho thấy những đặc điểm ấn tượng về khả năng đọc ổn định 5,8 triệu IOPS (hoạt động đầu vào-đầu ra mỗi giây). Đây là tốc độ nhanh hơn hai bậc so với SSD đối với các hệ thống trên thị trường đại chúng. Tốc độ đọc này cần thiết cho các ứng dụng HPC chạy trên bộ xử lý chuyên dụng.

Điện toán đám mây HPC với bộ lưu trữ riêng ở Nga

Nhiệm vụ thực hiện tính toán hiệu năng cao tại nhà cung cấp nhưng lưu trữ dữ liệu tại chỗ về mặt vật lý cũng phù hợp với các công ty Nga. Một trường hợp phổ biến khác trong kinh doanh trong nước là khi sử dụng dịch vụ đám mây nước ngoài, dữ liệu phải nằm trên lãnh thổ Liên bang Nga. Chúng tôi đã yêu cầu bình luận về những tình huống này thay mặt cho nhà cung cấp đám mây Selectel với tư cách là đối tác lâu năm của Kingston.

“Ở Nga, có thể xây dựng một kiến ​​trúc tương tự, với dịch vụ bằng tiếng Nga và tất cả các tài liệu báo cáo cho bộ phận kế toán của khách hàng. Nếu một công ty cần thực hiện tính toán hiệu năng cao bằng hệ thống lưu trữ tại chỗ, tại Selectel, chúng tôi thuê máy chủ với nhiều loại bộ xử lý khác nhau, bao gồm FPGA, GPU hoặc CPU đa lõi. Ngoài ra, thông qua các đối tác, chúng tôi tổ chức lắp đặt một kênh quang chuyên dụng giữa văn phòng khách hàng và trung tâm dữ liệu của chúng tôi,” Alexander Tugov, Giám đốc Phát triển Dịch vụ tại Selectel nhận xét. — Khách hàng cũng có thể đặt hệ thống lưu trữ của mình ở vị trí colocation trong phòng máy tính với chế độ truy cập đặc biệt và chạy các ứng dụng trên cả máy chủ của chúng tôi và trên đám mây của các nhà cung cấp toàn cầu AWS, MS Azure, Google Cloud. Tất nhiên, độ trễ tín hiệu trong trường hợp sau sẽ cao hơn so với khi hệ thống lưu trữ của khách hàng được đặt ở Hoa Kỳ, nhưng kết nối nhiều đám mây băng thông rộng sẽ được cung cấp.”

Trong bài viết tiếp theo, chúng ta sẽ nói về một giải pháp khác của Kingston, được giới thiệu tại triển lãm Siêu máy tính 2019 (Denver, Colorado, Hoa Kỳ) và dành cho các ứng dụng học máy và phân tích dữ liệu lớn bằng GPU. Đây là công nghệ GPUDirect Storage, cung cấp khả năng truyền dữ liệu trực tiếp giữa bộ lưu trữ NVMe và bộ nhớ bộ xử lý GPU. Ngoài ra, chúng tôi sẽ giải thích cách chúng tôi đạt được tốc độ đọc dữ liệu 5.8 triệu IOPS trong hệ thống lưu trữ giá trên đĩa NVMe.

Để biết thêm thông tin về các sản phẩm của Kingston Technology, vui lòng truy cập Trang web của công ty.

Nguồn: www.habr.com