Hệ thống sẽ giảm chi phí năng lượng xuống một nửa.
/ hình chụp CC BY-SA
Tại sao chúng ta cần một kiến trúc mới?
Đến năm 2030, các thiết bị điện tử sẽ tiêu thụ 40% tổng năng lượng được tạo ra trên hành tinh. Khoảng 20% khối lượng này sẽ đến từ lĩnh vực CNTT và trung tâm dữ liệu. Qua Theo các nhà phân tích châu Âu, các trung tâm dữ liệu đã “lấy đi” 1,4% tổng lượng điện. Người ta mong đợi rằng điều này .
Bộ lưu trữ SSD tiêu thụ một phần điện năng đáng kể. Trong giai đoạn từ 2012 đến 2017, thị phần ổ cứng thể rắn trong trung tâm dữ liệu . Mặc dù SSD tiêu thụ ít năng lượng hơn một phần ba () so với HDD, hóa đơn tiền điện vẫn còn lớn ở quy mô trung tâm dữ liệu.
Để giảm mức tiêu thụ điện năng của ổ đĩa thể rắn trong trung tâm dữ liệu, các kỹ sư của MIT đã phát triển kiến trúc lưu trữ SSD mới. Nó được gọi là LightStore và cho phép bạn kết nối ổ đĩa trực tiếp với mạng trung tâm dữ liệu, bỏ qua các máy chủ lưu trữ. Qua tác giả, hệ thống sẽ giảm chi phí năng lượng xuống một nửa.
Làm thế nào nó hoạt động
LightStore là một kho lưu trữ khóa-giá trị flash giúp ánh xạ các yêu cầu của người dùng tới ổ đĩa dưới dạng khóa. Sau đó, chúng được gửi đến máy chủ để giải phóng dữ liệu liên quan đến khóa đó.
Hệ thống bộ xử lý tiết kiệm năng lượng, bộ nhớ DRAM và NAND tích hợp. Nó được điều khiển bởi bộ điều khiển và phần mềm đặc biệt. Bộ điều khiển chịu trách nhiệm làm việc với mảng NAND và phần mềm chịu trách nhiệm xử lý các yêu cầu KV và lưu trữ các cặp khóa. Kiến trúc phần mềm được xây dựng trên cơ sở , được sử dụng trong nhiều DBMS hiện đại.
Sơ đồ kiến trúc có thể được biểu diễn như sau:
Sơ đồ hiển thị các thành phần cơ bản của LightStore. Một cụm nút hoạt động trên các cặp khóa-giá trị. Máy chủ ứng dụng được kết nối với hệ thống bằng bộ điều hợp. Họ chuyển đổi các yêu cầu của khách hàng (chẳng hạn như fread() từ API POSIX) thành yêu cầu KV. Kiến trúc cũng có các bộ điều hợp riêng cho , khối (dựa trên mô-đun BUSE) và kho lưu trữ tệp.
Khi phân phối yêu cầu, bộ điều hợp sẽ sử dụng . Nó được sử dụng trong các hệ thống như Redis hoặc Swift. Sử dụng khóa yêu cầu KV, bộ điều hợp sẽ tạo khóa băm có giá trị xác định nút mục tiêu.
Dung lượng của cụm LightStore thay đổi tuyến tính - chỉ cần kết nối các nút bổ sung vào mạng. Trong một số trường hợp, bạn có thể cần mua công tắc mới. Tuy nhiên, các nhà phát triển đã trang bị thêm cho mỗi nút các khe cắm để kết nối chip NAND.
Tiềm năng kiến trúc
Các kỹ sư của MIT cho biết giải pháp dựa trên LightStore có thông lượng 620 Mbps trên 10 Gigabit Ethernet. Một nút tiêu thụ 10 W thay vì 20 W thông thường (trong các hệ thống SSD được các trung tâm dữ liệu sử dụng ngày nay). Ngoài ra, thiết bị chiếm một nửa không gian.
Bây giờ các nhà phát triển đang hoàn thiện một số khía cạnh. Ví dụ: LightStore không thể hoạt động với các truy vấn phạm vi và truy vấn nhỏ. Những tính năng này sẽ được bổ sung trong tương lai vì LightStore sử dụng cây LSM. Ngoài ra, hệ thống vẫn có một số bộ điều hợp hạn chế - YCSB và bộ điều hợp khối được hỗ trợ. Trong tương lai, LightStore sẽ có thể xử lý các truy vấn SQL, v.v.
Các phát triển khác
Vào mùa hè năm 2018, Marvell, một công ty phát triển lưu trữ, đã giới thiệu dòng bộ điều khiển SSD mới dựa trên hệ thống AI. Các nhà phát triển đã tích hợp bộ tăng tốc học sâu của NVIDIA vào bộ điều khiển tiêu chuẩn cho trung tâm dữ liệu và ứng dụng khách. Kết quả là họ đã tạo ra một kiến trúc khép kín tiêu thụ ít điện năng hơn so với các bộ điều khiển SSD cổ điển. Công ty hy vọng rằng hệ thống này sẽ tìm thấy ứng dụng trong điện toán biên, phân tích dữ liệu lớn và IoT.
Dòng ổ đĩa Western Digital Blue gần đây đã được cập nhật. Vào tháng XNUMX, các nhà phát triển đã trình bày một giải pháp - SSD WD Blue dựa trên công nghệ SanDisk mà WD đã mua lại một năm trước. Ổ SSD WD Blue được cập nhật mang lại hiệu suất và hiệu quả sử dụng năng lượng được cải thiện. Kiến trúc được xây dựng trên cơ sở đặc tả , cung cấp quyền truy cập vào ổ SSD được kết nối qua PCI Express.
Thông số kỹ thuật này cải thiện hiệu quả của ổ SSD với số lượng lớn yêu cầu đồng thời và tăng tốc độ truy cập dữ liệu. Ngoài ra, NVMe cho phép bạn chuẩn hóa giao diện SSD - hơn thế nữa dành cho các nhà sản xuất phần cứng để phát triển các trình điều khiển, đầu nối và hệ số hình thức độc đáo.
Triển vọng
Thị trường SSD trung tâm dữ liệu đang hướng tới kiến trúc đơn giản hóa, tự động hóa các thành phần lưu trữ và tăng hiệu quả sử dụng năng lượng. Sự phát triển của các kỹ sư từ MIT đã giải quyết được vấn đề sau. tác giả LightStore sẽ trở thành tiêu chuẩn công nghiệp cho việc lưu trữ SSD trong trung tâm dữ liệu. Và chúng ta có thể giả định rằng trong tương lai, những kiến trúc mới, thậm chí hiệu quả hơn sẽ xuất hiện dựa trên nó.
Một số tài liệu từ blog đầu tiên về IaaS của công ty:
Nguồn: www.habr.com