Hôm nay chúng ta sẽ nói về cách lưu trữ dữ liệu tốt nhất trong một thế giới nơi mạng thế hệ thứ năm, máy quét gen và ô tô tự lái tạo ra nhiều dữ liệu mỗi ngày hơn toàn bộ nhân loại được tạo ra trước cuộc cách mạng công nghiệp.
Thế giới của chúng ta đang tạo ra ngày càng nhiều thông tin. Một phần của nó chỉ thoáng qua và bị mất đi nhanh chóng khi nó được thu thập. Một cái khác nên được lưu trữ lâu hơn, và một cái khác thậm chí còn được thiết kế “trong nhiều thế kỷ” - ít nhất đó là những gì chúng ta thấy từ hiện tại. Các luồng thông tin ổn định trong các trung tâm dữ liệu với tốc độ nhanh đến mức bất kỳ cách tiếp cận mới nào, bất kỳ công nghệ nào được thiết kế để đáp ứng “nhu cầu” vô tận này đều nhanh chóng trở nên lỗi thời.
40 năm phát triển hệ thống lưu trữ phân tán
Bộ lưu trữ mạng đầu tiên ở dạng mà chúng ta quen thuộc xuất hiện vào những năm 1980. Nhiều bạn đã từng gặp NFS (Hệ thống tệp mạng), AFS (Hệ thống tệp Andrew) hoặc Coda. Một thập kỷ sau, thời trang và công nghệ đã thay đổi và các hệ thống tệp phân tán đã nhường chỗ cho các hệ thống lưu trữ phân cụm dựa trên GPFS (Hệ thống tệp song song chung), CFS (Hệ thống tệp cụm) và StorNext. Khối lưu trữ của kiến trúc cổ điển được sử dụng làm cơ sở, trên đó một hệ thống tệp duy nhất được tạo bằng lớp phần mềm. Những giải pháp này và các giải pháp tương tự vẫn được sử dụng, chiếm lĩnh vị trí thích hợp và có nhu cầu khá lớn.
Vào đầu thiên niên kỷ, mô hình lưu trữ phân tán đã thay đổi phần nào và các hệ thống có kiến trúc SN (Shared-Nothing) chiếm vị trí dẫn đầu. Đã có sự chuyển đổi từ lưu trữ cụm sang lưu trữ trên các nút riêng lẻ, theo quy luật, là các máy chủ cổ điển với phần mềm cung cấp lưu trữ đáng tin cậy; Dựa trên những nguyên tắc như vậy, HDFS (Hệ thống tệp phân tán Hadoop) và GFS (Hệ thống tệp toàn cầu) được xây dựng.
Gần hơn với những năm 2010, các khái niệm cơ bản về hệ thống lưu trữ phân tán ngày càng bắt đầu được phản ánh trong các sản phẩm thương mại chính thức, chẳng hạn như VMware vSAN, Dell EMC Isilon và các sản phẩm của chúng tôi. . Đằng sau các nền tảng được đề cập không còn là cộng đồng những người đam mê mà là các nhà cung cấp cụ thể chịu trách nhiệm về chức năng, hỗ trợ và dịch vụ của sản phẩm và đảm bảo sự phát triển hơn nữa của sản phẩm. Những giải pháp như vậy được yêu cầu nhiều nhất trong một số lĩnh vực.
Nhà khai thác viễn thông
Có lẽ một trong những người sử dụng hệ thống lưu trữ phân tán lâu đời nhất là các nhà khai thác viễn thông. Sơ đồ cho thấy nhóm ứng dụng nào tạo ra phần lớn dữ liệu. OSS (Hệ thống hỗ trợ vận hành), MSS (Dịch vụ hỗ trợ quản lý) và BSS (Hệ thống hỗ trợ kinh doanh) đại diện cho ba lớp phần mềm bổ sung cần thiết để cung cấp dịch vụ cho người đăng ký, báo cáo tài chính cho nhà cung cấp và hỗ trợ vận hành cho các kỹ sư vận hành.
Thông thường, dữ liệu của các lớp này được trộn lẫn nhiều với nhau và để tránh tích tụ các bản sao không cần thiết, bộ lưu trữ phân tán được sử dụng để tích lũy toàn bộ lượng thông tin đến từ mạng điều hành. Các kho lưu trữ được kết hợp thành một nhóm chung, được tất cả các dịch vụ truy cập.
Tính toán của chúng tôi cho thấy rằng việc chuyển đổi từ hệ thống lưu trữ cổ điển sang hệ thống lưu trữ khối cho phép bạn tiết kiệm tới 70% ngân sách chỉ bằng cách từ bỏ các hệ thống lưu trữ cao cấp chuyên dụng và sử dụng các máy chủ kiến trúc cổ điển thông thường (thường là x86), hoạt động kết hợp với các máy chủ chuyên dụng. phần mềm. Các nhà khai thác di động từ lâu đã bắt đầu mua các giải pháp như vậy với số lượng lớn. Đặc biệt, các nhà khai thác Nga đã sử dụng các sản phẩm như vậy của Huawei trong hơn XNUMX năm.
Có, một số nhiệm vụ không thể hoàn thành bằng hệ thống phân tán. Ví dụ: với yêu cầu hiệu suất tăng lên hoặc khả năng tương thích với các giao thức cũ hơn. Nhưng ít nhất 70% dữ liệu được nhà điều hành xử lý có thể nằm trong nhóm phân phối.
Khu vực ngân hàng
Ở bất kỳ ngân hàng nào cũng có nhiều hệ thống CNTT khác nhau, bắt đầu từ khâu xử lý và kết thúc bằng hệ thống ngân hàng tự động. Cơ sở hạ tầng này cũng hoạt động với lượng thông tin khổng lồ, trong khi hầu hết các tác vụ không yêu cầu tăng hiệu suất và độ tin cậy của hệ thống lưu trữ, chẳng hạn như phát triển, thử nghiệm, tự động hóa các quy trình văn phòng, v.v. Ở đây, có thể sử dụng các hệ thống lưu trữ cổ điển, nhưng mỗi năm lợi nhuận ngày càng ít đi. Ngoài ra, trong trường hợp này không có sự linh hoạt trong việc sử dụng tài nguyên hệ thống lưu trữ, hiệu suất của tài nguyên này được tính dựa trên tải tối đa.
Khi sử dụng các hệ thống lưu trữ phân tán, các nút của chúng, trên thực tế là các máy chủ thông thường, có thể được chuyển đổi bất kỳ lúc nào, chẳng hạn như thành một cụm máy chủ và được sử dụng làm nền tảng điện toán.
Hồ dữ liệu
Sơ đồ trên thể hiện danh sách những người tiêu dùng dịch vụ điển hình . Đây có thể là các dịch vụ chính phủ điện tử (ví dụ: “Dịch vụ Chính phủ”), doanh nghiệp số hóa, tổ chức tài chính, v.v. Tất cả đều cần phải làm việc với khối lượng lớn thông tin không đồng nhất.
Việc sử dụng các hệ thống lưu trữ cổ điển để giải quyết những vấn đề như vậy là không hiệu quả vì nó yêu cầu cả quyền truy cập hiệu suất cao vào cơ sở dữ liệu khối và quyền truy cập thường xuyên vào thư viện tài liệu được quét được lưu trữ dưới dạng đối tượng. Ví dụ: hệ thống đặt hàng qua cổng web cũng có thể được liên kết tại đây. Để thực hiện tất cả những điều này trên nền tảng lưu trữ cổ điển, bạn sẽ cần một bộ thiết bị lớn cho nhiều nhiệm vụ khác nhau. Một hệ thống lưu trữ chung theo chiều ngang có thể đáp ứng tốt tất cả các nhiệm vụ được liệt kê trước đó: bạn chỉ cần tạo một số nhóm với các đặc điểm lưu trữ khác nhau trong đó.
Người tạo ra thông tin mới
Lượng thông tin được lưu trữ trên thế giới đang tăng khoảng 30% mỗi năm. Đây là tin tốt cho các nhà cung cấp dịch vụ lưu trữ, nhưng đâu là nguồn chính của dữ liệu này?
Mười năm trước, mạng xã hội đã trở thành những cỗ máy như vậy, điều này đòi hỏi phải tạo ra một số lượng lớn các thuật toán, giải pháp phần cứng mới, v.v. Hiện nay có ba động lực chính cho sự tăng trưởng của dung lượng lưu trữ. Đầu tiên là điện toán đám mây. Hiện tại, khoảng 70% công ty sử dụng dịch vụ đám mây theo cách này hay cách khác. Đây có thể là hệ thống thư điện tử, bản sao lưu và các thực thể ảo hóa khác.
Trình điều khiển thứ hai là mạng thế hệ thứ năm. Đây là những tốc độ mới và khối lượng truyền dữ liệu mới. Theo dự báo của chúng tôi, việc áp dụng rộng rãi 5G sẽ dẫn đến nhu cầu về thẻ nhớ flash giảm. Điện thoại dù có bao nhiêu bộ nhớ thì vẫn hết và nếu thiết bị có kênh 100 megabit thì không cần phải lưu trữ ảnh cục bộ.
Nhóm lý do thứ ba khiến nhu cầu về hệ thống lưu trữ ngày càng tăng bao gồm sự phát triển nhanh chóng của trí tuệ nhân tạo, sự chuyển đổi sang phân tích dữ liệu lớn và xu hướng tự động hóa phổ quát mọi thứ có thể.
Một đặc điểm của “giao thông mới” là nó . Chúng ta cần lưu trữ dữ liệu này mà không cần xác định định dạng của nó theo bất kỳ cách nào. Nó chỉ được yêu cầu cho lần đọc tiếp theo. Ví dụ, để xác định số tiền vay khả dụng, hệ thống chấm điểm ngân hàng sẽ xem xét ảnh bạn đăng lên mạng xã hội, xác định xem bạn có thường xuyên đi biển và đi nhà hàng hay không, đồng thời nghiên cứu các trích đoạn từ hồ sơ bệnh án của bạn có sẵn. đến nó. Những dữ liệu này một mặt rất toàn diện nhưng mặt khác lại thiếu tính đồng nhất.
Đại dương dữ liệu phi cấu trúc
Sự xuất hiện của “dữ liệu mới” kéo theo những vấn đề gì? Tất nhiên, yếu tố đầu tiên trong số đó là khối lượng thông tin khổng lồ và thời gian lưu trữ ước tính của nó. Chỉ riêng một chiếc ô tô tự hành không người lái hiện đại đã tạo ra tới 60 terabyte dữ liệu mỗi ngày từ tất cả các cảm biến và cơ chế của nó. Để phát triển các thuật toán chuyển động mới, thông tin này phải được xử lý trong cùng ngày, nếu không nó sẽ bắt đầu tích lũy. Đồng thời, nó phải được lưu trữ trong một thời gian rất dài - hàng chục năm. Chỉ khi đó trong tương lai mới có thể đưa ra kết luận dựa trên các mẫu phân tích lớn.
Một thiết bị giải mã trình tự gen tạo ra khoảng 6 TB mỗi ngày. Và dữ liệu được thu thập với sự trợ giúp của nó hoàn toàn không có nghĩa là bị xóa, tức là theo giả thuyết, nó sẽ được lưu trữ mãi mãi.
Cuối cùng, các mạng thế hệ thứ năm tương tự. Ngoài thông tin được truyền thực tế, bản thân mạng như vậy còn là một nguồn tạo dữ liệu khổng lồ: nhật ký hoạt động, bản ghi cuộc gọi, kết quả trung gian của tương tác giữa máy với máy, v.v.
Tất cả điều này đòi hỏi phải phát triển các phương pháp và thuật toán mới để lưu trữ và xử lý thông tin. Và những cách tiếp cận như vậy đang nổi lên.
Công nghệ thời đại mới
Có ba nhóm giải pháp được thiết kế để đáp ứng các yêu cầu mới đối với hệ thống lưu trữ thông tin: giới thiệu trí tuệ nhân tạo, phát triển kỹ thuật của phương tiện lưu trữ và đổi mới trong lĩnh vực kiến trúc hệ thống. Hãy bắt đầu với AI.
Trong các giải pháp mới của Huawei, trí tuệ nhân tạo được sử dụng ở cấp độ lưu trữ, được trang bị bộ xử lý AI cho phép hệ thống phân tích độc lập tình trạng và dự đoán lỗi. Nếu hệ thống lưu trữ được kết nối với đám mây dịch vụ có khả năng tính toán đáng kể, trí tuệ nhân tạo sẽ có thể xử lý nhiều thông tin hơn và tăng độ chính xác cho các giả thuyết của nó.
Ngoài các lỗi, AI như vậy có thể dự đoán tải tối đa trong tương lai và thời gian còn lại cho đến khi hết công suất. Điều này cho phép bạn tối ưu hóa hiệu suất và mở rộng quy mô hệ thống trước khi xảy ra bất kỳ sự kiện không mong muốn nào.
Bây giờ về sự phát triển của phương tiện lưu trữ. Ổ đĩa flash đầu tiên được tạo ra bằng công nghệ SLC (Single-Level Cell). Các thiết bị dựa trên nó nhanh, đáng tin cậy, ổn định nhưng có dung lượng nhỏ và rất đắt tiền. Tăng trưởng khối lượng và giảm giá đạt được thông qua một số nhượng bộ kỹ thuật nhất định, do đó tốc độ, độ tin cậy và tuổi thọ của bộ truyền động bị giảm. Tuy nhiên, xu hướng này không ảnh hưởng đến bản thân các hệ thống lưu trữ, do các thủ thuật kiến trúc khác nhau, nhìn chung đã trở nên hiệu quả hơn và đáng tin cậy hơn.
Nhưng tại sao bạn lại cần hệ thống lưu trữ All-Flash? Chỉ cần thay thế các ổ cứng cũ trong hệ điều hành đã có bằng các ổ SSD mới có cùng kiểu dáng vẫn chưa đủ sao? Điều này là cần thiết để sử dụng hiệu quả tất cả tài nguyên của ổ đĩa thể rắn mới, điều đơn giản là không thể thực hiện được trong các hệ thống cũ.
Ví dụ, Huawei đã phát triển một số công nghệ để giải quyết vấn đề này, một trong số đó là , điều này giúp tối ưu hóa các tương tác “bộ điều khiển đĩa” nhiều nhất có thể.
Nhận dạng thông minh giúp phân tách dữ liệu thành nhiều luồng và đối phó với một số hiện tượng không mong muốn, chẳng hạn như (viết khuếch đại). Đồng thời, các thuật toán khôi phục mới, đặc biệt , tăng tốc độ xây dựng lại, giảm thời gian của nó xuống mức hoàn toàn không đáng kể.
Lỗi, quá tải, thu gom rác - những yếu tố này cũng không còn ảnh hưởng đến hiệu suất của hệ thống lưu trữ nhờ những sửa đổi đặc biệt đối với bộ điều khiển.
Và khối lưu trữ dữ liệu cũng đang chuẩn bị đáp ứng . Chúng ta hãy nhớ lại rằng sơ đồ cổ điển để tổ chức truy cập dữ liệu hoạt động như thế này: bộ xử lý truy cập bộ điều khiển RAID thông qua bus PCI Express. Đến lượt nó, nó tương tác với các đĩa cơ thông qua SCSI hoặc SAS. Việc sử dụng NVMe trên phần phụ trợ đã tăng tốc đáng kể toàn bộ quá trình, nhưng nó có một nhược điểm: các ổ đĩa phải được kết nối trực tiếp với bộ xử lý để cấp cho nó quyền truy cập trực tiếp vào bộ nhớ.
Giai đoạn phát triển công nghệ tiếp theo mà chúng ta đang thấy hiện nay là việc sử dụng NVMe-oF (NVMe over Fabrics). Đối với các công nghệ khối của Huawei, họ đã hỗ trợ FC-NVMe (NVMe qua Kênh sợi quang) và NVMe qua RoCE (RDMA qua Ethernet hội tụ). Các mô hình thử nghiệm hoạt động khá tốt, còn vài tháng nữa mới được trình làng chính thức. Lưu ý rằng tất cả những điều này sẽ xuất hiện trong các hệ thống phân tán, nơi mà “Ethernet không mất dữ liệu” sẽ có nhu cầu rất lớn.
Một cách bổ sung để tối ưu hóa hoạt động của bộ lưu trữ phân tán là loại bỏ hoàn toàn việc sao chép dữ liệu. Các giải pháp của Huawei không còn sử dụng n bản sao như trong RAID 1 thông thường và chuyển hoàn toàn sang (Xóa mã hóa). Gói toán học đặc biệt tính toán các khối điều khiển theo một chu kỳ nhất định, cho phép bạn khôi phục dữ liệu trung gian trong trường hợp bị mất.
Cơ chế chống trùng lặp và nén trở thành bắt buộc. Nếu trong các hệ thống lưu trữ cổ điển, chúng ta bị giới hạn bởi số lượng bộ xử lý được cài đặt trong bộ điều khiển, thì trong các hệ thống lưu trữ phân tán có thể mở rộng theo chiều ngang, mỗi nút chứa mọi thứ cần thiết: đĩa, bộ nhớ, bộ xử lý và kết nối. Những tài nguyên này đủ để đảm bảo rằng tính năng chống trùng lặp và nén có tác động tối thiểu đến hiệu suất.
Và về các phương pháp tối ưu hóa phần cứng. Ở đây có thể giảm tải cho bộ xử lý trung tâm với sự trợ giúp của các chip chuyên dụng bổ sung (hoặc các khối chuyên dụng trong chính bộ xử lý), đóng vai trò (Công cụ giảm tải TCP/IP) hoặc đảm nhận các nhiệm vụ toán học của EC, chống trùng lặp và nén.
Các phương pháp tiếp cận mới để lưu trữ dữ liệu được thể hiện trong kiến trúc phân tán (phân tán). Hệ thống lưu trữ tập trung có một nhà máy máy chủ được kết nối qua Fibre Channel với với rất nhiều mảng. Nhược điểm của phương pháp này là khó khăn trong việc mở rộng quy mô và đảm bảo mức độ dịch vụ được đảm bảo (về hiệu suất hoặc độ trễ). Các hệ thống siêu hội tụ sử dụng cùng một máy chủ để lưu trữ và xử lý thông tin. Điều này mang lại phạm vi mở rộng hầu như không giới hạn nhưng đòi hỏi chi phí cao để duy trì tính toàn vẹn dữ liệu.
Không giống như cả hai điều trên, một kiến trúc phân tách ngụ ý chia hệ thống thành kết cấu máy tính và hệ thống lưu trữ ngang. Điều này mang lại lợi ích của cả hai kiến trúc và cho phép mở rộng quy mô gần như không giới hạn chỉ đối với phần tử thiếu hiệu suất.
Từ hội nhập đến hội tụ
Một nhiệm vụ cổ điển, mức độ liên quan của nó mới tăng lên trong 15 năm qua, là nhu cầu cung cấp đồng thời lưu trữ khối, truy cập tệp, truy cập vào các đối tượng, vận hành trang trại dữ liệu lớn, v.v. ví dụ như một hệ thống dự phòng trên băng từ.
Ở giai đoạn đầu tiên, chỉ có thể thống nhất việc quản lý các dịch vụ này. Các hệ thống lưu trữ dữ liệu không đồng nhất được kết nối với một số phần mềm chuyên dụng, qua đó quản trị viên phân phối tài nguyên từ các nhóm có sẵn. Nhưng vì các nhóm này có phần cứng khác nhau nên việc di chuyển tải giữa chúng là không thể. Ở mức độ tích hợp cao hơn, việc tổng hợp xảy ra ở cấp độ cổng. Nếu tính năng chia sẻ tệp có sẵn, nó có thể được cung cấp thông qua các giao thức khác nhau.
Phương pháp hội tụ tiên tiến nhất hiện có liên quan đến việc tạo ra một hệ thống lai phổ quát. Chính xác những gì chúng ta nên trở thành . Truy cập toàn cầu sử dụng cùng một tài nguyên phần cứng, được phân chia hợp lý thành các nhóm khác nhau nhưng cho phép di chuyển tải. Tất cả điều này có thể được thực hiện thông qua một bảng điều khiển quản lý duy nhất. Bằng cách này, chúng tôi có thể triển khai khái niệm “một trung tâm dữ liệu - một hệ thống lưu trữ”.
Chi phí lưu trữ thông tin hiện nay quyết định nhiều quyết định về kiến trúc. Và mặc dù nó có thể được đặt lên hàng đầu một cách an toàn, nhưng hôm nay chúng ta đang thảo luận về việc lưu trữ “trực tiếp” với quyền truy cập tích cực, vì vậy hiệu suất cũng phải được tính đến. Một đặc tính quan trọng khác của hệ thống phân tán thế hệ tiếp theo là tính thống nhất. Rốt cuộc, không ai muốn có một số hệ thống khác nhau được điều khiển từ các bảng điều khiển khác nhau. Tất cả những phẩm chất này được thể hiện trong loạt sản phẩm mới của Huawei .
Hệ thống lưu trữ dung lượng lớn thế hệ mới
OceanStor Pacific đáp ứng các yêu cầu về độ tin cậy sáu số chín (99,9999%) và có thể được sử dụng để tạo các trung tâm dữ liệu cấp HyperMetro. Với khoảng cách giữa hai trung tâm dữ liệu lên tới 100 km, các hệ thống có độ trễ bổ sung là 2 ms, giúp có thể xây dựng trên cơ sở bất kỳ giải pháp chống thiên tai nào, bao gồm cả những giải pháp có máy chủ đại biểu.
Dòng sản phẩm mới thể hiện tính linh hoạt của giao thức. Hiện tại, OceanStor 100D đã hỗ trợ truy cập khối, truy cập đối tượng và truy cập Hadoop. Quyền truy cập tập tin cũng sẽ được triển khai trong thời gian tới. Không cần lưu trữ nhiều bản sao dữ liệu nếu chúng có thể được phát hành thông qua các giao thức khác nhau.
Có vẻ như khái niệm “mạng không mất dữ liệu” có liên quan gì đến hệ thống lưu trữ? Thực tế là các hệ thống lưu trữ dữ liệu phân tán được xây dựng trên cơ sở mạng nhanh hỗ trợ các thuật toán thích hợp và cơ chế RoCE. Hệ thống trí tuệ nhân tạo được hỗ trợ bởi các thiết bị chuyển mạch của chúng tôi giúp tăng thêm tốc độ mạng và giảm độ trễ. . Hiệu suất lưu trữ đạt được khi kích hoạt AI Fabric có thể đạt tới 20%.
Nút lưu trữ phân tán OceanStor Pacific mới là gì? Giải pháp hệ số dạng 5U bao gồm 120 ổ đĩa và có thể thay thế ba nút cổ điển, giúp tiết kiệm gấp đôi không gian trên giá đỡ. Bằng cách không lưu trữ các bản sao, hiệu suất của ổ đĩa tăng lên đáng kể (lên tới +92%).
Chúng ta đã quen với thực tế rằng bộ lưu trữ được xác định bằng phần mềm là phần mềm đặc biệt được cài đặt trên máy chủ cổ điển. Nhưng hiện nay, để đạt được các thông số tối ưu, giải pháp kiến trúc này cũng cần có các nút đặc biệt. Nó bao gồm hai máy chủ dựa trên bộ xử lý ARM quản lý một loạt ổ đĩa 3 inch.
Những máy chủ này không phù hợp với các giải pháp siêu hội tụ. Thứ nhất, có khá nhiều ứng dụng dành cho ARM, thứ hai là rất khó để duy trì cân bằng tải. Chúng tôi đề xuất chuyển sang lưu trữ riêng biệt: một cụm điện toán, được biểu thị bằng máy chủ cổ điển hoặc máy chủ rack, hoạt động riêng biệt nhưng được kết nối với các nút lưu trữ OceanStor Pacific, cũng thực hiện các nhiệm vụ trực tiếp của chúng. Và nó biện minh cho chính nó.
Ví dụ: hãy sử dụng giải pháp lưu trữ dữ liệu lớn cổ điển với hệ thống siêu hội tụ chiếm 15 giá đỡ máy chủ. Nếu bạn phân phối tải giữa các máy chủ điện toán riêng biệt và các nút lưu trữ OceanStor Pacific, tách chúng ra khỏi nhau thì số lượng giá đỡ cần thiết sẽ giảm đi một nửa! Điều này làm giảm chi phí vận hành trung tâm dữ liệu và giảm tổng chi phí sở hữu. Trong một thế giới nơi khối lượng thông tin được lưu trữ tăng 30% mỗi năm, những lợi thế như vậy không hề có.
***
Bạn có thể nhận thêm thông tin về các giải pháp của Huawei và các kịch bản ứng dụng của chúng trên trang web của chúng tôi. hoặc bằng cách liên hệ trực tiếp với đại diện công ty.
Nguồn: www.habr.com