Xin đừng vội kết luận dựa trên tiêu đề! Chúng tôi có những lý lẽ mạnh mẽ để hỗ trợ nó và chúng tôi đã gói gọn chúng một cách cô đọng nhất có thể. Chúng tôi mang đến cho bạn một bài đăng về khái niệm và nguyên tắc hoạt động của hệ thống lưu trữ dữ liệu mới của chúng tôi, được phát hành vào tháng 2020 năm XNUMX.
Theo quan điểm của chúng tôi, lợi thế cạnh tranh chính của dòng hệ thống lưu trữ Dorado V6 là do hiệu suất và độ tin cậy được đề cập trong tiêu đề. Vâng, vâng, nó đơn giản như vậy, nhưng nhờ những giải pháp khôn ngoan và không quá xảo quyệt mà chúng tôi đã đạt được điều “đơn giản” này, chúng ta sẽ nói chuyện hôm nay.
Để bộc lộ rõ hơn tiềm năng của các hệ thống thế hệ mới, chúng ta sẽ nói về các đại diện cũ hơn của dòng model (model 8000, 18000). Trừ khi có quy định khác, đây là những thuật ngữ được sử dụng.
Một vài lời về thị trường
Để hiểu rõ hơn về vị trí của các giải pháp Huawei trên thị trường, hãy chuyển sang một biện pháp đã được chứng minh - “» Gartner. Hai năm trước, trong lĩnh vực mảng đĩa đa năng, công ty chúng tôi tự tin nằm trong số những công ty dẫn đầu, chỉ đứng sau NetApp và Hewlett Packard Enterprise. Vị thế của Huawei trên thị trường lưu trữ thể rắn năm 2018 được đặc trưng bởi vị thế “kẻ thách thức”, nhưng vẫn thiếu một điều gì đó để đạt được vị trí dẫn đầu.
Vào năm 2019, Gartner, trong nghiên cứu của mình, đã kết hợp cả hai lĩnh vực nêu trên thành một - “Lưu trữ lõi”. Kết quả là Huawei một lần nữa nằm trong nhóm dẫn đầu, bên cạnh các nhà cung cấp như IBM, Hitachi Vantara và Infinidat.
Để hoàn thiện bức tranh, chúng tôi lưu ý rằng Gartner thu thập 80% dữ liệu để phân tích tại thị trường Mỹ và điều này dẫn đến sự thiên vị đáng chú ý đối với những công ty có đại diện tốt ở Hoa Kỳ. Trong khi đó, các nhà cung cấp tập trung vào thị trường châu Âu và châu Á lại thấy mình ở vị thế kém thuận lợi hơn. Và thậm chí bất chấp điều này, năm ngoái các sản phẩm của Huawei vẫn chiếm một vị trí xứng đáng ở góc phần tư phía trên bên phải và theo nhận định của Gartner, “có thể được khuyến nghị sử dụng”.
Có gì mới trong Dorado V6
Đặc biệt, dòng sản phẩm Dorado V6 được đại diện bởi các hệ thống dòng 3000. Ban đầu được trang bị hai bộ điều khiển, chúng có thể được mở rộng theo chiều ngang lên 16 bộ điều khiển, 1200 đĩa và 192 GB bộ nhớ đệm. Hệ thống này cũng sẽ được trang bị các cổng Fibre Channel (8/16/32 Gbit/s) và Ethernet (1/10/25/40/100 Gbit/s) bên ngoài.
Lưu ý rằng việc sử dụng các giao thức không thành công về mặt thương mại hiện đang bị loại bỏ, vì vậy ngay từ đầu, chúng tôi đã quyết định từ bỏ hỗ trợ cho Kênh sợi quang qua Ethernet (FCoE) và Infiniband (IB). Chúng sẽ được thêm vào trong các phiên bản phần sụn sau này. Hỗ trợ NVMe over Fabric (NVMe-oF) hiện có sẵn trên Fibre Channel. Phần sụn tiếp theo, dự kiến phát hành vào tháng XNUMX, sẽ hỗ trợ NVMe qua Ethernet. Theo quan điểm của chúng tôi, bộ sản phẩm trên sẽ đáp ứng nhiều hơn nhu cầu của hầu hết khách hàng Huawei.
Quyền truy cập tệp không có sẵn trong phiên bản chương trình cơ sở hiện tại và sẽ xuất hiện trong một trong các bản cập nhật tiếp theo vào cuối năm nay. Việc triển khai được giả định ở cấp độ gốc, bởi chính bộ điều khiển có cổng Ethernet mà không cần sử dụng thiết bị bổ sung.
Sự khác biệt chính giữa dòng Dorado V6 3000 và các mẫu cũ hơn là nó hỗ trợ một giao thức ở phần phụ trợ - SAS 3.0. Theo đó, các ổ đĩa ở đó chỉ có thể được sử dụng với giao diện được đặt tên. Theo quan điểm của chúng tôi, hiệu suất mà nó mang lại là khá đủ cho một thiết bị loại này.
Hệ thống dòng Dorado V6 5000 và 6000 là giải pháp tầm trung. Chúng cũng được sản xuất ở dạng hệ số 2U và được trang bị hai bộ điều khiển. Chúng khác nhau về hiệu suất, số lượng bộ xử lý, số lượng đĩa tối đa và kích thước bộ đệm. Tuy nhiên, về mặt kiến trúc và kỹ thuật, Dorado V6 5000 và 6000 giống hệt nhau và trông giống nhau.
Loại hi-end bao gồm các hệ thống Dorado V6 thuộc dòng 8000 và 18000. Được sản xuất với kích thước tiêu chuẩn 4U, theo mặc định, chúng có kiến trúc riêng biệt, trong đó bộ điều khiển và ổ đĩa được tách biệt. Ở cấu hình tối thiểu, chúng cũng có thể chỉ được trang bị hai bộ điều khiển, mặc dù theo quy định, khách hàng sẽ yêu cầu cài đặt bốn bộ điều khiển trở lên.
Dorado V6 8000 có quy mô theo chiều ngang lên tới 16 bộ điều khiển và Dorado V6 18000 có quy mô lên tới 32. Các hệ thống này có các bộ xử lý khác nhau với số lượng lõi và kích thước bộ đệm khác nhau. Đồng thời, bản sắc của các giải pháp kỹ thuật vẫn được giữ nguyên, như trong các mô hình phân khúc trung cấp.
Các kệ 2U có ổ đĩa được kết nối qua RDMA với băng thông 100 Gbit/s. Phần phụ trợ Dorado V6 của dòng cũ hơn cũng hỗ trợ SAS 3.0, nhưng đề phòng trường hợp ổ SSD có giao diện như vậy giảm giá đáng kể. Khi đó sẽ có tính khả thi về mặt kinh tế khi sử dụng chúng ngay cả khi tính đến năng suất thấp hơn. Hiện tại, sự khác biệt về giá giữa các ổ SSD có giao diện SAS và NVMe quá nhỏ nên chúng tôi chưa sẵn sàng đề xuất giải pháp như vậy.
Bên trong bộ điều khiển
Bộ điều khiển Dorado V6 được sản xuất trên cơ sở phần tử của riêng chúng tôi. Không có bộ xử lý Intel, không có Broadcom ASIC. Do đó, mọi thành phần của bo mạch chủ, cũng như bản thân bo mạch chủ, hoàn toàn được loại bỏ khỏi ảnh hưởng của các rủi ro liên quan đến áp lực trừng phạt từ các công ty Mỹ. Những ai đã tận mắt nhìn thấy bất kỳ thiết bị nào của chúng tôi có lẽ đã nhận thấy những tấm khiên có sọc đỏ bên dưới logo. Có nghĩa là sản phẩm không chứa thành phần của Mỹ. Đây là lộ trình chính thức của Huawei - quá trình chuyển đổi sang các linh kiện do chính họ sản xuất hoặc trong mọi trường hợp được sản xuất ở các quốc gia không tuân theo chính sách của Hoa Kỳ.
Đây là những gì bạn có thể thấy trên bảng điều khiển.
- Giao diện mạng phổ thông (chip Hisilicon 1822), chịu trách nhiệm kết nối với Fibre Channel hoặc Ethernet.
- Để đảm bảo tính khả dụng từ xa của hệ thống, chip BMC, cụ thể là Hisilicon 1710, để điều khiển và giám sát hệ thống từ xa với đầy đủ tính năng. Những cái tương tự cũng được sử dụng trong máy chủ của chúng tôi và các giải pháp khác.
- Bộ xử lý trung tâm là chip Kunpeng 920 do Huawei sản xuất, xây dựng trên kiến trúc ARM. Chính cái này được hiển thị trong sơ đồ trên, mặc dù các bộ điều khiển khác có thể được cài đặt các kiểu máy khác nhau với số lõi khác nhau, tần số xung nhịp khác nhau, v.v. Số lượng bộ xử lý trong một bộ điều khiển cũng thay đổi tùy theo kiểu máy. Ví dụ, trong dòng Dorado V6 cũ hơn có bốn cái trên một bảng.
- Bộ điều khiển SSD (chip Hisilicon 1812e), hỗ trợ kết nối cả ổ SAS và NVMe. Hãy nói thêm rằng Huawei độc lập sản xuất SSD, nhưng không tự sản xuất tế bào NAND mà ưu tiên mua chúng từ bốn nhà sản xuất lớn nhất thế giới dưới dạng tấm silicon chưa cắt. Huawei cắt, thử nghiệm và đóng gói chip một cách độc lập, sau đó sản xuất chúng dưới thương hiệu riêng của mình.
- Chip trí tuệ nhân tạo là Ascend 310. Theo mặc định, nó không có trên bộ điều khiển và được gắn thông qua một thẻ riêng, chiếm một trong các khe dành riêng cho bộ điều hợp mạng. Con chip này được sử dụng để cung cấp hành vi bộ nhớ đệm thông minh, quản lý hiệu suất hoặc các quy trình nén và chống trùng lặp. Tất cả những tác vụ này có thể được giải quyết bằng bộ xử lý trung tâm, nhưng chip AI cho phép bạn thực hiện việc này hiệu quả hơn nhiều.
Riêng về bộ xử lý Kunpeng
Bộ xử lý Kunpeng là một hệ thống trên chip (SoC), trong đó ngoài bộ phận tính toán còn có các mô-đun phần cứng giúp tăng tốc các quy trình khác nhau, chẳng hạn như tính toán tổng kiểm tra hoặc thực hiện mã hóa xóa. Nó cũng triển khai hỗ trợ phần cứng cho SAS, Ethernet, DDR4 (từ sáu đến tám kênh), v.v. Tất cả điều này cho phép Huawei tạo ra các bộ điều khiển lưu trữ có hiệu suất không thua kém các giải pháp Intel cổ điển.
Ngoài ra, các giải pháp dựa trên kiến trúc ARM của riêng Huawei mang đến cho Huawei cơ hội tạo ra các giải pháp máy chủ hoàn chỉnh và cung cấp chúng cho khách hàng của mình như một giải pháp thay thế cho x86.
Kiến trúc Dorado V6 mới…
Kiến trúc bên trong của hệ thống lưu trữ Dorado V6 thuộc dòng cũ hơn được thể hiện bằng bốn tên miền phụ (nhà máy) chính.
Cấu trúc đầu tiên là giao diện người dùng chung (giao diện mạng chịu trách nhiệm liên lạc với cấu trúc SAN hoặc máy chủ).
Thứ hai là một bộ bộ điều khiển, mỗi bộ điều khiển, thông qua giao thức RDMA, có thể “tiếp cận” cả card mạng mặt trước bất kỳ và “động cơ” lân cận, là một hộp có bốn bộ điều khiển, cũng như nguồn điện chung và khả năng làm mát. đơn vị dành cho họ. Giờ đây, các mẫu Dorado V6 cao cấp có thể được trang bị hai “động cơ” như vậy (tương ứng là tám bộ điều khiển).
Cấu trúc thứ ba chịu trách nhiệm về phần phụ trợ và bao gồm các card mạng RDMA 100G.
Cuối cùng, nhà máy thứ tư “về phần cứng” được thể hiện bằng các kệ thông minh được kết nối với các thiết bị lưu trữ.
Cấu trúc đối xứng này giải phóng toàn bộ tiềm năng của công nghệ NVMe và đảm bảo hiệu suất cũng như độ tin cậy cao. Quá trình I/O được song song hóa tối đa giữa các bộ xử lý và lõi, cho phép đọc và ghi đồng thời vào nhiều luồng.
...và những gì cô ấy đã cho chúng tôi
Hiệu suất tối đa của giải pháp Dorado V6 cao hơn khoảng ba lần so với các hệ thống thế hệ trước (cùng loại) và có thể đạt 20 triệu IOPS.
Điều này là do thực tế là ở thế hệ thiết bị trước, hỗ trợ NVMe chỉ mở rộng cho các giá gắn kèm ổ đĩa. Bây giờ nó có mặt ở tất cả các giai đoạn, từ máy chủ đến SSD. Mạng phụ trợ cũng đã trải qua những thay đổi: SAS/PCIe đã nhường chỗ cho RoCEv2 với thông lượng 100 Gbps.
Bản thân yếu tố hình thức SSD cũng đã thay đổi. Nếu như trước đây có 2 ổ trên mỗi kệ 25U thì nay đã tăng lên 36 ổ định dạng vật lý cỡ lòng bàn tay. Ngoài ra, các kệ đã trở nên thông minh hơn. Mỗi người trong số họ hiện có một hệ thống có khả năng chịu lỗi gồm hai bộ điều khiển dựa trên chip ARM, tương tự như những chip được cài đặt trong bộ điều khiển trung tâm.
Hiện tại, họ chỉ tham gia vào việc sắp xếp lại dữ liệu, nhưng với việc phát hành phần sụn mới, mã hóa nén và xóa sẽ được thêm vào nó, điều này sẽ giảm tải cho bộ điều khiển chính từ 15 xuống 5%. Việc chuyển một số tác vụ sang kệ cũng giải phóng băng thông mạng nội bộ. Và tất cả điều này làm tăng đáng kể tiềm năng mở rộng của hệ thống.
Việc nén và loại bỏ trùng lặp trong thế hệ hệ thống lưu trữ trước được thực hiện với các khối có độ dài cố định. Giờ đây, chế độ làm việc với các khối có độ dài thay đổi đã được thêm vào, hiện tại bạn cần phải bật chế độ này một cách cưỡng bức. Các bản cập nhật chương trình cơ sở tiếp theo có thể thay đổi điều này.
Cũng nói ngắn gọn về khả năng chịu đựng thất bại. Dorado V3 vẫn hoạt động nếu một trong hai bộ điều khiển bị lỗi. Dorado V6 sẽ đảm bảo tính khả dụng của dữ liệu ngay cả khi bảy trong số tám bộ điều khiển bị lỗi liên tiếp hoặc bốn trong số một “động cơ” đồng thời bị lỗi.
Độ tin cậy từ góc độ kinh tế
Gần đây, một cuộc khảo sát đã được thực hiện giữa các khách hàng của Huawei về loại thời gian ngừng hoạt động của từng thành phần cơ sở hạ tầng CNTT mà công ty cho là có thể chấp nhận được. Phần lớn, những người được hỏi đều chấp nhận một tình huống giả định trong đó ứng dụng không phản hồi trong vài trăm giây. Đối với hệ điều hành hoặc bộ điều hợp bus máy chủ, thời gian ngừng hoạt động nghiêm trọng là hàng chục giây (về cơ bản là thời gian khởi động lại). Khách hàng đặt ra yêu cầu cao hơn nữa đối với mạng: băng thông của mạng không được bị mất quá 10–20 giây. Như bạn có thể đoán, những người được khảo sát coi lỗi hệ thống lưu trữ là nghiêm trọng nhất. Theo quan điểm của đại diện doanh nghiệp, thời gian ngừng hoạt động của bộ lưu trữ không được vượt quá... vài giây mỗi năm!
Nói cách khác, nếu ứng dụng khách của ngân hàng không phản hồi trong 100 giây, điều này rất có thể sẽ không gây ra hậu quả thảm khốc. Nhưng nếu hệ thống lưu trữ không hoạt động trong cùng một khoảng thời gian thì có thể xảy ra tình trạng ngừng hoạt động kinh doanh và tổn thất tài chính đáng kể.
Biểu đồ trên cho thấy chi phí cho một giờ làm việc của 2017 ngân hàng lớn nhất (dữ liệu từ Forbes năm XNUMX). Đồng ý rằng, nếu công ty của bạn có quy mô gần bằng các ngân hàng Trung Quốc, việc chứng minh nhu cầu mua hệ thống lưu trữ với giá vài triệu đô la sẽ không quá khó khăn. Tuyên bố ngược lại cũng đúng: nếu doanh nghiệp không chịu tổn thất đáng kể do ngừng hoạt động thì khó có khả năng mua hệ thống lưu trữ cao cấp. Trong mọi trường hợp, điều quan trọng là phải biết được kích thước của lỗ hổng có nguy cơ hình thành trong ví của bạn trong khi quản trị viên hệ thống xử lý hệ thống lưu trữ dữ liệu đã từ chối hoạt động.
Giây để chuyển đổi dự phòng
Ở Giải pháp A, trong hình minh họa ở trên, bạn có thể nhận ra hệ thống Dorado V3 thế hệ trước của chúng tôi. Bốn bộ điều khiển của nó hoạt động theo cặp và các bản sao của bộ đệm chỉ được chứa trong hai bộ điều khiển. Bộ điều khiển trong một cặp có thể phân phối lại tải. Đồng thời, như bạn có thể thấy, ở đây không có “nhà máy” front-end và back-end nào cả, vì vậy mỗi kệ ổ đĩa đều được kết nối với một cặp bộ điều khiển cụ thể.
Sơ đồ Giải pháp B hiển thị giải pháp hiện có trên thị trường từ một nhà cung cấp khác (bạn có tìm ra không?). Ở đây đã có các nhà máy front-end và back-end, và các ổ đĩa được kết nối với bốn bộ điều khiển cùng một lúc. Đúng, có những sắc thái trong hoạt động của các thuật toán nội bộ của hệ thống không thể hiện rõ ngay lập tức.
Bên phải là kiến trúc lưu trữ Dorado V6 hiện tại của chúng tôi với toàn bộ bộ phần tử bên trong. Hãy xem xét làm thế nào các hệ thống này có thể tồn tại trong một tình huống điển hình - sự cố của một bộ điều khiển.
Trong các hệ thống cổ điển, bao gồm Dorado V3, khoảng thời gian cần thiết để phân phối lại tải trong trường hợp xảy ra lỗi lên tới bốn giây. Trong thời gian này, I/O hoàn toàn dừng lại. Trong Giải pháp B từ các đồng nghiệp của chúng tôi, mặc dù có kiến trúc hiện đại hơn nhưng thời gian ngừng hoạt động khi xảy ra lỗi thậm chí còn cao hơn - sáu giây.
Hệ thống lưu trữ Dorado V6 khôi phục hoạt động chỉ trong một giây sau khi gặp sự cố. Kết quả này đạt được nhờ môi trường RDMA bên trong đồng nhất, cho phép bộ điều khiển truy cập vào bộ nhớ “ngoại”. Tình huống quan trọng thứ hai là sự hiện diện của một nhà máy mặt trước, nhờ đó đường đi của chủ nhà không thay đổi. Cổng vẫn giữ nguyên và tải chỉ được gửi đến bộ điều khiển đang hoạt động bằng nhiều trình điều khiển.
Lỗi của bộ điều khiển thứ hai trong Dorado V6 được xử lý trong một giây theo cùng một sơ đồ. Dorado V3 mất khoảng sáu giây, trong khi giải pháp của nhà cung cấp khác mất chín giây. Đối với nhiều DBMS, những khoảng thời gian như vậy không còn được coi là có thể chấp nhận được vì trong thời gian này hệ thống chuyển sang chế độ chờ và ngừng hoạt động. Điều này chủ yếu áp dụng cho các DBMS bao gồm nhiều phần.
Giải pháp A không thể tồn tại sau sự cố của bộ điều khiển thứ ba. Đơn giản là do quyền truy cập vào một số đĩa có dữ liệu bị mất. Đổi lại, Giải pháp B trong tình huống như vậy sẽ khôi phục chức năng, như trong trường hợp trước, yêu cầu chín giây.
Dorado V6 có gì? Một giây.
Bạn có thể làm gì trong một giây?
Hầu như không có gì, nhưng chúng tôi không cần điều đó. Chúng ta hãy nhắc lại một lần nữa rằng ở phân khúc hi-end Dorado V6, nhà máy mặt trước được tách rời khỏi nhà máy điều khiển. Điều này có nghĩa là không có cổng nào được chỉ định nghiêm ngặt thuộc về một bộ điều khiển cụ thể. Chuyển đổi dự phòng không có nghĩa là tìm kiếm các đường dẫn thay thế hoặc khởi tạo lại quá trình đa tuyến. Hệ thống tiếp tục hoạt động như cũ.
Khả năng chống lại nhiều thất bại
Các mẫu Dorado V6 cũ hơn có thể dễ dàng sống sót sau sự cố đồng thời của hai bộ điều khiển (!) Bất kỳ từ bất kỳ “động cơ” nào. Điều này trở nên khả thi do giải pháp hiện lưu trữ ba bản sao của bộ đệm. Vì vậy, ngay cả khi bị lỗi kép thì vẫn luôn có một bản sao nguyên vẹn.
Lỗi đồng bộ của cả bốn bộ điều khiển ở một trong các “động cơ” cũng sẽ không gây ra hậu quả nghiêm trọng vì cả ba bản sao của bộ đệm đều được phân phối giữa các “động cơ” tại bất kỳ thời điểm nào. Bản thân hệ thống sẽ giám sát việc tuân thủ logic vận hành này.
Cuối cùng, một kịch bản hoàn toàn khó xảy ra là bảy trong số tám bộ điều khiển liên tiếp bị lỗi. Hơn nữa, khoảng thời gian tối thiểu có thể chấp nhận được giữa các lần hỏng hóc riêng lẻ để duy trì khả năng hoạt động là 15 phút. Trong thời gian này, hệ thống lưu trữ quản lý để hoàn thành các hoạt động cần thiết cho việc di chuyển bộ đệm.
Trạng thái bộ điều khiển cuối cùng sẽ chạy kho lưu trữ dữ liệu và duy trì bộ đệm trong năm ngày (giá trị mặc định, có thể dễ dàng thay đổi trong cài đặt). Sau đó, bộ đệm sẽ bị tắt nhưng hệ thống lưu trữ sẽ tiếp tục hoạt động.
Cập nhật không làm phiền
Hệ điều hành Dorado V6 mới cho phép bạn cập nhật chương trình cơ sở của hệ thống lưu trữ mà không cần khởi động lại bộ điều khiển.
Hệ điều hành, giống như các giải pháp trước đây, dựa trên Linux, nhưng nhiều quy trình điều hành đã được chuyển từ kernel sang chế độ người dùng. Hầu hết các chức năng, chẳng hạn như những chức năng chịu trách nhiệm chống trùng lặp và nén, hiện là các trình nền thông thường chạy ở chế độ nền. Nhờ đó, không cần phải thay đổi toàn bộ hệ điều hành để cập nhật từng mô-đun riêng lẻ. Giả sử rằng để thêm hỗ trợ cho một giao thức mới, bạn chỉ cần tắt mô-đun phần mềm tương ứng và khởi chạy giao thức mới.
Rõ ràng là vấn đề cập nhật toàn bộ hệ thống vẫn còn tồn tại, vì có thể có những phần tử trong kernel cần cập nhật. Tuy nhiên, theo quan sát của chúng tôi, con số này chưa đến 6% trên tổng số. Điều này cho phép bộ điều khiển được khởi động lại ít thường xuyên hơn mười lần so với trước đây.
Các giải pháp có khả năng chịu đựng thảm họa và tính sẵn sàng cao (HA/DR)
Dorado V6 “ra khỏi hộp” đã sẵn sàng để tích hợp vào các giải pháp phân phối theo địa lý, cụm cấp thành phố (tàu điện ngầm) và trung tâm dữ liệu “ba”.
Bên trái trong hình minh họa trên là cụm tàu điện ngầm đã quen thuộc với nhiều người. Hai hệ thống lưu trữ hoạt động ở chế độ chủ động/hoạt động ở khoảng cách lên tới 100 km với nhau. Cơ sở hạ tầng này, với một hoặc nhiều máy chủ đại biểu, có thể được hỗ trợ bởi các giải pháp từ nhiều công ty khác nhau, bao gồm cả hệ điều hành đám mây FusionSphere của chúng tôi. Trong các dự án như vậy, các đặc điểm của kênh giữa các địa điểm có tầm quan trọng đặc biệt; tất cả các nhiệm vụ khác trong trường hợp của chúng tôi đều được đảm nhận bởi chức năng HyperMetro, một lần nữa, chức năng này có sẵn ngay lập tức. Có thể tích hợp qua Kênh sợi quang, cũng như qua iSCSI trong mạng IP, nếu có nhu cầu như vậy. Không còn cần đến quang học “tối” chuyên dụng nữa vì hệ thống có thể giao tiếp qua các kênh hiện có.
Khi xây dựng các hệ thống như vậy, yêu cầu phần cứng duy nhất cho hệ thống lưu trữ là việc phân bổ các cổng để sao chép. Chỉ cần mua giấy phép, khởi chạy các máy chủ đại biểu - vật lý hoặc ảo - và cung cấp kết nối IP cho bộ điều khiển (10 Mbit/s, 50 ms).
Kiến trúc này có thể dễ dàng chuyển sang một hệ thống có ba trung tâm dữ liệu (xem bên phải hình minh họa). Ví dụ: khi hai trung tâm dữ liệu hoạt động ở chế độ cụm tàu điện ngầm và địa điểm thứ ba, nằm ở khoảng cách hơn 100 km, sử dụng bản sao không đồng bộ.
Hệ thống này hỗ trợ về mặt công nghệ các kịch bản kinh doanh khác nhau sẽ được thực hiện trong trường hợp dư thừa quy mô lớn.
Sự tồn tại của một cụm tàu điện ngầm với nhiều sự cố
Bên trên và bên dưới cũng hiển thị một cụm tàu điện ngầm cổ điển, bao gồm hai hệ thống lưu trữ và một máy chủ đại biểu. Như bạn có thể thấy, sáu trong số chín tình huống có thể xảy ra nhiều lỗi, cơ sở hạ tầng của chúng tôi sẽ vẫn hoạt động.
Ví dụ: trong trường hợp thứ hai, nếu máy chủ đại biểu bị lỗi và đồng bộ hóa giữa các trang web thì hệ thống vẫn hoạt động hiệu quả vì trang web thứ hai ngừng hoạt động. Hành vi này đã được tích hợp sẵn trong các thuật toán tích hợp.
Ngay cả sau ba lần thất bại, quyền truy cập thông tin vẫn có thể được duy trì nếu khoảng thời gian giữa chúng ít nhất là 15 giây.
Con át thông thường lên tay áo
Hãy để chúng tôi nhắc bạn rằng Huawei không chỉ sản xuất hệ thống lưu trữ mà còn sản xuất đầy đủ các thiết bị mạng. Dù bạn chọn nhà cung cấp lưu trữ nào, nếu mạng WDM được sử dụng giữa các địa điểm thì trong 90% trường hợp, mạng đó sẽ được xây dựng dựa trên các giải pháp của công ty chúng tôi. Một câu hỏi hợp lý được đặt ra: tại sao phải lắp ráp một loạt hệ thống khi tất cả phần cứng được đảm bảo tương thích với nhau đều có thể được lấy từ một nhà cung cấp?
Về chủ đề hiệu suất
Có lẽ, không ai cần phải tin rằng việc chuyển đổi sang hệ thống lưu trữ All-Flash có thể giảm đáng kể chi phí duy trì cơ sở hạ tầng, vì mọi hoạt động thường ngày được thực hiện nhanh hơn nhiều lần. Điều này được chứng minh bởi tất cả các nhà cung cấp thiết bị đó. Trong khi đó, nhiều nhà cung cấp bắt đầu đồn thổi về tình trạng suy giảm hiệu suất khi bật nhiều chế độ vận hành hệ thống lưu trữ khác nhau.
Trong ngành của chúng tôi, việc cấp phát hệ thống lưu trữ để vận hành thử nghiệm trong một hoặc hai ngày là một thông lệ rộng rãi. Nhà cung cấp chạy thử nghiệm 20 phút trên một hệ thống trống và nhận được những con số hiệu suất xuất sắc. Nhưng khi vận hành thực tế, những chiếc “cào dưới nước” nhanh chóng lộ ra. Trong vòng một ngày, các giá trị IOPS đẹp đẽ sẽ giảm đi một nửa hoặc ba lần và nếu hệ thống lưu trữ được lấp đầy tới 80%, chúng thậm chí còn ít hơn. Khi bạn bật RAID 5 thay vì RAID 10, 10-15% khác sẽ bị mất và ở chế độ cụm đô thị, hiệu suất sẽ giảm đi một nửa.
Mọi thứ được liệt kê ở trên không phải về Dorado V6. Khách hàng của chúng tôi có cơ hội chạy thử nghiệm hiệu suất vào cuối tuần hoặc ít nhất là qua đêm. Sau đó, việc thu thập rác sẽ phát huy tác dụng và cũng thấy rõ việc kích hoạt các tùy chọn khác nhau - như ảnh chụp nhanh và sao chép - ảnh hưởng đến lượng IOPS đạt được như thế nào.
Trong Dorado V6, ảnh chụp nhanh và RAID có tính chẵn lẻ hầu như không ảnh hưởng đến hiệu suất (3-5% thay vì 10-15%). Việc thu gom rác (làm đầy các ô lưu trữ bằng số 80), nén và chống trùng lặp trên hệ thống lưu trữ đã đầy 6% sẽ luôn ảnh hưởng đến tốc độ xử lý yêu cầu chung. Nhưng điều thú vị của Dorado V80 là, cho dù bạn kích hoạt kết hợp chức năng và cơ chế bảo vệ nào, hiệu suất lưu trữ cuối cùng sẽ không giảm xuống dưới XNUMX% so với con số thu được khi không tải.
Cân bằng tải
Hiệu suất cao của Dorado V6 đạt được thông qua việc cân bằng ở mọi giai đoạn, cụ thể là:
- nhân lên;
- sử dụng nhiều kết nối từ một máy chủ;
- sự hiện diện của một nhà máy mặt tiền;
- song song hoạt động của bộ điều khiển lưu trữ;
- phân phối tải trên tất cả các ổ đĩa ở cấp độ RAID 2.0+.
Về nguyên tắc, đây là thông lệ. Ngày nay, rất ít người lưu giữ tất cả dữ liệu của mình trên một LUN: mọi người đều cố gắng có tám, bốn mươi hoặc thậm chí nhiều hơn. Đây là một cách tiếp cận rõ ràng và đúng đắn mà chúng tôi chia sẻ. Nhưng nếu ứng dụng của bạn chỉ cần một LUN, điều này dễ bảo trì hơn, thì các giải pháp kiến trúc của chúng tôi sẽ cho phép ứng dụng đạt được 80% hiệu suất khả dụng với nhiều LUN.
Lập lịch tải CPU động
Chúng tôi triển khai phân phối tải trên các bộ xử lý khi sử dụng một LUN như sau: các tác vụ ở cấp độ LUN được chia thành các “phân đoạn” nhỏ riêng biệt, mỗi phân đoạn được gán chặt chẽ cho một bộ điều khiển cụ thể trong “động cơ”. Điều này được thực hiện để hệ thống không bị giảm hiệu suất khi nó “nhảy” phần dữ liệu này qua các bộ điều khiển khác nhau.
Một cơ chế khác để duy trì hiệu suất cao là lập lịch động, trong đó các lõi bộ xử lý nhất định có thể được phân bổ cho các nhóm tác vụ khác nhau. Ví dụ: nếu hệ thống hiện không hoạt động ở mức nén và chống trùng lặp thì một số lõi có thể tham gia vào quá trình phục vụ I/O. Hoặc ngược lại. Tất cả điều này được thực hiện tự động và minh bạch cho người dùng.
Dữ liệu về tải hiện tại của từng lõi Dorado V6 không được hiển thị trong giao diện đồ họa, nhưng thông qua dòng lệnh, bạn có thể truy cập hệ điều hành điều khiển và sử dụng lệnh Linux thông thường hàng đầu.
Hỗ trợ NVMe và RoCE
Như đã đề cập, Dorado V6 hiện hỗ trợ đầy đủ NVMe qua Fibre Channel và không yêu cầu bất kỳ giấy phép nào. Vào giữa năm, hỗ trợ NVMe qua chế độ Ethernet sẽ xuất hiện. Để sử dụng đầy đủ tính năng này, bạn sẽ cần hỗ trợ Ethernet với truy cập bộ nhớ trực tiếp (DMA) phiên bản v2.0, cả từ chính hệ thống lưu trữ cũng như từ bộ chuyển mạch và bộ điều hợp mạng. Ví dụ: chẳng hạn như Mellanox ConnectX-4 hoặc ConnectX-5. Bạn cũng có thể sử dụng card mạng được tạo trên cơ sở vi mạch của chúng tôi. Hỗ trợ RoCE cũng phải được triển khai ở cấp hệ điều hành.
Nhìn chung, chúng tôi coi Dorado V6 là một hệ thống lấy NVMe làm trung tâm. Bất chấp sự hỗ trợ hiện có cho Fibre Channel và iSCSI, trong tương lai nó vẫn có kế hoạch chuyển sang Ethernet tốc độ cao với RDMA.
Một chút tiếp thị
Do hệ thống Dorado V6 có khả năng chống hỏng hóc cao, có khả năng mở rộng theo chiều ngang tốt, hỗ trợ các công nghệ di chuyển khác nhau, v.v., hiệu quả kinh tế của việc mua lại nó sẽ trở nên rõ ràng khi bắt đầu sử dụng nhiều hệ thống lưu trữ. Chúng tôi sẽ tiếp tục cố gắng làm cho quyền sở hữu hệ thống mang lại lợi nhuận cao nhất có thể, ngay cả khi điều đó chưa rõ ràng ở giai đoạn đầu.
Đặc biệt, chúng tôi đã tạo ra chương trình FLASH EVER, liên quan đến việc kéo dài vòng đời của hệ thống lưu trữ và được thiết kế để giúp khách hàng thoải mái nhất có thể khi tiến hành nâng cấp.
Chương trình này bao gồm một số biện pháp:
- khả năng thay thế dần bộ điều khiển và kệ đĩa bằng phiên bản mới mà không cần thay thế toàn bộ thiết bị (đối với hệ thống hi-end Dorado V6);
- khả năng lưu trữ liên kết (kết hợp các phiên bản khác nhau của Dorado như một phần của một cụm lưu trữ kết hợp);
- ảo hóa thông minh (khả năng sử dụng thiết bị của bên thứ ba như một phần của giải pháp Dorado).
Cần lưu ý rằng tình hình khó khăn trên thế giới ít ảnh hưởng đến triển vọng thương mại của hệ thống mới. Mặc dù thực tế là việc phát hành chính thức Dorado V6 chỉ diễn ra vào tháng XNUMX, nhưng chúng tôi nhận thấy nhu cầu đáng kể về nó ở Trung Quốc, cũng như sự quan tâm lớn từ các đối tác Nga và quốc tế từ khu vực tài chính và các cơ quan chính phủ.
Trong số những thứ khác, do đại dịch, dù kéo dài bao lâu, vấn đề cung cấp máy tính để bàn ảo cho nhân viên ở xa trở nên đặc biệt gay gắt. Trong quá trình này, Dorado V6 cũng có thể giải quyết được nhiều câu hỏi. Để đạt được điều này, chúng tôi đang thực hiện mọi nỗ lực cần thiết, bao gồm cả việc đồng ý đưa hệ thống mới vào danh sách tương thích với VMware trên thực tế.
***
Nhân tiện, đừng quên vô số hội thảo trực tuyến của chúng tôi, được tổ chức không chỉ ở phân khúc tiếng Nga mà còn ở cấp độ toàn cầu. Danh sách hội thảo trực tuyến cho tháng XNUMX có sẵn tại .
Nguồn: www.habr.com