Trong bài viết này, tôi muốn nói về các tính năng của All Flash AccelStor array hoạt động với một trong những nền tảng ảo hóa phổ biến nhất - VMware vSphere. Đặc biệt, hãy tập trung vào những thông số sẽ giúp bạn đạt được hiệu quả tối đa khi sử dụng một công cụ mạnh mẽ như All Flash.
AccelStor NeoSapphire™ Tất cả các mảng Flash đều được hoặc các thiết bị nút dựa trên ổ SSD với cách tiếp cận khác biệt cơ bản để triển khai khái niệm lưu trữ dữ liệu và tổ chức quyền truy cập vào dữ liệu đó bằng công nghệ độc quyền thay vì các thuật toán RAID rất phổ biến. Các mảng cung cấp quyền truy cập khối vào máy chủ thông qua giao diện Fibre Channel hoặc iSCSI. Công bằng mà nói, chúng tôi lưu ý rằng các mô hình có giao diện ISCSI cũng có quyền truy cập tệp như một phần thưởng tuyệt vời. Nhưng trong bài viết này, chúng tôi sẽ tập trung vào việc sử dụng các giao thức khối là cách hiệu quả nhất cho All Flash.
Toàn bộ quá trình triển khai và cấu hình hoạt động chung tiếp theo của mảng AccelStor và hệ thống ảo hóa VMware vSphere có thể được chia thành nhiều giai đoạn:
- Triển khai cấu trúc liên kết kết nối và cấu hình mạng SAN;
- Thiết lập mảng All Flash;
- Định cấu hình máy chủ ESXi;
- Thiết lập máy ảo.
Mảng Kênh sợi quang AccelStor NeoSapphire™ và mảng iSCSI được sử dụng làm phần cứng mẫu. Phần mềm cơ bản là VMware vSphere 6.7U1.
Trước khi triển khai các hệ thống được mô tả trong bài viết này, bạn nên đọc tài liệu từ VMware về các vấn đề hiệu suất ( ) và cài đặt iSCSI ()
Cấu trúc liên kết kết nối và cấu hình mạng SAN
Các thành phần chính của mạng SAN là HBA trong máy chủ ESXi, bộ chuyển mạch SAN và nút mảng. Cấu trúc liên kết điển hình cho một mạng như vậy sẽ trông như thế này:
Thuật ngữ Chuyển đổi ở đây đề cập đến cả một công tắc vật lý hoặc bộ công tắc (Fabric) riêng biệt và một thiết bị được chia sẻ giữa các dịch vụ khác nhau (VSAN trong trường hợp Kênh sợi quang và Vlan trong trường hợp iSCSI). Sử dụng hai công tắc/Vải độc lập sẽ loại bỏ điểm lỗi có thể xảy ra.
Kết nối trực tiếp các máy chủ với mảng, mặc dù được hỗ trợ nhưng không được khuyến khích. Hiệu suất của tất cả các mảng Flash khá cao. Và để có tốc độ tối đa, tất cả các cổng của mảng phải được sử dụng. Do đó, bắt buộc phải có ít nhất một công tắc giữa máy chủ và NeoSapphire™.
Sự hiện diện của hai cổng trên máy chủ HBA cũng là yêu cầu bắt buộc để đạt được hiệu suất tối đa và đảm bảo khả năng chịu lỗi.
Khi sử dụng giao diện Kênh sợi quang, việc phân vùng phải được cấu hình để loại bỏ các xung đột có thể xảy ra giữa người khởi xướng và mục tiêu. Các vùng được xây dựng theo nguyên tắc “một cổng khởi tạo – một hoặc nhiều cổng mảng”.
Nếu bạn sử dụng kết nối qua iSCSI trong trường hợp sử dụng switch được chia sẻ với các dịch vụ khác thì bắt buộc phải cách ly lưu lượng iSCSI trong một VLAN riêng. Chúng tôi cũng khuyên bạn nên kích hoạt hỗ trợ cho Khung Jumbo (MTU = 9000) để tăng kích thước của các gói trên mạng và do đó giảm lượng thông tin tiêu đề trong quá trình truyền. Tuy nhiên, cần nhớ rằng để vận hành chính xác, cần phải thay đổi tham số MTU trên tất cả các thành phần mạng dọc theo chuỗi “bộ khởi tạo-chuyển đổi-đích”.
Thiết lập tất cả mảng Flash
Mảng được giao cho khách hàng với các nhóm đã được thành lập . Do đó, không cần thực hiện hành động nào để kết hợp các ổ đĩa thành một cấu trúc duy nhất. Bạn chỉ cần tạo khối lượng có kích thước và số lượng theo yêu cầu.
Để thuận tiện, có chức năng tạo hàng loạt nhiều tập có kích thước nhất định cùng một lúc. Theo mặc định, các ổ đĩa mỏng được tạo vì điều này cho phép sử dụng hiệu quả hơn không gian lưu trữ có sẵn (bao gồm hỗ trợ cho Space Reclaim). Về hiệu suất, sự khác biệt giữa âm lượng “mỏng” và “dày” không vượt quá 1%. Tuy nhiên, nếu bạn muốn “vắt hết nước trái cây” ra khỏi một mảng, bạn luôn có thể chuyển đổi bất kỳ tập “mỏng” nào thành tập “dày”. Nhưng nên nhớ rằng một hoạt động như vậy là không thể đảo ngược.
Tiếp theo, vẫn là “xuất bản” các ổ đĩa đã tạo và đặt quyền truy cập cho chúng từ máy chủ bằng cách sử dụng ACL (địa chỉ IP cho iSCSI và WWPN cho FC) và phân tách vật lý bằng các cổng mảng. Đối với các mô hình iSCSI, việc này được thực hiện bằng cách tạo Target.
Đối với các mô hình FC, việc xuất bản diễn ra thông qua việc tạo LUN cho mỗi cổng của mảng.
Để tăng tốc quá trình thiết lập, các máy chủ có thể được kết hợp thành các nhóm. Hơn nữa, nếu máy chủ sử dụng FC HBA nhiều cổng (trong thực tế thường xảy ra nhất), thì hệ thống sẽ tự động xác định rằng các cổng của HBA đó thuộc về một máy chủ duy nhất nhờ các WWPN khác nhau một cổng. Việc tạo hàng loạt Target/LUN cũng được hỗ trợ cho cả hai giao diện.
Một lưu ý quan trọng khi sử dụng giao diện iSCSI là tạo nhiều mục tiêu cho các ổ đĩa cùng một lúc để tăng hiệu suất, vì hàng đợi trên mục tiêu không thể thay đổi và thực sự sẽ gây tắc nghẽn.
Định cấu hình máy chủ ESXi
Về phía máy chủ ESXi, cấu hình cơ bản được thực hiện theo một kịch bản hoàn toàn được mong đợi. Quy trình kết nối iSCSI:
- Thêm Bộ điều hợp iSCSI phần mềm (không bắt buộc nếu nó đã được thêm hoặc nếu bạn đang sử dụng Bộ điều hợp iSCSI phần cứng);
- Tạo một vSwitch để lưu lượng iSCSI sẽ đi qua và thêm đường lên vật lý và VMkernal vào đó;
- Thêm địa chỉ mảng vào Dynamic Discovery;
- Tạo kho dữ liệu
Một số lưu ý quan trọng:
- Tất nhiên, trong trường hợp chung, bạn có thể sử dụng vSwitch hiện có, nhưng trong trường hợp vSwitch riêng biệt, việc quản lý cài đặt máy chủ sẽ dễ dàng hơn nhiều.
- Cần phải tách lưu lượng Quản lý và iSCSI thành các liên kết vật lý và/hoặc Vlan riêng biệt để tránh các vấn đề về hiệu suất.
- Địa chỉ IP của VMkernal và các cổng tương ứng của mảng All Flash phải nằm trong cùng một mạng con, do vấn đề về hiệu suất.
- Để đảm bảo khả năng chịu lỗi theo quy định của VMware, vSwitch phải có ít nhất XNUMX uplink vật lý
- Nếu sử dụng Jumbo Frames thì cần thay đổi MTU của cả vSwitch và VMkernal
- Sẽ rất hữu ích khi nhắc bạn rằng theo khuyến nghị của VMware dành cho các bộ điều hợp vật lý sẽ được sử dụng để hoạt động với lưu lượng iSCSI, cần phải định cấu hình Teaming và Failover. Đặc biệt, mỗi VMkernal chỉ phải hoạt động thông qua một uplink duy nhất, uplink thứ hai phải chuyển sang chế độ không sử dụng. Để có khả năng chịu lỗi, bạn cần thêm hai VMkernals, mỗi VMkernal sẽ hoạt động thông qua đường lên riêng của nó.
Bộ điều hợp VMkernel (vmk#)
Bộ điều hợp mạng vật lý (vmnic#)
vmk1 (Bộ nhớ01)
Bộ điều hợp hoạt động
vmnic2
Bộ điều hợp không sử dụng
vmnic3
vmk2 (Bộ nhớ02)
Bộ điều hợp hoạt động
vmnic3
Bộ điều hợp không sử dụng
vmnic2
Không cần thực hiện các bước sơ bộ để kết nối qua Kênh sợi quang. Bạn có thể tạo ngay một Kho dữ liệu.
Sau khi tạo Kho dữ liệu, bạn cần đảm bảo rằng chính sách Round Robin dành cho đường dẫn đến Target/LUN được sử dụng là chính sách có hiệu suất cao nhất.
Theo mặc định, cài đặt VMware cung cấp việc sử dụng chính sách này theo sơ đồ: 1000 yêu cầu qua đường dẫn đầu tiên, 1000 yêu cầu tiếp theo qua đường dẫn thứ hai, v.v. Sự tương tác như vậy giữa máy chủ và mảng hai bộ điều khiển sẽ không cân bằng. Do đó, chúng tôi khuyên bạn nên đặt tham số chính sách Round Robin = 1 thông qua Esxcli/PowerCLI.
Tham số
Đối với Esxcli:
- Liệt kê các LUN có sẵn
danh sách thiết bị nmp lưu trữ esxcli
- Sao chép tên thiết bị
- Thay đổi chính sách Round Robin
bộ lưu trữ esxcli nmp psp thiết bị cấu hình vòng tròn —type=iops —iops=1 —device=“Device_ID”
Hầu hết các ứng dụng hiện đại được thiết kế để trao đổi các gói dữ liệu lớn nhằm tối đa hóa việc sử dụng băng thông và giảm tải CPU. Do đó, ESXi theo mặc định đưa ra các yêu cầu I/O tới thiết bị lưu trữ theo khối lên tới 32767KB. Tuy nhiên, đối với một số trường hợp, việc trao đổi các phần nhỏ hơn sẽ hiệu quả hơn. Đối với mảng AccelStor, đây là các tình huống sau:
- Máy ảo sử dụng UEFI thay vì Legacy BIOS
- Sử dụng bản sao vSphere
Đối với những trường hợp như vậy, bạn nên thay đổi giá trị của tham số Disk.DiskMaxIOSize thành 4096.
Đối với các kết nối iSCSI, nên thay đổi tham số Thời gian chờ đăng nhập thành 30 (mặc định là 5) để tăng độ ổn định của kết nối và tắt độ trễ DelayedAck để xác nhận các gói được chuyển tiếp. Cả hai tùy chọn đều có trong vSphere Client: Host → Cấu hình → Lưu trữ → Bộ điều hợp lưu trữ → Tùy chọn nâng cao cho bộ điều hợp iSCSI
Một điểm khá tinh tế là số lượng ổ đĩa được sử dụng cho kho dữ liệu. Rõ ràng là để dễ quản lý, người ta mong muốn tạo một khối lượng lớn cho toàn bộ khối lượng của mảng. Tuy nhiên, sự hiện diện của một số khối và theo đó, kho dữ liệu có tác dụng có lợi đối với hiệu suất tổng thể (thông tin thêm về hàng đợi bên dưới). Vì vậy, chúng tôi khuyên bạn nên tạo ít nhất hai tập.
Cho đến gần đây, VMware vẫn khuyên hạn chế số lượng máy ảo trên một kho dữ liệu để đạt được hiệu suất cao nhất có thể. Tuy nhiên, hiện nay, đặc biệt với sự lan rộng của VDI, vấn đề này không còn quá nghiêm trọng nữa. Nhưng điều này không hủy bỏ quy tắc lâu đời - phân phối các máy ảo yêu cầu IO chuyên sâu trên các kho dữ liệu khác nhau. Để xác định số lượng máy ảo tối ưu trên mỗi ổ đĩa, không có gì tốt hơn trong cơ sở hạ tầng của nó.
Thiết lập máy ảo
Không có yêu cầu đặc biệt nào khi thiết lập máy ảo, hay nói đúng hơn là chúng khá bình thường:
- Sử dụng phiên bản VM cao nhất có thể (khả năng tương thích)
- Sẽ cẩn thận hơn khi đặt kích thước RAM khi đặt các máy ảo có mật độ dày đặc, chẳng hạn như trong VDI (vì theo mặc định, khi khởi động, một tệp trang có kích thước tương ứng với RAM sẽ được tạo, tiêu tốn dung lượng hữu ích và có ảnh hưởng đến buổi biểu diễn cuối cùng)
- Sử dụng các phiên bản bộ điều hợp hiệu quả nhất về IO: loại mạng VMXNET 3 và loại SCSI PVSCSI
- Sử dụng loại đĩa Cung cấp dày Eager Zeroed để có hiệu suất tối đa và Cung cấp mỏng để sử dụng không gian lưu trữ tối đa
- Nếu có thể, hãy hạn chế hoạt động của các máy không quan trọng I/O bằng Virtual Disk Limit
- Đảm bảo cài đặt VMware Tools
Ghi chú về hàng đợi
Hàng đợi (hoặc I/O nổi bật) là số lượng yêu cầu đầu vào/đầu ra (lệnh SCSI) đang chờ xử lý tại bất kỳ thời điểm nào cho một thiết bị/ứng dụng cụ thể. Trong trường hợp tràn hàng đợi, lỗi QFULL sẽ được đưa ra, cuối cùng dẫn đến việc tăng tham số độ trễ. Khi sử dụng hệ thống lưu trữ đĩa (trục chính), về mặt lý thuyết, hàng đợi càng cao thì hiệu suất của chúng càng cao. Tuy nhiên, bạn không nên lạm dụng nó, vì rất dễ gặp phải QFULL. Một mặt, trong trường hợp của hệ thống Tất cả Flash, mọi thứ đơn giản hơn một chút: xét cho cùng, mảng có độ trễ có độ lớn thấp hơn và do đó, thông thường, không cần phải điều chỉnh riêng kích thước của hàng đợi. Nhưng mặt khác, trong một số tình huống sử dụng (độ lệch mạnh về yêu cầu IO đối với các máy ảo cụ thể, kiểm tra hiệu suất tối đa, v.v.), nếu không thay đổi các tham số của hàng đợi thì ít nhất phải hiểu những chỉ báo nào có thể đạt được, và điều quan trọng là bằng cách nào.
Trên chính mảng AccelStor All Flash không có giới hạn nào liên quan đến ổ đĩa hoặc cổng I/O. Nếu cần, ngay cả một ổ đĩa cũng có thể nhận được tất cả tài nguyên của mảng. Hạn chế duy nhất trên hàng đợi là dành cho các mục tiêu iSCSI. Vì lý do này mà nhu cầu tạo một số mục tiêu (lý tưởng là tối đa 8 miếng) cho mỗi tập để vượt qua giới hạn này đã được nêu ở trên. Chúng ta cũng hãy nhắc lại rằng mảng AccelStor là giải pháp rất hiệu quả. Vì vậy, bạn nên sử dụng tất cả các cổng giao diện của hệ thống để đạt được tốc độ tối đa.
Về phía chủ nhà ESXi, tình hình hoàn toàn khác. Bản thân máy chủ áp dụng thực tiễn truy cập bình đẳng vào tài nguyên cho tất cả người tham gia. Do đó, có hàng đợi IO riêng cho hệ điều hành khách và HBA. Hàng đợi đến hệ điều hành khách được kết hợp từ hàng đợi đến bộ điều hợp SCSI ảo và đĩa ảo:
Hàng đợi đến HBA tùy thuộc vào loại/nhà cung cấp cụ thể:
Hiệu suất cuối cùng của máy ảo sẽ được xác định bởi giới hạn Độ sâu hàng đợi thấp nhất trong số các thành phần máy chủ.
Nhờ những giá trị này, chúng tôi có thể đánh giá các chỉ báo hiệu suất mà chúng tôi có thể nhận được trong một cấu hình cụ thể. Ví dụ: chúng tôi muốn biết hiệu suất lý thuyết của một máy ảo (không có ràng buộc khối) với độ trễ là 0.5ms. Khi đó IOPS của nó = (1,000/độ trễ) * I/O vượt trội (Giới hạn độ sâu hàng đợi)
Ví dụ
Ví dụ 1
- Bộ chuyển đổi HBA FC Emulex
- Một VM cho mỗi kho dữ liệu
- Bộ điều hợp SCSI ảo ảo của VMware
Ở đây giới hạn Độ sâu hàng đợi được xác định bởi Emulex HBA. Do đó IOPS = (1000/0.5)*32 = 64K
Ví dụ 2
- Bộ điều hợp phần mềm VMware iSCSI
- Một VM cho mỗi kho dữ liệu
- Bộ điều hợp SCSI ảo ảo của VMware
Ở đây, giới hạn Độ sâu hàng đợi đã được xác định bởi Bộ điều hợp SCSI Paravirtual. Do đó IOPS = (1000/0.5)*64 = 128K
Các mô hình hàng đầu của Tất cả các mảng Flash AccelStor (ví dụ: ) có khả năng mang lại hiệu suất ghi 700K IOPS ở khối 4K. Với kích thước khối như vậy, rõ ràng là một máy ảo đơn lẻ không có khả năng tải một mảng như vậy. Để làm điều này, bạn sẽ cần 11 (ví dụ 1) hoặc 6 (ví dụ 2) máy ảo.
Kết quả là, với cấu hình chính xác của tất cả các thành phần được mô tả của trung tâm dữ liệu ảo, bạn có thể nhận được kết quả rất ấn tượng về hiệu suất.
4K ngẫu nhiên, 70% đọc/ghi 30%
Trên thực tế, thế giới thực phức tạp hơn nhiều so với những gì có thể mô tả bằng một công thức đơn giản. Một máy chủ luôn lưu trữ nhiều máy ảo với cấu hình và yêu cầu IO khác nhau. Và việc xử lý I/O được xử lý bởi bộ xử lý chủ, bộ xử lý có sức mạnh không phải là vô hạn. Vì vậy, để phát huy hết tiềm năng của nó trong thực tế, bạn sẽ cần ba máy chủ. Ngoài ra, các ứng dụng chạy bên trong máy ảo sẽ có những điều chỉnh riêng. Vì vậy, để xác định kích thước chính xác, chúng tôi cung cấp Tất cả các mảng Flash bên trong cơ sở hạ tầng của khách hàng về các nhiệm vụ thực tế hiện tại.
Nguồn: www.habr.com