Nếu bạn quản lý cơ sở hạ tầng ảo dựa trên VMware vSphere (hoặc bất kỳ ngăn xếp công nghệ nào khác), thì có lẽ bạn thường nghe thấy lời phàn nàn từ người dùng: “Máy ảo chạy chậm!”. Trong loạt bài viết này, tôi sẽ phân tích các chỉ số hiệu suất và cho bạn biết điều gì và tại sao lại "chậm lại" cũng như cách đảm bảo rằng nó không bị "chậm lại".
Tôi sẽ xem xét các khía cạnh sau của hiệu suất máy ảo:
- CPU,
- RAM,
- đĩa,
- Mạng.
Tôi sẽ bắt đầu với CPU.
Để phân tích hiệu suất, chúng ta cần:
- Bộ đếm hiệu suất vCenter – bộ đếm hiệu suất, đồ thị có thể được xem thông qua vSphere Client. Thông tin về các bộ đếm này có sẵn trong bất kỳ phiên bản nào của ứng dụng khách (“ứng dụng khách dày” trong C#, ứng dụng web trong Flex và ứng dụng web trong HTML5). Trong các bài viết này, chúng tôi sẽ sử dụng ảnh chụp màn hình từ ứng dụng khách C#, chỉ vì chúng trông đẹp hơn khi thu nhỏ :)
- ESXTOP là một tiện ích chạy từ dòng lệnh ESXi. Với sự trợ giúp của nó, bạn có thể nhận các giá trị của bộ đếm hiệu suất trong thời gian thực hoặc tải các giá trị này trong một khoảng thời gian nhất định lên tệp .csv để phân tích thêm. Tiếp theo, tôi sẽ cho bạn biết thêm về công cụ này và cung cấp một số liên kết hữu ích đến tài liệu và bài viết về chủ đề này.
Một chút lý thuyết
Trong ESXi, một quy trình riêng biệt chịu trách nhiệm cho hoạt động của từng vCPU (nhân máy ảo) - thế giới trong thuật ngữ VMware. Ngoài ra còn có các quy trình dịch vụ, nhưng từ quan điểm phân tích hiệu suất VM, chúng kém thú vị hơn.
Một quy trình trong ESXi có thể ở một trong bốn trạng thái:
- chạy Quá trình đang làm một số công việc hữu ích.
- Đợi - tiến trình không thực hiện công việc nào (idle) hoặc chờ nhập/xuất.
- chi phí - một trạng thái xảy ra trong các máy ảo đa lõi. Nó xảy ra khi bộ lập lịch CPU của trình ảo hóa (Bộ lập lịch CPU ESXi) không thể lên lịch cho tất cả các lõi máy ảo đang hoạt động để chạy trên các lõi vật lý của máy chủ cùng một lúc. Trong thế giới thực, tất cả các lõi bộ xử lý chạy song song, hệ điều hành khách bên trong VM mong đợi hành vi tương tự, do đó, trình ảo hóa phải làm chậm các lõi VM để các lõi này có cơ hội kết thúc chu kỳ nhanh hơn. Trong các phiên bản hiện đại của ESXi, bộ lập lịch CPU sử dụng một cơ chế gọi là đồng lập lịch thoải mái: trình ảo hóa tính toán khoảng cách giữa lõi máy ảo “nhanh nhất” và “chậm nhất” (độ lệch). Nếu khoảng cách vượt quá một ngưỡng nhất định, lõi "nhanh" sẽ chuyển sang trạng thái costop. Nếu các lõi VM dành nhiều thời gian ở trạng thái này, nó có thể gây ra các vấn đề về hiệu năng.
- Sẵn sàng – quá trình chuyển sang trạng thái này khi trình ảo hóa không thể phân bổ tài nguyên để thực thi. Các giá trị sẵn sàng cao có thể gây ra các vấn đề về hiệu suất của VM.
Bộ đếm hiệu suất CPU VM chính
Mức sử dụng CPU, %. Hiển thị phần trăm mức sử dụng CPU trong khoảng thời gian đã chỉ định.
Làm thế nào để phân tích? Nếu VM liên tục sử dụng CPU ở mức 90% hoặc có những mức cao nhất lên tới 100%, thì chúng tôi gặp sự cố. Các vấn đề có thể được thể hiện không chỉ ở hoạt động "chậm" của ứng dụng bên trong VM mà còn ở khả năng không thể truy cập của VM qua mạng. Nếu hệ thống giám sát cho thấy VM bị tắt định kỳ, hãy chú ý đến các đỉnh trên biểu đồ Mức sử dụng CPU.
Có một Cảnh báo tiêu chuẩn hiển thị tải CPU của máy ảo:
Phải làm gì? Nếu VM liên tục có Mức sử dụng CPU vượt quá quy mô, thì bạn có thể nghĩ đến việc tăng số lượng vCPU (rất tiếc, điều này không phải lúc nào cũng hữu ích) hoặc chuyển VM sang máy chủ có bộ xử lý hiệu quả hơn.
Mức sử dụng CPU tính bằng Mhz
Trong các biểu đồ trên vCenter, Chỉ có thể xem được Mức sử dụng tính bằng % cho toàn bộ máy ảo, không có biểu đồ cho các lõi riêng lẻ (trong Esxtop, có các giá trị tính bằng % cho các lõi). Đối với mỗi lõi, bạn có thể xem Mức sử dụng tính bằng MHz.
Làm thế nào để phân tích? Điều xảy ra là một ứng dụng không được tối ưu hóa cho kiến trúc đa lõi: nó chỉ sử dụng một lõi ở mức 100% và phần còn lại không hoạt động mà không tải. Ví dụ: với cài đặt sao lưu mặc định, MS SQL chỉ bắt đầu quá trình trên một lõi. Do đó, quá trình sao lưu bị chậm lại không phải do tốc độ chậm của đĩa (đây là điều mà người dùng phàn nàn ban đầu), mà do bộ xử lý không thể đối phó được. Vấn đề đã được giải quyết bằng cách thay đổi các tham số: sao lưu bắt đầu chạy song song trong một số tệp (tương ứng, trong một số quy trình).
Một ví dụ về tải lõi không đồng đều.
Ngoài ra còn có một tình huống (như trong biểu đồ trên) khi các lõi được tải không đều và một số lõi đạt mức cao nhất là 100%. Khi chỉ tải một lõi, cảnh báo Sử dụng CPU sẽ không hoạt động (nó ở khắp VM), nhưng sẽ có vấn đề về hiệu suất.
Phải làm gì? Nếu phần mềm trong máy ảo tải các lõi không đồng đều (chỉ sử dụng một lõi hoặc một phần của các lõi), thì việc tăng số lượng của chúng là vô nghĩa. Trong trường hợp này, tốt hơn là chuyển VM sang máy chủ có bộ xử lý hiệu quả hơn.
Bạn cũng có thể thử kiểm tra cài đặt nguồn trong BIOS của máy chủ. Nhiều quản trị viên kích hoạt chế độ Hiệu suất cao trong BIOS và do đó vô hiệu hóa các công nghệ tiết kiệm năng lượng ở trạng thái C và trạng thái P. Bộ xử lý Intel hiện đại sử dụng công nghệ Turbo Boost, giúp tăng tần số của các lõi bộ xử lý riêng lẻ với chi phí của các lõi khác. Nhưng nó chỉ hoạt động khi các công nghệ tiết kiệm năng lượng được kích hoạt. Nếu chúng ta tắt chúng, thì bộ xử lý không thể giảm mức tiêu thụ năng lượng của các lõi không được tải.
VMware khuyến nghị không tắt các công nghệ tiết kiệm năng lượng trên máy chủ mà nên chọn các chế độ cung cấp khả năng quản lý năng lượng tối đa cho trình ảo hóa. Đồng thời, trong cài đặt tiêu thụ năng lượng của trình ảo hóa, bạn cần chọn Hiệu suất cao.
Nếu bạn có các máy ảo riêng lẻ (hoặc lõi máy ảo) trong cơ sở hạ tầng của mình yêu cầu tần số CPU tăng lên, thì việc định cấu hình đúng mức tiêu thụ điện năng có thể cải thiện đáng kể hiệu suất của chúng.
Sẵn sàng CPU (Readiness)
Nếu VM core (vCPU) ở trạng thái Sẵn sàng, nó sẽ không thực hiện công việc hữu ích. Tình trạng này xảy ra khi trình ảo hóa không tìm thấy lõi vật lý miễn phí mà quy trình vCPU của máy ảo có thể được chỉ định.
Làm thế nào để phân tích? Thông thường, nếu các lõi của máy ảo ở trạng thái Sẵn sàng trong hơn 10% thời gian, thì bạn sẽ nhận thấy các vấn đề về hiệu suất. Nói một cách đơn giản, hơn 10% thời gian VM chờ đợi sự sẵn có của tài nguyên vật lý.
Trong vCenter, bạn có thể thấy 2 bộ đếm liên quan đến CPU Ready:
- sẵn sàng,
- Sẳn sàng.
Các giá trị của cả hai bộ đếm có thể được xem cho cả VM và cho các lõi riêng lẻ.
Mức độ sẵn sàng hiển thị giá trị ngay lập tức dưới dạng phần trăm, nhưng chỉ trong Thời gian thực (dữ liệu cho giờ trước, khoảng thời gian đo 20 giây). Bộ đếm này chỉ được sử dụng tốt nhất để tìm ra các vấn đề trong quá trình theo đuổi nóng bỏng.
Các giá trị bộ đếm sẵn sàng cũng có thể được xem ở góc độ lịch sử. Điều này hữu ích cho việc thiết lập các mẫu và phân tích sâu hơn về vấn đề. Ví dụ: nếu một máy ảo bắt đầu gặp vấn đề về hiệu suất tại một thời điểm nhất định, bạn có thể so sánh các khoảng thời gian lơ lửng của CPU Sẵn sàng với tải tổng thể trên máy chủ nơi máy ảo đang chạy và thực hiện các bước để giảm tải (nếu DRS không thành công).
Sẵn sàng, không giống như Sẵn sàng, không được hiển thị theo tỷ lệ phần trăm mà tính bằng mili giây. Đây là một bộ đếm thuộc loại Tổng kết, nghĩa là nó cho biết lượng thời gian trong khoảng thời gian đo mà lõi VM ở trạng thái Sẵn sàng. Bạn có thể chuyển đổi giá trị này thành tỷ lệ phần trăm bằng công thức đơn giản:
(Giá trị tổng kết CPU sẵn sàng / (khoảng thời gian cập nhật mặc định của biểu đồ tính bằng giây * 1000)) * 100 = CPU sẵn sàng %
Ví dụ: đối với máy ảo trong biểu đồ bên dưới, giá trị Sẵn sàng cao nhất cho toàn bộ máy ảo sẽ là:
Khi tính giá trị Sẵn sàng dưới dạng phần trăm, bạn nên chú ý đến hai điểm:
- Giá trị Sẵn sàng trên toàn bộ VM là tổng của Sẵn sàng trên các lõi.
- Khoảng thời gian đo. Đối với Thời gian thực, đây là 20 giây và ví dụ: trên biểu đồ hàng ngày, đây là 300 giây.
Với tính năng xử lý sự cố chủ động, những khoảnh khắc đơn giản này có thể dễ dàng bị bỏ lỡ và lãng phí thời gian quý báu để giải quyết các sự cố không tồn tại.
Hãy tính toán Sẵn sàng dựa trên dữ liệu từ biểu đồ bên dưới. (324474/(20*1000))*100 = 1622% cho toàn bộ VM. Nếu nhìn vào lõi thì không đáng sợ lắm: 1622/64 = 25% mỗi lõi. Trong trường hợp này, việc phát hiện khá dễ dàng: giá trị Sẵn sàng là không thực tế. Nhưng nếu chúng ta đang nói về 10–20% cho toàn bộ VM có nhiều lõi, thì đối với mỗi lõi, giá trị có thể nằm trong phạm vi bình thường.
Phải làm gì? Giá trị Sẵn sàng cao cho biết máy chủ không có đủ tài nguyên bộ xử lý cho hoạt động bình thường của máy ảo. Trong tình huống như vậy, chỉ còn cách giảm đăng ký quá mức theo bộ xử lý (vCPU:pCPU). Rõ ràng, điều này có thể đạt được bằng cách giảm các tham số của các máy ảo hiện có hoặc bằng cách di chuyển một phần của máy ảo sang các máy chủ khác.
đồng dừng
Làm thế nào để phân tích? Bộ đếm này cũng có loại Tổng kết và được chuyển đổi thành tỷ lệ phần trăm theo cách tương tự như Sẵn sàng:
(Giá trị tổng của CPU co-stop / (khoảng thời gian cập nhật mặc định của biểu đồ tính bằng giây * 1000)) * 100 = CPU co-stop %
Ở đây bạn cũng cần chú ý đến số lượng lõi trên mỗi VM và khoảng thời gian đo.
Ở trạng thái costop, hạt nhân không thực hiện công việc hữu ích. Với kích thước máy ảo phù hợp và tải máy chủ bình thường, bộ đếm đồng dừng phải gần bằng không.
Trong trường hợp này, tải rõ ràng là bất thường :)
Phải làm gì? Nếu một số máy ảo có số lượng lõi lớn đang chạy trên cùng một trình ảo hóa và có sự đăng ký quá mức của CPU, thì bộ đếm đồng dừng có thể tăng lên, điều này sẽ dẫn đến các vấn đề về hiệu suất của các máy ảo này.
Ngoài ra, co-stop sẽ tăng lên nếu các luồng được sử dụng cho các lõi hoạt động của một máy ảo trên một lõi máy chủ vật lý có bật tính năng siêu xử lý. Tình huống này có thể xảy ra, ví dụ: nếu VM có nhiều lõi hơn so với thực tế nó có trên máy chủ nơi nó đang chạy hoặc nếu cài đặt “preferHT” được bật cho VM. Bạn có thể đọc về cài đặt này. .
Để tránh các vấn đề về hiệu suất của máy ảo do co-stop cao, hãy định cỡ máy ảo theo khuyến nghị của nhà sản xuất đối với phần mềm chạy trên máy ảo đó và khả năng của máy chủ vật lý nơi máy ảo đang chạy.
Không thêm lõi dự trữ, điều này có thể gây ra các vấn đề về hiệu suất không chỉ cho chính VM mà còn cho các máy lân cận của nó trên máy chủ.
Các số liệu CPU hữu ích khác
chạy – khoảng thời gian (ms) trong khoảng thời gian đo vCPU ở trạng thái RUN, nghĩa là vCPU thực sự đã thực hiện công việc hữu ích.
Nhàn rỗi – khoảng thời gian (ms) trong khoảng thời gian đo mà vCPU ở trạng thái không hoạt động. Giá trị Idle cao không phải là vấn đề, chỉ là vCPU "không có gì để làm".
Đợi – khoảng thời gian (ms) trong khoảng thời gian đo vCPU ở trạng thái Chờ. Vì IDLE được bao gồm trong bộ đếm này nên các giá trị Chờ cao cũng không chỉ ra sự cố. Nhưng nếu Wait IDLE ở mức thấp khi cao, thì VM đang chờ hoàn thành các hoạt động I / O và điều này có thể cho thấy có vấn đề với hiệu suất của đĩa cứng hoặc bất kỳ thiết bị ảo nào của VM.
giới hạn tối đa – khoảng thời gian (ms) trong khoảng thời gian đo vCPU ở trạng thái Sẵn sàng do giới hạn tài nguyên đã đặt. Nếu hiệu suất thấp không thể giải thích được, thì sẽ rất hữu ích khi kiểm tra giá trị của bộ đếm này và giới hạn CPU trong cài đặt VM. Máy ảo thực sự có thể có những giới hạn mà bạn không biết. Ví dụ: điều này xảy ra khi một máy ảo được sao chép từ một mẫu có giới hạn CPU được đặt trên đó.
trao đổi chờ đợi – khoảng thời gian vCPU chờ hoạt động với VMkernel Swap trong khoảng thời gian đo lường. Nếu giá trị của bộ đếm này lớn hơn XNUMX, thì VM chắc chắn có vấn đề về hiệu năng. Chúng ta sẽ nói nhiều hơn về SWAP trong bài viết về bộ đếm RAM.
ESXTOP
Nếu bộ đếm hiệu suất trong vCenter phù hợp để phân tích dữ liệu lịch sử, thì việc phân tích vấn đề trực tuyến được thực hiện tốt hơn trong ESXTOP. Tại đây, tất cả các giá trị được trình bày ở dạng đã hoàn thành (không cần dịch bất cứ thứ gì) và thời gian đo tối thiểu là 2 giây.
Màn hình ESXTOP trên CPU được mở bằng phím "c" và có dạng như sau:
Để thuận tiện, bạn có thể chỉ để lại các tiến trình của máy ảo bằng cách nhấn Shift-V.
Để xem số liệu cho các lõi máy ảo riêng lẻ, hãy nhấn "e" và nhập GID của máy ảo mà bạn quan tâm (30919 trong ảnh chụp màn hình bên dưới):
Tôi sẽ lướt qua các cột được trình bày theo mặc định. Có thể thêm các cột bổ sung bằng cách nhấn "f".
NWLD (Số thế giới) là số tiến trình trong nhóm. Để mở rộng nhóm và xem số liệu cho từng quy trình (ví dụ: cho từng lõi của máy ảo đa lõi), hãy nhấn “e”. Nếu có nhiều hơn một quy trình trong một nhóm, thì số liệu cho nhóm bằng tổng số liệu của các quy trình riêng lẻ.
%ĐÃ SỬ DỤNG – có bao nhiêu chu kỳ CPU máy chủ mà một quy trình hoặc nhóm quy trình đang sử dụng.
%CHẠY – khoảng thời gian trong khoảng thời gian đo, quá trình ở trạng thái CHẠY, nghĩa là đã làm việc hữu ích. Khác với %USED ở chỗ nó không tính đến siêu phân luồng, thay đổi tần số và thời gian dành cho các tác vụ hệ thống (%SYS).
%SYS - thời gian dành cho các tác vụ hệ thống, ví dụ: xử lý ngắt, I/O, kết nối mạng, v.v. Giá trị có thể cao nếu VM có nhiều I/O.
%OVRLP - lõi vật lý mà quy trình VM đang chạy đã dành bao nhiêu thời gian cho các tác vụ của các quy trình khác.
Các chỉ số này liên quan với nhau như sau:
%SỬ DỤNG = %RUN + %SYS - %OVRLP.
Thông thường, số liệu %USED mang nhiều thông tin hơn.
%CHỜ ĐỢI – khoảng thời gian trong khoảng thời gian đo mà quá trình ở trạng thái Chờ. Bao gồm IDLE.
% KHÔNG RỜI – khoảng thời gian trong khoảng thời gian đo mà quá trình ở trạng thái KHÔNG CHẠY.
%SWPWT – khoảng thời gian vCPU chờ hoạt động với VMkernel Swap trong khoảng thời gian đo lường.
%VMWAIT – khoảng thời gian trong khoảng thời gian đo vCPU ở trạng thái chờ đợi một sự kiện (thường là I/O). Không có bộ đếm tương tự trong vCenter. Giá trị cao cho biết có vấn đề với I/O trên VM.
%WAIT = %VMWAIT + %IDLE + %SWPWT.
Nếu VM không sử dụng VMkernel Swap, thì khi phân tích các vấn đề về hiệu suất, bạn nên xem %VMWAIT, vì số liệu này không tính đến thời gian VM không làm gì (%IDLE).
%RDY – khoảng thời gian trong khoảng thời gian đo mà quá trình ở trạng thái Sẵn sàng.
%CSTP – khoảng thời gian trong khoảng thời gian đo mà quá trình ở trạng thái dừng.
%MLMTD – khoảng thời gian trong khoảng thời gian đo vCPU ở trạng thái Sẵn sàng do giới hạn tài nguyên đã đặt.
%WAIT + %RDY + %CSTP + %RUN = 100% - lõi VM luôn ở một trong bốn trạng thái này.
CPU trên trình ảo hóa
vCenter cũng có các bộ đếm hiệu suất CPU cho trình ảo hóa, nhưng chúng không có gì thú vị - nó chỉ là tổng các bộ đếm cho tất cả các máy ảo trên máy chủ.
Cách thuận tiện nhất để xem trạng thái của CPU trên máy chủ là trên tab Tóm tắt:
Đối với máy chủ, cũng như đối với máy ảo, có một Cảnh báo tiêu chuẩn:
Khi tải trên CPU máy chủ cao, máy ảo chạy trên nó bắt đầu gặp sự cố về hiệu suất.
Trong ESXTOP, dữ liệu tải CPU của máy chủ được hiển thị ở đầu màn hình. Ngoài tải CPU tiêu chuẩn, không có nhiều thông tin cho các trình ảo hóa, còn có ba chỉ số khác:
CÔNG DỤNG CỐT LÕI(%) – tải lõi của máy chủ vật lý. Bộ đếm này cho biết thời gian hạt nhân đã hoạt động trong khoảng thời gian đo.
CÔNG DỤNG PCPU(%) – nếu siêu phân luồng được bật thì sẽ có hai luồng (PCPU) cho mỗi lõi vật lý. Số liệu này cho biết mỗi luồng đã hoạt động trong bao lâu.
PCPU ĐÃ SỬ DỤNG(%) - giống như PCPU UTIL(%), nhưng có tính đến tỷ lệ tần số (giảm tần số lõi để tiết kiệm năng lượng hoặc tăng tần số lõi nhờ công nghệ Turbo Boost) và siêu phân luồng.
PCPU_USED% = PCPU_UTIL% * xung nhịp lõi hiệu quả / xung nhịp lõi danh nghĩa.
Trong ảnh chụp màn hình này, đối với một số lõi, do Turbo Boost, giá trị USED lớn hơn 100% do tần số lõi cao hơn tần số danh nghĩa.
Một vài từ về cách siêu phân luồng được tính đến. Nếu các quy trình được thực thi 100% thời gian trên cả hai luồng của lõi vật lý của máy chủ, trong khi lõi chạy ở tần số danh nghĩa, thì:
- CORE UTIL cho core sẽ là 100%,
- PCPU UTIL cho cả hai luồng sẽ là 100%,
- PCPU SỬ DỤNG cho cả hai luồng sẽ là 50%.
Nếu cả hai luồng không hoạt động 100% thời gian trong khoảng thời gian đo, thì trong những khoảng thời gian khi các luồng hoạt động song song, PCPU SỬ DỤNG cho các lõi sẽ giảm một nửa.
ESXTOP cũng có một màn hình với các tùy chọn nguồn CPU máy chủ. Tại đây, bạn có thể xem liệu máy chủ có sử dụng các công nghệ tiết kiệm năng lượng hay không: trạng thái C và trạng thái P. Được gọi bằng phím "p":
Các vấn đề về hiệu suất CPU phổ biến
Cuối cùng, tôi sẽ xem xét các nguyên nhân điển hình gây ra sự cố với hiệu suất CPU của máy ảo và đưa ra các mẹo ngắn để giải quyết chúng:
Không đủ xung nhịp lõi. Nếu không thể nâng cấp VM lên các lõi mạnh hơn, bạn có thể thử thay đổi cài đặt nguồn để Turbo Boost hoạt động hiệu quả hơn.
Định cỡ máy ảo sai (quá nhiều/ít lõi). Nếu bạn đặt ít lõi, CPU của VM sẽ phải chịu tải cao. Nếu nhiều thì bắt đồng cao dừng lại.
Đăng ký quá mức CPU lớn trên máy chủ. Nếu VM ở mức Sẵn sàng cao, hãy hạ thấp đăng ký quá mức của CPU.
Cấu trúc liên kết NUMA sai trên máy ảo lớn. Cấu trúc liên kết NUMA mà VM nhìn thấy (vNUMA) phải khớp với cấu trúc liên kết NUMA của máy chủ (pNUMA). Ví dụ, về chẩn đoán và các giải pháp khả thi cho vấn đề này được viết trong cuốn sách . Nếu bạn không muốn tìm hiểu sâu và bạn không bị hạn chế cấp phép đối với HĐH được cài đặt trên VM, hãy tạo nhiều ổ cắm ảo trên VM cho một lõi. Bạn sẽ không mất nhiều 🙂
Đó là tất cả về CPU đối với tôi. Hỏi câu hỏi. Trong phần tiếp theo tôi sẽ nói về RAM.
Liên kết hữu ích
Nguồn: www.habr.com