VMware vSphere'e (veya başka herhangi bir teknoloji yığınına) dayalı bir sanal altyapı yönetiyorsanız, muhtemelen kullanıcılardan sıklıkla şu şikayetleri duyarsınız: "Sanal makine yavaş!" Bu yazı dizisinde performans metriklerini analiz edip size neyin, neden yavaşladığını ve yavaşlamadığından nasıl emin olabileceğinizi anlatacağım.
Sanal makine performansının aşağıdaki yönlerini dikkate alacağım:
- işlemci,
- VERİ DEPOSU,
- DİSK,
- Ağ.
CPU ile başlayacağım.
Performansı analiz etmek için ihtiyacımız olacak:
- vCenter Performans Sayaçları – grafikleri vSphere Client aracılığıyla görüntülenebilen performans sayaçları. Bu sayaçlara ilişkin bilgiler istemcinin herhangi bir sürümünde mevcuttur (C#'ta "kalın" istemci, Flex'te web istemcisi ve HTML5'te web istemcisi). Bu makalelerde C# istemcisinden alınan ekran görüntülerini kullanacağız, çünkü minyatürde daha iyi görünüyorlar :)
- ESXTOP – ESXi komut satırından çalışan bir yardımcı program. Onun yardımıyla performans sayaçlarının değerlerini gerçek zamanlı olarak alabilir veya daha fazla analiz için bu değerleri belirli bir süre için bir .csv dosyasına yükleyebilirsiniz. Daha sonra size bu araç hakkında daha fazla bilgi vereceğim ve konuyla ilgili belgelere ve makalelere birkaç yararlı bağlantı sunacağım.
Biraz teori
ESXi'de, her vCPU'nun (sanal makine çekirdeği) çalışmasından ayrı bir süreç (VMware terminolojisinde dünya) sorumludur. Hizmet süreçleri de vardır, ancak VM performansını analiz etme açısından bunlar daha az ilgi çekicidir.
ESXi'deki bir süreç dört durumdan birinde olabilir:
- koşmak – süreç bazı yararlı işler gerçekleştirir.
- Bekleyin – süreç herhangi bir iş yapmıyor (boşta) veya girdi/çıktı bekliyor.
- Kostop – çok çekirdekli sanal makinelerde meydana gelen bir durum. Hipervizör CPU zamanlayıcının (ESXi CPU Zamanlayıcı), fiziksel sunucu çekirdeklerindeki tüm aktif sanal makine çekirdeklerinin eşzamanlı yürütülmesini planlayamaması durumunda ortaya çıkar. Fiziksel dünyada, tüm işlemci çekirdekleri paralel olarak çalışır, VM içindeki konuk işletim sistemi benzer davranışlar bekler, bu nedenle hipervizörün saat döngülerini daha hızlı tamamlama yeteneğine sahip VM çekirdeklerini yavaşlatması gerekir. ESXi'nin modern sürümlerinde CPU zamanlayıcı, rahat ortak planlama adı verilen bir mekanizma kullanır: hipervizör, "en hızlı" ve "en yavaş" sanal makine çekirdeği (çarpık) arasındaki boşluğu dikkate alır. Boşluk belirli bir eşiği aşarsa hızlı çekirdek, maliyet durdurma durumuna girer. VM çekirdekleri bu durumda çok fazla zaman harcarsa performans sorunlarına neden olabilir.
- Hazır – hipervizör, yürütülmesi için kaynak tahsis edemediğinde süreç bu duruma girer. Yüksek hazır değerler VM performans sorunlarına neden olabilir.
Temel sanal makine CPU performans sayaçları
CPU kullanımı, %. Belirli bir süre için CPU kullanım yüzdesini gösterir.
Nasıl analiz edilir? Bir VM sürekli olarak CPU'yu %90 oranında kullanıyorsa veya %100'e varan zirveler varsa sorun yaşıyoruz demektir. Sorunlar yalnızca uygulamanın VM içindeki "yavaş" çalışmasında değil, aynı zamanda VM'nin ağ üzerinden erişilememesinde de ifade edilebilir. İzleme sistemi VM'nin periyodik olarak düştüğünü gösteriyorsa CPU Kullanımı grafiğindeki zirvelere dikkat edin.
Sanal makinenin CPU yükünü gösteren standart bir Alarm vardır:
Ne yapmalı? Bir VM'nin CPU Kullanımı sürekli artıyorsa vCPU sayısını artırmayı (maalesef bu her zaman işe yaramaz) veya VM'yi daha güçlü işlemcilere sahip bir sunucuya taşımayı düşünebilirsiniz.
MHz Cinsinden CPU Kullanımı
% olarak vCenter Kullanımına ilişkin grafiklerde yalnızca sanal makinenin tamamı için görebilirsiniz; tek tek çekirdekler için grafikler yoktur (Esxtop'ta çekirdekler için % değerleri vardır). Her çekirdek için MHz cinsinden Kullanımı görebilirsiniz.
Nasıl analiz edilir? Bir uygulamanın çok çekirdekli bir mimari için optimize edilmediği görülür: yalnızca bir çekirdeği %100 kullanır ve geri kalanı yüksüz olarak boşta kalır. Örneğin, varsayılan yedekleme ayarlarıyla MS SQL, işlemi yalnızca bir çekirdekte başlatır. Sonuç olarak yedekleme, disklerin yavaş hızı nedeniyle değil (kullanıcının başlangıçta şikayet ettiği şey buydu), işlemcinin başa çıkamaması nedeniyle yavaşlıyor. Parametreler değiştirilerek sorun çözüldü: yedekleme birkaç dosyada (sırasıyla birkaç işlemde) paralel olarak çalışmaya başladı.
Çekirdeklerdeki eşit olmayan yüke bir örnek.
Ayrıca çekirdeklerin dengesiz yüklendiği ve bazılarının %100 tepe noktasına ulaştığı bir durum da vardır (yukarıdaki grafikte olduğu gibi). Yalnızca tek bir çekirdeğin yüklenmesinde olduğu gibi, CPU Kullanımı alarmı çalışmayacaktır (tüm VM için geçerlidir), ancak performans sorunları olacaktır.
Ne yapmalı? Sanal makinedeki yazılım çekirdekleri eşit olmayan bir şekilde yüklüyorsa (yalnızca bir çekirdeği veya çekirdeklerin bir kısmını kullanıyorsa), sayılarını artırmanın bir anlamı yoktur. Bu durumda VM'yi daha güçlü işlemcilere sahip bir sunucuya taşımak daha iyidir.
Sunucu BIOS'undaki güç tüketimi ayarlarını kontrol etmeyi de deneyebilirsiniz. Çoğu yönetici BIOS'ta Yüksek Performans modunu etkinleştirir ve dolayısıyla C durumları ve P durumları enerji tasarrufu teknolojilerini devre dışı bırakır. Modern Intel işlemciler, diğer çekirdeklerin pahasına bireysel işlemci çekirdeklerinin frekansını artıran Turbo Boost teknolojisini kullanır. Ancak yalnızca enerji tasarrufu teknolojileri açıkken çalışır. Bunları devre dışı bırakırsak işlemci yüklenmeyen çekirdeklerin güç tüketimini azaltamaz.
VMware, sunucularda güç tasarrufu teknolojilerinin devre dışı bırakılmasını değil, güç yönetimini mümkün olduğunca hipervizöre bırakan modların seçilmesini önerir. Bu durumda hipervizörün güç tüketimi ayarlarında Yüksek Performansı seçmeniz gerekir.
Altyapınızda daha yüksek CPU frekansı gerektiren ayrı VM'leriniz (veya VM çekirdekleriniz) varsa, güç tüketimini doğru şekilde ayarlamak performanslarını önemli ölçüde artırabilir.
CPU'ya Hazır
VM çekirdeği (vCPU) Hazır durumdaysa yararlı bir çalışma gerçekleştirmez. Bu durum, hipervizör, sanal makinenin vCPU işleminin atanabileceği boş bir fiziksel çekirdek bulamadığında ortaya çıkar.
Nasıl analiz edilir? Genellikle, bir sanal makinenin çekirdekleri zamanın %10'undan fazlasında Hazır durumundaysa performans sorunları fark edeceksiniz. Basitçe söylemek gerekirse, VM'nin fiziksel kaynakların kullanılabilir olmasını beklediği sürenin %10'undan fazlası.
VCenter'da CPU Hazır ile ilgili 2 sayacı görüntüleyebilirsiniz:
- hazırlık,
- Hazır.
Her iki sayacın değerleri hem VM'nin tamamı için hem de tek tek çekirdekler için görüntülenebilir.
Hazırlık, değeri anında yüzde olarak gösterir, ancak yalnızca Gerçek zamanlı olarak (son saatin verileri, ölçüm aralığı 20 saniyedir). Bu sayacı yalnızca "hemen takip eden" sorunları aramak için kullanmak daha iyidir.
Hazır sayaç değerlerine tarihsel açıdan da bakılabilir. Bu, kalıpların oluşturulması ve sorunun daha derin analizi için faydalıdır. Örneğin bir sanal makine belirli bir zamanda performans sorunu yaşamaya başlarsa CPU Ready değerinin aralıklarını bu VM'nin çalıştığı sunucudaki toplam yük ile karşılaştırabilir ve yükü azaltacak önlemler alabilirsiniz (DRS ise) başarısız olur).
Hazır, Hazırlıktan farklı olarak yüzde olarak değil milisaniye cinsinden gösterilir. Bu Toplama tipi bir sayaçtır, yani VM çekirdeğinin ölçüm süresi boyunca ne kadar süre Hazır durumda olduğunu gösterir. Basit bir formül kullanarak bu değeri yüzdeye dönüştürebilirsiniz:
(CPU hazır toplam değeri / (saniye cinsinden grafik varsayılan güncelleme aralığı * 1000)) * 100 = CPU hazır %'si
Örneğin, aşağıdaki grafikte yer alan VM için, sanal makinenin tamamı için en yüksek Hazır değeri aşağıdaki gibi olacaktır:
Hazır yüzdesini hesaplarken iki noktaya dikkat etmelisiniz:
- VM'nin tamamı için Hazır değeri, çekirdekler arasındaki Hazır değerinin toplamıdır.
- Ölçüm aralığı. Gerçek zamanlı için bu 20 saniyedir ve örneğin günlük grafiklerde 300 saniyedir.
Aktif sorun giderme ile bu basit noktalar kolayca gözden kaçırılabilir ve değerli zaman, var olmayan sorunları çözmek için harcanabilir.
Aşağıdaki grafikteki verilere göre Hazır'ı hesaplayalım. (324474/(20*1000))*100 = VM'nin tamamı için %1622. Çekirdeklere baktığınızda o kadar da korkutucu değil: 1622/64 = Çekirdek başına %25. Bu durumda, yakalamanın farkına varmak oldukça kolaydır: Hazır değeri gerçekçi değildir. Ancak birkaç çekirdekli VM'nin tamamı için %10-20'den bahsediyorsak, o zaman her çekirdek için değer normal aralıkta olabilir.
Ne yapmalı? Yüksek Hazır değeri, sunucunun sanal makinelerin normal çalışması için yeterli işlemci kaynağına sahip olmadığını gösterir. Böyle bir durumda geriye kalan tek şey, işlemci (vCPU:pCPU) bazında aşırı aboneliği azaltmaktır. Açıkçası bu, mevcut VM'lerin parametrelerini azaltarak veya VM'lerin bir kısmını diğer sunuculara taşıyarak başarılabilir.
Ortak durdurma
Nasıl analiz edilir? Bu sayaç da Toplama türündedir ve Hazır ile aynı şekilde yüzdelere dönüştürülür:
(CPU ortak durdurma toplam değeri / (saniye cinsinden grafik varsayılan güncelleme aralığı * 1000)) * 100 = CPU ortak durdurma %'si
Burada VM üzerindeki çekirdek sayısına ve ölçüm aralığına da dikkat etmeniz gerekiyor.
Costop durumunda çekirdek yararlı bir iş yapmaz. VM boyutunun doğru seçilmesi ve sunucudaki normal yük ile birlikte durdurma sayacının sıfıra yakın olması gerekir.
Bu durumda yük açıkça anormaldir :)
Ne yapmalı? Tek bir hipervizörde çok sayıda çekirdeğe sahip birden fazla VM çalışıyorsa ve CPU'da aşırı abonelik varsa, ortak durdurma sayacı artabilir ve bu da bu VM'lerin performansında sorunlara yol açabilir.
Ayrıca, bir VM'nin aktif çekirdekleri, hiper işlenmenin etkin olduğu bir fiziksel sunucu çekirdeğindeki iş parçacıklarını kullanıyorsa birlikte durdurma artacaktır. Bu durum, örneğin VM'nin çalıştığı sunucuda fiziksel olarak mevcut olandan daha fazla çekirdeğe sahip olması veya VM için "preferHT" ayarının etkinleştirilmesi durumunda ortaya çıkabilir. Bu ayar hakkında okuyabilirsiniz .
Yüksek birlikte durdurma nedeniyle VM performansında sorun yaşamamak için VM boyutunu, bu VM üzerinde çalışan yazılımın üreticisinin önerilerine ve VM'nin çalıştığı fiziksel sunucunun yeteneklerine uygun olarak seçin.
Yedek çekirdek eklemeyin; bu yalnızca VM'nin kendisi için değil, sunucudaki komşuları için de performans sorunlarına neden olabilir.
Diğer faydalı CPU ölçümleri
koşmak – vCPU'nun ölçüm süresi boyunca ne kadar süre (ms) ÇALIŞTIR durumunda olduğu, yani aslında faydalı iş yaptığı.
boş – ölçüm süresi boyunca vCPU'nun ne kadar süreyle (ms) işlem dışı kaldığı. Yüksek Boşta değerleri sorun değil, vCPU'nun "yapacak hiçbir şeyi" yoktu.
Bekleyin – vCPU'nun ölçüm süresi boyunca ne kadar süreyle (ms) Bekleme durumunda olduğu. Bu sayacın içerisinde IDLE de yer aldığından Wait değerlerinin yüksek olması da bir sorun olduğunu göstermez. Ancak Bekleme yüksekken Bekleme IDLE düşükse bu, VM'nin G/Ç işlemlerinin tamamlanmasını beklediği anlamına gelir ve bu da, sabit sürücünün veya VM'nin herhangi bir sanal aygıtının performansında bir sorun olduğunu gösterebilir.
Maksimum sınırlı – ayarlanan kaynak sınırı nedeniyle vCPU'nun ölçüm süresi boyunca ne kadar süre (ms) Hazır durumda kaldığı. Performans açıklanamayacak kadar düşükse VM ayarlarında bu sayacın değerini ve CPU limitini kontrol etmenizde fayda var. VM'lerin aslında sizin farkında olmadığınız sınırları olabilir. Örneğin bu durum, CPU sınırının ayarlandığı bir şablondan bir VM klonlandığında meydana gelir.
Beklemeyi değiştir – vCPU'nun ölçüm süresi boyunca VMkernel Swap ile bir işlem için ne kadar süre beklediği. Bu sayacın değerleri sıfırın üzerindeyse VM'de kesinlikle performans sorunu var demektir. RAM sayaçları hakkındaki makalede SWAP hakkında daha fazla konuşacağız.
ESXTOP
VCenter'daki performans sayaçları geçmiş verileri analiz etmek için iyiyse, sorunun operasyonel analizinin ESXTOP'ta yapılması daha iyidir. Burada tüm değerler hazır olarak sunulmaktadır (hiçbir şeyin çevrilmesine gerek yoktur) ve minimum ölçüm süresi 2 saniyedir.
CPU için ESXTOP ekranı "c" tuşuyla çağrılır ve şöyle görünür:
Kolaylık sağlamak için Shift-V tuşlarına basarak yalnızca sanal makine işlemlerinden çıkabilirsiniz.
Bireysel VM çekirdeklerine ilişkin ölçümleri görüntülemek için "e" tuşuna basın ve ilgilenilen VM'nin GID'sini girin (aşağıdaki ekran görüntüsünde 30919):
Varsayılan olarak sunulan sütunların üzerinden kısaca geçeyim. "F" tuşuna basılarak ek sütunlar eklenebilir.
NWLD (Dünya Sayısı) – gruptaki süreçlerin sayısı. Grubu genişletmek ve her bir işleme ilişkin ölçümleri görmek için (örneğin, çok çekirdekli bir VM'deki her bir çekirdek için) "e" tuşuna basın. Bir grupta birden fazla süreç varsa, o zaman gruba ait metrik değerler, bireysel süreçlere ait metriklerin toplamına eşit olur.
%KULLANILMIŞ – bir işlem veya işlemler grubu tarafından kaç sunucu CPU döngüsünün kullanıldığı.
%KOŞMAK – ölçüm süresi boyunca prosesin ÇALIŞTIR durumunda ne kadar süre kaldığı, ör. faydalı işler yaptı. Hyper-threading, frekans ölçeklendirme ve sistem görevlerinde harcanan süreyi (%SYS) dikkate almaması nedeniyle %USED'den farklıdır.
%SYS – sistem görevlerinde harcanan zaman, örneğin: kesme işlemi, G/Ç, ağ işlemi vb. VM'nin büyük bir G/Ç'si varsa değer yüksek olabilir.
%OVRLP – VM işleminin üzerinde çalıştığı fiziksel çekirdeğin diğer süreçlerin görevlerine ne kadar zaman harcadığı.
Bu metrikler birbirleriyle aşağıdaki şekilde ilişkilidir:
%KULLANILAN = %RUN + %SYS - %OVRLP.
Tipik olarak %USED metriği daha bilgilendiricidir.
%BEKLEMEK – ölçüm süresi boyunca sürecin Bekleme durumunda ne kadar süre kaldığı. IDLE'yi etkinleştirir.
%BOŞTA – ölçüm süresi boyunca sürecin BOŞTA durumunda ne kadar süre kaldığı.
%SWPWT – vCPU'nun ölçüm süresi boyunca VMkernel Swap ile bir işlem için ne kadar süre beklediği.
%VMWAIT – vCPU'nun ölçüm süresi boyunca ne kadar süreyle bir olayı bekleme durumunda olduğu (genellikle G/Ç). VCenter'da benzer bir sayaç yoktur. Yüksek değerler VM'deki G/Ç ile ilgili sorunları gösterir.
%WAIT = %VMWAIT + %IDLE + %SWPWT.
VM, VMkernel Swap kullanmıyorsa, performans sorunlarını analiz ederken %VMWAIT'e bakmanız önerilir; çünkü bu ölçüm, VM'nin hiçbir şey yapmadığı zamanı (%IDLE) hesaba katmaz.
%RDY – ölçüm süresi boyunca prosesin Hazır durumunda ne kadar süre kaldığı.
%CSTP – ölçüm süresi boyunca sürecin ne kadar süre boyunca durmuş durumda olduğu.
%MLMTD – ayarlanan kaynak sınırı nedeniyle vCPU'nun ölçüm süresi boyunca ne kadar süreyle Hazır durumda kaldığı.
%WAIT + %RDY + %CSTP + %RUN = 100% – VM çekirdeği her zaman bu dört durumdan birindedir.
Hipervizördeki CPU
vCenter'da ayrıca hipervizör için CPU performans sayaçları vardır, ancak bunların ilginç bir yanı yoktur; bunlar yalnızca sunucudaki tüm VM'lerin sayaçlarının toplamıdır.
Sunucudaki CPU durumunu görüntülemenin en uygun yolu Özet sekmesindedir:
Sunucu ve sanal makine için standart bir Alarm vardır:
Sunucu CPU yükü fazla olduğunda üzerinde çalışan VM'ler performans sorunları yaşamaya başlar.
ESXTOP'ta sunucu CPU yük verileri ekranın üst kısmında sunulur. Hipervizörler için pek bilgilendirici olmayan standart CPU yüküne ek olarak üç ölçüm daha vardır:
ÇEKİRDEK KULLANIM(%) – fiziksel sunucu çekirdeğinin yüklenmesi. Bu sayaç, çekirdeğin ölçüm süresi boyunca ne kadar süre iş yaptığını gösterir.
PCPU KULLANIMI(%) – hiper iş parçacığı etkinse, fiziksel çekirdek başına iki iş parçacığı (PCPU) vardır. Bu ölçüm, her bir iş parçacığının işi tamamlamasının ne kadar sürdüğünü gösterir.
KULLANILAN PCPU(%) – PCPU UTIL(%) ile aynıdır, ancak frekans ölçeklendirmeyi (enerji tasarrufu amacıyla çekirdek frekansının azaltılması veya Turbo Boost teknolojisi nedeniyle çekirdek frekansının arttırılması) ve hiper iş parçacığını dikkate alır.
PCPU_USED% = PCPU_UTIL% * etkin çekirdek frekansı / nominal çekirdek frekansı.
Bu ekran görüntüsünde bazı çekirdekler için Turbo Boost nedeniyle çekirdek frekansı nominal değerden yüksek olduğundan KULLANILAN değer %100'ün üzerindedir.
Hyper-threading'in nasıl dikkate alındığına dair birkaç kelime. Çekirdek nominal frekansta çalışırken, işlemler sunucunun fiziksel çekirdeğinin her iki iş parçacığında da %100 oranında yürütülüyorsa, o zaman:
- Çekirdek için ÇEKİRDEK KULLANIMI %100 olacak,
- Her iki iş parçacığı için PCPU UTIL %100 olacaktır,
- Her iki iş parçacığı için KULLANILAN PCPU %50 olacaktır.
Ölçüm süresi boyunca her iki iş parçacığı da zamanın% 100'ünde çalışmadıysa, iş parçacıklarının paralel çalıştığı dönemlerde çekirdekler için KULLANILAN PCPU ikiye bölünür.
ESXTOP ayrıca sunucu CPU güç tüketimi parametrelerini içeren bir ekrana sahiptir. Burada sunucunun enerji tasarrufu teknolojilerini kullanıp kullanmadığını görebilirsiniz: C durumları ve P durumları. "p" tuşuyla çağrılır:
Yaygın CPU Performans Sorunları
Son olarak, VM CPU performansıyla ilgili sorunların tipik nedenlerini gözden geçireceğim ve bunların çözümüne yönelik kısa ipuçları vereceğim:
Çekirdek saat hızı yeterli değil. VM'nizi daha güçlü çekirdeğe yükseltmeniz mümkün değilse Turbo Boost'un daha verimli çalışmasını sağlamak için güç ayarlarını değiştirmeyi deneyebilirsiniz.
Yanlış VM boyutlandırması (çok fazla/az çekirdek). Az sayıda çekirdek yüklerseniz VM'de yüksek CPU yükü olacaktır. Çok fazla varsa yüksek bir ortak durak yakalayın.
Sunucuda aşırı CPU aboneliği. VM'nin Hazır durumu yüksekse aşırı CPU aboneliğini azaltın.
Büyük sanal makinelerde yanlış NUMA topolojisi. VM tarafından görülen NUMA topolojisi (vNUMA), sunucunun NUMA topolojisiyle (pNUMA) eşleşmelidir. Bu sorunun teşhisi ve olası çözümleri örneğin kitapta yazılmıştır. . Daha derine inmek istemiyorsanız ve VM'de kurulu işletim sistemi üzerinde lisans kısıtlamalarınız yoksa, VM üzerinde her seferinde bir çekirdek olmak üzere çok sayıda sanal yuva oluşturun. pek bir şey kaybetmezsin :)
CPU ile ilgili benim için bu kadar. Sorular sor. Bir sonraki bölümde RAM hakkında konuşacağım.
Faydalı linkler
Kaynak: habr.com