Bu yazımda en popüler sanallaştırma platformlarından biri olan VMware vSphere ile çalışan All Flash AccelStor dizilerinin özelliklerinden bahsetmek istiyorum. Özellikle All Flash gibi güçlü bir aracı kullanarak maksimum etkiyi elde etmenize yardımcı olacak parametrelere odaklanın.
AccelStor NeoSapphire™ Tüm Flash dizileri veya veri depolama konseptini uygulamaya ve özel teknolojiyi kullanarak ona erişimi organize etmeye yönelik temelde farklı bir yaklaşıma sahip SSD sürücülerine dayalı düğüm cihazları çok popüler RAID algoritmaları yerine. Diziler, Fiber Kanal veya iSCSI arayüzleri aracılığıyla ana bilgisayarlara blok erişim sağlar. Adil olmak gerekirse, ISCSI arayüzüne sahip modellerin güzel bir bonus olarak dosya erişimine de sahip olduğunu not ediyoruz. Ancak bu yazıda All Flash için en verimli olan blok protokollerinin kullanımına odaklanacağız.
AccelStor dizisinin ve VMware vSphere sanallaştırma sisteminin ortak çalışmasının tüm dağıtım süreci ve ardından yapılandırılması birkaç aşamaya ayrılabilir:
- Bağlantı topolojisinin uygulanması ve SAN ağının yapılandırılması;
- All Flash dizisinin kurulumu;
- ESXi ana bilgisayarlarını yapılandırma;
- Sanal makinelerin kurulumu.
Örnek donanım olarak AccelStor NeoSapphire™ Fiber Kanal dizileri ve iSCSI dizileri kullanıldı. Temel yazılım VMware vSphere 6.7U1'dir.
Bu makalede açıklanan sistemleri dağıtmadan önce, VMware'in performans sorunlarıyla ilgili belgelerini okumanız önemle tavsiye edilir ( ) ve iSCSI ayarları ()
Bağlantı topolojisi ve SAN ağ yapılandırması
Bir SAN ağının ana bileşenleri, ESXi ana bilgisayarlarındaki HBA'lar, SAN anahtarları ve dizi düğümleridir. Böyle bir ağ için tipik bir topoloji şuna benzer:
Buradaki Anahtar terimi, hem ayrı bir fiziksel anahtarı veya anahtar kümesini (Yapı) hem de farklı hizmetler (Fiber Kanal durumunda VSAN ve iSCSI durumunda VLAN) arasında paylaşılan bir cihazı ifade eder. İki bağımsız anahtarın/Yapının kullanılması olası bir arıza noktasını ortadan kaldıracaktır.
Ana bilgisayarların diziye doğrudan bağlanması desteklense de kesinlikle önerilmez. All Flash dizilerinin performansı oldukça yüksektir. Maksimum hız için dizinin tüm bağlantı noktalarının kullanılması gerekir. Bu nedenle ana bilgisayarlar ile NeoSapphire™ arasında en az bir anahtarın bulunması zorunludur.
Ana bilgisayar HBA'sında iki bağlantı noktasının bulunması da maksimum performans elde etmek ve hata toleransını sağlamak için zorunlu bir gerekliliktir.
Fiber Kanal arayüzü kullanıldığında, başlatıcılar ve hedefler arasındaki olası çarpışmaları ortadan kaldıracak şekilde bölgelendirme yapılandırılmalıdır. Bölgeler "bir başlatıcı bağlantı noktası - bir veya daha fazla dizi bağlantı noktası" ilkesi üzerine inşa edilmiştir.
Diğer hizmetlerle paylaşılan bir anahtarın kullanılması durumunda iSCSI aracılığıyla bir bağlantı kullanırsanız iSCSI trafiğini ayrı bir VLAN içinde yalıtmak zorunludur. Ağdaki paketlerin boyutunu artırmak ve böylece iletim sırasında ek bilgi miktarını azaltmak için Jumbo Çerçeveler (MTU = 9000) desteğinin etkinleştirilmesi de önemle tavsiye edilir. Ancak, doğru çalışma için "başlatıcı-anahtar-hedef" zinciri boyunca tüm ağ bileşenlerinde MTU parametresinin değiştirilmesi gerektiğini hatırlamakta fayda var.
All Flash dizisini ayarlama
Dizi, önceden oluşturulmuş gruplarla müşterilere teslim edilir . Bu nedenle sürücüleri tek bir yapıda birleştirmek için herhangi bir işlem yapılmasına gerek yoktur. Sadece gerekli boyut ve miktarda hacimler oluşturmanız yeterlidir.
Kolaylık sağlamak için, belirli bir boyuttaki birkaç birimin aynı anda toplu olarak oluşturulmasına yönelik işlevsellik vardır. Varsayılan olarak ince hacimler oluşturulur, çünkü bu, mevcut depolama alanının daha verimli kullanılmasına olanak tanır (Alan Kazanımı desteği dahil). Performans açısından “ince” ve “kalın” hacimler arasındaki fark %1'i geçmiyor. Bununla birlikte, bir dizinin "tüm suyunu sıkmak" istiyorsanız, herhangi bir "ince" hacmi her zaman "kalın" bir hacme dönüştürebilirsiniz. Ancak böyle bir operasyonun geri döndürülemez olduğu unutulmamalıdır.
Daha sonra, oluşturulan birimleri "yayınlamak" ve ACL'leri (iSCSI için IP adresleri ve FC için WWPN) ve dizi bağlantı noktalarına göre fiziksel ayırmayı kullanarak ana bilgisayarlardan bunlara erişim haklarını ayarlamak kalır. iSCSI modelleri için bu, bir Hedef oluşturularak yapılır.
FC modellerinde yayınlama, dizinin her bağlantı noktası için bir LUN oluşturulması yoluyla gerçekleşir.
Kurulum sürecini hızlandırmak için ana bilgisayarlar gruplar halinde birleştirilebilir. Ayrıca, ana bilgisayar çok bağlantı noktalı bir FC HBA kullanıyorsa (pratikte çoğu zaman gerçekleşir), sistem, birer birer farklılık gösteren WWPN'ler sayesinde böyle bir HBA'nın bağlantı noktalarının tek bir ana bilgisayara ait olduğunu otomatik olarak belirler. Hedef/LUN'un toplu oluşturulması da her iki arayüz için de desteklenir.
iSCSI arayüzünü kullanırken önemli bir not, hedefteki sıra değiştirilemeyeceğinden ve etkili bir şekilde bir darboğaz oluşturacağından, performansı artırmak amacıyla birimler için aynı anda birden fazla hedef oluşturmaktır.
ESXi Ana Bilgisayarlarını Yapılandırma
ESXi host tarafında temel konfigürasyon tamamen beklenen bir senaryoya göre gerçekleştirilir. iSCSI bağlantısı prosedürü:
- Yazılım iSCSI Bağdaştırıcısı Ekle (zaten eklenmişse veya Donanım iSCSI Bağdaştırıcısı kullanıyorsanız gerekli değildir);
- iSCSI trafiğinin geçeceği bir vSwitch oluşturulup buna fiziksel uplink ve VMkernal eklenmesi;
- Dizi adreslerini Dynamic Discovery'ye ekleme;
- Veri deposu oluşturma
Bazı önemli notlar:
- Genel durumda elbette mevcut bir vSwitch kullanabilirsiniz, ancak ayrı bir vSwitch olması durumunda ana bilgisayar ayarlarını yönetmek çok daha kolay olacaktır.
- Performans sorunlarını önlemek için Yönetim ve iSCSI trafiğini ayrı fiziksel bağlantılara ve/veya VLAN'lara ayırmak gerekir.
- Yine performans sorunları nedeniyle, VMkernal'in IP adresleri ve All Flash dizisinin karşılık gelen bağlantı noktaları aynı alt ağda olmalıdır.
- VMware kurallarına göre hata toleransını sağlamak için vSwitch'in en az iki fiziksel uplink'e sahip olması gerekir
- Jumbo Çerçeveler kullanılıyorsa hem vSwitch hem de VMkernal'in MTU'sunu değiştirmeniz gerekir.
- iSCSI trafiği ile çalışacak fiziksel adaptörler için VMware önerilerine göre Teaming ve Failover yapılandırmalarının gerekli olduğunu hatırlatmamızda fayda var. Özellikle, her VMkernal yalnızca bir uplink üzerinden çalışmalı, ikinci uplink kullanılmayan moda geçirilmelidir. Hata toleransı için her biri kendi uplink'i üzerinden çalışacak iki VMkernal eklemeniz gerekir.
VMkernel Bağdaştırıcısı (vmk#)
Fiziksel Ağ Bağdaştırıcısı (vmnic#)
vmk1 (Depolama01)
Aktif Adaptörler
vmnic2
Kullanılmayan Adaptörler
vmnic3
vmk2 (Depolama02)
Aktif Adaptörler
vmnic3
Kullanılmayan Adaptörler
vmnic2
Fiber Kanal aracılığıyla bağlanmak için herhangi bir ön adıma gerek yoktur. Hemen bir Datastore oluşturabilirsiniz.
Veri Deposunu oluşturduktan sonra, Hedefe/LUN'a giden yollar için Round Robin politikasının en performanslı politika olarak kullanıldığından emin olmanız gerekir.
Varsayılan olarak, VMware ayarları bu politikanın şemaya göre kullanılmasını sağlar: ilk yoldan 1000 istek, ikinci yoldan sonraki 1000 istek vb. Ana bilgisayar ile iki denetleyici dizisi arasındaki bu tür etkileşim dengesiz olacaktır. Bu nedenle, Esxcli/PowerCLI aracılığıyla Round Robin politikası = 1 parametresini ayarlamanızı öneririz.
Parametreler
Esxcli için:
- Kullanılabilir LUN'ları listele
esxcli depolama nmp cihaz listesi
- Cihaz Adını Kopyala
- Round Robin Politikasını Değiştirin
esxcli depolama nmp psp roundrobin aygıt yapılandırma seti —type=iops —iops=1 —device=“Device_ID”
Çoğu modern uygulama, bant genişliği kullanımını en üst düzeye çıkarmak ve CPU yükünü azaltmak için büyük veri paketlerini değiştirecek şekilde tasarlanmıştır. Bu nedenle, ESXi varsayılan olarak depolama cihazına 32767 KB'ye kadar parçalar halinde G/Ç istekleri gönderir. Ancak bazı senaryolarda daha küçük parçaların değişimi daha verimli olacaktır. AccelStor dizileri için bunlar aşağıdaki senaryolardır:
- Sanal makine Eski BIOS yerine UEFI kullanıyor
- vSphere Replication'ı kullanır
Bu tür senaryolar için Disk.DiskMaxIOSize parametresinin değerinin 4096 olarak değiştirilmesi önerilir.
iSCSI bağlantıları için, bağlantı kararlılığını artırmak ve iletilen paketlerin onaylanması için DelayedAck gecikmesini devre dışı bırakmak amacıyla Oturum Açma Zaman Aşımı parametresini 30 (varsayılan 5) olarak değiştirmeniz önerilir. Her iki seçenek de vSphere Client'tadır: Ana Bilgisayar → Yapılandır → Depolama → Depolama Adaptörleri → iSCSI adaptörü için Gelişmiş Seçenekler
Oldukça incelikli bir nokta, veri deposu için kullanılan birimlerin sayısıdır. Yönetim kolaylığı açısından dizinin tüm hacmi için tek bir büyük hacim oluşturma arzusunun olduğu açıktır. Bununla birlikte, birkaç birimin ve buna bağlı olarak veri deposunun varlığı, genel performans üzerinde olumlu bir etkiye sahiptir (aşağıdaki kuyruklar hakkında daha fazla bilgi). Bu nedenle en az iki cilt oluşturmanızı öneririz.
Nispeten yakın zamana kadar VMware, yine mümkün olan en yüksek performansı elde etmek için bir veri deposundaki sanal makine sayısının sınırlandırılmasını tavsiye ediyordu. Ancak şimdi, özellikle VDI'nin yaygınlaşmasıyla birlikte bu sorun artık o kadar da ciddi değil. Ancak bu, yoğun IO gerektiren sanal makineleri farklı veri depolarına dağıtma yönündeki uzun süredir devam eden kuralı iptal etmez. Birim başına optimum sanal makine sayısını belirlemek için bundan daha iyi bir şey yoktur: kendi altyapısı dahilinde.
Sanal makineleri kurma
Sanal makineleri kurarken özel bir gereklilik yoktur veya oldukça sıradandırlar:
- Mümkün olan en yüksek VM sürümünü kullanma (uyumluluk)
- Sanal makineleri örneğin VDI'ye yoğun bir şekilde yerleştirirken RAM boyutunu ayarlamak daha dikkatlidir (çünkü varsayılan olarak başlangıçta, RAM ile orantılı boyutta bir sayfa dosyası oluşturulur, bu da yararlı kapasiteyi tüketir ve üzerinde bir etkiye sahiptir. son performans)
- GÇ açısından en verimli adaptör sürümlerini kullanın: ağ türü VMXNET 3 ve SCSI türü PVSCSI
- Maksimum performans için Kalın Provizyon Eager Zeroed disk tipini ve maksimum depolama alanı kullanımı için Thin Provisioning'i kullanın
- Mümkünse, Sanal Disk Limitini kullanarak G/Ç açısından kritik olmayan makinelerin çalışmasını sınırlayın
- VMware Tools'u yüklediğinizden emin olun
Kuyruklarla İlgili Notlar
Kuyruk (veya Bekleyen G/Ç'ler), belirli bir cihaz/uygulama için herhangi bir zamanda işlenmeyi bekleyen giriş/çıkış isteklerinin (SCSI komutları) sayısıdır. Kuyruk taşması durumunda QFULL hataları verilir ve bu da sonuçta gecikme parametresinde bir artışa neden olur. Disk (iş mili) depolama sistemlerini kullanırken teorik olarak kuyruk ne kadar yüksek olursa performansları da o kadar yüksek olur. Ancak, QFULL ile karşılaşmak kolay olduğundan bunu kötüye kullanmamalısınız. All Flash sistemleri söz konusu olduğunda, bir yandan her şey biraz daha basittir: sonuçta dizide çok daha düşük gecikmeler vardır ve bu nedenle çoğu zaman kuyrukların boyutunu ayrı ayrı düzenlemeye gerek yoktur. Ancak öte yandan, bazı kullanım senaryolarında (belirli sanal makineler için IO gereksinimlerinde güçlü bir çarpıklık, maksimum performans testleri vb.), kuyrukların parametrelerini değiştirmemek için en azından hangi göstergelerin olduğunu anlamak gerekir. başarılabilir ve asıl önemli olan bunun hangi yollarla başarılabileceğidir.
AccelStor All Flash dizisinin kendisinde hacimler veya G/Ç bağlantı noktalarıyla ilgili herhangi bir sınırlama yoktur. Gerektiğinde tek bir birim bile dizinin tüm kaynaklarını alabilir. Sıradaki tek sınırlama iSCSI hedefleri içindir. Bu nedenle, bu sınırı aşmak için her cilt için birkaç (ideal olarak 8 parçaya kadar) hedef oluşturma ihtiyacı yukarıda belirtilmiştir. AccelStor dizilerinin oldukça verimli çözümler olduğunu da tekrarlayalım. Bu nedenle maksimum hıza ulaşmak için sistemin tüm arayüz portlarını kullanmalısınız.
ESXi host tarafında ise durum tamamen farklıdır. Ev sahibi, tüm katılımcılar için kaynaklara eşit erişim uygulamasını kendisi uygular. Bu nedenle konuk işletim sistemi ve HBA için ayrı GÇ kuyrukları vardır. Konuk işletim sistemine giden kuyruklar, kuyruklardan sanal SCSI bağdaştırıcısına ve sanal diske doğru birleştirilir:
HBA'ya giden sıra belirli türe/satıcıya bağlıdır:
Sanal makinenin nihai performansı, ana bilgisayar bileşenleri arasındaki en düşük Kuyruk Derinliği sınırına göre belirlenecektir.
Bu değerler sayesinde belirli bir konfigürasyonda alabileceğimiz performans göstergelerini değerlendirebiliyoruz. Örneğin, 0.5 ms gecikme süresine sahip bir sanal makinenin (blok bağlama olmadan) teorik performansını bilmek istiyoruz. O zaman IOPS = (1,000/gecikme) * Olağanüstü G/Ç'ler (Kuyruk Derinliği sınırı)
Örnekler
Örnek 1
- FC Emulex HBA Adaptörü
- Veri deposu başına bir VM
- VMware Paravirtual SCSI Bağdaştırıcısı
Burada Kuyruk Derinliği limiti Emulex HBA tarafından belirlenir. Dolayısıyla IOPS = (1000/0.5)*32 = 64K
Örnek 2
- VMware iSCSI Yazılım Adaptörü
- Veri deposu başına bir VM
- VMware Paravirtual SCSI Bağdaştırıcısı
Burada Kuyruk Derinliği sınırı zaten Paravirtual SCSI Bağdaştırıcısı tarafından belirlenmektedir. Dolayısıyla IOPS = (1000/0.5)*64 = 128K
Tüm Flash AccelStor dizilerinin en iyi modelleri (örneğin, ), 700K blokta 4K IOPS yazma performansı sunma kapasitesine sahiptir. Böyle bir blok boyutuyla, tek bir sanal makinenin böyle bir diziyi yükleme kapasitesine sahip olmadığı oldukça açıktır. Bunu yapmak için 11 (örneğin 1) veya 6 (örneğin 2) sanal makineye ihtiyacınız olacaktır.
Sonuç olarak, sanal bir veri merkezinin açıklanan tüm bileşenlerinin doğru yapılandırılmasıyla performans açısından çok etkileyici sonuçlar elde edebilirsiniz.
4K Rastgele, %70 Okuma/%30 Yazma
Aslında gerçek dünya, basit bir formülle anlatılabileceğinden çok daha karmaşıktır. Bir ana bilgisayar her zaman farklı yapılandırmalara ve GÇ gereksinimlerine sahip birden fazla sanal makineyi barındırır. Ve G/Ç işlemleri, gücü sonsuz olmayan ana işlemci tarafından gerçekleştirilir. Yani, aynı potansiyelin tüm potansiyelini ortaya çıkarmak için gerçekte üç ana bilgisayara ihtiyacınız olacak. Ayrıca sanal makinelerde çalışan uygulamalar kendi ayarlarını yapar. Bu nedenle hassas boyutlandırma için sunuyoruz Tüm Flash dizileri gerçek güncel görevlerde müşterinin altyapısında.
Kaynak: habr.com