V tomto článku bych rád pohovořil o vlastnostech polí All Flash AccelStor pracujících s jednou z nejpopulárnějších virtualizačních platforem – VMware vSphere. Zaměřte se zejména na ty parametry, které vám pomohou získat maximální efekt z použití tak silného nástroje, jakým je All Flash.
AccelStor NeoSapphire™ Všechna pole Flash jsou nebo uzlová zařízení založená na jednotkách SSD se zásadně odlišným přístupem k implementaci konceptu ukládání dat a organizaci přístupu k nim pomocí proprietární technologie místo velmi populárních algoritmů RAID. Pole poskytují blokový přístup k hostitelům prostřednictvím rozhraní Fibre Channel nebo iSCSI. Abychom byli spravedliví, podotýkáme, že modely s rozhraním ISCSI mají jako příjemný bonus také přístup k souborům. Ale v tomto článku se zaměříme na použití blokových protokolů jako nejproduktivnějších pro All Flash.
Celý proces nasazení a následné konfigurace společného provozu pole AccelStor a virtualizačního systému VMware vSphere lze rozdělit do několika fází:
- Implementace topologie připojení a konfigurace sítě SAN;
- Nastavení All Flash pole;
- Konfigurace hostitelů ESXi;
- Nastavení virtuálních strojů.
Jako ukázkový hardware byla použita pole AccelStor NeoSapphire™ Fibre Channel a pole iSCSI. Základní software je VMware vSphere 6.7U1.
Před nasazením systémů popsaných v tomto článku důrazně doporučujeme přečíst si dokumentaci od společnosti VMware týkající se problémů s výkonem ( ) a nastavení iSCSI ()
Topologie připojení a konfigurace sítě SAN
Hlavní součásti sítě SAN jsou HBA v hostitelích ESXi, přepínače SAN a uzly polí. Typická topologie pro takovou síť by vypadala takto:
Pojem přepínač zde označuje jak samostatný fyzický přepínač nebo sadu přepínačů (Fabric), tak zařízení sdílené mezi různými službami (VSAN v případě Fibre Channel a VLAN v případě iSCSI). Použití dvou nezávislých spínačů/látek odstraní možný bod selhání.
Přímé připojení hostitelů k poli, i když je podporováno, se důrazně nedoporučuje. Výkon všech polí Flash je poměrně vysoký. A pro maximální rychlost musí být použity všechny porty pole. Proto je přítomnost alespoň jednoho přepínače mezi hostiteli a NeoSapphire™ povinná.
Přítomnost dvou portů na hostitelském HBA je také povinným požadavkem pro dosažení maximálního výkonu a zajištění odolnosti proti chybám.
Při použití rozhraní Fibre Channel musí být zónování nakonfigurováno tak, aby eliminovalo možné kolize mezi iniciátory a cíli. Zóny jsou postaveny na principu „jeden iniciační port – jeden nebo více portů pole“.
Pokud používáte připojení přes iSCSI v případě použití přepínače sdíleného s jinými službami, je nutné izolovat provoz iSCSI v rámci samostatné VLAN. Důrazně se také doporučuje povolit podporu pro Jumbo Frames (MTU = 9000), aby se zvýšila velikost paketů v síti a tím se snížilo množství režijních informací během přenosu. Je však třeba připomenout, že pro správnou funkci je nutné změnit parametr MTU na všech síťových komponentech v řetězci „iniciátor-přepínač-cíl“.
Nastavení All Flash pole
Pole je dodáváno zákazníkům s již vytvořenými skupinami . Proto není třeba provádět žádné akce ke spojení jednotek do jediné struktury. Stačí vytvořit objemy požadované velikosti a množství.
Pro pohodlí je zde funkce pro dávkové vytváření několika svazků dané velikosti najednou. Ve výchozím nastavení jsou vytvářeny tenké svazky, protože to umožňuje efektivnější využití dostupného úložného prostoru (včetně podpory Space Reclamation). Z hlediska výkonu nepřesahuje rozdíl mezi „tenkým“ a „tlustým“ objemem 1 %. Pokud však chcete „vymáčknout všechnu šťávu“ z pole, můžete vždy převést jakýkoli „tenký“ objem na „hustý“. Ale je třeba si uvědomit, že taková operace je nevratná.
Dále zbývá „publikovat“ vytvořené svazky a nastavit k nim přístupová práva z hostitelů pomocí ACL (IP adresy pro iSCSI a WWPN pro FC) a fyzického oddělení porty polí. U modelů iSCSI se to provede vytvořením cíle.
U modelů FC se publikování provádí vytvořením LUN pro každý port pole.
Pro urychlení procesu nastavení lze hostitele sloučit do skupin. Pokud navíc hostitel používá víceportový FC HBA (což se v praxi nejčastěji stává), pak systém automaticky určí, že porty takového HBA patří jednomu hostiteli díky WWPN, které se liší o jednu. Pro obě rozhraní je také podporováno dávkové vytváření Target/LUN.
Důležitou poznámkou při používání rozhraní iSCSI je vytvoření více cílů pro svazky najednou, aby se zvýšil výkon, protože frontu na cíli nelze změnit a bude v podstatě překážkou.
Konfigurace hostitelů ESXi
Na hostitelské straně ESXi se základní konfigurace provádí podle zcela očekávaného scénáře. Postup pro připojení iSCSI:
- Přidat softwarový iSCSI adaptér (není vyžadován, pokud již byl přidán nebo pokud používáte hardwarový iSCSI adaptér);
- Vytvoření vSwitche, přes který bude procházet provoz iSCSI, a přidání fyzického uplinku a VMkernal k němu;
- Přidání adres pole do Dynamic Discovery;
- Vytvoření datového úložiště
Některé důležité poznámky:
- V obecném případě samozřejmě můžete použít stávající vSwitch, ale v případě samostatného vSwitche bude správa nastavení hostitele mnohem jednodušší.
- Je nutné oddělit Management a provoz iSCSI na samostatné fyzické linky a/nebo VLAN, aby se předešlo problémům s výkonem.
- IP adresy VMkernal a odpovídající porty pole All Flash musí být ve stejné podsíti, opět kvůli problémům s výkonem.
- Aby byla zajištěna odolnost proti chybám podle pravidel VMware, musí mít vSwitch alespoň dva fyzické uplinky
- Pokud používáte Jumbo Frames, musíte změnit MTU vSwitch i VMkernal
- Bylo by užitečné připomenout, že podle doporučení VMware pro fyzické adaptéry, které budou použity pro práci s iSCSI provozem, je nutné nakonfigurovat Teaming a Failover. Konkrétně každý VMkernal musí fungovat pouze přes jeden uplink, druhý uplink musí být přepnut do nepoužívaného režimu. Pro odolnost proti chybám musíte přidat dva virtuální jádra, z nichž každý bude fungovat prostřednictvím vlastního uplinku.
Adaptér VMkernel (vmk#)
Fyzický síťový adaptér (vmnic#)
vmk1 (Storage01)
Aktivní adaptéry
vmnic2
Nepoužité adaptéry
vmnic3
vmk2 (Storage02)
Aktivní adaptéry
vmnic3
Nepoužité adaptéry
vmnic2
Pro připojení přes Fibre Channel nejsou nutné žádné předběžné kroky. Okamžitě můžete vytvořit úložiště dat.
Po vytvoření úložiště dat se musíte ujistit, že zásada Round Robin pro cesty k cíli/LUN je používána jako nejvýkonnější.
Ve výchozím nastavení umožňuje nastavení VMware použití této zásady podle schématu: 1000 požadavků přes první cestu, dalších 1000 požadavků přes druhou cestu atd. Taková interakce mezi hostitelem a polem dvou řadičů bude nevyvážená. Proto doporučujeme nastavit zásadu Round Robin = 1 parametr přes Esxcli/PowerCLI.
Parametry
Pro Esxcli:
- Seznam dostupných LUN
esxcli storage NMP seznam zařízení
- Kopírovat název zařízení
- Změna zásad Round Robin
esxcli storage nmp psp roundrobin deviceconfig set —type=iops —iops=1 —device=“Device_ID”
Většina moderních aplikací je navržena pro výměnu velkých datových paketů s cílem maximalizovat využití šířky pásma a snížit zatížení CPU. ESXi proto standardně vydává I/O požadavky na úložné zařízení v blocích o velikosti až 32767 kB. U některých scénářů však bude výměna menších kusů produktivnější. Pro pole AccelStor jsou to následující scénáře:
- Virtuální počítač používá UEFI místo Legacy BIOS
- Používá vSphere Replication
Pro takové scénáře se doporučuje změnit hodnotu parametru Disk.DiskMaxIOSize na 4096.
Pro připojení iSCSI se doporučuje změnit parametr Login Timeout na 30 (výchozí 5), aby se zvýšila stabilita připojení a deaktivovalo zpoždění DelayedAck pro potvrzení předávaných paketů. Obě možnosti jsou v klientovi vSphere: Host → Konfigurovat → Úložiště → Adaptéry úložiště → Rozšířené možnosti pro adaptér iSCSI
Poměrně jemným bodem je počet svazků použitých pro datové úložiště. Je jasné, že pro snadnou správu je potřeba vytvořit jeden velký svazek pro celý objem pole. Přítomnost několika svazků a tedy i úložiště dat má příznivý vliv na celkový výkon (více o frontách níže). Proto doporučujeme vytvořit alespoň dva svazky.
Ještě relativně nedávno VMware radil omezit počet virtuálních strojů na jednom datovém úložišti, opět za účelem získání co nejvyššího výkonu. Nyní, zejména s rozšířením VDI, však tento problém již není tak akutní. To ale neruší dlouholeté pravidlo – distribuovat virtuální stroje, které vyžadují intenzivní IO, napříč různými datovými úložišti. Pro určení optimálního počtu virtuálních strojů na svazek není nic lepšího než v rámci své infrastruktury.
Nastavení virtuálních strojů
Při nastavování virtuálních strojů nejsou kladeny žádné zvláštní požadavky, spíše jsou zcela běžné:
- Použití nejvyšší možné verze VM (kompatibilita)
- Při hustém umístění virtuálních strojů, např. ve VDI, je opatrnější nastavit velikost RAM (protože ve výchozím nastavení se při spuštění vytvoří stránkovací soubor o velikosti odpovídající RAM, což spotřebovává užitečnou kapacitu a má vliv na závěrečné vystoupení)
- Používejte nejproduktivnější verze adaptéru z hlediska IO: typ sítě VMXNET 3 a typ SCSI PVSCSI
- Použijte typ disku Thick Provision Eager Zeroed pro maximální výkon a Thin Provisioning pro maximální využití úložného prostoru
- Pokud je to možné, omezte provoz počítačů, které nejsou kritické pro vstup/výstup, pomocí omezení virtuálního disku
- Nezapomeňte nainstalovat VMware Tools
Poznámky k frontám
Fronta (neboli Outstanding I/Os) je počet vstupních/výstupních požadavků (SCSI příkazy), které čekají na zpracování v daném okamžiku pro konkrétní zařízení/aplikaci. V případě přetečení fronty jsou vydávány chyby QFULL, což v konečném důsledku vede ke zvýšení parametru latence. Při použití diskových (vřetenových) úložných systémů teoreticky platí, že čím vyšší fronta, tím vyšší výkon. Neměli byste to však zneužívat, protože je snadné narazit na QFULL. V případě All Flash systémů je na jednu stranu vše poněkud jednodušší: pole má totiž řádově nižší latence, a proto většinou není potřeba samostatně regulovat velikost front. Ale na druhou stranu v některých scénářích použití (silné vychýlení požadavků na IO pro konkrétní virtuální stroje, testy na maximální výkon atd.) je nutné, když ne měnit parametry front, tak alespoň pochopit, jaké indikátory lze dosáhnout, a hlavní věc je, jakými způsoby.
Na samotném poli AccelStor All Flash neexistují žádná omezení ve vztahu k svazkům nebo I/O portům. V případě potřeby může i jediný svazek přijmout všechny prostředky pole. Jediné omezení ve frontě je pro cíle iSCSI. Právě z tohoto důvodu byla výše naznačena potřeba vytvořit několik (ideálně až 8 kusů) terčů pro každý svazek, aby se tento limit překonal. Zopakujme také, že pole AccelStor jsou velmi produktivní řešení. Proto byste měli používat všechny porty rozhraní systému, abyste dosáhli maximální rychlosti.
Na hostitelské straně ESXi je situace úplně jiná. Samotný hostitel uplatňuje praxi rovného přístupu ke zdrojům pro všechny účastníky. Proto existují samostatné fronty IO pro hostující OS a HBA. Fronty do hostujícího OS jsou kombinovány z front na virtuální adaptér SCSI a virtuální disk:
Fronta na HBA závisí na konkrétním typu/prodejci:
Konečný výkon virtuálního počítače bude určen nejnižším limitem hloubky fronty mezi hostitelskými komponentami.
Díky těmto hodnotám můžeme vyhodnotit výkonnostní ukazatele, které můžeme v konkrétní konfiguraci získat. Například chceme znát teoretický výkon virtuálního stroje (bez vazby bloku) s latencí 0.5 ms. Pak jeho IOPS = (1,000 XNUMX/latence) * Vynikající I/O (limit hloubky fronty)
Příklady
Příklad 1
- Adaptér FC Emulex HBA
- Jeden virtuální počítač na datové úložiště
- Adaptér VMware Paravirtual SCSI
Zde limit hloubky fronty určuje Emulex HBA. Proto IOPS = (1000/0.5)*32 = 64 kB
Příklad 2
- Softwarový adaptér VMware iSCSI
- Jeden virtuální počítač na datové úložiště
- Adaptér VMware Paravirtual SCSI
Zde je limit hloubky fronty již určen adaptérem Paravirtual SCSI. Proto IOPS = (1000/0.5)*64 = 128 kB
Nejlepší modely všech polí Flash AccelStor (např. ) jsou schopny poskytovat výkon zápisu 700K IOPS při 4K bloku. Při takové velikosti bloku je zcela zřejmé, že jediný virtuální stroj není schopen takové pole načíst. K tomu budete potřebovat 11 (například 1) nebo 6 (například 2) virtuální stroje.
Výsledkem je, že při správné konfiguraci všech popsaných komponent virtuálního datového centra můžete dosáhnout velmi působivých výsledků z hlediska výkonu.
4K náhodné, 70 % čtení/30 % zápis
Ve skutečnosti je skutečný svět mnohem složitější, než jej lze popsat jednoduchým vzorcem. Jeden hostitel vždy hostuje více virtuálních počítačů s různými konfiguracemi a požadavky na vstup a výstup. A o zpracování I/O se stará hostitelský procesor, jehož výkon není nekonečný. Abychom odemkli plný potenciál toho samého ve skutečnosti budete potřebovat tři hostitele. Aplikace běžící ve virtuálních strojích navíc provádějí vlastní úpravy. Proto pro přesné dimenzování nabízíme Všechna pole Flash uvnitř infrastruktury zákazníka na skutečných aktuálních úkolech.
Zdroj: www.habr.com