A cikk keretein belül szeretnénk bemutatni az AccelStor All Flash tárolók működésének sajátosságait, különös figyelmet fordítva a VMware vSphere népszerű virtualizációs platformmal való használatra. Különösen hangsúlyozni kívánjuk azokat a paramétereket, amelyek segíthetnek a maximális hatékonyság elérésében az All Flash, mint rendkívül erős eszköz használata során.
Az AccelStor NeoSapphire™ All Flash tárolók vagy SSD-alapú eszközök, amelyek radikálisan más megközelítéssel valósítják meg az adatkezelés és hozzáférés fogalmát saját technológiájuk felhasználásával a rendkívül népszerű RAID algoritmusok helyett. A tárolók blokkszintű hozzáférést biztosítanak a gazdagépek számára Fibre Channel vagy iSCSI interfészeken keresztül. Igazság szerint meg kell említeni, hogy az iSCSI interfészes modellek szintén fájl hozzáférést kínálnak, mint kellemes kis bónusz. Azonban ebben a cikkben a blokkszintű protokollok alkalmazására összpontosítunk, mivel ezek a legnagyobb teljesítményt nyújtják az All Flash számára.
Az AccelStor tároló és a VMware vSphere virtualizációs rendszer közötti telepítési és beállítási folyamat több lépésre osztható:
- A csatlakozási topológia megvalósítása és a SAN hálózat beállítása;
- Az All Flash tároló beállítása;
- ESXi gazdagépek beállítása;
- Virtuális gépek beállítása.
A példákhoz használt eszközök AccelStor NeoSapphire™ tárolók voltak, Fibre Channel és iSCSI interfészekkel. Az alap szoftver a VMware vSphere 6.7U1 volt.
A cikkben bemutatott rendszerek telepítése előtt erősen javasolt áttekinteni a VMware teljesítménnyel kapcsolatos dokumentációját ( ) és az iSCSI beállításait ()
A csatlakozási topológia és a SAN hálózat beállítása
A SAN hálózat fő összetevői az ESXi gazdagépek HBA adapterei, a SAN switch-ek és a tároló csomópontok. Egy tipikus topológia így néz ki:
A Switch kifejezés alatt itt egy vagy több fizikai switch (Fabric) valamint a különböző szolgáltatások között megosztott eszköz (VSAN Fibre Channel esetén és VLAN iSCSI esetén) értendő. Két független switch/Fabric használata lehetővé teszi a lehetséges hibapontok kiküszöbölését.
Bár a közvetlen csatlakozás a hostokhoz támogatott, rendkívül nem ajánlott. Az All Flash tömbök teljesítménye nagyon magas, és a maximális sebesség eléréséhez a tömb összes portját aktiválni kell. Ezért legalább egy switch megléte a hostok és a NeoSapphire™ között elengedhetetlen.
A HBA hostoknál két port megléte szintén kötelező követelmény a maximális teljesítmény elérése és a hibatűrés biztosítása érdekében.
Fibre Channel interfész használata esetén zónabeállítás szükséges a lehetséges ütközések elkerülése érdekében az initiátorok és targetek között. A zónák az 'egy initiátor port – egy vagy több tömb port' elvén épülnek.
Ha iSCSI kapcsolaton keresztül csatlakozik, és megosztott switchet használ más szolgáltatásokkal, az iSCSI forgalmat kötelező elkülöníteni egy külön VLAN-on belül. Továbbá, erősen ajánlott a Jumbo Frames (MTU = 9000) támogatásának bekapcsolása a csomagok méretének növelése érdekében, ezzel csökkentve a szállítás során felmerülő overhead információ mennyiségét. Fontos azonban megjegyezni, hogy a helyes működéshez az MTU paramétert meg kell változtatni a hálózat minden komponensén az 'initiátor-switch-target' láncban.
All Flash tömb beállítása
A tömbök már előre kialakított csoportokkal kerülnek a vevőkhöz. . Ezért nincs szükség további lépésekre az tárolók egyesítésére. Elég csak a szükséges méretű és mennyiségű köteteket létrehozni.
A kényelem érdekében funkció áll rendelkezésre, amely lehetővé teszi több, azonos méretű kötet egyidejű létrehozását. Alapértelmezettként 'vékony' kötetek jönnek létre, mivel ez lehetővé teszi a rendelkezésre álló tárolóhely gazdaságosabb felhasználását (többek között a Space Reclamation támogatása révén). Teljesítmény szempontjából a különbség a 'vékony' és 'vastag' kötetek között nem haladja meg az 1%-ot. Ha azonban minden teljesítményt ki szeretnénk csavarni a tömbből, bármely 'vékony' kötet bármikor konvertálható 'vastaggá'. De fontos megjegyezni, hogy ez a művelet visszafordíthatatlan.
Ezután a létrehozott kötetek „kiadását” kell elvégezni, és meg kell határozni a hosztok számára a hozzáférési jogokat ACL (iSCSI esetén IP címek és FC esetén WWPN) segítségével, valamint a tömb portjai közötti fizikai elválasztás révén. iSCSI modellek esetén ezt Target létrehozásával lehet elvégezni.
FC modellek esetén a kiadás LUN létrehozásával történik minden tömbport számára.
A hosztok csoportosítása felgyorsíthatja a konfigurálási folyamatot. Ha a hoszt többportos FC HBA-t használ (ami a gyakorlatban a leggyakoribb), a rendszer automatikusan észleli, hogy a HBA portjai egyetlen hoszthez tartoznak a WWPN-knek köszönhetően, amelyek egyetlen egységgel eltérnek egymástól. Az összes interfész esetében támogatott a Target/LUN csoportos létrehozása is.
Fontos megjegyezni, hogy iSCSI interfész használata esetén a kötetek számára több Target létrehozása is javasolt a teljesítmény növelése érdekében, mivel a Target sorának nem lehet módosítani, és ez valójában szűk keresztmetszetet jelent.
ESXi hosztok beállítása
Az ESXi hosztok esetén az alapbeállítás egy várható forgatókönyv szerint történik. Az iSCSI kapcsolat lépései:
- Software iSCSI Adapter hozzáadása (nem szükséges, ha már hozzá lett adva, vagy ha Hardware iSCSI Adaptert használunk);
- vSwitch létrehozása, amelyen keresztül az iSCSI forgalom áthalad, és fizikai uplinkek és VMkernel hozzáadása;
- A tömb címek hozzáadása a Dynamic Discovery-hez;
- Datastore létrehozása
Néhány fontos megjegyzés:
- Általánosságban elmondható, hogy természetesen használható egy már meglévő vSwitch is, de a külön vSwitch esetén jelentősen egyszerűbb a hosztbeállítások kezelése.
- Fontos elkülöníteni a Management forgalmat és az iSCSI-t külön fizikai linkeken és/vagy VLAN-okon, hogy elkerüljük a teljesítménnyel kapcsolatos problémákat.
- A VMkernel IP címeknek és a megfelelő All Flash tömb portoknak ugyanazon alhálózatban kell lenniük a teljesítménnyel kapcsolatos okok miatt.
- A VMware szabályai szerint a vSwitch-nek legalább két fizikai uplinkkel kell rendelkeznie az elérhetőség biztosítása érdekében.
- Jumbo Frames használata esetén meg kell változtatni az MTU-t a vSwitch és a VMkernel esetében is.
- Nem árt emlékeztetni arra, hogy a VMware ajánlásai szerint az iSCSI forgalomhoz használt fizikai adapterek esetében kötelező a Teaming and Failover beállítás. Különösen, minden VMkernel-nek csak egy uplinken kell működnie, a második uplinket nem használt státuszba kell állítani. A hibajavító képesség érdekében két VMkernel-t kell hozzáadni, amelyek mindegyike a saját uplinkjén keresztül működik.
VMkernel Adapter (vmk#)
Fizikai Hálózati Adapter (vmnic#)
vmk1 (Storage01)
Aktív Adapterek
vmnic2
Nem használt Adapterek
vmnic3
vmk2 (Storage02)
Aktív Adapterek
vmnic3
Nem használt Adapterek
vmnic2
Fibre Channel-lal történő kapcsolathoz nincs szükség előzetes lépésekre. Azonnal létre lehet hozni a Datastore-t.
A Datastore létrehozása után győződjön meg arról, hogy Round Robin politikát használ a Target/LUN-hoz való kapcsolódás során, mint a legnagyobb teljesítményú.
Alapértelmezés szerint a VMware beállításai szerint ez a politika úgy működik: 1000 kérés érkezik az első úton, a következő 1000 kérés a második úton stb. Ez a kétvezérlős tárolóval való kapcsolat egyensúlyozatlanságot okoz. Ezért javasoljuk a Round Robin policy = 1 beállítását Esxcli/PowerCLI-n keresztül.
Beállítások
Esxcli-hez:
- A rendelkezésre álló LUN-ok listázása
esxcli storage nmp device list
- Eszköz Név másolása
- A Round Robin Policy módosítása
esxcli storage nmp psp roundrobin deviceconfig set —type=iops —iops=1 —device=«Device_ID»
A legtöbb modern alkalmazás nagy adatmennyiségek csomagokban való cseréjére van tervezve, hogy maximalizálja a sávszélesség kihasználását és csökkentse a központi feldolgozó egység terhelését. Ezért az ESXi alapértelmezés szerint 32767KB-ig terjedő részekben továbbítja a tárolóeszközre vonatkozó I/O kéréseket. Azonban egyes esetekben kissebb csomagokkal való csere eredményesebb lehet. Az AccelStor tárolókhoz az alábbi helyzetek vonatkoznak:
- A virtuális gép UEFI-t használ a Legacy BIOS helyett
- vSphere Replication-t használ
Ezekhez a helyzetekhez javasolt a Disk.DiskMaxIOSize paraméter 4096-ra történő módosítása.
iSCSI kapcsolatok esetén javasolt a Login Timeout paraméter 30-ra (alapértelmezett: 5) történő megváltoztatása a kapcsolat stabilitásának növelése érdekében, és letiltani a késleltetett visszaigazolásokat DelayedAck. Mindkét opció a vSphere Client-ben található: Host → Configure → Storage → Storage Adapters → Advanced Options az iSCSI adapterhez.
A fontos szempont az adatterülethez használt kötetek száma. Nyilvánvaló, hogy a könnyebb kezelés érdekében felmerül az igény, hogy egy nagy kötetet hozzunk létre az egész tömb méretére. Azonban a több kötet és így a tároló megléte jótékony hatással van az általános teljesítményre (további részletek a sorokról lefeljebb a szövegben). Ezért javasoljuk legalább két kötet létrehozását.
Még viszonylag nemrégiben a VMware azt tanácsolta, hogy korlátozzuk a virtuális gépek számát egyetlen adatmezőn, ismét a maximális teljesítmény érdekében. Azonban ma már, különösen a VDI elterjedésével, ez a probléma nem olyan égető. De ez nem vonja vissza a régi szabályt - a nagy I/O igényű virtuális gépeket különböző adatmezők között kell elosztani. Az egyetlen kötetre optimalizált virtuális gépek számának meghatározásához nincs jobb módszer, mint elvégezni a saját infrastruktúráján belül.
Virtuális gépek konfigurálása
A virtuális gépek beállításánál különösebb követelmények nincsenek, pontosabban teljesen hétköznapiak:
- A lehető legújabb verziójú VM (kompatibilitás) használata
- Óvatosan megadni a RAM méretét a virtuális gépek sűrű elhelyezésénél, például VDI-ben (mivel indításkor alapértelmezés szerint egy megegyező méretű swap fájl jön létre, ami hasznos kapacitásfelhasználást eredményez és hatással van a végső teljesítményre)
- A legnagyobb I/O teljesítményű adapterek verzióinak használata: VMXNET 3 típusú hálózati adapter és PVSCSI típusú SCSI adapter
- Lehetőség szerint Thick Provision Eager Zeroed lemeztípust használni a maximális teljesítményhez és Thin Provisioningot a tárolóhely maximális hatékony kihasználásához
- Lehetőség szerint korlátozni a nem kritikus I/O-kra érzékeny gépek működését a Virtual Disk Limit segítségével
- Kötelező telepíteni a VMware Tools-t
Megjegyzések a sorokról
A sor (vagy Outstanding I/Os) az a számú bemeneti/kimeneti kérések (SCSI parancsok) összegét jelenti, amelyek egy adott eszköz/alkalmazás feldolgozására várnak minden egyes pillanatban. Sor túlcsordulásakor QFULL hibák jelentkeznek, ami végső soron a késleltetés növekedésében nyilvánul meg. A lemezes (spindles) tárolórendszerek esetében elméletileg minél magasabb a sor, annál nagyobb a teljesítményük. Azonban ezzel nem szabad visszaélni, mivel könnyen QFULL-ra futhatunk. Az All Flash rendszerek esetében egyrészt minden egyszerűbb: hiszen a tömb késleltetése rendre alacsonyabb, ezért gyakran nincs is szükség az egyes sorok méretének külön szabályozására. Másrészt azonban egyes használati forgatókönyvek esetében (erős eltérés az IO követelményekben egy adott virtuális géphez, maximális teljesítmény tesztek stb.) szükséges vagy a sorok paramétereinek módosítása, vagy legalább annak megértése, milyen mutatók elérhetők, és ami a legfontosabb, milyen utakon.
A valós All Flash tömbön az AccelStor-nál nincsenek korlátok a kötetek vagy bemeneti/kimeneti portok tekintetében. Szükség esetén még az egyetlen kötet is megkaphatja a tömb összes forrását. Az egyetlen korlátozás a sorokra az iSCSI célpontoknál van. Emiatt korábban említésre került, hogy több (ideális esetben akár 8) célpontot kell létrehozni minden kötethez ennek a korlátozásnak a leküzdésére. Azt is meg kell ismételni, hogy az AccelStor tömbök rendkívül teljesítményorientált megoldások. Ezért érdemes kihasználni a rendszer összes interfész portját a maximális sebesség elérése érdekében.
Az ESXi gazda részéről a helyzet teljesen más. Maga a gazda a forrásokhoz való egyenlő hozzáférés gyakorlatát alkalmazza minden résztvevő számára. Ezért külön IO sorok léteznek a vendég operációs rendszer és az HBA számára. A vendég operációs rendszerhez tartozó sorok a virtuális SCSI adapter és a virtuális lemez sorainak kombinációjából állnak:
Az HBA-hoz tartozó sor a konkrét típus/vállalat függvénye:
A virtuális gép végső teljesítményét a gazda komponensek között a sorok legkisebb értéke (Queue Depth limit) határozza meg.
Ezekkel az értékekkel lehetőségünk van a teljesítménymutatók értékelésére, amelyeket különböző konfigurációkban elérhetünk. Például szeretnénk megismerni egy virtuális gép elméleti teljesítményét (a blokkhoz való kötődés nélkül) 0,5 ms latenciával. Így az IOPS = (1,000/latencia) * Outstanding I/Os (Queue Depth limit)
Példák
1. példa
- FC Emulex HBA Adapter
- Egy VM a datastore-on
- VMware Paravirtual SCSI Adapter
Itt a Queue Depth limit az Emulex HBA által van meghatározva. Így az IOPS = (1000/0.5)*32 = 64K
Példa 2
- VMware iSCSI Software Adapter
- Egy VM a datastore-on
- VMware Paravirtual SCSI Adapter
Itt a Queue Depth limit már a Paravirtual SCSI Adapter által van meghatározva. Így az IOPS = (1000/0.5)*64 = 128K
Az AccelStor legjobb All Flash tárolómodelljei (például, ) képesek biztosítani a 700K IOPS írási teljesítményt 4K blokkban. Ilyen blokkméret mellett egyértelmű, hogy egyetlen virtuális gép nem tudja terhelni az ilyen tárolót. Ehhez 11 (1. példaként) vagy 6 (2. példaként) virtuális gépre lesz szükség.
A megfelelően beállított virtuális adatközpont összes komponensével igazán lenyűgöző teljesítményeket érhetünk el.
4K random, 70% read/30% write
Valójában a valós világ sokkal bonyolultabb, mint hogy egyszerű képlettel leírható lenne. Egy hoston mindig számos virtuális gép található különböző konfigurációkkal és IO követelményekkel. Az IO feldolgozását a hoszt processzora végzi, amelynek teljesítménye nem végtelen. Így a szerver teljes potenciáljának kiaknázásához valójában három hosztra van szükség. Ezen kívül az alkalmazások, amelyek a virtuális gépekben futnak, szintén befolyásolják a teljesítményt. Ezért a pontos méretezéshez javasoljuk, All Flash tárolók az ügyfél infrastruktúráján belül, valós feladatokon.
Forrás: habr.com
