V tem članku bi rad govoril o funkcijah nizov All Flash AccelStor, ki delujejo z eno najbolj priljubljenih virtualizacijskih platform - VMware vSphere. Še posebej se osredotočite na tiste parametre, ki vam bodo pomagali doseči največji učinek pri uporabi tako močnega orodja, kot je All Flash.
AccelStor NeoSapphire™ Vsa polja Flash so ali vozlišča, ki temeljijo na pogonih SSD, z bistveno drugačnim pristopom k izvajanju koncepta shranjevanja podatkov in organiziranju dostopa do njih z uporabo lastniške tehnologije namesto zelo priljubljenih algoritmov RAID. Nizi zagotavljajo blokiran dostop do gostiteljev prek vmesnikov Fibre Channel ali iSCSI. Po pravici povedano ugotavljamo, da imajo modeli z vmesnikom ISCSI tudi dostop do datotek kot dober bonus. Toda v tem članku se bomo osredotočili na uporabo blokovnih protokolov kot najbolj produktivnih za All Flash.
Celoten proces uvajanja in kasnejše konfiguracije skupnega delovanja matrike AccelStor in virtualizacijskega sistema VMware vSphere lahko razdelimo na več stopenj:
- Izvedba povezovalne topologije in konfiguracije SAN omrežja;
- Nastavitev polja All Flash;
- Konfiguriranje gostiteljev ESXi;
- Nastavitev virtualnih strojev.
Kot vzorčna strojna oprema so bila uporabljena polja AccelStor NeoSapphire™ Fibre Channel in polja iSCSI. Osnovna programska oprema je VMware vSphere 6.7U1.
Pred uvedbo sistemov, opisanih v tem članku, je zelo priporočljivo, da preberete dokumentacijo družbe VMware glede težav z zmogljivostjo ( ) in nastavitve iSCSI ()
Topologija povezave in konfiguracija omrežja SAN
Glavne komponente omrežja SAN so HBA v gostiteljih ESXi, stikala SAN in vozlišča polja. Tipična topologija za takšno omrežje bi izgledala takole:
Izraz stikalo se tukaj nanaša tako na ločeno fizično stikalo ali nabor stikal (Fabric) kot na napravo, ki si jo delijo različne storitve (VSAN v primeru optičnega kanala in VLAN v primeru iSCSI). Uporaba dveh neodvisnih stikal/Fabrics bo odpravila možno točko okvare.
Neposredna povezava gostiteljev z nizom, čeprav je podprta, ni priporočljiva. Zmogljivost nizov All Flash je precej visoka. In za največjo hitrost je treba uporabiti vsa vrata polja. Zato je obvezna prisotnost vsaj enega stikala med gostitelji in NeoSapphire™.
Prisotnost dveh vrat na gostiteljskem HBA je prav tako obvezna zahteva za doseganje največje zmogljivosti in zagotavljanje odpornosti na napake.
Pri uporabi vmesnika Fibre Channel mora biti coniranje konfigurirano za odpravo možnih kolizij med iniciatorji in cilji. Območja so zgrajena po načelu "ena vrata iniciatorja - ena ali več vrat polja."
Če uporabljate povezavo prek iSCSI v primeru uporabe stikala v skupni rabi z drugimi storitvami, je nujno, da izolirate promet iSCSI znotraj ločenega VLAN-a. Prav tako je zelo priporočljivo omogočiti podporo za Jumbo Frames (MTU = 9000), da povečate velikost paketov v omrežju in s tem zmanjšate količino dodatnih informacij med prenosom. Vendar je vredno zapomniti, da je za pravilno delovanje potrebno spremeniti parameter MTU na vseh komponentah omrežja vzdolž verige "iniciator-stikalo-cilj".
Nastavitev polja All Flash
Niz se dostavlja strankam z že oblikovanimi skupinami . Zato ni treba sprejeti nobenih ukrepov za združevanje pogonov v eno samo strukturo. Samo ustvariti morate količine zahtevane velikosti in količine.
Za udobje je na voljo funkcija za paketno ustvarjanje več zvezkov določene velikosti hkrati. Privzeto so ustvarjeni tanki nosilci, saj to omogoča učinkovitejšo uporabo razpoložljivega prostora za shranjevanje (vključno s podporo za Space Reclamation). Kar zadeva zmogljivost, razlika med "tankimi" in "debelimi" volumni ne presega 1%. Vendar, če želite "iztisniti ves sok" iz niza, lahko vedno pretvorite kateri koli "tanek" volumen v "debelega". Vendar je treba zapomniti, da je takšna operacija nepovratna.
Nato ostane še »objava« ustvarjenih nosilcev in nastavitev pravic dostopa do njih od gostiteljev z uporabo ACL (naslovi IP za iSCSI in WWPN za FC) in fizično ločitev po vratih polja. Za modele iSCSI se to naredi z ustvarjanjem cilja.
Za modele FC se objava izvede z ustvarjanjem LUN za vsaka vrata polja.
Če želite pospešiti postopek nastavitve, lahko gostitelje združite v skupine. Poleg tega, če gostitelj uporablja FC HBA z več vrati (kar se v praksi najpogosteje zgodi), potem sistem samodejno ugotovi, da vrata takšnega HBA pripadajo enemu gostitelju zahvaljujoč WWPN, ki se razlikujejo za eno. Za oba vmesnika je podprto tudi paketno ustvarjanje Target/LUN.
Pomembna opomba pri uporabi vmesnika iSCSI je ustvariti več ciljev za nosilce hkrati, da povečate zmogljivost, saj čakalne vrste na cilju ni mogoče spremeniti in bo dejansko ozko grlo.
Konfiguriranje gostiteljev ESXi
Na strani gostitelja ESXi se osnovna konfiguracija izvaja po povsem pričakovanem scenariju. Postopek za povezavo iSCSI:
- Dodajte programski vmesnik iSCSI (ni potreben, če je bil že dodan ali če uporabljate strojni vmesnik iSCSI);
- Ustvarjanje stikala vSwitch, skozi katerega bo potekal promet iSCSI, in dodajanje fizične povezave navzgor in VMkernal;
- Dodajanje matričnih naslovov v dinamično odkrivanje;
- Izdelava podatkovne shrambe
Nekaj pomembnih opomb:
- V splošnem primeru seveda lahko uporabite obstoječe stikalo vSwitch, vendar bo v primeru ločenega stikala vSwitch upravljanje nastavitev gostitelja veliko lažje.
- Promet za upravljanje in iSCSI je treba ločiti na ločene fizične povezave in/ali omrežja VLAN, da se izognete težavam pri delovanju.
- Naslovi IP VMkernal in ustrezna vrata polja All Flash morajo biti znotraj istega podomrežja, spet zaradi težav z zmogljivostjo.
- Za zagotovitev tolerance napak v skladu s pravili VMware mora vSwitch imeti vsaj dve fizični povezavi navzgor
- Če uporabljate Jumbo okvirje, morate spremeniti MTU tako vSwitch kot VMkernal
- Koristno bi vas spomniti, da je po priporočilih VMware za fizične adapterje, ki bodo uporabljeni za delo s prometom iSCSI, treba konfigurirati Teaming in Failover. Zlasti mora vsak VMkernal delovati samo prek ene navzgornje povezave, druga navzgornja povezava mora biti preklopljena v neuporabljen način. Za toleranco napak morate dodati dva VMkernala, od katerih bo vsak deloval prek svoje navzgornje povezave.
VMkernel Adapter (vmk#)
Fizični omrežni adapter (vmnic#)
vmk1 (Storage01)
Aktivni adapterji
vmnic2
Neuporabljeni adapterji
vmnic3
vmk2 (Storage02)
Aktivni adapterji
vmnic3
Neuporabljeni adapterji
vmnic2
Za povezavo prek optičnega kanala niso potrebni nobeni predhodni koraki. Takoj lahko ustvarite shrambo podatkov.
Ko ustvarite shrambo podatkov, se morate prepričati, da je pravilnik Round Robin za poti do cilja/LUN uporabljen kot najzmogljivejši.
Nastavitve VMware privzeto omogočajo uporabo tega pravilnika po shemi: 1000 zahtev po prvi poti, naslednjih 1000 zahtev po drugi poti itd. Takšna interakcija med gostiteljem in nizom dveh krmilnikov bo neuravnotežena. Zato priporočamo, da nastavite parameter Round Robin policy = 1 prek Esxcli/PowerCLI.
Parametri
Za Esxcli:
- Seznam razpoložljivih LUN-ov
seznam naprav za shranjevanje esxcli nmp
- Kopiraj ime naprave
- Spremenite pravilnik Round Robin
esxcli shranjevanje nmp psp roundrobin deviceconfig set —type=iops —iops=1 —device=“Device_ID”
Večina sodobnih aplikacij je zasnovanih za izmenjavo velikih podatkovnih paketov, da se poveča izraba pasovne širine in zmanjša obremenitev procesorja. Zato ESXi privzeto izda V/I zahteve pomnilniški napravi v kosih do 32767 KB. Vendar pa bo za nekatere scenarije izmenjava manjših kosov bolj produktivna. Za polja AccelStor so to naslednji scenariji:
- Virtualni stroj uporablja UEFI namesto starega BIOS-a
- Uporablja vSphere Replication
Za takšne scenarije je priporočljivo spremeniti vrednost parametra Disk.DiskMaxIOSize na 4096.
Za povezave iSCSI je priporočljivo spremeniti parameter Login Timeout na 30 (privzeto 5), da povečate stabilnost povezave in onemogočite zakasnitev DelayedAck za potrditve posredovanih paketov. Obe možnosti sta v vSphere Client: Host → Configure → Storage → Storage Adapters → Advanced Options for iSCSI adapter
Precej subtilna točka je število nosilcev, ki se uporabljajo za shrambo podatkov. Jasno je, da je zaradi lažjega upravljanja želja ustvariti eno veliko količino za celotno količino niza. Vendar pa prisotnost več nosilcev in s tem podatkovne shrambe ugodno vpliva na splošno zmogljivost (več o čakalnih vrstah spodaj). Zato priporočamo izdelavo vsaj dveh zvezkov.
Do relativno nedavnega je VMware svetoval omejitev števila navideznih strojev v eni shrambi podatkov, spet zato, da bi dosegli največjo možno zmogljivost. Vendar zdaj, zlasti s širjenjem VDI, ta problem ni več tako pereč. Toda to ne prekliče dolgoletnega pravila - distribuirati virtualne stroje, ki zahtevajo intenziven IO, po različnih shrambah podatkov. Če želite določiti optimalno število virtualnih strojev na nosilec, ni nič boljšega od znotraj svoje infrastrukture.
Nastavitev virtualnih strojev
Posebnih zahtev pri postavljanju virtualnih strojev ni, oziroma so povsem običajne:
- Uporaba najvišje možne različice VM (združljivost)
- Pri namestitvi navideznih strojev na gosto, na primer v VDI, je previdnejša nastavitev velikosti RAM-a (saj se privzeto ob zagonu ustvari stranska datoteka velikosti, ki je sorazmerna z RAM-om, kar porablja uporabno kapaciteto in vpliva na končni nastop)
- Uporabite najproduktivnejše različice vmesnika v smislu IO: omrežni tip VMXNET 3 in SCSI tip PVSCSI
- Uporabite vrsto diska Thick Provision Eager Zeroed za največjo zmogljivost in Thin Provisioning za največjo izrabo prostora za shranjevanje
- Če je mogoče, omejite delovanje ne-V/I kritičnih strojev z uporabo Virtual Disk Limit
- Ne pozabite namestiti orodij VMware
Opombe o čakalnih vrstah
Čakalna vrsta (ali neizpolnjeni V/I) je število vhodno/izhodnih zahtev (ukazi SCSI), ki čakajo na obdelavo v danem trenutku za določeno napravo/aplikacijo. V primeru prepolnitve čakalne vrste se izdajo napake QFULL, kar na koncu povzroči povečanje parametra zakasnitve. Pri uporabi diskovnih (vretenskih) sistemov za shranjevanje teoretično velja, da višja kot je čakalna vrsta, večja je njihova zmogljivost. Vendar ga ne smete zlorabljati, saj je enostavno naleteti na QFULL. V primeru sistemov All Flash je po eni strani vse nekoliko preprostejše: navsezadnje ima niz zakasnitve, ki so nižje, zato najpogosteje ni treba posebej regulirati velikosti čakalnih vrst. Toda po drugi strani je v nekaterih scenarijih uporabe (močno odstopanje v zahtevah IO za določene virtualne stroje, testi za največjo zmogljivost itd.) potrebno, če že ne spremeniti parametrov čakalnih vrst, potem vsaj razumeti, kateri indikatorji mogoče doseči, glavno pa je, na kakšen način.
Na sami matriki AccelStor All Flash ni omejitev v zvezi z nosilci ali V/I vrati. Če je potrebno, lahko celo en nosilec sprejme vse vire polja. Edina omejitev v čakalni vrsti je za cilje iSCSI. Zaradi tega je bila zgoraj navedena potreba po ustvarjanju več (v idealnem primeru do 8 kosov) tarč za vsak nosilec, da bi presegli to omejitev. Naj še enkrat ponovimo, da so polja AccelStor zelo produktivne rešitve. Zato morate uporabiti vsa vmesniška vrata sistema, da dosežete največjo hitrost.
Na strani gostitelja ESXi je situacija popolnoma drugačna. Gostitelj sam uporablja prakso enakega dostopa do virov za vse udeležence. Zato obstajajo ločene čakalne vrste IO za gostujoči OS in HBA. Čakalne vrste do gostujočega OS so združene iz čakalnih vrst do navideznega vmesnika SCSI in navideznega diska:
Čakalna vrsta do HBA je odvisna od specifične vrste/prodajalca:
Končna zmogljivost virtualnega stroja bo določena z najnižjo mejo globine čakalne vrste med gostiteljskimi komponentami.
Zahvaljujoč tem vrednostim lahko ocenimo kazalnike uspešnosti, ki jih lahko dobimo v določeni konfiguraciji. Na primer, želimo vedeti teoretično zmogljivost virtualnega stroja (brez vezave blokov) z zakasnitvijo 0.5 ms. Nato je njegov IOPS = (1,000/zakasnitev) * Izjemni V/I (omejitev globine čakalne vrste)
Primeri
Primer 1
- FC Emulex HBA adapter
- En VM na podatkovno shrambo
- VMware paravirtualni adapter SCSI
Tu omejitev globine čakalne vrste določa Emulex HBA. Zato je IOPS = (1000/0.5)*32 = 64K
Primer 2
- VMware iSCSI programski adapter
- En VM na podatkovno shrambo
- VMware paravirtualni adapter SCSI
Tukaj je omejitev globine čakalne vrste že določena s paravirtualnim vmesnikom SCSI. Zato je IOPS = (1000/0.5)*64 = 128K
Vrhunski modeli nizov All Flash AccelStor (npr. ) lahko zagotovijo zmogljivost zapisovanja 700K IOPS pri bloku 4K. Pri takšni velikosti bloka je povsem očitno, da en virtualni stroj ni sposoben naložiti takšne matrike. Za to boste potrebovali 11 (na primer 1) ali 6 (na primer 2) virtualnih strojev.
Posledično lahko s pravilno konfiguracijo vseh opisanih komponent virtualnega podatkovnega centra dosežete zelo impresivne rezultate glede zmogljivosti.
4K naključno, 70 % branje/30 % pisanje
Pravzaprav je resnični svet veliko bolj zapleten, kot ga je mogoče opisati s preprosto formulo. En gostitelj vedno gosti več virtualnih strojev z različnimi konfiguracijami in zahtevami IO. Za obdelavo V/I skrbi gostiteljski procesor, katerega moč ni neskončna. Torej, da sprostite polni potencial istega v resnici boste potrebovali tri gostitelje. Poleg tega se aplikacije, ki se izvajajo znotraj virtualnih strojev, prilagodijo po svoje. Zato za natančno dimenzioniranje nudimo Vsa polja Flash znotraj strankine infrastrukture pri realnih trenutnih nalogah.
Vir: www.habr.com