U ovom članku želimo govoriti o karakteristikama rada All Flash nizova AccelStor s jednom od najpopularnijih virtualizacijskih platformi – VMware vSphere. Posebno ćemo se usredotočiti na one parametre koji će pomoći da se postigne maksimalan učinak korištenja ovog moćnog alata kao što je All Flash.
All Flash nizovi AccelStor NeoSapphire™ predstavljaju ili nodalnu opremu temeljenu na SSD uređajima s fundamentalno drugačijim pristupom u realizaciji koncepcije pohrane podataka i organizaciji pristupa tim podacima putem vlastite tehnologije umjesto vrlo popularnih RAID algoritama. Nizovi pružaju blokovni pristup za hotele putem Fibre Channel ili iSCSI sučelja. Iskreno govoreći, modeli s ISCSI sučeljem također imaju file access kao ugodnu dodatnu opciju. No, u ovom članku fokusirat ćemo se na primjenu blokovnih protokola kao najproduktivnijih za All Flash.
Cijeli proces implementacije i kasnije konfiguracije zajedničkog rada nizova AccelStor i VMware vSphere sustava može se podijeliti u nekoliko faza:
- Implementacija topologije veze i konfiguracija SAN mreže;
- Konfiguracija All Flash niza;
- Konfiguracija ESXi hotela;
- Konfiguracija virtualnih mašina.
Kao oprema za primjere korišteni su nizovi AccelStor NeoSapphire™ s Fibre Channel i iSCSI sučeljima. Kao osnovni softver – VMware vSphere 6.7U1.
Prije implementacije sustava opisanih u članku, toplo se preporučuje upoznavanje s dokumentacijom VMware-a o pitanjima performansi ( ) i konfiguracijama iSCSI ()
Topologija veze i konfiguracija SAN mreže
Glavni komponenti SAN mreže su HBA adapteri u ESXi hostovima, SAN switchevi i nodovi niza. Tipična topologija takve mreže izgledat će ovako:
Pod terminom Switch ovdje se podrazumijeva i zasebni fizički switc ili skup switcheva (Fabric), kao i uređaj koji dijele različite usluge (VSAN u slučaju Fibre Channel i VLAN u slučaju iSCSI). Korištenje dva neovisna switcheva/Fabrica omogućit će isključivanje mogućih točaka neuspjeha.
Izravno povezivanje poslužitelja s nizom je podržano, ali se izuzetno ne preporučuje. Performanse All Flash niza su dovoljno visoke. Za maksimalnu brzinu potrebno je iskoristiti sve portove niza. Stoga je prisutnost barem jednog prekidača između poslužitelja i NeoSapphire™ obavezna.
Imati dva porta na HBA poslužitelju također je obavezni zahtjev za postizanje maksimalne performanse i osiguranje otpornosti na kvarove.
U slučaju korištenja Fibre Channel sučelja potrebna je konfiguracija zoniranja kako bi se isključile moguće kolizije između inicijatora i ciljeva. Zone se grade na principu 'jedan port inicijatora – jedan ili više portova niza'.
Ako se koristi povezivanje putem iSCSI u slučaju korištenja zajedničkog prekidača s drugim uslugama, obavezno je izolirati iSCSI promet unutar zasebnog VLAN-a. Također se snažno preporučuje uključiti podršku za Jumbo Frames (MTU = 9000) za povećanje veličine paketa u mreži i, time, smanjenje količine kontrolnih informacija pri prijenosu. Međutim, treba imati na umu da je za ispravan rad potrebno promijeniti MTU parametar na svim komponentama mreže u lancu 'inicijator-prekidač-cilj'.
Konfiguracija All Flash niza
Niz se isporučuje kupcima s već formiranim grupama . Stoga nije potrebno poduzimati nikakve radnje za spajanje uređaja u jedinstvenu strukturu. Dovoljno je samo stvoriti volumene potrebne veličine i u potrebnoj količini.
Za lakše korištenje postoji funkcionalnost grupnog stvaranja više volumena zadane veličine. Po defaultu se stvaraju 'tanki' volumeni, jer to omogućuje racionalnije trošenje dostupnog prostora za pohranu (uključujući zahvaljujući podršci za Space Reclamation). Što se tiče performansi, razlika između 'tankih' i 'debelo' volumena ne prelazi 1%. Međutim, ako se želi 'izvući sve iz niza', uvijek se može konvertirati bilo koji 'tanki' volumen u 'debeli'. No, treba napomenuti da je takva operacija nepovratna.
Dalje je potrebno "objaviti" stvorene volumene i postaviti prava pristupa s hostova putem ACL (IP adresa za iSCSI i WWPN za FC) te fizičkog razdvajanja po portovima niza. Za iSCSI modele to se radi stvaranjem Targeta.
Za FC modele, publikacija se odvija stvaranjem LUN-a za svaki port niza.
Za ubrzavanje procesa podešavanja, hostove je moguće grupirati. Naime, ako host koristi višepportni FC HBA (što se u praksi najčešće događa), sustav automatski prepoznaje da portovi takvog HBA pripadaju istom hostu zahvaljujući WWPN-ima koji se razlikuju za jedan. Također, za oba sučelja podržano je grupno stvaranje Targeta/LUN-a.
Važna napomena u slučaju korištenja iSCSI sučelja je stvaranje više targeta za volumene kako bi se povećala performansa, budući da red čekanja na targetu nije moguće promijeniti, te će on zapravo postati usko grlo.
Postavljanje ESXi hostova
S obzirom na ESXi hostove, osnovno podešavanje izvodi se prema vrlo očekivanom scenariju. Redoslijed radnji za iSCSI vezu:
- Dodati Software iSCSI Adapter (nije potrebno ako je već dodan, ili u slučaju korištenja Hardware iSCSI Adaptera);
- Stvaranje vSwitch-a kroz koji će prolaziti iSCSI promet, i dodavanje fizičkih uplinkova i VMkernala;
- Dodavanje adresa niza u Dynamic Discovery;
- Stvoriti Datastore
Nekoliko važnih napomena:
- U općem slučaju, naravno, može se koristiti i već postojeći vSwitch, ali u slučaju zasebnog vSwitch-a upravljanje postavkama hosta bit će znatno jednostavnije.
- Potrebno je razdvojiti Management promet i iSCSI na odvojenim fizičkim linijama i/ili VLAN-ovima kako bi se izbjegli problemi s performansama.
- IP adrese VMkernala i odgovarajući portovi All Flash niza trebaju biti unutar iste podmreže ponovo zbog pitanja performansi.
- Za osiguranje otpornosti prema pravilima VMware, vSwitch mora imati barem dva fizička uplinka.
- Ako se koriste Jumbo Frames, potrebno je promijeniti MTU i na vSwitchu i na VMkernalu.
- Nije na odmet podsjetiti da, prema preporukama VMware-a za fizičke adaptore koji će se koristiti za iSCSI promet, obavezno treba izvršiti podešavanje Teaming and Failover. Konkretno, svaki VMkernel treba raditi samo preko jednog uplinka, a drugi uplink treba prebaciti u stanje unused. Za otpornost na kvarove potrebno je dodati dva VMkernela, od kojih će svaki raditi preko svog uplinka.
VMkernel Adapter (vmk#)
Fizički mrežni adapter (vmnic#)
vmk1 (Storage01)
Aktivni adapteri
vmnic2
Neiskorišteni adapteri
vmnic3
vmk2 (Storage02)
Aktivni adapteri
vmnic3
Neiskorišteni adapteri
vmnic2
Za povezivanje putem Fibre Channel-a nije potrebno unaprijed poduzimati nikakve radnje. Možete odmah kreirati Datastore.
Nakon kreiranja Datastore-a, potrebno je osigurati da se koristi politika Round Robin za putanje do Target/LUN kao najproduktivnija.
Zadane postavke VMware-a predviđaju korištenje ove politike prema shemi: 1000 zahtjeva putem prvog puta, sljedećih 1000 zahtjeva putem drugog puta itd. Ova interakcija domaćina s dvokontrolerskim nizom bit će nebalanced. Stoga preporučujemo postavljanje parametra Round Robin policy = 1 putem Esxcli/PowerCLI.
Postavke
Za Esxcli:
- Ispis dostupnih LUN-ova
esxcli storage nmp device list
- Kopirati naziv uređaja
- Promijeniti Round Robin politiku
esxcli storage nmp psp roundrobin deviceconfig set —type=iops —iops=1 —device=«Device_ID»
Većina modernih aplikacija dizajnirana je za razmjenu paketa podataka velikih veličina s ciljem maksimalne iskorištenosti propusnosti i smanjenja opterećenja na centralnom procesoru. Stoga ESXi prema zadanim postavkama proslijeđuje zahtjeve ulaza/izlaza za pohranu u paketima do 32767KB. Međutim, za određene scenarije razmjene manjim paketima bit će učinkovitije. U vezi s AccelStor nizovima, to su sljedeći scenariji:
- Virtuelna mašina koristi UEFI umjesto Legacy BIOS-a
- Koristi se vSphere Replication
Za takve scenarije preporučuje se promjena vrijednosti parametra Disk.DiskMaxIOSize na 4096.
Za iSCSI veze preporučuje se promjena parametra Login Timeout na 30 (zadano 5) kako bi se povećala stabilnost veze i isključiti kašnjenje potvrda proslijeđenih paketa DelayedAck. Obje opcije nalaze se u vSphere Client: Host → Configure → Storage → Storage Adapters → Advanced Options za iSCSI adapter.
Važan aspekt je broj korištenih volumena za datastore. Jasno je da se zbog lakšeg upravljanja javlja potreba za stvaranjem jednog velikog volumena za cijeli kapacitet niza. Međutim, postojanje više volumena i, sukladno tome, datastore pozitivno utječe na ukupne performanse (više o redovima u nastavku teksta). Stoga preporučujemo stvaranje najmanje dva volumena.
Još nedavno VMware je savjetovao da se ograniči broj virtualnih mašina na jednom datastoreu s ciljem postizanja maksimalne moguće izvedbe. Međutim, danas, osobito s proliferacijom VDI-a, ovaj problem više nije toliko izražen. No, to ne isključuje staro pravilo — raspodijelite virtualne mašine koje zahtijevaju intenzivnu IO na različite datastore. Za određivanje optimalnog broja virtualki na jednom volumenu nema boljeg rješenja od provođenja unutar svoje infrastrukture.
Konfiguracija virtualnih mašina
Pri konfiguraciji virtualnih mašina nema posebnih zahtjeva, točnije, oni su sasvim uobičajeni:
- Koristite maksimalno moguću verziju VM (kompatibilnost)
- Pazite da postavite veličinu RAM-a prilikom gustoće rasporeda virtualnih mašina, primjerice, u VDI-u (budući da se prema zadanim postavkama pri pokretanju stvara swap datoteka iste veličine kao RAM, što troši korisni kapacitet i utječe na konačnu izvedbu)
- Koristite najperformantnije verzije adaptera za IO: mrežni tipa VMXNET 3 i SCSI tipa PVSCSI
- Koristite tip diska Thick Provision Eager Zeroed za maksimalne performanse, a Thin Provisioning za maksimalno učinkovito korištenje prostora za pohranu
- Ako je moguće, ograničite rad nekritičnih mašina za ulaz/izlaz pomoću Virtual Disk Limita
- Obavezno instalirajte VMware alate
Napomene o redovima
Red (ili Outstanding I/Os) predstavlja broj ulazno/izlaznih zahtjeva (SCSI komandi) koji čekaju obradu u svakom trenutku na određenom uređaju/aplikaciji. U slučaju preopterećenja reda, javlja se greška QFULL, što na kraju rezultira povećanjem parametra latencije. Kada se koriste diskovni (spinajući) sustavi pohrane, teoretski, što je viši red, to je njihova učinkovitost veća. Međutim, s tim se ne treba preopteretiti, jer lako možete naići na QFULL. U slučaju All Flash sustava, s jedne strane, sve je nešto jednostavnije: pošto array ima latencije nekoliko redova niže i stoga najčešće nije potrebno posebno regulirati veličinu redova. No, s druge strane, u nekim scenarijima korištenja (jaka neuravnoteženost u zahtjevima za IO za određene virtualne strojeve, testovi na maksimalnu učinkovitost itd.) ponekad je potrebno, ako ne mijenjati parametre redova, onda barem razumjeti kakve se performanse mogu postići i, što je najvažnije, kojim putem.
Na samom All Flash arrayu AccelStor ne postoje nikakva ograničenja u pogledu volumena ili portova ulaz/izlaz. Po potrebi, čak i jedan jedini volumen može dobiti sve resurse arraya. Jedino ograničenje na redove postoji za iSCSI ciljeve. Zbog toga je ranije navedena potreba za stvaranjem više (idealan broj do 8) ciljeva po volumenu kako bi se prevladalo to ograničenje. Također ponavljamo da su AccelStor arrayi vrlo produktivna rješenja. Stoga bi trebalo iskoristiti sve sučeljske portove sustava kako bi se postigla maksimalna brzina.
Sa strane ESXi domaćina situacija je potpuno drugačija. Sam domaćin primjenjuje praksu jednakog pristupa resursima za sve sudionike. Stoga postoje odvojeni IO redovi za gost OS i HBA. Redovi za gost OS kombiniraju se iz redova za virtualni SCSI adapter i virtualni disk:
Red za HBA ovisi o specifičnoj vrsti/proizvođaču:
Konačna učinkovitost virtualne mašine bit će određena najmanjom vrijednošću pokazatelja redova (Queue Depth limit) među komponentama domaćina.
Ove vrijednosti omogućuju procjenu performansi koje možemo postići u određenoj konfiguraciji. Na primjer, želimo saznati teoretske performanse virtualne mašine (nevezano za blok) s latencijom od 0.5 ms. Tada je njezin IOPS = (1.000 / latencija) * Izdvojeni I/O (ograničenje dubine reda)
Primjeri
Primjer 1
- FC Emulex HBA Adapter
- Jedna VM na datastoreu
- VMware Paravirtual SCSI Adapter
Ovdje je ograničenje dubine reda određeno Emulex HBA. Stoga je IOPS = (1000 / 0.5) * 32 = 64K
Primjer 2
- VMware iSCSI Software Adapter
- Jedna VM na datastoreu
- VMware Paravirtual SCSI Adapter
Ovdje je ograničenje dubine reda određeno Paravirtual SCSI Adapterom. Stoga je IOPS = (1000 / 0.5) * 64 = 128K
Najbolji modeli All Flash sustava AccelStor (npr. ) mogu osigurati performanse od 700K IOPS za pisanje pri veličini bloka od 4K. Sa takvom veličinom bloka, sasvim je očito da jedna virtualna mašina ne može opteretiti takav sustav. Za to će biti potrebno 11 (za primjer 1) ili 6 (za primjer 2) virtualnih mašina.
Kao rezultat, uz pravilnu konfiguraciju svih opisanih komponenti virtualnog data centra, moguće je postići vrlo impresivne rezultate u smislu performansi.
4K nasumično, 70% čitanje / 30% pisanje
U stvarnosti, svijet je mnogo složeniji da bi se mogao opisati jednostavnom formulom. Na jednom hostu uvijek se nalazi mnogo virtualnih mašina s različitim konfiguracijama i zahtjevima za I/O. A obradom ulazno/izlaznih podataka bavi se procesor hosta, čija moć nije beskonačna. Tako, za otkrivanje punog potencijala iste u stvarnosti će biti potrebno od tri hosta. Osim toga, aplikacije koje rade unutar virtualnih mašina unose svoje korekcije. Stoga, za točno dimenzioniranje preporučujemo All Flash sustava unutar infrastrukture klijenta na stvarnim trenutnim zadacima.
Izvor: habr.com
