U ovom članku želim govoriti o karakteristikama svih Flash AccelStor nizova koji rade s jednom od najpopularnijih platformi za virtualizaciju - VMware vSphere. Konkretno, usredotočite se na one parametre koji će vam pomoći da postignete maksimalan učinak korištenjem tako moćnog alata kao što je All Flash.
AccelStor NeoSapphire™ Svi Flash nizovi su ili čvorni uređaji bazirani na SSD diskovima s fundamentalno drugačijim pristupom implementaciji koncepta pohrane podataka i organiziranju pristupa istima korištenjem vlasničke tehnologije umjesto veoma popularnih RAID algoritama. Nizovi pružaju blok pristup hostovima preko Fibre Channel ili iSCSI interfejsa. Da budemo pošteni, napominjemo da modeli sa ISCSI interfejsom takođe imaju pristup fajlovima kao lep bonus. Ali u ovom članku ćemo se fokusirati na korištenje blok protokola kao najproduktivnijeg za All Flash.
Cijeli proces implementacije i naknadne konfiguracije zajedničkog rada AccelStor niza i VMware vSphere virtualizacijskog sistema može se podijeliti u nekoliko faza:
- Implementacija topologije povezivanja i konfiguracije SAN mreže;
- Postavljanje All Flash polja;
- Konfiguriranje ESXi hostova;
- Postavljanje virtuelnih mašina.
AccelStor NeoSapphire™ Fibre Channel nizovi i iSCSI nizovi su korišteni kao uzorak hardvera. Osnovni softver je VMware vSphere 6.7U1.
Prije implementacije sistema opisanih u ovom članku, toplo se preporučuje da pročitate dokumentaciju od VMware-a u vezi s problemima performansi ( ) i iSCSI postavke ()
Topologija veze i konfiguracija SAN mreže
Glavne komponente SAN mreže su HBA u ESXi hostovima, SAN prekidači i čvorovi niza. Tipična topologija za takvu mrežu bi izgledala ovako:
Termin Switch se ovdje odnosi i na odvojeni fizički prekidač ili skup prekidača (Fabric), i na uređaj koji se dijeli između različitih usluga (VSAN u slučaju Fibre Channel i VLAN u slučaju iSCSI). Korištenje dva nezavisna prekidača/tkanine će eliminirati moguću tačku kvara.
Direktno povezivanje hostova na niz, iako je podržano, se ne preporučuje. Performanse svih Flash nizova su prilično visoke. A za maksimalnu brzinu moraju se koristiti svi portovi niza. Stoga je prisustvo barem jednog prekidača između hosta i NeoSapphire™ obavezno.
Prisustvo dva porta na host HBA je također obavezan zahtjev za postizanje maksimalnih performansi i osiguravanje tolerancije grešaka.
Kada se koristi interfejs Fibre Channel, zoniranje mora biti konfigurisano da eliminiše moguće kolizije između inicijatora i ciljeva. Zone su izgrađene po principu „jedan port inicijatora – jedan ili više portova niza“.
Ako koristite vezu preko iSCSI u slučaju korištenja prekidača koji se dijeli s drugim uslugama, tada je imperativ izolirati iSCSI promet unutar zasebnog VLAN-a. Takođe se preporučuje da se omogući podrška za Jumbo okvire (MTU = 9000) kako bi se povećala veličina paketa na mreži i na taj način smanjila količina dodatnih informacija tokom prenosa. Međutim, vrijedno je zapamtiti da je za ispravan rad potrebno promijeniti MTU parametar na svim mrežnim komponentama duž lanca "inicijator-prekidač-cilj".
Postavljanje All Flash polja
Niz se isporučuje kupcima sa već formiranim grupama . Stoga, ne treba preduzimati nikakve radnje za kombinovanje pogona u jednu strukturu. Vi samo trebate stvoriti volumene potrebne veličine i količine.
Radi praktičnosti, postoji funkcionalnost za kreiranje serije nekoliko volumena određene veličine odjednom. Podrazumevano se kreiraju tanki volumeni, jer to omogućava efikasnije korišćenje dostupnog prostora za skladištenje (uključujući podršku za Space Reclamation). Što se tiče performansi, razlika između “tankih” i “debelih” volumena ne prelazi 1%. Međutim, ako želite "iscijediti sav sok" iz niza, uvijek možete pretvoriti bilo koji "tanak" volumen u "debeo". Ali treba imati na umu da je takva operacija nepovratna.
Zatim ostaje “objaviti” kreirane volumene i postaviti im prava pristupa sa hostova koristeći ACL-ove (IP adrese za iSCSI i WWPN za FC) i fizičko razdvajanje po portovima niza. Za iSCSI modele to se radi kreiranjem cilja.
Za FC modele, objavljivanje se dešava kroz kreiranje LUN-a za svaki port niza.
Da bi se ubrzao proces postavljanja, hostovi se mogu kombinovati u grupe. Štaviše, ako host koristi višeportni FC HBA (što se u praksi najčešće dešava), tada sistem automatski utvrđuje da portovi takvog HBA pripadaju jednom hostu zahvaljujući WWPN-ovima koji se razlikuju za jedan. Grupno kreiranje Target/LUN-a je takođe podržano za oba interfejsa.
Važna napomena kada se koristi iSCSI interfejs je kreiranje više ciljeva za volumene odjednom kako bi se povećale performanse, budući da se red na cilju ne može promeniti i da će efektivno biti usko grlo.
Konfiguriranje ESXi hostova
Na strani ESXi hosta, osnovna konfiguracija se izvodi prema potpuno očekivanom scenariju. Procedura za iSCSI vezu:
- Dodajte softverski iSCSI adapter (nije potrebno ako je već dodat ili ako koristite hardverski iSCSI adapter);
- Kreiranje vSwitch-a kroz koji će proći iSCSI saobraćaj i dodavanje fizičkog uplink-a i VMkernala na njega;
- Dodavanje niza adresa u Dynamic Discovery;
- Kreiranje skladišta podataka
Neke važne napomene:
- U opštem slučaju, naravno, možete koristiti postojeći vSwitch, ali u slučaju zasebnog vSwitch-a, upravljanje postavkama hosta će biti mnogo lakše.
- Neophodno je razdvojiti Upravljanje i iSCSI promet na zasebne fizičke veze i/ili VLAN-ove kako bi se izbjegli problemi s performansama.
- IP adrese VMkernala i odgovarajući portovi All Flash niza moraju biti unutar iste podmreže, opet zbog problema sa performansama.
- Da bi se osigurala tolerancija grešaka prema VMware pravilima, vSwitch mora imati najmanje dvije fizičke uplink-a
- Ako se koriste Jumbo okviri, morate promijeniti MTU i vSwitch i VMkernal
- Bilo bi korisno podsjetiti da je prema VMware preporukama za fizičke adaptere koji će se koristiti za rad sa iSCSI prometom potrebno konfigurirati Teaming i Failover. Konkretno, svaki VMkernal mora raditi samo preko jedne uzlazne veze, druga uplink mora biti prebačena u neiskorišteni način rada. Za toleranciju grešaka, morate dodati dva VMkernala, od kojih će svaki raditi preko vlastite uplink-a.
VMkernel adapter (vmk#)
Fizički mrežni adapter (vmnic#)
vmk1 (Storage01)
Aktivni adapteri
vmnic2
Nekorišteni adapteri
vmnic3
vmk2 (Storage02)
Aktivni adapteri
vmnic3
Nekorišteni adapteri
vmnic2
Nisu potrebni nikakvi preliminarni koraci za povezivanje putem Fibre Channel-a. Možete odmah kreirati Datastore.
Nakon kreiranja Datastore, morate biti sigurni da se Round Robin politika za putanje do cilja/LUN-a koristi kao najučinkovitija.
Podrazumevano, VMware postavke predviđaju korištenje ove politike prema šemi: 1000 zahtjeva kroz prvu putanju, sljedećih 1000 zahtjeva kroz drugu putanju, itd. Takva interakcija između domaćina i niza dva kontrolera će biti neuravnotežena. Stoga preporučujemo postavljanje parametra Round Robin = 1 putem Esxcli/PowerCLI.
parametri
Za Esxcli:
- Navedite dostupne LUN-ove
esxcli lista nmp uređaja za pohranu
- Kopiraj naziv uređaja
- Promijenite Round Robin politiku
esxcli memorija nmp psp roundrobin konfiguracija uređaja set —type=iops —iops=1 —device=“Device_ID”
Većina modernih aplikacija dizajnirana je za razmjenu velikih paketa podataka kako bi se maksimalno iskoristila propusnost i smanjilo opterećenje CPU-a. Stoga, ESXi po defaultu izdaje I/O zahtjeve uređaju za skladištenje u komadima do 32767 KB. Međutim, za neke scenarije, razmjena manjih dijelova će biti produktivnija. Za AccelStor nizove, ovo su sljedeći scenariji:
- Virtuelna mašina koristi UEFI umesto zastarelog BIOS-a
- Koristi vSphere replikaciju
Za takve scenarije, preporučuje se da promijenite vrijednost parametra Disk.DiskMaxIOSize na 4096.
Za iSCSI konekcije, preporučuje se da promijenite parametar Timeout prijave na 30 (podrazumevano 5) kako biste povećali stabilnost veze i onemogućili odgodu DelayedAck za potvrde proslijeđenih paketa. Obje opcije su u vSphere Client-u: Host → Konfiguriraj → Skladište → Adapteri za skladištenje → Napredne opcije za iSCSI adapter
Prilično suptilna tačka je broj volumena koji se koriste za skladište podataka. Jasno je da radi lakšeg upravljanja postoji želja da se stvori jedan veliki volumen za cijeli volumen niza. Međutim, prisustvo nekoliko volumena i, shodno tome, skladište podataka ima povoljan učinak na ukupne performanse (više o redovima čekanja u nastavku). Stoga preporučujemo stvaranje najmanje dva toma.
Do relativno nedavno, VMware je savjetovao ograničavanje broja virtuelnih mašina na jednom skladištu podataka, opet kako bi se postigle najveće moguće performanse. Međutim, sada, posebno sa širenjem VDI, ovaj problem više nije tako akutan. Ali ovo ne poništava dugotrajno pravilo - distribuirati virtuelne mašine koje zahtevaju intenzivan IO u različitim skladištima podataka. Za određivanje optimalnog broja virtuelnih mašina po volumenu, ne postoji ništa bolje od toga u okviru svoje infrastrukture.
Postavljanje virtuelnih mašina
Nema posebnih zahtjeva prilikom postavljanja virtuelnih mašina, odnosno sasvim su obični:
- Korištenje najviše moguće VM verzije (kompatibilnost)
- Pažljivije je podesiti veličinu RAM-a kada se virtuelne mašine postavljaju gusto, na primjer, u VDI (pošto se prema zadanim postavkama pri pokretanju kreira datoteka stranice veličine srazmjerne RAM-u, koja troši korisni kapacitet i utiče na finalni nastup)
- Koristite najproduktivnije verzije adaptera u smislu IO: mrežni tip VMXNET 3 i SCSI tip PVSCSI
- Koristite tip diska Thick Provision Eager Zeroed za maksimalne performanse i Thin Provisioning za maksimalno korištenje prostora za pohranu
- Ako je moguće, ograničite rad mašina koje nisu kritične za I/O korištenjem Virtual Disk Limit
- Obavezno instalirajte VMware Tools
Napomene o redovima
Red čekanja (ili izvanredni I/O) je broj zahtjeva za unos/izlaz (SCSI naredbe) koji čekaju na obradu u bilo kojem trenutku za određeni uređaj/aplikaciju. U slučaju prekoračenja reda, izdaju se QFULL greške, što u konačnici rezultira povećanjem parametra kašnjenja. Kada koristite disk (vreteno) sisteme za skladištenje, teoretski, što je veći red čekanja, to su njihove performanse veće. Međutim, ne biste ga trebali zloupotrebljavati, jer je lako naići na QFULL. U slučaju All Flash sistema, s jedne strane, sve je nešto jednostavnije: na kraju krajeva, niz ima latencije koje su redove veličine niže i stoga, najčešće, nema potrebe za posebnom regulacijom veličine redova. Ali s druge strane, u nekim scenarijima upotrebe (snažna iskrivljenost u IO zahtjevima za određene virtuelne mašine, testovi za maksimalnu performansu, itd.) potrebno je, ako ne promijeniti parametre redova, onda barem razumjeti koji indikatori može se postići, a najvažnije je na koje načine.
Na samom AccelStor All Flash nizu nema ograničenja u odnosu na volumene ili I/O portove. Ako je potrebno, čak i jedan volumen može primiti sve resurse niza. Jedino ograničenje u redu čekanja je za iSCSI ciljeve. Iz tog razloga je gore naznačena potreba za kreiranjem nekoliko (idealno do 8 komada) ciljeva za svaki volumen kako bi se prevazišlo ovo ograničenje. Ponovimo i da su AccelStor nizovi vrlo produktivna rješenja. Stoga biste trebali koristiti sve portove interfejsa sistema da biste postigli maksimalnu brzinu.
Na strani domaćina ESXi, situacija je potpuno drugačija. Sam domaćin primjenjuje praksu jednakog pristupa resursima za sve učesnike. Stoga postoje odvojeni IO redovi za gostujući OS i HBA. Redovi do gostujućeg OS-a se kombiniraju od redova do virtualnog SCSI adaptera i virtualnog diska:
Red do HBA zavisi od specifičnog tipa/prodavca:
Konačna izvedba virtuelne mašine će biti određena najnižom granicom dubine reda među komponentama hosta.
Zahvaljujući ovim vrijednostima, možemo procijeniti pokazatelje učinka koje možemo dobiti u određenoj konfiguraciji. Na primjer, želimo da znamo teorijske performanse virtuelne mašine (bez povezivanja bloka) sa latencijom od 0.5 ms. Tada je njegov IOPS = (1,000/latencija) * Izvanredni I/O (ograničenje dubine reda)
primjeri
primjer 1
- FC Emulex HBA adapter
- Jedan VM po skladištu podataka
- VMware paravirtualni SCSI adapter
Ovdje je ograničenje dubine čekanja određeno Emulex HBA. Stoga IOPS = (1000/0.5)*32 = 64K
primjer 2
- VMware iSCSI softverski adapter
- Jedan VM po skladištu podataka
- VMware paravirtualni SCSI adapter
Ovdje je granica dubine reda već određena paravirtualnim SCSI adapterom. Stoga IOPS = (1000/0.5)*64 = 128K
Najbolji modeli svih Flash AccelStor nizova (na primjer, ) su u stanju da isporuče performanse pisanja od 700K IOPS u bloku od 4K. Sa takvom veličinom bloka, sasvim je očigledno da jedna virtuelna mašina nije sposobna da učita takav niz. Da biste to učinili, trebat će vam 11 (na primjer 1) ili 6 (na primjer 2) virtuelnih mašina.
Kao rezultat toga, uz ispravnu konfiguraciju svih opisanih komponenti virtuelnog data centra, možete dobiti vrlo impresivne rezultate u pogledu performansi.
4K nasumično, 70% čitanja/30% pisanja
U stvari, stvarni svijet je mnogo složeniji nego što se može opisati jednostavnom formulom. Jedan host uvijek hostuje više virtuelnih mašina sa različitim konfiguracijama i IO zahtevima. A I/O obradom upravlja glavni procesor, čija snaga nije beskonačna. Dakle, da otključamo puni potencijal istog u stvarnosti će vam trebati tri hosta. Osim toga, aplikacije koje se pokreću unutar virtuelnih mašina vrše vlastita prilagođavanja. Stoga za precizno dimenzioniranje nudimo Svi Flash nizovi unutar infrastrukture korisnika na stvarnim tekućim zadacima.
izvor: www.habr.com