U ovom članku želio bih govoriti o značajkama All Flash AccelStor nizova koji rade s jednom od najpopularnijih platformi za virtualizaciju - VMware vSphere. Konkretno, usredotočite se na one parametre koji će vam pomoći da postignete maksimalni učinak od korištenja tako moćnog alata kao što je All Flash.
AccelStor NeoSapphire™ Svi Flash nizovi su ili čvorni uređaji koji se temelje na SSD diskovima s bitno drugačijim pristupom implementaciji koncepta pohrane podataka i organiziranju pristupa njima pomoću vlasničke tehnologije umjesto vrlo popularnih RAID algoritama. Nizovi omogućuju blokirani pristup hostovima putem Fibre Channel ili iSCSI sučelja. Da budemo pošteni, napominjemo da modeli s ISCSI sučeljem također imaju pristup datotekama kao lijep bonus. Ali u ovom ćemo se članku usredotočiti na korištenje blokovskih protokola kao najproduktivnijih za All Flash.
Cijeli proces implementacije i naknadne konfiguracije zajedničkog rada AccelStor polja i VMware vSphere virtualizacijskog sustava može se podijeliti u nekoliko faza:
- Implementacija topologije povezivanja i konfiguracije SAN mreže;
- Postavljanje All Flash polja;
- Konfiguriranje ESXi hostova;
- Postavljanje virtualnih strojeva.
AccelStor NeoSapphire™ Fibre Channel polja i iSCSI polja korištena su kao uzorak hardvera. Osnovni softver je VMware vSphere 6.7U1.
Prije postavljanja sustava opisanih u ovom članku, toplo se preporučuje da pročitate dokumentaciju tvrtke VMware u vezi s problemima performansi ( ) i iSCSI postavke ()
Topologija veze i konfiguracija SAN mreže
Glavne komponente SAN mreže su HBA u ESXi hostovima, SAN preklopnici i čvorovi polja. Tipična topologija takve mreže izgledala bi ovako:
Izraz Switch ovdje se odnosi i na zasebnu fizičku sklopku ili skup sklopki (Fabric) i na uređaj koji se dijeli između različitih usluga (VSAN u slučaju Fibre Channela i VLAN u slučaju iSCSI-ja). Korištenje dva neovisna prekidača/Fabrics eliminiraće moguću točku kvara.
Izravna veza hostova na polje, iako je podržana, nije preporučljiva. Performanse All Flash polja su prilično visoke. A za maksimalnu brzinu moraju se koristiti svi priključci niza. Stoga je prisutnost najmanje jednog prekidača između hostova i NeoSapphire™ obavezna.
Prisutnost dva priključka na glavnom HBA također je obavezan uvjet za postizanje maksimalnih performansi i osiguranje tolerancije na greške.
Kada koristite sučelje Fibre Channel, zoniranje mora biti konfigurirano kako bi se eliminirale moguće kolizije između inicijatora i ciljeva. Zone su izgrađene na principu "jedan inicijator port - jedan ili više array portova."
Ako koristite vezu preko iSCSI u slučaju korištenja prekidača koji se dijeli s drugim uslugama, tada je neophodno izolirati iSCSI promet unutar zasebnog VLAN-a. Također se toplo preporučuje omogućiti podršku za Jumbo okvire (MTU = 9000) kako bi se povećala veličina paketa na mreži i time smanjila količina nadzemnih informacija tijekom prijenosa. Međutim, vrijedi zapamtiti da je za ispravan rad potrebno promijeniti MTU parametar na svim mrežnim komponentama duž lanca "inicijator-prekidač-cilj".
Postavljanje All Flash polja
Niz se isporučuje kupcima s već formiranim grupama . Stoga nije potrebno poduzimati nikakve radnje za kombiniranje pogona u jednu strukturu. Vi samo trebate stvoriti volumene potrebne veličine i količine.
Radi praktičnosti, postoji funkcija za skupnu izradu nekoliko svezaka zadane veličine odjednom. Prema zadanim postavkama stvaraju se tanki volumeni jer to omogućuje učinkovitiju upotrebu dostupnog prostora za pohranu (uključujući podršku za Space Reclamation). Što se tiče performansi, razlika između "tankih" i "debelih" volumena ne prelazi 1%. Međutim, ako želite "iscijediti sav sok" iz niza, uvijek možete pretvoriti bilo koji "tanak" volumen u "debeli". Ali treba imati na umu da je takva operacija nepovratna.
Zatim preostaje „objaviti“ kreirane volumene i postaviti im prava pristupa s hostova pomoću ACL-ova (IP adrese za iSCSI i WWPN za FC) i fizičkog odvajanja portovima polja. Za iSCSI modele to se radi stvaranjem cilja.
Za FC modele, objavljivanje se događa stvaranjem LUN-a za svaki priključak niza.
Da biste ubrzali proces postavljanja, hostovi se mogu kombinirati u grupe. Štoviše, ako host koristi multiport FC HBA (što se u praksi najčešće događa), tada sustav automatski utvrđuje da portovi takvog HBA pripadaju jednom hostu zahvaljujući WWPN-ovima koji se razlikuju za jedan. Skupno stvaranje Target/LUN-a također je podržano za oba sučelja.
Važna napomena pri korištenju iSCSI sučelja je stvaranje više ciljeva za volumene odjednom kako bi se povećala izvedba, budući da se red čekanja na cilju ne može promijeniti i zapravo će biti usko grlo.
Konfiguriranje ESXi hostova
Na strani hosta ESXi osnovna konfiguracija se izvodi prema sasvim očekivanom scenariju. Postupak za iSCSI vezu:
- Dodajte softverski iSCSI adapter (nije potreban ako je već dodan ili ako koristite hardverski iSCSI adapter);
- Stvaranje vSwitch-a kroz koji će iSCSI promet prolaziti i dodavanje fizičke uzlazne veze i VMkernala na njega;
- Dodavanje adresa niza u Dynamic Discovery;
- Stvaranje pohrane podataka
Neke važne napomene:
- U općenitom slučaju, naravno, možete koristiti postojeći vSwitch, ali u slučaju zasebnog vSwitcha, upravljanje postavkama glavnog računala bit će puno lakše.
- Potrebno je odvojiti Upravljački i iSCSI promet na zasebne fizičke veze i/ili VLAN-ove kako bi se izbjegli problemi s performansama.
- IP adrese VMkernala i odgovarajućih portova All Flash polja moraju biti unutar iste podmreže, opet zbog problema s performansama.
- Kako bi se osigurala tolerancija na greške u skladu s pravilima VMware-a, vSwitch mora imati najmanje dvije fizičke uzlazne veze
- Ako se koriste Jumbo okviri, morate promijeniti MTU i vSwitch i VMkernal
- Bilo bi korisno podsjetiti da je prema VMware preporukama za fizičke adaptere koji će se koristiti za rad s iSCSI prometom potrebno konfigurirati Teaming i Failover. Konkretno, svaki VMkernal mora raditi samo kroz jednu uzlaznu vezu, druga uzlazna veza mora biti prebačena u neiskorišteni način rada. Za toleranciju grešaka morate dodati dva VMkernala, od kojih će svaki raditi kroz svoju vlastitu uzlaznu vezu.
VMkernel adapter (vmk#)
Fizički mrežni adapter (vmnic#)
vmk1 (Storage01)
Aktivni adapteri
vmnic2
Neiskorišteni adapteri
vmnic3
vmk2 (Storage02)
Aktivni adapteri
vmnic3
Neiskorišteni adapteri
vmnic2
Za povezivanje putem Fibre Channela nisu potrebni nikakvi preliminarni koraci. Možete odmah stvoriti Datastore.
Nakon stvaranja pohrane podataka, trebate osigurati da se pravilo Round Robin za staze do cilja/LUN-a koristi kao najučinkovitije.
Prema zadanim postavkama VMware postavke predviđaju korištenje ove politike prema shemi: 1000 zahtjeva kroz prvi put, sljedećih 1000 zahtjeva kroz drugi put, itd. Takva interakcija između glavnog računala i niza s dva kontrolera bit će neuravnotežena. Stoga preporučujemo postavljanje parametra Round Robin policy = 1 putem Esxcli/PowerCLI.
Parametri
Za Esxcli:
- Navedite dostupne LUN-ove
esxcli popis nmp uređaja za pohranu
- Kopiraj naziv uređaja
- Promjena pravila Round Robin
esxcli pohrana nmp psp roundrobin deviceconfig set —type=iops —iops=1 —device=“Device_ID”
Većina modernih aplikacija dizajnirana je za razmjenu velikih paketa podataka kako bi se maksimalno iskoristila propusnost i smanjilo opterećenje CPU-a. Stoga ESXi prema zadanim postavkama izdaje I/O zahtjeve uređaju za pohranu u komadima do 32767 KB. Međutim, za neke scenarije, razmjena manjih dijelova bit će produktivnija. Za AccelStor nizove, ovo su sljedeći scenariji:
- Virtualni stroj koristi UEFI umjesto Legacy BIOS-a
- Koristi vSphere replikaciju
Za takve scenarije preporučuje se promijeniti vrijednost parametra Disk.DiskMaxIOSize na 4096.
Za iSCSI veze, preporučuje se promijeniti parametar Login Timeout na 30 (zadano 5) kako bi se povećala stabilnost veze i onemogućilo odgodu DelayedAck za potvrde proslijeđenih paketa. Obje su opcije u vSphere Clientu: Domaćin → Konfiguriraj → Pohrana → Adapteri za pohranu → Napredne opcije za iSCSI adapter
Prilično suptilna točka je broj volumena koji se koriste za pohranu podataka. Jasno je da radi lakšeg upravljanja postoji želja da se stvori jedan veliki volumen za cijeli volumen niza. Međutim, prisutnost nekoliko volumena i, sukladno tome, pohrane podataka ima blagotvoran učinak na ukupnu izvedbu (više o redovima u nastavku). Stoga preporučujemo izradu najmanje dva sveska.
Sve do relativno nedavno, VMware je savjetovao ograničavanje broja virtualnih strojeva na jednoj pohrani podataka, opet kako bi se postigla najveća moguća izvedba. Međutim, sada, osobito sa širenjem VDI-ja, ovaj problem više nije tako akutan. Ali to ne poništava dugogodišnje pravilo - distribuirati virtualne strojeve koji zahtijevaju intenzivan IO po različitim spremištima podataka. Za određivanje optimalnog broja virtualnih strojeva po volumenu, ne postoji ništa bolje od unutar svoje infrastrukture.
Postavljanje virtualnih strojeva
Nema posebnih zahtjeva prilikom postavljanja virtualnih strojeva, odnosno sasvim su obični:
- Korištenje najviše moguće verzije VM-a (kompatibilnost)
- Pažljivije je postaviti veličinu RAM-a kada se virtualni strojevi gusto postavljaju, na primjer, u VDI (budući da se prema zadanim postavkama, prilikom pokretanja, stvara stranica stranica veličine proporcionalne RAM-u, što troši korisni kapacitet i utječe na završni nastup)
- Koristite najproduktivnije verzije adaptera u smislu IO: mrežni tip VMXNET 3 i SCSI tip PVSCSI
- Koristite tip diska Thick Provision Eager Zeroed za maksimalnu izvedbu i Thin Provisioning za maksimalno korištenje prostora za pohranu
- Ako je moguće, ograničite rad strojeva koji nisu kritični za I/O korištenjem Virtual Disk Limit
- Obavezno instalirajte VMware Tools
Bilješke o redovima čekanja
Red čekanja (ili izvanredni I/Os) je broj ulazno/izlaznih zahtjeva (SCSI naredbi) koji čekaju na obradu u bilo kojem trenutku za određeni uređaj/aplikaciju. U slučaju prekoračenja reda čekanja, izdaju se pogreške QFULL, što u konačnici rezultira povećanjem parametra latencije. Pri korištenju diskovnih (vretenastih) sustava za pohranu, teoretski, što je veći red čekanja, veća je njihova izvedba. Međutim, ne biste ga trebali zlorabiti, jer je lako naletjeti na QFULL. U slučaju All Flash sustava, s jedne strane, sve je nešto jednostavnije: na kraju krajeva, niz ima latencije koje su reda veličine niže i stoga, najčešće, nema potrebe posebno regulirati veličinu redova čekanja. No, s druge strane, u nekim scenarijima korištenja (jako iskrivljenje u IO zahtjevima za određene virtualne strojeve, testovi za maksimalnu izvedbu itd.) potrebno je, ako ne promijeniti parametre redova čekanja, onda barem razumjeti koji pokazatelji može postići, a glavno je na koje načine.
Na samom AccelStor All Flash polju nema ograničenja u odnosu na volumene ili I/O priključke. Ako je potrebno, čak i jedan volumen može primiti sve resurse niza. Jedino ograničenje u redu čekanja je za iSCSI ciljeve. Zbog toga je gore navedena potreba za stvaranjem nekoliko (idealno do 8 komada) ciljeva za svaki volumen kako bi se prevladalo ovo ograničenje. Ponovimo i da su AccelStor polja vrlo produktivna rješenja. Stoga biste trebali koristiti sve priključke sučelja sustava kako biste postigli maksimalnu brzinu.
Na strani hosta ESXi, situacija je potpuno drugačija. Sam domaćin primjenjuje praksu jednakog pristupa resursima za sve sudionike. Stoga postoje odvojeni IO redovi za gostujući OS i HBA. Redovi do gostujućeg OS-a kombiniraju se od redova do virtualnog SCSI adaptera i virtualnog diska:
Red čekanja do HBA ovisi o specifičnoj vrsti/dobavljaču:
Konačna izvedba virtualnog stroja bit će određena najnižom granicom dubine čekanja među glavnim komponentama.
Zahvaljujući tim vrijednostima možemo procijeniti pokazatelje performansi koje možemo dobiti u određenoj konfiguraciji. Na primjer, želimo znati teoretsku izvedbu virtualnog stroja (bez vezanja blokova) s kašnjenjem od 0.5 ms. Tada je njegov IOPS = (1,000/kašnjenje) * izvanredni I/Os (ograničenje dubine čekanja)
Primjeri
Primjer 1
- FC Emulex HBA adapter
- Jedan VM po spremištu podataka
- VMware paravirtualni SCSI adapter
Ovdje ograničenje dubine čekanja određuje Emulex HBA. Stoga je IOPS = (1000/0.5)*32 = 64K
Primjer 2
- VMware iSCSI softverski adapter
- Jedan VM po spremištu podataka
- VMware paravirtualni SCSI adapter
Ovdje je ograničenje dubine čekanja već određeno paravirtualnim SCSI adapterom. Stoga je IOPS = (1000/0.5)*64 = 128K
Najbolji modeli All Flash AccelStor polja (na primjer, ) mogu isporučiti performanse pisanja od 700K IOPS u 4K bloku. Uz takvu veličinu bloka, sasvim je očito da jedno virtualno računalo nije u stanju učitati takav niz. Da biste to učinili, trebat će vam 11 (na primjer 1) ili 6 (na primjer 2) virtualnih strojeva.
Kao rezultat toga, uz ispravnu konfiguraciju svih opisanih komponenti virtualnog podatkovnog centra, možete dobiti vrlo impresivne rezultate u pogledu performansi.
4K nasumično, 70% čitanje/30% pisanje
Zapravo, stvarni svijet mnogo je složeniji nego što se može opisati jednostavnom formulom. Jedan host uvijek ugošćuje više virtualnih strojeva s različitim konfiguracijama i IO zahtjevima. I I/O obradom upravlja glavni procesor, čija snaga nije beskonačna. Dakle, za otključavanje punog potencijala istog u stvarnosti će vam trebati tri domaćina. Osim toga, aplikacije koje se izvode unutar virtualnih strojeva rade vlastite prilagodbe. Stoga, za precizno dimenzioniranje nudimo Svi Flash nizovi unutar korisnikove infrastrukture na stvarnim trenutnim zadacima.
Izvor: www.habr.com